1
Qwen
Qwen3.6-35B-A3B实测
2026-04-17 21:48:31
866
harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm018-ubuntu22.04-dtk26.04-gemma4-0413 用此镜像部署Qwen3.6-35B-A3B，K100_AI 4卡推理，每秒>55token。开启1M上下文，用文本嵌入，多次分块的方式，把1M上下文完整加载到大模型里面，嵌入加载完毕，推理出结果时，用时17分钟
全部评论（7）
只看楼主
H
huangsl
5楼
请问这个镜像跑的是哪个量化版本的Qwen3.6-35B-A3B？启动命令能分享下吗？
6/15
C
CrystalRays
4楼
Qwen3.6-35B-A3B能开1M上下文吗？我看模型的config.json里max_embedding_postion是262144啊
6/10
H
huangyy
3楼
我2卡k100-ai跑3.5才7token 怎么样才能提升速度？
5/10
星
星期八
2楼
BW200 8张卡，可以用harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm018-ubuntu22.04-dtk26.04-gemma4-0413 部署Qwen3.6-35B-A3B 吗，Qwen3.6-35B-A3B 模型包哪里可以下载
5/7
T
tianlh
回复 @星期八
模型下载地址https://www.modelscope.cn/models/Qwen/Qwen3.6-35B-A3B/summary，BW200 8卡推测可以跑，未验证，可以试下，有问题再反馈
5/7
_
_mmmvflgrkalw
1楼
考虑Qwen/Qwen3.6-27B吗
4/28
A
aq
回复 @_mmmvflgrkalw
Qwen3.6-27B跑起来很慢，k100-ai每秒只有10多个token

4/28
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据