1
2
Qwen
新人贴
bw100 64g单卡可以不部署 Qwen3.8-27B 和 Qwen3.5-35B int8模型吗
2026-09-17 15:12:16
96
请问用bw100 64g单卡 vllm 0.21 镜像可以部署 Qwen3.8-27B-Channel-INT8-w8a8 和Qwen3.5-35B-A3B-Channel-INT8-w8a8 的int8模型吗 bw100和bw1000 卡有什么区别 [hygon/Qwen3.8-27B-Channel-INT8-w8a8](https://www.modelscope.cn/models/hygon/Qwen3.8-27B-Channel-INT8-w8a8) https://github.com/HYGON-AI/inference-cookbook-das/blob/main/docs/model-deployment/vllm/qwen3.8.md [hygon/Qwen3.5-35B-A3B-Channel-INT8-w8a8](https://www.modelscope.cn/models/hygon/Qwen3.5-35B-A3B-Channel-INT8-w8a8) https://github.com/HYGON-AI/inference-cookbook-das/blob/main/docs/model-deployment/vllm/qwen3.5.md
全部评论(3)
只看楼主
L
liumg
1楼
支持,BW100你可以理解为是BW1000的阉割版本,整体架构是一样的
9/17
U
u_1787982379
回复 @liumg
这两个模型跑多模态检测任务哪个会快一些,你们比较推荐哪个
9/17
L
liumg
回复 @u_1787982379
35B虽然参数大,但是激活的参数少,实际上性能会更好一些

你是qwen3.8和qwen3.5的对比的话,应该是越新的越好,如果单论27b和35b的话,35b应该好些
9/17
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据