1
4
Qwen
新人贴
求大佬指导2卡k100-ai跑qwen3.6
2026-05-10 01:00:00
567
目前有2卡k100-ai，想跑小龙虾，自己瞎折腾了几天，只跑通了qwen3.5 35b 但是速度7tokens 太慢了 有没有哪位大佬指点一下？
全部评论（10）
只看楼主
B
BoomJarson
5楼
兄弟后来这个问题解决了吗
8/10
木
木土
4楼
这不可能啊，试试加mtp，进群问吧。
5/11
L
liumg
3楼
可以用vllm0.18的镜像
5/11
Y
ylx1314
回复 @liumg
0.18镜像你会出现模型崩溃的现象吗
5/11
网
网友tkhMTx
回复 @ylx1314
我也碰到了

5/12
杨
杨基良
2楼
论坛之前的帖子里面有个非官方的微信交流群，可以考虑进去问问
5/11
H
huangyy
回复 @杨基良
进去问了，好像都没有什么太好的方案。
5/11
--
回复 @huangyy
大佬群能分享下吗，也想交流学习一下
5/12
H
heizhima
1楼
我为啥一直拉不起来
5/10
M
mjglmvuid0dt
回复 @heizhima
qwen3.6可以参考https://developer.sourcefind.cn/modelzoo/list/qwen3.6/detail?post_id=2e1c4942-4d05-11f1-8262-0242ac150003，K100ai启动服务前添加一个环境变量：expoert VLLM_HCU_USE_CUSTOM_QUANTIZATION_GEMM=0
5/13
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据