1
数学库
提问帖
有回复
新人贴
Qwen3.5 K100AI部署问题
2026-02-27 10:33:11
619
请问一下https://developer.sourcefind.cn/modelzoo/list/qwen3.5_vllm/detail?post_id=46176b42-0c0b-11f1-a49f-0242ac150003&active=ModelOverview 中的 `image.sourcefind.cn:5000/dcu/admin/base/custom:pytorch2.9.1-ubuntu22.04-dtk26.04-0130-py3.10-20260204-qwen3_5` 支持k100ai不,尝试了一下启动 vllm serve /llm_models/Qwen/Qwen3.5-35B-A3B --served-model-name Qwen3.5-35B-A3B --reasoning-parser qwen3 --port 8119 --tensor-parallel-size 2 --max---max-model-len 32000 ,处理请求的时候报错。现在有支持k100ai的镜像吗 ![attachmentId-image.png](/api-forum/file/Redirect?path=forum/acv5w05zpb/1772159430875/image.png) ![attachmentId-image.png](/api-forum/file/Redirect?path=forum/acv5w05zpb/1772159547153/image.png)
bw100
千问Qwen3.5-35b-a3b
全部评论(9)
只看楼主
A
ANYA
2楼
可以尝试增加VLLM_CUSTOM_CACHE=0 这个环境变量解决
2/27
网
网友Vc4XiB
回复 @ANYA
attachmentId-image.pngattachmentId-image.pngattachmentId-image.png尝试了下也没成功
2/27
A
ANYA
回复 @网友Vc4XiB
--disable-custom-all-reduce 在启动服务的时候增加这个参数,我们测试了下是可以运行的,您试试看
2/27
C
codingmiao
回复 @ANYA
您好,能否给一个Qwen3.5的122b版本和35b版本的完整可用启动命令,按您给的这个添加后依然无法运行
2/27
全部7条回复
X
xingh
1楼
收到您的反馈,我们确认下给您回复
2/27
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据