2
1
数学库
提问帖
有回复
Qwen3.5 35B A3B 回答乱码 K100AI 8卡
2026-04-17 09:10:23
189
vllm serve /root/data/qwen3.5-35b-a3b --tensor-parallel-size 8 --trust-remote-code --max-model-len 32768 --host 0.0.0.0 --port 8000 --api-key root@8301 --gpu-memory-utilization 0.9 --served-model-name qwen3.5-35b-a3b
全部评论(6)
只看楼主
网
网友B3ZN40
2楼
harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm018-ubuntu22.04-dtk26.04-gemma4-0413
4/17
LiuYi
楼主
1楼
attachmentId-image.png
4/17
LiuYi
回复 @LiuYi
harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm015-ubuntu22.04-dtk26.04-glm5-0408 镜像
4/17
LiuYi
回复 @LiuYi
attachmentId-image.png
这个图乱码
4/17
Z
zhangwb
回复 @LiuYi
目前该镜像主要是适配BW系列卡,在K100AI上的精度问题研发正在解决。请您关注一下后续更新的新镜像。
4/17
全部4条回复
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据