0
2
0
0
基础环境
提问帖
有回复
新人贴
想跑Qwen3.6-35B-A3B或者3.6的推理模型，4卡k100 AI，系统麒麟Kylin Linux Advanced Server V11 (Swan25)
2026-05-20 16:16:39
345
操作
RT，请问应该用什么vllm镜像，怎么加载，不胜感激？
全部评论（2）
只看楼主
H
H
这个人很懒，什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
huoyongjin
只看此人
1楼
您可以用0.18镜像如harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm0.18.1-ubuntu22.04-dtk26.04-py3.10-20260510-2242，命令可参考：
vllm serve /models/qwen3.6/Qwen3.6-35B-A3B -tp 4 --gpu-memory-utilization
0.95 --trust-remote-code --reasoning-parser qwen3 --served-model-name Qwen/Qwen3.6-35B-A3B
5/20
赞
1
回复
@圈友
暂无数据
尚未选择
发送
H
H
这个人很懒，什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
hihihihihihi
回复
@huoyongjin
感谢，我去试一下
5/20
赞
回复
@圈友
暂无数据
尚未选择
发送
没有更多内容了
--
楼主
0
点赞
0
帖子
关注
私信
楼主热帖
暂无数据
常见问题新帖
暂无数据
暂无数据 暂无数据 暂无数据 暂无数据
vllm serve /models/qwen3.6/Qwen3.6-35B-A3B -tp 4 --gpu-memory-utilization