目前支持0.6.2的版本。 具体的部署方法可以参考https://developer.sourcefind.cn/codes/modelzoo/qwen2.5-vllm ，非docker部署可以参考Anaconda（方法三）进行部署。
0
0
0
0
求助，关于3卡部署vllm运行deepseek
2025-04-16 09:58:19
144
目前环境是
处理器：2-Hygon 7360
加速卡：3*海光K100-AI/64G
系统希望使用rockyLinux 9.2 （目前看说明书最多支持到这个版本）如果rocky 9.2难以实现的话，欧拉系统也可以考虑
需要安装vllm部署deepseek的safetensors模型，后续可能会也考虑awq或者gguf，目前主要还是safetensors格式。
请问：vllm最多支持到哪个版本？系统相关版本驱动是否齐全
希望是用一个非Docker的方式安装，以普通命令行形式运行vllm。
望请赐教，非常感谢
全部评论（2）
只看楼主
W
2025/4/16
R
另外，如果rocky 9.2难以实现的话，欧拉系统也可以考虑
2025/4/16
没有更多内容了
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据