1
Qwen
启动vllm的serve服务 报错
2025-04-08 16:23:05
202

使用的系统是麒麟V10 SP2
DCU Z100

参照 https://forum.sourcefind.cn/thread/824 中的教程部署，仅仅是将模型改为了 Qwen-1.5B

attachmentId-image.png

  python -m vllm.entrypoints.openai.api_server --model /home/model_path/DeepSeek-R1-Distill-Qwen-1.5B/ --served-model-name ds --dtype float16 --enforce-eager --trust-remote-code -tp 2 --port 4321

镜像用的是同样的镜像，用上面的指令启动后出现下面的错误，请教下各位大佬这是怎么回事：

attachmentId-image.png

attachmentId-image.png

attachmentId-image.png

全部评论（3）
只看楼主
P
panhb
1楼
Z100L的机器需要使用该镜像进行vllm推理docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.5.0-dtk24.04.1-ubuntu20.04-py310-20250225
2025/4/8
网
网友5Yvckw
回复 @panhb
谢谢，换了镜像可以使用了
2025/4/9
网
网友5Yvckw
回复 @panhb

过段时间直接用这个镜像又不行了，需要安装下面这两个吗？

pip install https://download.sourcefind.cn:65024/directlink/4/lmslim/DAS1.3/lmslim-0.1.2+das.dtk24043-cp310-cp310-manylinux_2_28_x86_64.whl

pip install https://download.sourcefind.cn:65024/directlink/4/vllm/DAS1.3/vllm-0.6.2+das.opt1.dtk24043-cp310-cp310-manylinux_2_28_x86_64.whl,。安装了提示我lmslim-0.1.2应该是lmslim-0.1.3，两个pip里面正确的对应版本应该是多少呢
2025/6/6
没有更多内容了
--
楼主
Level.4
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据