1
DeepSeek
标题
2025-08-12 17:52:01
83

vllm启动报错 k100ai 麒麟v10 vllm安装过程:源码部署方案
启动命令:
/root/anaconda3/envs/vllm/bin/python -m vllm.entrypoints.openai.api_server
--model ./qwem2.5
--dtype float16
--trust-remote-code
--gpu-memory-utilization 0.95
--tensor-parallel-size 4
--max-num-seqs 64
--max-model-len 32768
--port 8000
--enforce-eager

ai工具版本:

attachmentId-image.png

报错如下

attachmentId-image.png

attachmentId-image.png

全部评论(1)
只看楼主
网
网友56s8vc
1楼

使用官方提供的vllm镜像部署:https://sourcefind.cn/#/image/dcu/vllm?activeName=overview

2025/8/13
没有更多内容了
--
楼主
Level.4
0 帖子
楼主热帖
暂无数据