vllm启动报错 k100ai 麒麟v10 vllm安装过程:源码部署方案
启动命令:
/root/anaconda3/envs/vllm/bin/python -m vllm.entrypoints.openai.api_server
--model ./qwem2.5
--dtype float16
--trust-remote-code
--gpu-memory-utilization 0.95
--tensor-parallel-size 4
--max-num-seqs 64
--max-model-len 32768
--port 8000
--enforce-eager
ai工具版本:

报错如下



暂无数据
使用官方提供的vllm镜像部署:https://sourcefind.cn/#/image/dcu/vllm?activeName=overview