您使用容器运行时的报错截图,看起来还是conda的环境?
系统:方德3.2
环境:dtk24.04
torch 2.1.0+git00661e0.abi0.dtk2404
torchaudio 2.1.2+253903e.abi0.dtk2404.torch2.1.0
torchvision 0.16.0+gitc9e7141.abi0.dtk2404.torch2.1
vllm 0.5.0+das.opt1.3e2c63a.dtk2404.torch2.1.0
运行命令:python3 -m vllm.entrypoints.openai.api_server --model /work/home/zhengq/models/Qwen2.5-14B-Instruct --served-model-name qwen —host 0.0.0.0 --port 8000 --tensor-parallel-size 4 --distributed-executor-backend ray --gpu-memory-utilization 0.85
推理运行报错:

容器运行
镜像:
image.sourcefind.cn:5000/dcu/admin/base/jupyterlab-vllm:0.3.3-py3.10-dtk24.04.1-ubuntu20.04-inf
运行报错:

通过 https://github.com/QwenLM/Qwen2.5 里的 cli_demo.py 推理测试正常。

请教 vllm 推理报错如何解决?

暂无数据