模型应用
Qwen2.5-14B模型 使用vllm推理报错,z100 卡
2024-11-06 17:43:02
181

系统:方德3.2
环境:dtk24.04
torch 2.1.0+git00661e0.abi0.dtk2404
torchaudio 2.1.2+253903e.abi0.dtk2404.torch2.1.0
torchvision 0.16.0+gitc9e7141.abi0.dtk2404.torch2.1
vllm 0.5.0+das.opt1.3e2c63a.dtk2404.torch2.1.0

运行命令:python3 -m vllm.entrypoints.openai.api_server --model /work/home/zhengq/models/Qwen2.5-14B-Instruct --served-model-name qwen —host 0.0.0.0 --port 8000 --tensor-parallel-size 4 --distributed-executor-backend ray --gpu-memory-utilization 0.85
推理运行报错:

attachmentId-image.png

容器运行
镜像:

image.sourcefind.cn:5000/dcu/admin/base/jupyterlab-vllm:0.3.3-py3.10-dtk24.04.1-ubuntu20.04-inf

运行报错:

attachmentId-image.png

通过 https://github.com/QwenLM/Qwen2.5 里的 cli_demo.py 推理测试正常。

attachmentId-image.png

请教 vllm 推理报错如何解决?

全部评论(1)
只看楼主
Z
zhaomy
1楼
您使用容器运行时的报错截图,看起来还是conda的环境?
2024/11/7
没有更多内容了
--
楼主
Level.6
0 帖子
楼主热帖
暂无数据