4
编译器
提问帖
有回复
新人贴
vllm 启动 DeepSeek-R1-Distill-Qwen-32B 模型的处理速度问题
2026-05-09 15:27:55
209
KylinSP3的操作系统,海光K100_AI 64GB * 4卡,conda创建的是python==3.10的虚拟环境,虚拟环境里面加载torch-2.4.1、vllm-0.6.2的依赖,模型启动时,如果不加--enforce-eager选项则会有以下的报错: ![attachmentId-image.png](/api-forum/file/RedirectImage?path=20260509/1778311649316_image.jpg) 增加选项后目前模型启动方式为:python3 -m vllm.entrypoints.openai.api_server --model '/root/models/DeepSeek-R1-Distill-Qwen-32B' --served-model-name 'DeepSeek-R1-32B' --host 0.0.0.0 --port 8000 --max-model-len 8192 --tensor-parallel-size 4 --enforce-eager --block-size 32 --max-num-seqs 256 ,但是问答时测试速度大概在 10token/s,截图如下: ![attachmentId-image.png](/api-forum/file/RedirectImage?path=20260509/1778311275163_image.png) 并且用两卡测试速度也是10token/s,与四卡速度区别不大,请问该如何优化提升处理速度?
全部评论(8)
只看楼主
潜水1号
1楼
能接受镜像的方式部署么

5/14
_
_cjshawn
回复 @潜水1号
能接受,推荐用哪个镜像?
5/18
H
huoyongjin
回复 @_cjshawn
社区镜像就可以,harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk26.04-0130-py3.10-20260202
5/20
_
_cjshawn
回复 @huoyongjin
老师,我用这个镜像测试过,两卡以及四卡的处理速度都是大概在13token/s左右,docker 启动命令如下:docker run -it \
--name DeepSeek-R1-32B_vllm \
--privileged \
--shm-size=64G \
--device=/dev/kfd \
--device=/dev/dri/ \
--cap-add=SYS_PTRACE \
--security-opt seccomp=unconfined \
--ulimit memlock=-1:-1 \
--ipc=host \
--network host \
--group-add video \
-v /opt/hyhal:/opt/hyhal \
-v /root/models:/models \
harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk26.04-0130-py3.10-20260202 \
/bin/bash
模型启动方式跟源码部署时的启动方式基本一致,处理速度还有办法提升吗?
5/20
全部7条回复
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据