光合开发者社区-论坛

DeepSeek

K100-AI基于VLLM推理框架的DeepSeek部署

2025-03-07 14:23:30

10915

部署视频见学习路径内页 – 光合开发者社区

1 基础配置

服务器：DCU兼容服务器，以X7850H0为例

CPU：不限，此处以c86-4G系列为例

DCU：DCU K100-AI 64G

OS：见DCU OS兼容手册

2 环境搭建

2.1 基础环境搭建

环境依赖 ：
驱动版本：rock-5.7.1-6.2.26以上
docker版本：>18.01

基础环境部署 ：
驱动安装：

1、安装依赖：
centos：yum install -y rpm-build gcc-c++ cmake automake elfutils-libelf-devel libdrm libdrm-devel pciutils
ubuntu：apt install -y gcc g++ cmake automake  libelf-dev libdrm_amdgpu1或libdrm-amdgpu1 libtinfo5 pciutils libdrm-dev
Centos：yum install -y kernel-devel-`uname -r` kernel-modules-extra 
ubuntu：apt install -y linux-headers-`uname -r` linux-modules-extra/
2、安装驱动
安装流程
1) 下载驱动，下载地址：https://download.sourcefind.cn:65024/6/main/latest%E9%A9%B1%E5%8A%A8
2）修改驱动权限 chmod +x rock*.run
3）安装驱动
./rock*.run
4）重启下驱动服务
systemctl restart hymgr
5）如有升级vbios 需要重启服务器

docker安装：

配置docker yum源
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
sed -i 's/download.docker.com/mirrors.aliyun.com\/docker-ce/g' /etc/yum.repos.d/docker-ce.repo
安装docker安装包
yum install docker-ce docker-ce-cli containerd.io
启动docker服务，设置开机自启动
systemctl enable docker
systemctl restart docker
普通用户需要添加到docker用户组中
usermod -aG docker username

2.2 VLLM环境部署

此处建议直接使用VLLM镜像

获取方式

vllm0.6.2版本：docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-ubuntu22.04-dtk24.04.3-py3.10
vllm0.6.6版本：http://112.11.119.99:18000/others/pytorch2.4.1-ubuntu22.04-dtk25.04-rc4-vllm0.6.6-py3.10.tar.gz

3 DeepSeek部署

3.1 DeepSeek R1 Distill版本部署

DeepSeek R1 Distill版本是通过使用DeepSeek-R1 生成的800,000 个推理数据样本对较小的基础模型（例如 Qwen 和 Llama 系列）进行微调而创建的，由于基模是Qwen和Llama，所以用DCU K100-AI之前的镜像就可以。因此DeepSeek R1 Distill模型可以使用之前的vllm-0.6.2的镜像，也可以使用vllm-0.6.6 版本镜像。

3.1.1 环境准备

首先，下载容器镜像

docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-ubuntu22.04-dtk24.04.3-py3.10

第二步，运行容器

docker run -dit --network=host --name=deepseek_test --privileged --device=/dev/kfd --device=/dev/dri --ipc=host --shm-size=256G  --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root --ulimit stack=-1:-1 --ulimit memlock=-1:-1 -v /opt/hyhal:/opt/hyhal:ro -v `pwd`:/your_workspace  image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-ubuntu22.04-dtk24.04.3-py3.10

3.1.2 模型下载

模型可以在Huggingface 魔搭社区以及SCNet下载，此处省略

3.1.3 DeepSeek推理部署

** 启动vllm server
vllm serve /path/to/distill_model --tensor-parallel-size 2 –-trust-remote-code --max-model-len 32768 --enforce-eager –-host localhost –-port 8000

** 访问
curl http://localhost:8000/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "/home/modelzoo/DeepSeek-R1-Distill-Qwen-14B/",
        "prompt": "甲乙两班共有学生98人，甲班比乙班多6人，求两班各有多少人？",
        "max_tokens": 300,
        "temperature": 0
}'


** 结果显示：
{
    "id": "cmpl-5473237b46054a98ba27906a4b099e33",
    "object": "text_completion",
    "created": 1737515343,
    "model": "/home/modelzoo/DeepSeek-R1-Distill-Qwen-14B/",
    "choices": [
        {
            "index": 0,
            "text": "（用方程解）\n\n首先，设乙班有x人，那么甲班就有x + 6人。\n\n根据总人数，可以列出方程：x + (x + 6) = 98。\n\n解这个方程，得到x = 41。\n\n因此，乙班有41人，甲班有47人。\n</think>\n\n**解答：**\n\n设乙班有 \\( x \\) 人，则甲班有 \\( x + 6 \\) 人。\n\n根据题意，两班共有学生98人，可以列出方程：\n\n\\[\nx + (x + 6) = 98\n\\]\n\n解方程：\n\n\\[\n2x + 6 = 98\n\\]\n\n\\[\n2x = 98 - 6\n\\]\n\n\\[\n2x = 92\n\\]\n\n\\[\nx = 46\n\\]\n\n因此，乙班有46人，甲班有：\n\n\\[\nx + 6 = 46 + 6 = 52\n\\]\n\n**答案：**\n\n甲班有 \\(\\boxed{52}\\) 人，乙班有 \\(\\boxed{46}\\) 人。",
            "logprobs": null,
            "finish_reason": "stop",
            "stop_reason": null,
            "prompt_logprobs": null
        }
    ],
    "usage": {
        "prompt_tokens": 27,
        "total_tokens": 285,
        "completion_tokens": 258
    }
}

3.2 DeepSeek V3/R1部署

DeepSeek V3/R1需要在vllm-0.6.5版本以上，所以需要vllm-0.6.6版本的镜像，由于涉及到不同精度下的显存占用不同，目前FP16精度下推荐4节点8卡K100-AI规格，int4量化精度单节点8卡K100-AI规格。下面我们以多节点（4节点8卡）为例，介绍DeepSeek V3/R1推理。

3.2.1 环境准备

首先，下载容器镜像

wget http://112.11.119.99:18000/others/pytorch2.4.1-ubuntu22.04-dtk25.04-rc4-vllm0.6.6-py3.10.tar.gz
docker load -i pytorch2.4.1-ubuntu22.04-dtk25.04-rc4-vllm0.6.6-py3.10.tar.gz

第二步，运行容器

docker run -dit --network=host --name=deepseek_test --privileged --device=/dev/kfd --device=/dev/dri --ipc=host --shm-size=256G  --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -u root --ulimit stack=-1:-1 --ulimit memlock=-1:-1 -v /opt/hyhal:/opt/hyhal:ro -v `pwd`:/your_workspace  image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.4.1-ubuntu22.04-dtk25.04-rc4-vllm0.6.6-py3.10

3.2.2 模型下载

模型可以在Huggingface 魔搭社区以及SCNet下载，此处省略

3.2.3 DeepSeek推理部署

环境变量设置

export ALLREDUCE_STREAM_WITH_COMPUTE=1
export VLLM_HOST_IP=x.x.x.x (本节点IP地址)
export NCCL_SOCKET_IFNAME=<网卡名称> 
export GLOO_SOCKET_IFNAME=<网卡名称>
export HIP_VISIBLE_DEVICES=0,1,2,3,4,5,6,7

启动 ray 集群

master节点执行：ray start --head --node-ip-address=10.1.1.1（主节点ip） --port=6379 --num-gpus=8 --num-cpus=16
每个worker节点执行：ray start --address='10.16.1.1:6379' --num-gpus=8 --num-cpus=16

启动模型服务：

master 节点执行：vllm serve /data/llm-models/DeepSeek-V3-bf16 --trust-remote-code --distributed-executor-backend ray --dtype float16 --max-model-len 4096 --tensor-parallel-size 32 –-host localhost –-port 8000

sdfhuien

35楼

Int8 版本的DeepSeek V3或者V3.2 有适配版本吗？

7/10

张

张松阳

34楼

问一下，支持专家并行部署吗？data-parallel-size enable-expert-parallel

3/29

Bluey

33楼

请问使用多个MIG设备时，应该怎么配置环境变量和启动参数呢？

1/6

小

小白168

32楼

有非容器方式使用vllm跑大模型的文档资料吗？

2025/12/23

shao

31楼

2台服务器推理235B，服务器之间可以是以太网连接吗？没有ib的网络

2025/10/21

网

网友MSupTh

30楼

请问部署完成之后，如何进行模型推理性能测试呢？想看下单机八卡的速度

2025/9/4

潜水1号

回复 @网友MSupTh

对标l20 采用官方的benchmark脚本进行测试 https://github.com/vllm-project/vllm/tree/main/benchmarks 具体性能不同的参数下不同的指令下都不一样需要根据特定的场景测试建议您实测一下

2025/9/4

网

网友MSupTh

回复 @网友MSupTh

你好请问下，DCU想做压测使用gpuburn这样的工具会有兼容性问题，原厂是否有相对应的工具呢？

2025/9/4

网

网友5mNNY1

回复 @潜水1号

你好，我尝试只导入了benchmark_serving.py脚本运行，运行失败了，是需要将整个环境全部导入测试吗，有没有相关教程呀

2025/9/10

全部5条回复

网

网友O51JUC

29楼

请问一下这种部署方式支持多节点，但是每个节点卡数不一样的情形吗？

2025/8/25

潜水1号

回复 @网友O51JUC

起ray 总卡数需要对上

2025/9/4

樱

樱桃大球球

28楼

能推荐一个单机可用的int4量化精度模型下载地址吗?

2025/8/25

潜水1号

回复 @樱桃大球球

https://www.modelscope.cn/models/cognitivecomputations/DeepSeek-R1-0528-AWQ

2025/9/4

网

网友w7np8u

27楼

你好，请问海光K100-ai是否能指定GPU运行模型？

2025/7/22

潜水1号

回复 @网友w7np8u

能 export HIP_VISIBLE_DEVICES=0,1,2,3,4,5,6,7

2025/9/4

网

网友MSupTh

26楼

请问怎样执行跑分测试呢？之前都是用python3 -m vllm_utils.benchmark_serving的测试脚本自己就全吐出来了。用vllm部署的话是要自己写个脚本测吗？

2025/7/14

xingh

回复 @网友MSupTh

请问跑分测试具体是指的什么

2025/7/17

网

网友MSupTh

回复 @xingh

模型吞吐。TTFT这些参数，需要测最大并发

2025/9/9

网

网友RbTX60

25楼

4机8卡 K100-AI 64G 推理Qwen2.5-32B-Instruct为什么单个请求为什么只有十几个token

2025/7/9

网

网友5TISwb

24楼

#关于多卡运行模型时，生成速率提升的问题：

这些天经过自己测试，发现教程中提供的vllm运行参数里，--enforce-eager这个参数，会强制执行eager模式。在vLLM推理框架中，enforce-eager会禁用CUDA图，对多卡模型性能（生成速率）会产生比较大的影响，去掉后会好很多。自己试出来的经验，同步给各位专家。如果有帮助，可以点个赞

K100_AI四卡的硬件算力。

2025/5/19

网

网友RbTX60

回复 @网友5TISwb

4机8卡 K100-AI 64G 推理Qwen2.5-32B-Instruct为什么单个请求为什么只有十几个token

2025/7/7

_cjshawn

回复 @网友5TISwb

您好，为什么我去掉--enforce-eager这个参数模型启动就会失败，能帮忙发一下您的启动参数信息吗？

5/9

Ray

23楼

请问3卡K100 AI部署VLLM有方法吗？

还有一个很重要的问题，就是我看说明里支持RockyLinux 9.2，请问这个版本的系统最高支持vllm版本是多少，或者如果是欧拉的话，最高支持哪个版本

2025/4/15

xingh

回复 @Ray

三卡可以设置--tensor-parallel-size 3，目前支持vllm0.7.2

2025/4/15

joy717

22楼

请问一下，单机多卡的情况下，遇到比较奇怪的问题：

目前是一个机器上有2张k100ai，只用其中一张卡的时候。执行rocm就报错了：

root@39b91d49fe20:/opt/dtk/hip/samples/2_Advanced/hipGraph# rocminfo

C-3000 module is loaded

malloc(): invalid size (unsorted)

Aborted (core dumped)

尝试用hip内的sample，比如/opt/dtk/hip/samples/2_Advanced/hipGraph/graph_capture

Could not open /var/log/hylog/.

Capture stream and launch graph when mode: 0 success

Capture stream and launch graph when mode: 1 success

Capture stream and launch graph when mode: 2 success

free(): invalid pointer

Aborted (core dumped)

coredump也没什么信息：

[root@k8s-6-k100ai-2 ~]# coredumpctl info

PID: 3532053 (rocminfo)

UID: 0 (root)

GID: 0 (root)

Signal: 6 (ABRT)

Timestamp: Mon 2025-04-14 10:54:33 CST (42s ago)

Command Line: rocminfo

Executable: /opt/dtk-25.04/hip/bin/rocminfo

Control Group: /system.slice/nerdctl-39b91d49fe20b2678270d392eac168359b5b1547cea93882f0893d3a79189010.scope

Unit: nerdctl-39b91d49fe20b2678270d392eac168359b5b1547cea93882f0893d3a79189010.scope

Slice: system.slice

Boot ID: 5d71b166d91f422091ab6e16295a69fd

Machine ID: f39dc5ca6f3d4e4c9c8f52feb3c308ef

Hostname: k8s-6-k100ai-2

Storage: /var/lib/systemd/coredump/core.rocminfo.0.5d71b166d91f422091ab6e16295a69fd.3532053.1744599273000000000000.lz4

Message: Process 3532053 (rocminfo) of user 0 dumped core.

Stack trace of thread 401:

#0 0x00007f2ac16e09fc n/a (/usr/lib/x86_64-linux-gnu/libc.so.6)

[root@k8s-6-k100ai-2 ~]# coredumpctl info 3521522

PID: 3521522 (graph_capture)

UID: 0 (root)

GID: 0 (root)

Signal: 6 (ABRT)

Timestamp: Mon 2025-04-14 10:38:50 CST (22min ago)

Command Line: ./graph_capture

Executable: /opt/dtk-25.04/hip/samples/2_Advanced/hipGraph/graph_capture

Control Group: /system.slice/nerdctl-39b91d49fe20b2678270d392eac168359b5b1547cea93882f0893d3a79189010.scope

Unit: nerdctl-39b91d49fe20b2678270d392eac168359b5b1547cea93882f0893d3a79189010.scope

Slice: system.slice

Boot ID: 5d71b166d91f422091ab6e16295a69fd

Machine ID: f39dc5ca6f3d4e4c9c8f52feb3c308ef

Hostname: k8s-6-k100ai-2

Storage: /var/lib/systemd/coredump/core.graph_capture.0.5d71b166d91f422091ab6e16295a69fd.3521522.1744598330000000000000.lz4

Message: Process 3521522 (graph_capture) of user 0 dumped core.

Stack trace of thread 354:

#0 0x00007f35ff1789fc n/a (/usr/lib/x86_64-linux-gnu/libc.so.6)

使用全部卡的时候，就不会有这个问题.

2025/4/14

xingh

回复 @joy717

请问使用的什么卡，哪个镜像

2025/4/14

joy717

回复 @joy717

k100-ai.

镜像是基于：image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.4.1-ubuntu22.04-dtk25.04-rc4-vllm0.6.6-py3.10

2025/4/18

joy717

回复 @joy717

这个之前用z100也有类似问题，镜像用的其他镜像.

2025/4/18

全部8条回复

网

网友25KVHV

21楼

Writing input of failed execution to /tmp/err_execute_model_input_20250411-182610.pkl. 启动完成

NFO 04-11 18:23:05 launcher.py:27] Route: /v1/score, Methods: POST

INFO: Started server process [78867]

INFO: Waiting for application startup.

INFO: Application startup complete.

INFO: Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)

xterm-256colorINFO 04-11 18:26:09 logger.py:37] Received request cmpl-2469d76391e34f938c12e86030e68b97-0: prompt: '甲乙两班共有学生98人，甲班比乙班多6人，求两班各有多少人？', params: SamplingParams(n=1, presence_penalty=0.0, frequency_penalty=0.0, repetition_penalty=1.0, temperature=0.0, top_p=1.0, top_k=-1, min_p=0.0, seed=None, stop=[], stop_token_ids=[], bad_words=[], include_stop_str_in_output=False, ignore_eos=False, max_tokens=300, min_tokens=0, logprobs=None, prompt_logprobs=None, skip_special_tokens=True, spaces_between_special_tokens=True, truncate_prompt_tokens=None, guided_decoding=None), prompt_token_ids: [0, 88260, 1412, 3677, 19518, 2579, 3565, 470, 303, 5492, 3677, 1318, 8875, 3677, 799, 24, 470, 303, 1645, 1412, 3677, 1565, 33423, 470, 1148], lora_request: None, prompt_adapter_request: None.

INFO 04-11 18:26:09 engine.py:267] Added request cmpl-2469d76391e34f938c12e86030e68b97-0.

(RayWorkerWrapper pid=12543, ip=10.1.117.55) INFO 04-11 18:26:09 model_runner_base.py:120] Writing input of failed execution to /tmp/err_execute_model_input_20250411-182609.pkl...

(RayWorkerWrapper pid=12550, ip=10.1.117.55) WARNING 04-11 18:22:28 fused_moe.py:374] Using default MoE config. Performance might be sub-optimal! Config file not found at /usr/local/lib/python3.10/site-packages/vllm/model_executor/layers/fused_moe/configs/E=256,N=64,device_name=K100_AI.json [repeated 30x across cluster]

(RayWorkerWrapper pid=12548, ip=10.1.117.55) dcu55:12548:12548 [5] NCCL INFO ROCr version 1.1 [repeated 3x across cluster]

(RayWorkerWrapper pid=12548, ip=10.1.117.55) dcu55:12548:12548 [5] NCCL INFO Dmabuf feature disabled without NCCL_ENABLE_DMABUF_SUPPORT=1 [repeated 3x across cluster]

(RayWorkerWrapper pid=12548, ip=10.1.117.55) dcu55:12548:12548 [5] NCCL INFO NCCL_SOCKET_IFNAME set by environment to ens1f0np0 [repeated 6x across cluster]

(RayWorkerWrapper pid=12548, ip=10.1.117.55) dcu55:12548:12548 [5] NCCL INFO Bootstrap : Using ens1f0np0:10.1.117.55<0> [repeated 3x across cluster]

(RayWorkerWrapper pid=12548, ip=10.1.117.55) dcu55:12548:12548 [5] NCCL INFO NET/Plugin : Plugin load (librccl-net.so) returned 2 : librccl-net.so: cannot open shared object file: No such file or directory [repeated 3x across cluster]

(RayWorkerWrapper pid=12548, ip=10.1.117.55) dcu55:12548:12548 [5] NCCL INFO NET/Plugin : No plugin found, using internal implementation [repeated 3x across cluster]

(RayWorkerWrapper pid=12548, ip=10.1.117.55) dcu55:12548:12548 [5] /data/jenkins_workspace/workspace/rccl_release/build/hipify/src/init.cc:121 NCCL WARN NUMA auto balancing enabled which can lead to variability in the RCCL performance! Disable by "sudo sysctl kernel.numa_balancing=0" [repeated 3x across cluster]

(RayWorkerWrapper pid=12548, ip=10.1.117.55) dcu55:12548:12548 [5] NCCL INFO Kernel version: 4.18.0-372.9.1.el8.x86_64 [repeated 3x across cluster]

(RayWorkerWrapper pid=12548, ip=10.1.117.55) dcu55:12548:12548 [5] /data/jenkins_workspace/workspace/rccl_release/build/hipify/src/init.cc:142 NCCL WARN Missing "iommu=pt" from kernel command line which can lead to system instablity or hang! [repeated 3x across cluster]

(RayWorkerWrapper pid=12548, ip=10.1.117.55) dcu55:12548:12548 [5] /data/jenkins_workspace/workspace/rccl_release/build/hipify/src/init.cc:147 NCCL WARN Missing "HSA_FORCE_FINE_GRAIN_PCIE=1" from environment which can lead to low RCCL performance, system instablity or hang! [repeated 3x across cluster]

(RayWorkerWrapper pid=12548, ip=10.1.117.55) dcu55:12548:12548 [5] NCCL INFO NET/IB : Using [0]mlx5_0:1/RoCE [1]mlx5_4:1/IB [2]mlx5_5:1/IB [3]mlx5_6:1/IB [RO]; OOB ens1f0np0:10.1.117.55<0> [repeated 3x across cluster]

(RayWorkerWrapper pid=20148, ip=10.1.117.52) dcu52:20148:21242 [2] NCCL INFO Using network IB [repeated 12x across cluster]

(RayWorkerWrapper pid=20148, ip=10.1.117.52) dcu52:20148:21242 [2] NCCL INFO comm 0x557a838898a0 rank 10 nranks 32 cudaDev 2 busId 32000 commId 0x6a90f6b813ee8a3e - Init START [repeated 12x across cluster]

(RayWorkerWrapper pid=12548, ip=10.1.117.55) dcu55:12548:12548 [5] NCCL INFO /data/jenkins_workspace/workspace/rccl_release/build/hipify/src/transport/net_ib.cc:323 -> 2 [repeated 3x across cluster]

(RayWorkerWrapper pid=12548, ip=10.1.117.55) dcu55:12548:12548 [5] NCCL INFO rocm_smi_lib: version 2.8.0.0 [repeated 3x across cluster]

(RayWorkerWrapper pid=12548, ip=10.1.117.55) dcu55:12548:12548 [5] NCCL INFO NCCL_P2P_LEVEL set by environment to LOC [repeated 3x across cluster]

(RayWorkerWrapper pid=12548, ip=10.1.117.55) dcu55:12548:13644 [5] NCCL INFO Setting affinity for GPU 5 to ffffffff,00000000 [repeated 6x across cluster]

(RayWorkerWrapper pid=20148, 请求奔溃

2025/4/11

网

网友25KVHV

20楼

ERROR 04-10 17:35:40 worker_base.py:500] Error executing method init_device. This might cause deadlock in distributed execution.

ERROR 04-10 17:35:40 worker_base.py:500] Traceback (most recent call last):

ERROR 04-10 17:35:40 worker_base.py:500] File "/usr/local/lib/python3.10/site-packages/vllm/worker/worker_base.py", line 492, in execute_method

ERROR 04-10 17:35:40 worker_base.py:500] return executor(*args, **kwargs)

ERROR 04-10 17:35:40 worker_base.py:500] File "/usr/local/lib/python3.10/site-packages/vllm/worker/worker.py", line 148, in init_device

ERROR 04-10 17:35:40 worker_base.py:500] init_worker_distributed_environment(self.vllm_config, self.rank,

ERROR 04-10 17:35:40 worker_base.py:500] File "/usr/local/lib/python3.10/site-packages/vllm/worker/worker.py", line 468, in init_worker_distributed_environment

ERROR 04-10 17:35:40 worker_base.py:500] init_distributed_environment(parallel_config.world_size, rank,

ERROR 04-10 17:35:40 worker_base.py:500] File "/usr/local/lib/python3.10/site-packages/vllm/distributed/parallel_state.py", line 968, in init_distributed_environment

ERROR 04-10 17:35:40 worker_base.py:500] torch.distributed.init_process_group(

ERROR 04-10 17:35:40 worker_base.py:500] File "/usr/local/lib/python3.10/site-packages/torch/distributed/c10d_logger.py", line 79, in wrapper

ERROR 04-10 17:35:40 worker_base.py:500] return func(*args, **kwargs)

ERROR 04-10 17:35:40 worker_base.py:500] File "/usr/local/lib/python3.10/site-packages/torch/distributed/c10d_logger.py", line 93, in wrapper

ERROR 04-10 17:35:40 worker_base.py:500] func_return = func(*args, **kwargs)

ERROR 04-10 17:35:40 worker_base.py:500] File "/usr/local/lib/python3.10/site-packages/torch/distributed/distributed_c10d.py", line 1361, in init_process_group

ERROR 04-10 17:35:40 worker_base.py:500] store, rank, world_size = next(rendezvous_iterator)

ERROR 04-10 17:35:40 worker_base.py:500] File "/usr/local/lib/python3.10/site-packages/torch/distributed/rendezvous.py", line 211, in _tcp_rendezvous_handler

ERROR 04-10 17:35:40 worker_base.py:500] store = _create_c10d_store(result.hostname, result.port, rank, world_size, timeout, use_libuv)

ERROR 04-10 17:35:40 worker_base.py:500] File "/usr/local/lib/python3.10/site-packages/torch/distributed/rendezvous.py", line 185, in _create_c10d_store

ERROR 04-10 17:35:40 worker_base.py:500] return TCPStore(

ERROR 04-10 17:35:40 worker_base.py:500] torch.distributed.DistStoreError: Timed out after 601 seconds waiting for clients. 8/32 clients joined.

ERROR 04-10 17:35:40 engine.py:366] Timed out after 601 seconds waiting for clients. 8/32 clients joined.

ERROR 04-10 17:35:40 engine.py:366] Traceback (most recent call last):

ERROR 04-10 17:35:40 engine.py:366] File "/usr/local/lib/python3.10/site-packages/vllm/engine/multiprocessing/engine.py", line 357, in run_mp_engine

ERROR 04-10 17:35:40 engine.py:366] engine = MQLLMEngine.from_engine_args(engine_args=engine_args,

ERROR 04-10 17:35:40 engine.py:366] File "/usr/local/lib/python3.10/site-packages/vllm/engine/multiprocessing/engine.py", line 119, in from_engine_args

ERROR 04-10 17:35:40 engine.py:366] return cls(ipc_path=ipc_path,

ERROR 04-10 17:35:40 engine.py:366] File "/usr/local/lib/python3.10/site-packages/vllm/engine/multiprocessing/engine.py", line 71, in __init__

ERROR 04-10 17:35:40 engine.py:366] self.engine = LLMEngine(*args, **kwargs)

ERROR 04-10 17:35:40 engine.py:366] File "/usr/local/lib/python3.10/site-packages/vllm/engine/llm_engine.py", line 274, in __init__

ERROR 04-10 17:35:40 engine.py:366] self.model_executor = executor_class(vllm_config=vllm_config, )

ERROR 04-10 17:35:40 engine.py:366] File "/usr/local/lib/python3.10/site-packages/vllm/executor/distributed_gpu_executor.py", line 26, in __init__

ERROR 04-10 17:35:40 engine.py:366] super().__init__(*args, **kwargs)

ERROR 04-10 17:35:40 engine.py:366] File "/usr/local/lib/python3.10/site-packages/vllm/executor/executor_base.py", line 36, in __init__

ERROR 04-10 17:35:40 engine.py:366] self._init_executor()

ERROR 04-10 17:35:40 engine.py:366] File "/usr/local/lib/python3.10/site-packages/vllm/executor/ray_gpu_executor.py", line 64, in _init_executor

ERROR 04-10 17:35:40 engine.py:366] self._init_workers_ray(placement_group)

ERROR 04-10 17:35:40 engine.py:366] File "/usr/local/lib/python3.10/site-packages/vllm/executor/ray_gpu_executor.py", line 277, in _init_workers_ray

ERROR 04-10 17:35:40 engine.py:366] self._run_workers("init_device")

ERROR 04-10 17:35:40 engine.py:366] File "/usr/local/lib/python3.10/site-packages/vllm/executor/ray_gpu_executor.py", line 407, in _run_workers

ERROR 04-10 17:35:40 engine.py:366] self.driver_worker.execute_method(method, *driver_args,

ERROR 04-10 17:35:40 engine.py:366] File "/usr/local/lib/python3.10/site-packages/vllm/worker/worker_base.py", line 501, in execute_method

ERROR 04-10 17:35:40 engine.py:366] raise e

ERROR 04-10 1

2025/4/10

网

网友25KVHV

19楼

最后跳过卡地方，错误如下，这啥原因

2025/4/10

panhb

回复 @网友25KVHV

麻烦检查下ray集群的启动方式以及状态吧。另外，四机的环境变量需要写到~/.bashrc中，保存后重启容器

2025/4/11

AuroraUSTC

回复 @网友25KVHV

之前我在组里的服务器上尝试部署vllm的时候碰到类似的ray worker一直不启动的问题，发现是ulimit -u太小（默认配置只有4096），启动之前设置一下比如ulimit -u 100000之类的就行了，可以试试

2025/5/22

网

网友25KVHV

18楼

pytorch vllm部署在docker，ray部署rocky机子，启动一直卡着，要不报内存泄漏

2025/4/10

网

网友25KVHV

17楼

这个实在无语了，比cuda难多了，啥都没有，遇到问题，一个个试

2025/4/10

网

网友25KVHV

16楼

你好，这个啥问题，总是卡这里

2025/4/10

renzhc

回复 @网友25KVHV

试下在启动命令前用环境变量HIP_VISIBLE_DEVICES=0,1,2,3,...（等价CUDA_VISIBLE_DEVICES）指定一下使用的卡编号

2025/4/11

网

网友pZKDfT

15楼

你好，请问z100l可以用vllm部署吗

2025/4/7

xingh

回复 @网友pZKDfT

可以的，使用vllm0.5.0

2025/4/8

网

网友fjuJuB

回复 @网友pZKDfT

vllm0.5.0可以支持deepseek-r1-32b么？32b是基于 Qwen-2.5 的吧，Qwen-2.5和vllm0.5.0是否匹配？

2025/4/9

网

网友LDpK8O

回复 @网友pZKDfT

qwen-2.5 使用 vllm0.5.0可以跑起来，就是不知道 QWQ-32B能不能跑起来，Z100L好像问题很多

2025/4/10

全部5条回复

网

网友B3ZN40

14楼

请问具体量化版本deepseek-r1要怎么部署，目前报错assert self.quant_method is not None

2025/4/7

xingh

回复 @网友B3ZN40

需要用到vllm0.7.2

2025/4/8

joy717

13楼

您好，有vllm 0.7.2的容器镜像么

2025/4/2

joy717

回复 @joy717

或者0.7.3

或者0.8.2

2025/4/2

joy717

回复 @joy717

@ghdevadmin 麻烦帮忙看一下，谢谢

2025/4/3

回复 @joy717

你好，目前我们vllm 0.7.2的镜像还在适配中

2025/4/3

全部11条回复

网

网友TGUnNB

12楼

这个问题怎么解决一下

2025/3/27

ghdevadmin

回复 @网友TGUnNB

@ANYA

2025/3/28

Bluce_Dong

11楼

HIP_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 vllm serve /workspace/DeepSeek-R1/ --served-model-name DeepSeek-R1 --port 10040 --dtype float16 --tensor-parallel-size 8 --host 0.0.0.0 --max-model-len 32768 --gpu-memory-utilization 0.9 --trust-remote-code

vllm部署DeepSeek-R1，8卡提示HIP内存溢出，实际显存也没占用，这啥原因啊？

2025/3/25

xingh

回复 @Bluce_Dong

R1模型最起码4机32卡才能跑

2025/3/26

网

网友2yCBQX

10楼

deepseek-671b-gptq-int4在vllm0.6.6部署不起来，assert self.quant_method is not None

2025/3/21

潜水1号

回复 @网友2yCBQX

详细报错信息同步一下

2025/9/4

Bluce_Dong

9楼

root@localhost:/# vllm serve /DeepSeek-R1/ --tensor-parallel-size 2 –-trust-remote-code --max-model-len 32768 --enforce-eager –-host localhost –-port 8000

usage: vllm [-h] [-v] {serve,complete,chat} ...

vllm: error: unrecognized arguments: –-trust-remote-code –-host localhost –-port 8000

请问出现这个是啥原因啊？

2025/3/20

sunjq

回复 @Bluce_Dong

参数前面的两个短横线有问题，删掉重新手动敲一下。 --trust-remote-code --host localhost --port 8000

2025/3/21

网

网友roq0Pz

8楼

请问需要安装DTK Container Toolkit么

2025/3/14

网

网友V1yHCx

7楼

export GLOO_SOCKET_IFNAME=lo

RuntimeError: Engine process failed to start 这个报错用上面这个就好了

2025/2/24

wuxiaoxiao

回复 @网友V1yHCx

2025/8/22

神

神奇小正正

6楼

老师你好，

我想咨询下， vllm serve /deepseek/git-lfs-3.5.1/DeepSeek-R1-Distill-Qwen-7B --tensor-parallel-size 2 --trust-remote-code --max-model-len 32768 --enforce-eager --host localhost --port 8000

127.0.0.1:8000 已经有了但是无法从其他机器访问需要改哪里么

2025/2/24

sunjq

回复 @神奇小正正

端口绑定到0.0.0.0

2025/2/24

网

网友uoklAc

5楼

不能弄个一键部署？

2025/2/21

潜水1号

回复 @网友uoklAc

https://developer.sourcefind.cn/codes/jerrrrry/easystart_v0.1

2025/9/4

AuroraUSTC

4楼

您好，在K100上用http://112.11.119.99:18000/others/pytorch2.4.1-ubuntu22.04-dtk25.04-rc4-vllm0.6.6-py3.10.tar.gz的容器运行DeepSeek-R1-Distill-Llama-70B的时候（模型地址https://www.modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Llama-70B）还是会在flash_attn报错：

```bash

（忽略更上层的stack）

File "/usr/local/lib/python3.10/site-packages/flash_attn/flash_attn_interface.py", line 89, in _flash_attn_varlen_forward

out, q, k, v, out_padded, softmax_lse, S_dmask, rng_state = flash_attn_cuda.varlen_fwd(

RuntimeError: HIP error: invalid device function

```

目前k100是只能用https://forum.sourcefind.cn/thread/515这个里面的flash_attn吗？这里的flash_attn和容器中的已有环境似乎也不适配。

如果用image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.5.0-dtk24.04.1-ubuntu20.04-py310-zk-v1这个容器的话，0.5版的vllm又不支持DeepSeek 70B模型config.json中rope_scaling的"rope_type": "llama3"设置。请问这个有什么解决方法吗？

2025/2/18

xingh

回复 @AuroraUSTC

https://forum.sourcefind.cn/thread/822可以参考这篇帖子，末尾提供了k100上可以直接使用的镜像

2025/2/20

AuroraUSTC

回复 @AuroraUSTC

谢谢您！我试了一下用 https://forum.sourcefind.cn/thread/822 中K100的镜像，跑ollama是没有问题的，测试了一下各种版本的DeepSeek R1都能用。但是镜像中的vllm0.5.0依然无法使用，也是出现上面的问题。有一个帖子是用Z100L跑vllm部署DeepSeek R1 70b的（https://forum.sourcefind.cn/thread/877），我这边K100的情况和帖子中一样，也在帖子下面有一些讨论。目前只能用一些trick让K100运行起vllm部署的DeepSeek R1 7b。这个是不是需要等官方后续更新软件包了？

2025/2/20

网

网友sc72Zg

3楼

拉过来的镜像启动报错

2025/2/17

xingh

回复 @网友sc72Zg

看报错您似乎部署的量化模型，需要按照lmslim

2025/2/18

网

网友Nu7N46

2楼

K100可以使用vllm进行多机多卡部署deepseek么？

2025/2/16

xingh

回复 @网友Nu7N46

可以的

2025/2/17

网

网友0KvNNt

回复 @网友Nu7N46

可以请问有 K100 的运行性能？谢谢

2025/4/29

网

网友Q1560g

1楼

量化版本的还是不行：ValueError: GGUF model with architecture deepseek2 is not supported yet.模型:https://www.modelscope.cn/models/unsloth/DeepSeek-R1-GGUF

2025/2/13

xingh

回复 @网友Q1560g

您好，gguf暂时还不支持vllm推理，可以使用ollama

2025/2/17

Flydf

回复 @网友Q1560g

辛苦了

2025/5/21