光合开发者社区-论坛

DeepSeek

提问帖

有回复

4*K100AI VLLM部署DeepSeek70B HCU使用率基本为0

2026-01-15 15:51:16

261

基础环境：X7840H0+4*K100AI images: harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.2-das1.7-py3.10-20251203 vllm启动70B模型加载完成后阶段HCU使用率基本为0；iommu已开启，单卡可正常使用；双卡/4卡问题相同，是什么原因导致的呢？

changhl

1楼

你好：看您上面发的图（ram占用也很低，服务应该还没起来），图中还是是vllm起serve的初始阶段，服务并未正式启动。
如果服务启动后，发送请求仍然有这种现象，可以同步一下启动命令哈。

1/15

Jerry

回复 @changhl

从vllm启动开始到下图这里已经两小时左右了，正常进度不会有这么慢的；之前有过服务启动后进行推理现象依旧的；

环境变量：export HIP_VISIBLE_DEVICES=0,1,2,3

export VLLM_NUMA_BIND=1

export VLLM_RANK0_NUMA=0

export VLLM_RANK1_NUMA=1

export VLLM_RANK2_NUMA=2

export VLLM_RANK3_NUMA=3

export VLLM_WORKER_MULTIPROC_METHOD=spawn

export VLLM_PCIE_USE_CUSTOM_ALLREDUCE=1

export NCCL_MIN_NCHANNELS=16

export NCCL_MAX_NCHANNELS=16

export NCCL_MIN_P2P_NCHANNELS=4

export NCCL_MAX_P2P_NCHANNELS=4

export NCCL_NCHANNELS_PER_PEER=4

export NCCL_RINGS="0 1 3 2"

export NCCL_P2P_NVL_CHUNKSIZE=131072

启动命令：VLLM_USE_V1=1 vllm serve /home/hyxino/workspace/DeepSeek-R1-Distill-Llama-70B/ --trust-remote-code --dtype float16 --max-model-len 32768 -tp 4 --gpu-memory-utilization 0.9 --served-model-name ds70 --port 8000 --api-key hyxino123

1/15

changhl

回复 @Jerry

大概率是通信慢导致的
您这边开iommu是有虚拟化的需求么？（非必需不开，会使卡间通信带宽降低）
然后可以测试一下卡间带宽，使用/opt/dtk/bin 下的BandwidthTest，BandwidthTest -a 执行

1/15

Jerry

回复 @changhl

iommu默认关闭的时候也是相同结果，现在是enable的；卡间带宽结果如下图

1/15

全部5条回复