1
2
DeepSeek
有来两个K100_AI显卡硬件,实际运行时只使用了一个显卡
2025-07-11 16:08:11
105

llm_rt_name="llm-Qwen-32B"
docker rm -f  {llm_rt_name} &> /dev/null exec docker run \ --tty \ --interactive \ --detach \ --name  {llm_rt_name}
--shm-size=64g
--device=/dev/kfd
--device=/dev/dri
--log-driver json-file
--log-opt "max-size=10m"
--privileged=true
--volume /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime:ro
--volume /opt/hyhal:/opt/hyhal:ro
--volume /opt/models/Qwen/Qwen3-30B-A3B:/opt/models:ro
--env LANG=C.UTF-8
--env HIP_VISIBLE_DEVICES=0,1
--env VLLM_RANK0_NUMA=6
--env VLLM_RANK1_NUMA=7
--env OMP_NUM_THREADS=12
--publish 3002:8000
image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.8.5-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250514-fixpy-rocblas0513-alpha
python -m vllm.entrypoints.openai.api_server
--model /opt/models
--served-model-name Qwen3-30B-A3B
--tensor-parallel-size 2
--trust-remote-code
--gpu-memory-utilization 0.9
--max-num-seqs 8
--no-enable-chunked-prefill
--max-model-len 32768

DCU性能优化
全部评论(2)
只看楼主
L
lvzhen
2楼

我这正常,请排查一下环境问题。

如果还有问题,请提供一下vllm日志,以及物理机和容器内的/opt/hyhal/bin/hy-smi 命令截图
2025/7/11
L
lvzhen
1楼

#!/bin/bash

llm_rt_name="llm-Qwen-32B"

docker rm -f ${llm_rt_name} &> /dev/null

docker run \

--tty \

--interactive \

--detach \

--name ${llm_rt_name} \

--shm-size=64g \

--device=/dev/kfd \

--device=/dev/dri \

--device=/dev/mkfd \

--group-add video \

--cap-add=SYS_PTRACE \

--security-opt seccomp=unconfined \

--log-driver json-file \

--log-opt max-size=10m \

--privileged=true \

--volume /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime:ro \

--volume /opt/hyhal:/opt/hyhal:ro \

--volume /qwen3/Qwen3-30B-A3B:/opt/models:ro \

--env LANG=C.UTF-8 \

--env HIP_VISIBLE_DEVICES=0,1 \

--env VLLM_RANK0_NUMA=6 \

--env VLLM_RANK1_NUMA=7 \

--env OMP_NUM_THREADS=12 \

--publish 3002:8000 \

image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.8.5-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250514-fixpy-rocblas0513-alpha \

python -m vllm.entrypoints.openai.api_server \

--model /opt/models \

--served-model-name Qwen3-30B-A3B \

--tensor-parallel-size 2 \

--trust-remote-code \

--gpu-memory-utilization 0.9 \

--max-num-seqs 8 \

--no-enable-chunked-prefill \

--max-model-len 32768
2025/7/11
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据