llm_rt_name="llm-Qwen-32B"
docker rm -f {llm_rt_name} &> /dev/null
exec docker run \
--tty \
--interactive \
--detach \
--name {llm_rt_name}
--shm-size=64g
--device=/dev/kfd
--device=/dev/dri
--log-driver json-file
--log-opt "max-size=10m"
--privileged=true
--volume /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime:ro
--volume /opt/hyhal:/opt/hyhal:ro
--volume /opt/models/Qwen/Qwen3-30B-A3B:/opt/models:ro
--env LANG=C.UTF-8
--env HIP_VISIBLE_DEVICES=0,1
--env VLLM_RANK0_NUMA=6
--env VLLM_RANK1_NUMA=7
--env OMP_NUM_THREADS=12
--publish 3002:8000
image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.8.5-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250514-fixpy-rocblas0513-alpha
python -m vllm.entrypoints.openai.api_server
--model /opt/models
--served-model-name Qwen3-30B-A3B
--tensor-parallel-size 2
--trust-remote-code
--gpu-memory-utilization 0.9
--max-num-seqs 8
--no-enable-chunked-prefill
--max-model-len 32768

暂无数据
我这正常,请排查一下环境问题。
如果还有问题,请提供一下vllm日志,以及物理机和容器内的/opt/hyhal/bin/hy-smi 命令截图#!/bin/bash
llm_rt_name="llm-Qwen-32B"
docker rm -f ${llm_rt_name} &> /dev/null
docker run \
--tty \
--interactive \
--detach \
--name ${llm_rt_name} \
--shm-size=64g \
--device=/dev/kfd \
--device=/dev/dri \
--device=/dev/mkfd \
--group-add video \
--cap-add=SYS_PTRACE \
--security-opt seccomp=unconfined \
--log-driver json-file \
--log-opt max-size=10m \
--privileged=true \
--volume /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime:ro \
--volume /opt/hyhal:/opt/hyhal:ro \
--volume /qwen3/Qwen3-30B-A3B:/opt/models:ro \
--env LANG=C.UTF-8 \
--env HIP_VISIBLE_DEVICES=0,1 \
--env VLLM_RANK0_NUMA=6 \
--env VLLM_RANK1_NUMA=7 \
--env OMP_NUM_THREADS=12 \
--publish 3002:8000 \
image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.8.5-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250514-fixpy-rocblas0513-alpha \
python -m vllm.entrypoints.openai.api_server \
--model /opt/models \
--served-model-name Qwen3-30B-A3B \
--tensor-parallel-size 2 \
--trust-remote-code \
--gpu-memory-utilization 0.9 \
--max-num-seqs 8 \
--no-enable-chunked-prefill \
--max-model-len 32768