请官方技术支持回答:
海光8卡 K100AI服务器运行官方的qwen3.5_vllm镜像推理,加载模型:Qwen/Qwen3.5-122B-A,加载非常非常慢,正常吗?
完全加载完要一整天上班时间,对不对?
模型来源:https://hf-mirror.com/Qwen/Qwen3.5-122B-A10B
详细版本信息
### DTK
- 版本: DTK-26.04-rc4
- 构建时间: 2026年3月25日 16:05:35 CST
- 安装路径: /opt/dtk → /opt/dtk-26.04/dtk-26.04
### DCU驱动 (HYHAL)
- 版本: 6.3.30-V1.4.1
- 构建时间: 2026年3月19日 19:05:36
- 安装路径: /opt/hyhal → /usr/local/hyhal
- VBIOS版本: 所有8张卡均为 6.310.001200r.846907
- 内核模块: hycu, hycu-sched, hydrm_buddy, hydrm_ttm_helper, hyttm, hykcl, hy-extra 全部加载成功
启动代码如下:
```
docker run -it --rm \
--name vllm-qwen3.5-122b-bf16 \
--privileged \
--shm-size=200G \
--ipc=host \
--network=host \
--device=/dev/kfd \
--device=/dev/dri \
--cap-add=SYS_PTRACE \
--security-opt seccomp=unconfined \
--group-add video \
-v /opt/hyhal:/opt/hyhal:ro \
-v /mnt/model_ramdisk/:/model \
harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm015-ubuntu22.04-dtk26.04-glm5-0408 \
bash -c '
set -e
echo "==== [1/3] 设置环境变量 ===="
export HIP_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
export ALLREDUCE_STREAM_WITH_COMPUTE=1
export VLLM_USE_PIECEWISE=1
export VLLM_USE_FLASH_MLA=1
export USE_FUSED_RMS_QUANT=0
export USE_FUSED_SILU_MUL_QUANT=1
export VLLM_USE_GLOBAL_CACHE13=1
export VLLM_FUSED_MOE_CHUNK_SIZE=16384
export VLLM_CUSTOM_CACHE=1
export VLLM_USE_OPT_CAT=1
export VLLM_USE_FUSED_FILL_RMS_CAT=1
export VLLM_USE_LIGHTOP_MOE_SUM_MUL_ADD=0
export VLLM_USE_LIGHTOP_RMS_ROPE_CONCAT=0
export VLLM_RPC_TIMEOUT=1800000
export VLLM_NUMA_BIND=1
export VLLM_RANK0_NUMA=0
export VLLM_RANK1_NUMA=1
export VLLM_RANK2_NUMA=2
export VLLM_RANK3_NUMA=3
export VLLM_RANK4_NUMA=4
export VLLM_RANK5_NUMA=5
export VLLM_RANK6_NUMA=6
export VLLM_RANK7_NUMA=7
echo "✅ 环境变量设置完成"
echo ""
echo "==== [2/3] GPU 状态检查 ===="
rocm-smi || true
echo ""
echo "==== [3/3] 启动 vLLM 服务(BF16)===="
vllm serve /model/snapshots/$(ls /model/snapshots/) \
--host 0.0.0.0 \
--port 8001 \
--tensor-parallel-size 8 \
--gpu-memory-utilization 0.92 \
--max-model-len 32768 \
--disable-custom-all-reduce \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--trust-remote-code
'
```
如下图一直缓慢加载(预估一天时间):