使用了6块DCU,如果有8块就修改一下tp=8
```bash
docker run -itd \
--device=/dev/kfd \
--privileged \
--device=/dev/dri \
--cap-add=SYS_PTRACE \
--security-opt seccomp=unconfined \
--restart always \
--name qwen \
--network host \
--ipc host \
-v /opt/hyhal:/opt/hyhal:ro \
-v /srv/disk2/workspace:/workspace \
-e HIP_VISIBLE_DEVICES=1,2,3,4,5,6 \
-e VLLM_USE_V1=0 \
-e VLLM_WORKER_MULTIPROC_METHOD=spawn \
-e VLLM_MARLIN_USE_ATOMIC_ADD=1 \
image.sourcefind.cn:5000/dcu/admin/base/vllm:0.8.5-ubuntu22.04-dtk25.04.1-py3.10 \
vllm serve Qwen3-235B-A22B-Thinking-2507-AWQ \
--tensor-parallel-size 2 \
--pipeline-parallel-size 3 \
--chat-template tool_chat_qwen_nothiking.jinja \
-q moe_wna16 \
--served-model-name Qwen3-235B-A22B-Thinking-2507-AWQ \
--max-seq-len-to-capture 10000 \
--max_model_len 10240
```
日志出现了warning, 有没有专家老师帮我解决一下
```bash
(VllmWorkerProcess pid=248) WARNING:lmslim.layers.fused_moe.fuse_moe_int4:Using default MoE config. Performance might be sub-optimal! Config file not found at /usr/local/lib/python3.10/dist-packages/lmslim/layers/fused_moe/configs/E=128,N=384,device_name=K100_AI,dtype=int4_w4a16.json
```
如果大家有更好的建议,欢迎大家提出来。比如6块DCU怎么设定TP/PP会比较好。
这是截屏,10240还是不太够用,可以自己根据需求设大一点。

模型下载地址
https://www.modelscope.cn/models/swift/Qwen3-235B-A22B-Instruct-2507-AWQ