硬件是海光7490 *2 + K100_AI *6
使用的镜像是0.15.1-ubuntu22.04-dtk26.04-py3.10这个
docker pull harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.15.1-ubuntu22.04-dtk26.04-py3.10
使用的模型是
https://www.modelscope.cn/models/QuantTrio/Qwen3-235B-A22B-Thinking-2507-AWQ
启动docker指令是
docker run -it --restart unless-stoped --name qwen3-235b-a22b --network=host --ipc=host --shm-size=64G --device=/dev/kfd --device=/dev/dir --divice=/dev/mkfd -v /opt/hyhal:/opt/hyhal -v /opt/dtk-26.04:/opt/dtk-26.04:ro -v /home/ubuntu/AWQ:/model\_data --group-add video --cap-add=SYS\_PTRACE --security-opt seccomp=unconfined harbor.soucefind.cn:5443/dcu/admin/base/vllm:0.15.1-ubuntu22.04-dtk26.04-py3.10
运行vllm的指令是
vllm serve /model\_data --tensor-parallel-size 4 --enforce-eager --trust-remote-code --gpy-memory-utilization 0.9 --host 0.0.0.0 --dtype float16
会有一个提示: ALTER is not found or QuarkOCP_MX is not supported on the current platform.
然后就开始进入报错阶段,直到停止