docker run -dit \ --restart always \ --workdir=/workspace \ --name=qwen3-14b \ -v /opt/hyhal:/opt/hyhal:ro \ -v /mnt/data1/Qwen:/workspace/Qwen \ --ipc=host \ -p 30095:8000 \ --device=/dev/mkfd \ --device=/dev/dri \ --shm-size=512G \ --privileged \ --group-add video \ --cap-add=SYS_PTRACE \ -u root \ --security-opt seccomp=unconfined \ docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.8.4-ubuntu22.04-dtk25.04-rc7-das1.5-py3.10-20250429-dev-qwen3-only \ vllm serve Qwen/Qwen3-14B \ --enforce-eager \ --host 0.0.0.0 \ --port 8000 \ --enable-auto-tool-choice \ --tool-call-parser hermes \ --enable-chunked-prefill \ --enable-prefix-caching \ --trust-remote-code \ --api-key token-xxx \ --tensor-parallel-size 8 \ --gpu-memory-utilization 0.9 \ --served-model-name qwen3-14b

K100AI可以从https://sourcefind.cn/#/image/dcu/vllm?activeName=overview获取最新vllm镜像，使用方式与nvidia上大体相同，如：vllm serve /models/Qwen3-8B/ --host 0.0.0.0 --port 8091 --dtype float16 --tensor-parallel-size 1 --trust-remote-code --block-size 64