docker run -dit \ --restart always \ --workdir=/workspace \ --ipc=host -p 8003:8000 \ --name=qwen3-30b \ -v /opt/hyhal:/opt/hyhal:ro \ -v /mnt/nvme7/Qwen:/workspace/Qwen \ --ipc=host \ --device=/dev/mkfd \ --device=/dev/dri \ --shm-size=512G \ --privileged \ --group-add video \ --cap-add=SYS_PTRACE \ -u root \ --security-opt seccomp=unconfined \ qwen3-235b:V1 \ vllm serve Qwen/Qwen3-30B-A3B-Instruct-2507 \ --host 0.0.0.0 \ --port 8000 \ --enforce-eager \ --enable-chunked-prefill \ --trust-remote-code \ --enable-chunked-prefill \ --api-key token-xxx \ --tensor-parallel-size 8 \ --gpu-memory-utilization 0.95 \ --max-model-len 256000 \ --served-model-name qwen3-30b

暂无数据