docker run -it -d --restart always \ --name vllm-qwq-32b \ --ipc=host -p 30087:8000 \ --privileged \ --ulimit memlock=-1 --ulimit stack=67108864 \ --device=/dev/kfd --device=/dev/dri --device=/dev/mkfd \ --ipc=host --shm-size=100G --group-add video \ -v /opt/hyhal:/opt/hyhal --cap-add=SYS_PTRACE \ -v /mnt/nvme7t/:/data \ --env HIP_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \ --security-opt seccomp=unconfined \ image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.3.0-py3.10-dtk24.04.3-ubuntu20.04-vllm0.6 \ python3 -m vllm.entrypoints.openai.api_server -tp 8 \ --model /data/Qwen/QwQ-32B/ \ --gpu-memory-utilization 0.8 \ --max-num-seqs 32 \ --max-model-len 40000 \ --host 0.0.0.0 \ --port 8000 \ --api-key token-xxx \ --trust-remote-code \ --served-model-name qwq-32b

vllm serve /models/qwq-32B/ --dtype float16 --tensor-parallel-size 2，和NV使用基本一致