vllm serve /data/model/Qwen/QwQ-32B \
 --host 127.0.0.1 \
 --port 2025 \
 --served-model-name QwQ-32B \
 --gpu-memory-utilization 0.9 \
 --max-model-len 30728 \
 --enforce-eager \
 --trust-remote-code \
 --dtype bfloat16 \
 --disable-log-stats \
 --disable-log-requests \
 --api-key gdca  \
--tensor-parallel-size 2 \
 --pipeline-parallel-size 2

目前使用的是欧拉操作系统，vllm 0.6.2。硬件是K100 AI * 3 。
如果是加载的DeepSeek-R1-Distill-Qwen-32B，无论用的  tensor-parallel-size 2 还是  tensor-parallel-size 1 都可以运行，效果不一样。猜测是因为这个模型不会占满单个GPU的64G显存。
但是如果换成QWQ，在用  tensor-parallel-size 1 的时候，会提示HIP out of memory.如果

  tensor-parallel-size 2 则会提示please ensure that world_size (4) is less than than max local gpu count (3)。如何正确的使用这3块DCU正确的加载QWQ（Loading model weights took 61.0392 GB），推测这个模型会需要超过单卡64G空间。