设备有两张BW100 卡,在用vllm 0.21 启动Qwen3.8-27B-Channel-INT8-w8a8 ,如果不加"--gpu-memory-utilization **0**.9" ,有张卡会掉,而且重启也不能恢复。 可能是什么原因了
https://github.com/HYGON-AI/inference-cookbook-das/blob/main/docs/model-deployment/vllm/qwen3.8.md
docker run --rm
--name vllm-hcu
--network=host
-p 8000:8000
--ipc=host
--shm-size=16G
--device=/dev/kfd
--device=/dev/mkfd
--device=/dev/dri
-v /opt/hyhal:/opt/hyhal
-v /mnt/Dev/model_vlm:/root/models
--group-add video
--cap-add=SYS_PTRACE
--security-opt seccomp=unconfined
-e HIP_VISIBLE_DEVICES=1
harbor.sourcefind.cn:5443/hcu/admin/base/vllm:0.21.0-ubuntu22.04-dtk2604-py3.10
vllm serve /root/models/Qwen3.8-27B-Channel-INT8-w8a8
--served-model-name Qwen3.8-27B-Channel-INT8-w8a8
--host 0.0.0.0
--port 8000
--gpu-memory-utilization 0.9
-tp 1
--trust-remote-code
--attention-backend FLASH_ATTN_CUSTOM
--max-num-batched-tokens 10240
--speculative-config.method mtp
--speculative-config.num_speculative_tokens 3
-q slimquant_marlin
--compilation-config '{"cudagraph_mode":"FULL","max_cudagraph_capture_size":2048}'
--speculative-config.quantization slimquant_marlin
--enable-auto-tool-choice
--tool-call-parser qwen3_coder
--reasoning-parser qwen3
初步怀疑是散热问题导致的掉卡,需要断电重启