1
数学库
提问帖
有回复
BW100 使用使用vllm 启动Qwen3.8-27B-Channel-INT8-w8a8 掉卡
2026-09-19 10:08:45
104
设备有两张BW100 卡,在用vllm 0.21 启动Qwen3.8-27B-Channel-INT8-w8a8 ,如果不加"--gpu-memory-utilization **0**.9" ,有张卡会掉,而且重启也不能恢复。 可能是什么原因了 https://github.com/HYGON-AI/inference-cookbook-das/blob/main/docs/model-deployment/vllm/qwen3.8.md docker run --rm --name vllm-hcu --network=host -p 8000:8000 --ipc=host --shm-size=16G --device=/dev/kfd --device=/dev/mkfd --device=/dev/dri -v /opt/hyhal:/opt/hyhal -v /mnt/Dev/model_vlm:/root/models --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -e HIP_VISIBLE_DEVICES=1 harbor.sourcefind.cn:5443/hcu/admin/base/vllm:0.21.0-ubuntu22.04-dtk2604-py3.10 vllm serve /root/models/Qwen3.8-27B-Channel-INT8-w8a8 --served-model-name Qwen3.8-27B-Channel-INT8-w8a8 --host 0.0.0.0 --port 8000 --gpu-memory-utilization 0.9 -tp 1 --trust-remote-code --attention-backend FLASH_ATTN_CUSTOM --max-num-batched-tokens 10240 --speculative-config.method mtp --speculative-config.num_speculative_tokens 3 -q slimquant_marlin --compilation-config '{"cudagraph_mode":"FULL","max_cudagraph_capture_size":2048}' --speculative-config.quantization slimquant_marlin --enable-auto-tool-choice --tool-call-parser qwen3_coder --reasoning-parser qwen3
全部评论(4)
只看楼主
L
liumg
1楼
可能需要看一下机器的散热是否正常。
初步怀疑是散热问题导致的掉卡,需要断电重启
9/20
U
u_1787982379
回复 @liumg
第一次掉卡,两个卡更换卡槽断电重启可以识别,第三次掉卡插拔了几次再上电也没识别
9/20
L
liumg
回复 @u_1787982379
啥机型,可以报个售后,让售后去看看

9/20
U
u_1787982379
回复 @liumg
应该是供应商给的服务器,找他们看下吧
9/20
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据