1
运行时
提问帖
有回复
新人贴
K100单卡可以跑QWEN3.6 27B在5.8token/S,但双卡就只有0.1(基本不能跑)
2026-07-29 23:15:10
339
## 具体信息如下:INT8 双卡 TP=2 测试结论 **shm_broadcast 问题依然存在**,即使: - 两张 K100 DCU 都完全空闲(0% VRAM) - 使用 INT8 量化模型(显存需求减半) - 使用海光提供的 vLLM 0.18.1 官方镜像 ### 测试矩阵(完整) | 模型 | 精度 | 镜像 | TP | GPU 状态 | 结果 | | ----------- | ---- | -------------- | -- | -------------- | ---------------- | | Qwen3.6-27B | BF16 | vLLM 0.20.2rc1 | 1 | GPU 0 空闲 | ✅ 5.8 tok/s | | Qwen3.6-27B | INT8 | vLLM 0.18.1 | 1 | GPU 1 部分占用 | ✅ 5.2 tok/s | | Qwen3.6-27B | BF16 | vLLM 0.20.2rc1 | 2 | 双卡空闲 | ❌ shm_broadcast | | Qwen3.6-27B | INT8 | vLLM 0.18.1 | 2 | 双卡空闲 | ❌ shm_broadcast | ### 根因确认 `shm_broadcast` 超时是海光 K100 DCU 的 **DUNCCL 跨卡通信基础设施问题**,与以下因素无关: - vLLM 版本(0.18.1 / 0.20.0 / 0.20.2rc1 都失败) - 模型精度(BF16 / INT8 都失败) - GPU 显存占用(双卡空闲也失败) - 基础镜像(DTK 26.04 不同镜像都失败) ### 当前可用配置 单卡 TP=1 已稳定运行,建议继续使用。如需双卡,需要海光提供 DTK/DUNCCL 修复。 shm_broadcast 问题如何解决
全部评论(3)
只看楼主
L
lironggui
3楼
你好,我在K100AI上复测,性能如下:
attachmentId-image.png
镜像:docker pull harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.18.1-ubuntu22.04-dtk26.04-py3.10
启动命令:
export VLLM_HCU_USE_CUSTOM_QUANTIZATION_GEMM=0
export VLLM_HCU_USE_CUSTOM_OPS=0

vllm serve /module/Qwen3.6-27B-W8A8 \
  -tp 2 \
  --trust-remote-code \
  --max-num-batched-tokens 10240 \
  --speculative-config.method mtp \
  --speculative-config.num_speculative_tokens 3
问题未复现,建议你使用我的配置复测一下
8/3
L
lironggui
2楼
问题已收到,内部会尽快复现并修复
7/31
_
_mnci86ypn2gy
1楼
请问这个步骤是怎么跑起来的呀,我这边参考这个https://developer.sourcefind.cn/modelzoo/list/qwen3.6/detail?post_id=2e1c4942-4d05-11f1-8262-0242ac150003,遇到unsupported target: 'gfx926'问题
7/30
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据