1
Qwen
提问帖
有回复
新人贴
K100-AI模型部署Qwen3.6-27B运行问题求助
2026-06-27 14:20:18
337
根据官方渠道进行部署的Qwen3.6-27B模型 成功启动,使用双卡进行运行,简单的问了一句 你是谁?,检查服务,结果是0.0 tokens/s,这怎么解决??? 显卡占用情况 ![attachmentId-image.png](/api-forum/file/RedirectImage?path=20260627/1782541192369_image.jpg) 服务端 ![attachmentId-image.png](/api-forum/file/RedirectImage?path=20260627/1782541166548_image.jpg) 这个问题如何解决,求助
全部评论(5)
只看楼主
苏
苏小瓶
3楼
官方渠道在哪里,我也去看看怎么部署

7/1
LiuYi
2楼
vllm 018 mtp 3 2卡 20toks
7/1
D
dp1
1楼
用最新镜像试试呢,启动命令参考:

export VLLM_HCU_USE_CUSTOM_QUANTIZATION_GEMM=0
export VLLM_HCU_USE_CUSTOM_OPS=0

vllm serve Qwen/Qwen3.6-27B \
  -tp 2 \
  --trust-remote-code \
  --max-num-batched-tokens 10240 \
  --speculative-config.method mtp \
  --speculative-config.num_speculative_tokens 3
6/30
吕
吕达
回复 @dp1
最新的是多少版本?18 还是 23? 您两卡能跑出多少Token/s?
6/30
T
treecb
回复 @吕达
我的2卡情况:## vLLM-HCU 官方镜像部署诊断结果

### 关键发现

经过详细探查,`42.228.13.241:5000/jenkins/model_test_env/vllm:0.21.0-ubuntu22.04-dtk26.04-py3.10-20260624-2240` 镜像包含完整的海光 vLLM-HCU 生态:

| 组件 | 版本 |
|------|------|
| vLLM | 0.21.0+das.dtk2604 |
| vllm-hcu | 0.21.0+das.dtk2604 |
| PyTorch NCCL | 2.22.3 |
| DTK | 26.04 |
| hcu_ops | 编译原生库 (`.so`) |

**`vllm-hcu` 包含:**
- `torch.ops.hcu_ops.all_reduce()` — 海光自定义 all-reduce(预编译优化 kernel)
- `vllm_hcu.distributed.device_communicators.custom_all_reduce` — 替换 vLLM 默认实现
- `vllm-hcu-apply-patches` — 通过 monkey-patch 注入 vLLM
- Qwen3.5 模型补丁(`vllm__model_executor__models__qwen3_5.patch.py`)

### 阻塞问题

**DTK 26.04 的 NCCL/RCCL 在 K100 (gfx928) 上 `hipHostMalloc` segfault:**

```
ncclCommInitRank → ncclCudaHostCallocDebug → hipHostMalloc → Segfault
```

- PyTorch 内嵌 NCCL 2.22.3:`hipHostMalloc` segfault
- DTK 26.04 的 `/opt/dtk/lib/librccl.so`:同样 `hipHostMalloc` segfault
- 设置 `VLLM_NCCL_SO_PATH=/opt/dtk/lib/librccl.so` 生效但仍 segfault

**根本原因:** DTK 26.04 的 HIP 运行时 `hipHostMalloc` 在 K100 上不兼容。此镜像可能针对 gfx936/gfx938 构建,未适配 K100 (gfx928)。

### 解决路径(需决策)

1. **联系海光获取 K100 兼容镜像** — 询问是否有 DTK 25.04 版本的 vllm-hcu 包,或 DTK 26.04 的 K100 补丁
2. **混合 DTK 版本** — 在 DTK 25.04 基础镜像上安装 vllm + vllm-hcu Python 包,使用 DTK 25.04 的 RCCL(需验证兼容性)
3. **回退到已验证的 DTK 25.04 路径** — 使用 `image.sourcefind.cn:5000/dcu/admin/base/vllm:0.9.2-ubuntu22.04-dtk25.04.2-py3.10`(之前可以运行,但 ~210ms/次 all-reduce)

### 已修复的辅助问题

在探查过程中修复了:
- [`lightop/__init__.py`](qwen36-deploy/deploy_vllm_hcu.sh) ROCM_HOME 环境变量兼容
- [`/opt/dtk/.hyhal/rocm_smi/lib/`](qwen36-deploy/deploy_vllm_hcu.sh) LD_LIBRARY_PATH 缺失
- 镜像需宿主机 `/opt/hyhal` 挂载(HSA 运行时)

部署脚本已保存在 [`qwen36-deploy/deploy_vllm_hcu.sh`](qwen36-deploy/deploy_vllm_hcu.sh),解决 DTK 兼容性后可直接使用。
7/30
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据