各位老师好!最近在单卡 K100_AI 上尝试运行挑战赛的 SGLang 定制镜像做推理优化,遇到一个 KERNEL VMFault 问题,多轮排查没有解决,恳请各位老师和官方大佬指点,非常感谢!
**环境**
- 硬件:单卡 K100_AI(风冷),麒麟 V10,内核 4.19.90-89.46.v2401.ky10.x86_64
- 驱动:rock-6.4.0-V1.7.0.20260810.run(vbios 已随驱动更新为 6.314.001200r.889004)
- NUMA balancing 已按 aiter 警告关闭
- 镜像:harbor.sourcefind.cn:5443/dcu/admin/base/custom:sglang0.5.12-K100AI-qwen3.8-0828
- 模型:hygon/Qwen3.8-27B-Channel-INT8-w8a8
**启动方式**
- 容器参数与基线帖一致(--device /dev/kfd /dev/mkfd /dev/dri,挂载 /opt/hyhal、/sys/kernel/debug,HIP_VISIBLE_DEVICES=0)
- 使用镜像内 /data/qwen38-27b-k100ai-int8-opt/scripts/launch_sglang_require_sitecustomize.py 启动
- 单卡:PYTHONPATH 指向 runtime_patch_tp1(-> dflash_tp1_final_v2)
- 已按 fail-closed 契约设置 SGLANG_Q38_U036_KV_LENGTHS=16384,24576,...,65536、SGLANG_DFLASH_EARLY_TRITON_LAYERS=3,7,...,47、SGLANG_DFLASH_EARLY_TRITON_ROUNDS=8
- 主要参数:--attention-backend triton --context-length 65536 --mem-fraction-static 0.85 --chunked-prefill-size 8192
**现象**
- 镜像内 14 层 K100 优化 patch 全部正常 installed(含 K100 DFlash2 TP1 Final v2)
- 权重 9.9s 加载完成(28.59GB)、KV cache 分配 216706 tokens、CUDA graph 捕获全部成功
- 初始化完成后首个真实请求(server warmup)触发 KERNEL VMFault(HSA_STATUS_ERROR_EXCEPTION 0x1016),scheduler 子进程退出码 -6
**已排除(共 6 轮)**
1. attention backend:aiter / fa3 / triton
2. 驱动:rock-5.7.1-6.2.35 与 rock-6.4.0-V1.7.0
3. NUMA balancing 开 / 关
4. vbios 更新前 / 后
**想请教的问题**
这个镜像是在什么环境下验证通过的?除了上述配置还有什么环境要求(比如 iommu、HSA/内核参数、GPU 板卡批次等)?如果有推荐的 K100_AI 单卡启动参数,也恳请不吝赐教。多谢多谢!