2
Qwen3.8 性能优化挑战赛
提问帖
有回复
新人贴
【求助】K100_AI 单卡运行 sglang0.5.12-K100AI-qwen3.8-0828 定制镜像:初始化成功后首个请求必现 KERNEL VMFault
2026-09-23 11:29:18
243
各位老师好!最近在单卡 K100_AI 上尝试运行挑战赛的 SGLang 定制镜像做推理优化,遇到一个 KERNEL VMFault 问题,多轮排查没有解决,恳请各位老师和官方大佬指点,非常感谢! **环境** - 硬件:单卡 K100_AI(风冷),麒麟 V10,内核 4.19.90-89.46.v2401.ky10.x86_64 - 驱动:rock-6.4.0-V1.7.0.20260810.run(vbios 已随驱动更新为 6.314.001200r.889004) - NUMA balancing 已按 aiter 警告关闭 - 镜像:harbor.sourcefind.cn:5443/dcu/admin/base/custom:sglang0.5.12-K100AI-qwen3.8-0828 - 模型:hygon/Qwen3.8-27B-Channel-INT8-w8a8 **启动方式** - 容器参数与基线帖一致(--device /dev/kfd /dev/mkfd /dev/dri,挂载 /opt/hyhal、/sys/kernel/debug,HIP_VISIBLE_DEVICES=0) - 使用镜像内 /data/qwen38-27b-k100ai-int8-opt/scripts/launch_sglang_require_sitecustomize.py 启动 - 单卡:PYTHONPATH 指向 runtime_patch_tp1(-> dflash_tp1_final_v2) - 已按 fail-closed 契约设置 SGLANG_Q38_U036_KV_LENGTHS=16384,24576,...,65536、SGLANG_DFLASH_EARLY_TRITON_LAYERS=3,7,...,47、SGLANG_DFLASH_EARLY_TRITON_ROUNDS=8 - 主要参数:--attention-backend triton --context-length 65536 --mem-fraction-static 0.85 --chunked-prefill-size 8192 **现象** - 镜像内 14 层 K100 优化 patch 全部正常 installed(含 K100 DFlash2 TP1 Final v2) - 权重 9.9s 加载完成(28.59GB)、KV cache 分配 216706 tokens、CUDA graph 捕获全部成功 - 初始化完成后首个真实请求(server warmup)触发 KERNEL VMFault(HSA_STATUS_ERROR_EXCEPTION 0x1016),scheduler 子进程退出码 -6 **已排除(共 6 轮)** 1. attention backend:aiter / fa3 / triton 2. 驱动:rock-5.7.1-6.2.35 与 rock-6.4.0-V1.7.0 3. NUMA balancing 开 / 关 4. vbios 更新前 / 后 **想请教的问题** 这个镜像是在什么环境下验证通过的?除了上述配置还有什么环境要求(比如 iommu、HSA/内核参数、GPU 板卡批次等)?如果有推荐的 K100_AI 单卡启动参数,也恳请不吝赐教。多谢多谢!
VMFault 错误,进程崩溃
全部评论(4)
只看楼主
B
bchen
楼主
2楼
太感谢老师了!!按照 modelzoo 的 start_sglang.sh 配方(fa3 后端 + page-size 64 + mamba extra_buffer 等官方参数)改编成单卡 TP1 版本后,SGLang 已经在单卡 K100_AI 上成功运行了:权重加载、CUDA graph、warmup 全部正常,KERNEL VMFault 完全消失(之前 6 次尝试的崩溃原因正是缺少 extra_buffer + page64,导致被自动降级成 no_buffer + page_size=1)。实测对比 vLLM:短生成 11.9 tok/s、长生成 16.8 tok/s(vLLM 约 9.6~10),7 万字符大提示词也不再卡死。再次感谢老师的文档和指点!
9/23
_
_mkm3sc7k5up7
1楼
sorry,我文档编写有误,参考https://developer.sourcefind.cn/modelzoo/list/qwen3.8-int/detail?post_id=9f58e9d5-ab52-11f1-9283-0242ac150003实现
9/23
B
bchen
回复 @_mkm3sc7k5up7
太感谢老师了!我仔细看了 modelzoo 仓库的 start_sglang.sh,注意到官方脚本是 --tp-size 2 + runtime_patch_tp2 的双卡配置。想再请教一下:单卡 K100_AI(tp-size 1)是否支持这套优化?我看到镜像里有 runtime_patch_tp1(dflash_tp1_final_v2),我单卡按 TP1 patch 启动时 patch 全部 installed、权重加载和 CUDA graph 捕获都正常,但首个真实请求会触发 KERNEL VMFault——不确定是不是 TP1 路径本身未被验证。如果有单卡推荐的启动方式或参数,恳请指点,非常感谢!
9/23
_
_mkm3sc7k5up7
回复 @bchen
镜像支持tp1  tp2  tp4启动,你可以看最下面的参考链接(github)有更加详细的使用说明
9/23
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据