光合开发者社区-论坛

Qwen3.8 性能优化挑战赛

置顶

【作品提交区】Qwen3.8 性能优化挑战赛

2026-09-18 09:36:22

1542

各位参与挑战赛的开发者大家好，提交规则如下： · 怎么交：在论坛「Qwen3.8 性能优化挑战赛」版块的置顶帖《作品提交专区》下，以**回复**的形式提交（不要在版块另开帖，也别只甩个仓库链接）。回复要用下面的模板。 · **回复模板**：【论坛 ID】与报名信息一致（身份锚点）【参赛组别】先锋组 BW100 / 主力组 K100-AI / 开放组（卡型：\_\_\_\_）【参选榜单】吞吐榜 / 时延榜 / 双榜【成绩】吞吐 \_\_\_\_ tokens/s/卡　TTFT \_\_\_\_ ms　相对本卡型基线提升率 \_\_\_\_%（自测基线者须标注"自测基线"）【代码仓库】Gitee / GitHub 地址：\_\_\_\_ 【实测报告】见本楼正文或附件（五段式：环境声明→基线对比→优化方法→数据表格→结论与边界）【原始日志】4 类齐全：硬件驱动信息 / 启动日志 / benchmark 原始输出 / 结束统计与时间戳【声明】以上数据均在本声明环境中实测，未伪造、未拼接日志 · 报告和日志必须贴在帖内：代码仓库只是补充材料；**实测报告和原始日志要放在回复正文里或作为附件**，保证评审查得到、社区看得见。 · 截止时间：**10/18 17:59**，以你在《作品提交专区》帖下回复的发帖时间为准。截止前可以更新：每更新一次就发一条新回复、标上「第 N 版（覆盖前一版）」，以最后一条为准；截止后一律不接受修改。 · 提交就代表你同意本规则全部条款，包括第九章的授权。

一天一顿泡面

16楼

【论坛 ID】jixx
【第 2 版（覆盖前一版）】
【参赛组别】先锋组 BW100（卡型：海光 BW100，gfx936；本方案 TP2 用卡 0,1。参赛子赛道 B = SGLang，2 卡）
【参选榜单】双榜（吞吐榜 + 时延榜）
【数据补充结果】按组委会《数据补充注意事项》补齐：GSM8K 精度；ShareGPT C1/4/16/32/64；固定 4K/1K C1~C128 六档、64K/1K C1~C32 四档；SLA 最大并发；三项指标（tps/ttft 均值/tpot 均值）与官方基线逐项对比。ttft/tpot 均取平均值。

【卡型声明】实际卡型为海光 BW100（gfx936，8 卡机 dcu-node242），非 BW1000；全仓库 grep 无 "BW1000" 字样；hy-smi 快照（driver 6.3.30-V1.4.1a，VBIOS 6.314.002400Q.998009，DID 6370）见 logs/hysmi_snapshot_20261022.log。

【数据表】（均值口径；TPS 提升率 = 我方÷官方−1；TTFT/TPOT 更低为优）

2.2 ShareGPT（每轮 1000 请求 × 3 轮均值，原始逐请求 jsonl 见 result/official/P21ORCH/sg-*）：

| 档 | tps | 官方 tps | tps 对比 | ttft 均值 ms | 官方 ttft ms | ttft 对比 | tpot 均值 ms | 官方 tpot ms | tpot 对比 |
|---|---|---|---|---|---|---|---|---|---|
| C1 | 52.63 | 21.454 | +145.3% | 227.7 | 200.9 | +13.3%（更差） | 20.19 | 45.7 | −55.8%（更优） |
| C4 | 182.51 | 106.207 | +71.8% | 233.0 | 190.0 | +22.6%（更差） | 23.42 | 35.9 | −34.8%（更优） |
| C16 | 430.64 | 307.450 | +40.1% | 273.0 | 189.5 | +44.1%（更差） | 38.99 | 49.7 | −21.5%（更优） |
| C32 | 576.56 | 435.996 | +32.2% | 354.5 | 199.1 | +78.1%（更差） | 58.03 | 69.3 | −16.3%（更优） |
| C64 | 759.35 | 528.158 | +43.8% | 667.2 | 215.7 | +209.3%（更差） | 94.00 | 103.9 | −9.5%（更优） |

说明：ShareGPT 各档 TTFT 均值高于官方基线，照实列出；TPS 各档超基线，TPOT 各档均更优。

2.3 固定参数（随机固定长度，range_ratio=1）：

4K/1K 六档（2026-10-22 逐请求重跑，1 预热 + 3 正式轮均值，逐请求 ttfts/itls 见 result/4k-1k/）：

| 档 | tps | 官方 tps | tps 对比 | ttft 均值 ms | 官方 ttft ms | ttft 对比 | tpot 均值 ms | 官方 tpot ms | tpot 对比 |
|---|---|---|---|---|---|---|---|---|---|
| C1 | 46.95 | 21.195 | +121.5% | 930.9 | 官方未公开 | 官方未公开 | 20.41 | 官方未公开 | 官方未公开 |
| C8 | 255.14 | 182.734 | +39.6% | 3057.1 | 官方未公开 | 官方未公开 | 26.51 | 官方未公开 | 官方未公开 |
| C16 | 404.66 | 304.034 | +33.1% | 4544.1 | 6801 | −33.2%（更优） | 30.85 | 46.009 | −32.9%（更优） |
| C32 | 515.36 | 433.847 | +18.8% | 8333.7 | 官方未公开 | 官方未公开 | 48.02 | 官方未公开 | 官方未公开 |
| C64 | 699.57 | 545.911 | +28.1% | 15540.4 | 官方未公开 | 官方未公开 | 70.47 | 官方未公开 | 官方未公开 |
| C128 | 708.25 | 577.456 | +22.7% | 81149.3 | 官方未公开 | 官方未公开 | 78.32 | 官方未公开 | 官方未公开 |

（重跑 vs 10/1 原 grid：C64/C128 偏差 ≤0.2%；C1/C8/C32 低并发档 TPS 偏差 −3%~−10%，为共享机宿主噪声所致，逐轮数据与原因分析见 docs/data_supplement_20261022.md 3.3.1。）

（固定场景 TTFT/TPOT 基线官方未公开，唯一例外 4K C16：官方 TTFT 6801ms / TPOT 46.009ms。）

64K/1K 四档（10/1–10/2 原始 3 轮均值，逐请求 jsonl 见 result/official/P21ORCH/r64k-*）：

| 档 | tps | 官方 tps | tps 对比 | ttft 均值 ms | 官方 ttft ms | ttft 对比 | tpot 均值 ms | 官方 tpot ms | tpot 对比 |
|---|---|---|---|---|---|---|---|---|---|
| C1 | 15.69 | 13.616 | +15.2% | 16678.0 | 官方未公开 | 官方未公开 | 47.48 | 官方未公开 | 官方未公开 |
| C8 | 41.02 | 39.128 | +4.8% | 70012.6 | 官方未公开 | 官方未公开 | 107.76 | 官方未公开 | 官方未公开 |
| C16 | 42.24 | 39.199 | +7.8% | 212616.4 | 官方未公开 | 官方未公开 | 123.38 | 官方未公开 | 官方未公开 |
| C32 | 42.96 | 39.201 | +9.6% | 489386.2 | 官方未公开 | 官方未公开 | 134.34 | 官方未公开 | 官方未公开 |

2.4 SLA 最大并发（4K：TTFT p95<3s 且 TPOT p95<50ms；64K：TTFT p95<15s 且 TPOT p95<50ms）：

| 场景 | 我方最大并发 | 官方基线 | 参考 ttft 均值 ms / tpot 均值 ms | 边界证据 |
|---|---|---|---|---|
| 4K/1K | **C3**（官方 C1 的 3 倍） | C1 | C3：1212.6 / 20.70（tps 119.12） | C3 ttft p95≈2311ms<3s ✅；C4 ttft p95≈3073ms>3s ❌ |
| 64K/1K | **C0**（C1 不达标） | C0 | C1 参考：16686.3 / 47.59（tps 15.66） | C1 ttft p99=16698ms>15s ❌ |

【GSM8K 精度】P21 fix5 **96.51%**（1319 题全量，1273/1319；官方准入降幅≤2pp 口径：A 官方 96.66% / D 96.82%）

【结果仓库】https://developer.sourcefind.cn/codes/jixx/qwen38-27b-bw100-op （本次补充：docs/data_supplement_20261022.md 四表补充报告 + result/4k-1k/ 24 个逐请求 jsonl + logs/supplement_4k.log + logs/svc_P21_supplement.log + logs/hysmi_snapshot_20261022.log + result/official/P21ORCH/sla4k-c3-rr1.jsonl）

【原始日志】4 类齐全：
- 硬件/驱动：env_declare.yaml（环境声明）+ logs/hysmi_snapshot_20261022.log（hy-smi 快照，driver 6.3.30-V1.4.1a / VBIOS 6.314.002400Q.998009 / DID 6370）
- 启动：logs/svc_P21_c01.log（10/1 原始轮服务）、logs/svc_P21_supplement.log（10/22 重跑轮服务）
- benchmark 原始输出：result/official/P21ORCH/ 50 个 jsonl（ShareGPT 15 + 64K 12 + SLA 13 + C3 精扫 1，均含逐请求 ttfts/itls）+ result/4k-1k/ 24 个 jsonl（4K/1K 六档，10-22 逐请求重跑）
- 结束统计与时间戳：各 jsonl 首行 duration/completed 聚合 + logs/supplement_4k.log（重跑逐轮起止时间戳/rc）

【声明】
1. 实际卡型为 BW100（gfx936，非 BW1000），框架 SGLang 0.5.12（官方 harbor 镜像）。
2. 4K/1K 逐请求补测发生于 2026-10-22（与 10/1 原始轮同配置、同卡、同 seed，重跑 vs 原 grid 偏差见 docs/data_supplement_20261022.md 3.3.1 对照表）；64K/1K、ShareGPT、SLA 为 10/1–10/2 原始 3 轮数据。
3. ttft/tpot 均取平均值；固定场景 TTFT/TPOT 基线官方未公开处均如实标注；ShareGPT TTFT 高于基线处照实列出。
4. 以上数据均在声明环境中实测，未伪造、未拼接日志。

7小时前

codingmiao

15楼

第一版已按群聊注意事项补充内容： https://github.com/codingmiao/q38-k100ai-submission/blob/master/%E6%95%B0%E6%8D%AE%E8%A1%A5%E5%85%85%E5%9B%9E%E7%AD%94.md

10/21

huml

14楼

统一回复：大家好，本赛事进入到技术评审阶段，目前发现提交的卡型不匹配、数据基线不匹配、测试的性能数据不完整等问题，请大家移步论坛群聊【Qwen3.8 DCU性能优化挑战赛】统一沟通。

10/20

pqy

13楼

**第 1 版（首次提交）**

【论坛 ID】pqy

【参赛组别】主力组 K100-AI，SGLang 赛道，双卡 TP2。

【参选榜单】双榜（吞吐榜＋时延榜）

【成绩】

- **吞吐**：4K/1K C128，**111.50 tokens/s/卡**，相对官方同档基线 **+22.80%**。

- **时延**：4K/1K C1，**TTFT 1432.42 ms、TPOT 15.10 ms**；ShareGPT C1，**TTFT 339.43 ms**，均为均值。

- **精度**：GSM8K **96.29%（1270/1319）**。

**① 4K 输入／1K 输出：2 轮预热＋3 轮正式测试**

|---:|---:|---:|---:|---:|---:|

| C1 | 61.81 | 30.91 | 1432.42 | 15.10 | +582.66% |

| C8 | 177.87 | 88.93 | 4520.70 | 32.72 | +238.92% |

| C16 | 200.80 | 100.40 | 7473.90 | 60.39 | +171.32% |

| C32 | 207.31 | 103.66 | 61887.24 | 67.07 | +45.11% |

| C64 | 217.88 | 108.94 | 170233.94 | 67.33 | +12.09% |

| C128 | 223.00 | 111.50 | 388813.98 | 68.07 | +22.80% |

**② 64K 输入／1K 输出：1 轮预热＋2 轮正式测试**

|---:|---:|---:|---:|---:|---:|

| C1 | 19.20 | 9.60 | 29543.96 | 23.71 | +155.28% |

| C8 | 23.72 | 11.86 | 229369.41 | 53.34 | +70.33% |

| C16 | 23.50 | 11.75 | 499106.13 | 55.09 | +65.00% |

| C32 | 24.33 | 12.16 | 993040.01 | 52.79 | 无同档基线 |

**③ ShareGPT：每档单轮 1000 个请求，全部完成**

|---:|---:|---:|---:|---:|---:|

| C1 | 30.88 | 15.44 | 339.43 | 35.24 | +154.16% |

| C4 | 138.88 | 69.44 | 421.22 | 33.25 | +585.48% |

| C16 | 210.73 | 105.36 | 600.83 | 83.91 | +100.88% |

| C32 | 210.85 | 105.43 | 15100.96 | 82.09 | +25.20% |

| C64 | 206.58 | 103.29 | 44630.49 | 86.02 | −14.67% |

每卡吞吐＝双卡总吞吐÷2；多轮指标取正式轮次算术均值。

【代码仓库】

GitHub：https://github.com/DocPang/qwen3.8-27b-k100ai-w8a8-dflash2

【实测报告】

① **环境声明**：K100-AI ×2，gfx928，TP2，SGLang 0.5.12，Qwen3.8-27B SmoothQuant W8A8-INT8，BF16 KV，DFlash2。

② **基线对比**：对比官方 K100-AI／SGLang 同档基线，4K 六个并发档位吞吐全部超过基线。

③ **优化方法**：W8A8 算子与 Triton 调优表、DFlash2 投机解码、并发验证路径修复、草稿注意力与候选头优化，以及 CUDA Graph、预填充和状态缓存调度优化。

④ **数据表格**：完整成绩见上表，详细报告与复现方法见 GitHub 仓库。

⑤ **结论与边界**：双卡峰值吞吐 223.00 tokens/s，ShareGPT C1 平均 TTFT 339.43 ms。高并发时延包含排队；长上下文受预填充耗时限制，ShareGPT C64 受状态缓存容量限制。

【原始日志】

见 GitHub 仓库 `results/` 目录及 `docs/` 文档索引。

【声明】

以上数据均在本声明环境中实测，未伪造、未拼接日志。

10/18

soliderone

12楼

第 1 版（首次提交）

【论坛 ID】soliderone

【参赛组别】主力组 K100-AI

【参选榜单】双榜

【成绩】吞吐 124.08 tokens/s/卡（ShareGPT C32：248.15 tok/s 双卡）；TTFT 1110 ms（p95）；相对官方 K100AI vLLM 基线 +17.3%（官方 211.541 tok/s）；同配 TP2 自测基线 +13.7%（自测基线 218.29 tok/s）

【代码仓库】https://gitee.com/deep-wang/dcu_k100ai.git

【实测报告】见本楼正文；完整代码/报告见代码仓库 submit/，原始日志见附件 qwen38_tp2_logs.zip（48 MB）

【原始日志】4 类齐全：硬件驱动信息 / 启动日志 / benchmark 原始输出 / 结束统计与时间戳；索引见 submit/logs/README.md

【声明】以上数据均在本声明环境中实测，未伪造、未拼接日志

成绩行取“双榜”平衡点 ShareGPT C32。若只报吞吐榜，可替换为 ShareGPT C64：144.83 tokens/s/卡、TTFT 2320 ms、相对官方 263.272 tok/s 为 +10.0%；若只报时延榜，可替换为 4K C1：TTFT 2090 ms、TPOT 67.0 ms、相对官方 7.206 tok/s 为 +101.5%。全矩阵见第 4 节。

============================================================

一、测试环境

============================================================

· 硬件：Hygon K100_AI ×2，同 NUMA（0,1 / 2,3 / 4,5 / 6,7 之一）；单卡 65,520 MiB；八卡空闲时启动；跑前 hy-smi 每卡 ≤1024 MiB。

· 驱动/DTK：驱动 6.3.30-V1.4.1a；DTK 26.04；numa_balancing=1（宿主机设置，未改）。

· 镜像：harbor.sourcefind.cn:5443/hcu/admin/base/vllm:0.21.0-ubuntu22.04-dtk2604-py3.10，digest sha256:42450e69ac1b74c48b10f1990b762b2823a85cb36590a96b27cdc6387c0bc212。

· 模型：/model/Qwen3.8-27B，BF16，51.75 GiB，18 分片；结构 Qwen3_5ForConditionalGeneration：64 层（48 层 GDN linear_attention + 16 层 full_attention）、1 个 MTP 层、vision tower；text hidden 5120、24 attention heads、4 KV heads、head_dim 256；GDN 16/48 heads、head_dim 128、conv kernel 4、state fp32。

· 框架：vLLM 0.21.0+das、vllm-hcu、torch 2.10.0+das、triton 3.6.0+das、flash-attn 2.8.3+das、aiter 0.1.5。

· 启动：TP2，--distributed-executor-backend mp，--max-model-len 66560 --max-num-seqs 96 --gpu-memory-utilization 0.90，cudagraph 捕获到 2048；KV 919,009 token / 29.11 GiB。

· Benchmark：固定长度 4K/1K、64K/1K，预热 2 轮、测量 3 轮，每轮 max(8, 2×并发)；ShareGPT 每档 1000 条、3 轮、seed 20260912、temperature 0；质量 GSM8K 自建口径（全量 1319 题、0-shot、thinking 关、max_tokens 2048）。

============================================================

二、Baseline

============================================================

官方 K100AI vLLM 参照与同配 TP2 自测基线（输出 tok/s，各轮均值）：

测试点官方 K100AI vLLM TP2 原生(自测) 最终交付 vs 官方 vs 自测原生

4K C1 7.206 10.62 14.52 +101.5% +36.7%

4K C8 46.832 76.59 89.41 +90.9% +16.7%

4K C16 78.258 122.97 146.12 +86.7% +18.8%

4K C32 156.880 162.79 198.79 +26.7% +22.1%

64K C1 6.778 7.02 8.92 +31.6% +27.1%

64K C8 15.439 15.47 18.24 +18.1% +17.9%

SG C16 148.070 153.34 172.08 +16.2% +12.2%

SG C32 211.541 218.29 248.15 +17.3% +13.7%

SG C64 263.272 261.40 289.66 +10.0% +10.8%

说明：官方参照取自本包 README 第 2 节；TP2 原生是同一镜像、同一骨架、八项优化全关的自测基线。最终列中 4K C1/C8、64K C1、SG C16/C64 为 G0 前旧组合实测；其余为 G0 后。逐行“配置”见第 4 节。

============================================================

三、优化方法

============================================================

最终组合 = decode 注意力 split-KV + 87 条目 TP2 skinny GEMM + TP2 形状 GDN decode + 12 条目 TP2 prefill GEMM（G0）。全部通过 PYTHONPATH overlay 注入，不改镜像；patch/overlay.diff 可在空目录 patch -p1 还原。

1、Decode 注意力 split-KV：一个 program 处理 (sequence, kv head, split)，流式读取 KV block，同一 GQA group 的 12 个 Q head 共享一次 K/V 读取；_split_kernel 写 fp32 partial，_reduce_kernel 合并。split 数只依赖 padded batch size，CUDA graph 安全；TP2 后 HQ/KV=12/2。

2、87 条目 TP2 skinny GEMM：权重 [K,N]，每个 program 读一个 [BK,BN] tile，所有 M 行放一个 BM block，权重只读一次；SPLIT_K>1 时 fp32 partial 后 reduce。表按 (N,K,M) 精确匹配，覆盖 6 个 TP2 形状和 decode 的 15 个 cudagraph 尺寸（M≤96）。

3、TP2 GDN decode：packed recurrent kernel 增加 H=8/HV=24 分支；B≤16 用 BV16/w4/s1，B>16 用 BV32/w4/s1。

4、G0 prefill GEMM：6 个 TP2 形状 × M=2048/4096/8192 扫表，rocBLAS 基线，同形状 ≥5% 且误差 ≤0.125 入选；14 条入选去重为 12 条。冻结 max-num-batched-tokens=2048 下实际命中 M=2048 的 4 条；4K C16 +3.3%、4K C32 +4.2%、64K C8 +6.0%、SG C32 −0.1%。

未保留项：--language-model-only、hipBLASLt override、GDN chunk_o/chunk_h/post_conv、lm_head NT、GDN prefill 重调、prefill 注意力自写 kernel；原因分别是 TP2 下无收益/负收益/误差或 hang/端到端未兑现。

============================================================

四、性能结果

============================================================

输出 tok/s，各轮均值；“配置”列标注 G0 前/后。完整逐轮明细在附件 submit/logs/result/。

测试点配置 TP2 原生交付值变化交付 TTFT p95 / TPOT p95

4K C1 G0 前 10.62 14.52 +36.7% 2.09 s / 67.0 ms

4K C8 G0 前 76.59 89.41 +16.7% 15.7 s / 86.9 ms

4K C16 G0 后 122.97 146.12 +18.8% 27.71 s / 105.3 ms

4K C32 G0 后 162.79 198.79 +22.1% 56.29 s / 155.3 ms

4K C64 G0 前 191.66 223.90 +16.8% 130.8 s / 279.7 ms

4K C128 G0 前 197.17 224.45 +13.8% 454.0 s / 423.8 ms

64K C1 G0 前 7.02 8.92 +27.1% 41.7 s / 71.6 ms

64K C8 G0 后 15.47 18.24 +17.9% 304.33 s / 390.6 ms

64K C16 G0 前 16.56 17.45 +5.4% 780.7 s / 686.3 ms

ShareGPT C1 G0 后 10.77(单轮) 14.85(2轮均值) +37.9% 0.54 s / 67.2 ms

ShareGPT C4 G0 后 39.55 54.57 +38.0% 0.67 s / 77.6 ms

ShareGPT C16 G0 前 153.34 172.08 +12.2% 0.79 s / 109.0 ms

ShareGPT C32 G0 后 218.29 248.15 +13.7% 1.11 s / 163.6 ms

ShareGPT C64 G0 前 261.40 289.66 +10.8% 2.32 s / 284.7 ms

补充：

· G0 增量：4K C16 +3.3%、4K C32 +4.2%、64K C8 +6.0%、SG C32 −0.1%（持平）。

· MTP N=1 独立组（run_mtp.sh，KV 753,056，12 点实测为 G0 前组合）：4K C≤32、64K C1/C16、SG 全档为正；对第 4 节交付值，4K C16 +17.0%、4K C32 +3.7%、64K C8 −1.8%、SG C32 +16.1%；4K C64/C128 为 −5.0%/−8.8%，关 MTP。条件推荐，不混入主表。

· 质量：GSM8K 自建口径 1265/1319 = 95.91%（errors 0；相对旧组合 96.21% 为 −0.30pp，自建 1pp 阈值内）。

· SLA（PDF 4.1.3）：4K 要求 TTFT <10 s 且 TPOT <80 ms，4K C1 交付 2.09 s / 67.0 ms，最大并发 ≥1；64K 要求 TTFT <30 s 且 TPOT <100 ms，64K C1 41.7 s / 71.6 ms，最大并发 0。

· KV：919,009 token / 29.11 GiB，未因优化减少；MTP 组 KV 753,056。

============================================================

五、适用范围与 Trade-off

============================================================

· 有效区间：4K 全并发、64K 长上下文（prefill 占比越高，G0 收益越大）；ShareGPT 短 prompt 持平，不变慢也不变快。

· 代价：BF16 精度不变；GSM8K 相对旧组合 −0.30pp（阈值内）；无 KV 损失；TTFT 在 burst 下仍由 prefill 总量决定；4K SLA 仅 C1 过线，64K 仍 0。

· 绑定：gfx928 + TP2 后形状专用表；换卡/换并行度需重调。

· 已知边界：主表 14 行中 8 行为 G0 前旧组合（已逐行标注）；最终配置为 G0 后。

============================================================

六、复现

============================================================

PKG=（解包路径）/submit

HIP_VISIBLE_DEVICES=0,1 PORT=18082 bash $PKG/scripts/run.sh

curl -fsS http://127.0.0.1:18082/health

SERVE_SCRIPT=$PKG/scripts/run.sh GPU_MEM_UTIL=0.90 bash $PKG/scripts/repro_run_point.sh 0,1 18082 /tmp/repro_4k_c16 fixed 4096 16

bash $PKG/scripts/repro_gsm8k.sh 0,1 18082 /tmp/repro_gsm8k $PKG/scripts/run.sh

完整步骤、数据路径与版本见 submit/README.md 第 6 节；启动日志应出现 [TP2_FINAL] 和 87 table entries ... + 12 prefill entries。

============================================================

七、原始日志

============================================================

· 硬件/驱动：hw_before.txt、hw_after.txt、monitor.log（hy-smi）。

· 启动日志：serve.log，含完整启动参数、[DCU_OPT] 命中行、KV 与图捕获记录。

· Benchmark 原始输出：bench.out、bench/round-*、bench_round-*.out。

· 结束统计与时间戳：timestamps.txt、bench/summary.json、eval/summary.json。

· 索引：submit/logs/README.md（36 个目录、横幅口径）。

· 关键摘录：[TP2_FINAL] gpu_mem=0.90 ... attn=1 gdn_decode=1；GPU KV cache size: 919,009 tokens；4K C16 146.12 tok/s（3×PASS）；GSM8K 1265/1319 = 95.91%。

============================================================

八、声明

============================================================

以上数据均在本声明环境中实测，未伪造、未拼接日志。

10/18

zack233

11楼

第1版：Qwen3.8-27B BF16 / INT8 双方案联合提交

【论坛 ID】zack233

【参赛组别】先锋组 BW100；子赛道 B（SGLang）；单机双卡，IFB TP2。

【参选榜单】双榜：吞吐榜＋时延榜。

【环境与模型】

海光 BW100 ×2，SGLang 0.5.12，DTK 26.04。分别测试官方 BF16 权重与 Qwen3.8-27B-Channel-INT8-w8a8 权重。两种精度的配置、报告和原始日志独立归档。

【成绩一：满足 SLA 的固定长度输出吞吐】

下表为关键档位三轮正式测试平均值，所列四档均三轮通过均值 SLA；单卡吞吐为双卡输出吞吐除以2。

方案场景与并发输出吞吐 tokens/s/卡 TTFT均值 TPOT均值相对官方BF16 SLA内基线提升

BF16 4K/1K，C16 227.44 4305.29 ms 28.10 ms 148.93%

官方INT8 4K/1K，C27 348.89 4811.48 ms 31.39 ms 281.85%

BF16 64K/1K，C2 23.56 16031.06 ms 26.39 ms 246.00%

官方INT8 64K/1K，C2 28.38 12816.23 ms 21.95 ms 316.91%

SLA采用赛题文档及主办方答复的均值口径：

- 4K/1K：TTFT＜5秒，且TPOT＜50毫秒。

- 64K/1K：TTFT＜20秒，且TPOT＜60毫秒。

提升率＝（优化后单卡输出吞吐÷基线单卡输出吞吐－1）×100%。

参考分母采用官方BF16固定档表按均值SLA重算的通过档：4K为C8、91.367 tokens/s/卡；64K为C1、6.808 tokens/s/卡。

INT8另保留C28边界记录：三轮平均355.03 tokens/s/卡、合并TTFT均值4.9825秒，但其中一轮TTFT为5.0697秒、超过阈值。

【成绩二：低并发时延】

4K/1K、C1，以下为单轮正式测试：

方案 TTFT均值 / p95 TPOT均值 / p95 输出吞吐 tokens/s/卡

BF16 771.28 / 776.13 ms 12.78 / 14.80 ms 36.97

官方INT8 592.81 / 597.03 ms 9.54 / 11.30 ms 49.46

【成绩三：ShareGPT】

两种精度均完成C1/C4/C16/C32/C64，每档单轮1000个正式请求，全部1000/1000完成。完整逐档数据与相对官方BF16同档提升率见随帖报告。

其中C64：

方案输出吞吐 tokens/s/卡 TTFT均值 TPOT均值相对官方BF16同档提升

BF16 276.00 11232.45 ms 61.00 ms 4.51%

官方INT8 398.97 557.75 ms 90.59 ms 51.08%

【优化方法】

采用FA3注意力后端、HCU KV布局与连续FA路径、模型内置MTP头的EAGLE投机解码（3步、topk1、4个draft tokens），结合并发槽位与状态池配置优化。BF16采用slots32，INT8采用slots64。

两方案均使用BF16 KV、FP32 SSM，禁用custom all-reduce，保留原版GEMM。未采用PD、超过两卡的并行或SGLang 0.5.18。

同INT8权重内部参考对照：4K C16吞吐提升51.07%，ShareGPT C64提升48.29%；对应配置、测量边界和两侧原始记录见INT8报告。

【精度】

固定OpenCompass源码、本地4-shot CoT协议、temperature=0，全量1319题：

- BF16：1291/1319，97.8772%。

- 官方INT8：1287/1319，97.5739%。

- 同协议下降0.3033个百分点。

两方案均无空响应、无截断，1319条正常结束。

【代码仓库】

https://github.com/mantuoluozk/qwen38-27b-BW100

【实测报告】

附件：

- REPORT_BF16.md

- REPORT_INT8.md

均按“环境声明→基线对比→优化方法→数据表格→结论与边界”五段式组织。

【原始日志与复现材料】

随帖独立提交包：

- qwen38-bw100-sglang-bf16-20261016.tar.gz

- qwen38-bw100-sglang-int8-20261016.tar.gz

每包包含四类证据：硬件驱动信息、完整服务启动日志、benchmark原始输出、结束统计与时间戳；另附启动/测试脚本、配置、结果索引及逐文件校验清单。

【测量与适用边界】

固定长度全档与ShareGPT每档为单轮正式测试，关键SLA边界另有三轮完整复测；不将单轮结果称为三轮。保留p95和逐轮记录，不混淆均值与分位数。所列稳妥档位是已测结果，不宣称未经测试的全局最优。Demo启动与访问脚本已提供。

【声明】

以上数据均在所声明环境中实测，未伪造、未拼接原始日志。BF16与INT8分别归档，超限结果及适用边界如实保留。

10/18

zack233

回复 @zack233

第二版：补充部分测试数据

【论坛 ID】 zack233

【参赛组别】先锋组 BW100，子赛道 B（SGLang），双卡 TP2、IFB；分别提交 BF16 与官方 Channel-INT8 W8A8 两种精度方案。

【参选榜单】双榜：吞吐榜＋时延榜。

【数据补充结果】

已按官方最新要求补齐两种精度的：

- GSM8K 精度；

- ShareGPT C1/C4/C16/C32/C64；

- 固定 4K/1K C1/C8/C16/C32/C64/C128；

- 固定 64K/1K C1/C8/C16/C32；

- SLA 最大已测并发，以及 TPS、TTFT、TPOT 与官方基线的逐项对比。

SLA 边界结果如下，TTFT、TPOT 均取平均值，吞吐为单卡输出 tokens/s：

精度场景合并均值满足SLA的最高已测并发单卡吞吐 TTFT均值 TPOT均值逐轮通过

BF16 4K/1K C19 238.49 4986.25 ms 32.04 ms 1/3

BF16 64K/1K C2 23.56 16031.06 ms 26.39 ms 3/3

官方INT8 4K/1K C28 355.03 4982.53 ms 31.89 ms 2/3

官方INT8 64K/1K C3 30.78 15770.74 ms 31.69 ms 3/3

说明：合并均值通过不等于每轮通过。BF16 4K 三轮全部通过的最高已测并发为 C18，INT8 为 C27；超限轮次完整保留。4K SLA 为 TTFT＜5秒且 TPOT＜50毫秒；64K 为 TTFT＜20秒且 TPOT＜60毫秒。

【GSM8K精度】

精度正确数 / 总题数准确率

BF16 1291/1319 97.8772%

官方INT8 1287/1319 97.5739%

【结果仓库】

https://github.com/mantuoluozk/qwen38-27b-BW100

【完整实测报告】

BF16：https://github.com/mantuoluozk/qwen38-27b-BW100/blob/main/docs/supplement-20261021/bf16.md

INT8：https://github.com/mantuoluozk/qwen38-27b-BW100/blob/main/docs/supplement-20261021/int8.md

两份报告均包含完整档位、三项指标及各指标与原官方 BF16 均值基线的对比，提升率公式和单位均已注明。

【原始日志】

https://github.com/mantuoluozk/qwen38-27b-BW100/tree/main/submissions/20261021

新增补测的1262个正式请求全部成功且输入、输出长度精确，四类日志齐全：硬件驱动信息、服务启动日志、benchmark原始输出、结束统计与时间戳，并附SHA256校验。

【声明】

实际卡型为BW100，框架为SGLang 0.5.12。新增补测发生于2026年10月21日，原提交包及原始日志不覆盖。固定档及ShareGPT为单轮正式测试，关键边界为三轮；未将单轮结果冒称三轮。以上数据均在声明环境中实测，未伪造、未拼接日志。

10/21

u_1790148224

10楼

【论坛 ID】g_9xpikndp

【参赛组别】开放组（卡型：BW1000 ×2，TP=2；SGLang 赛道）

【参选榜单】双榜（吞吐榜 + 时延榜）

【成绩】

以下提升率均相对本卡型历史自测基线：

- ShareGPT C64：输出吞吐 285.43 tokens/s/卡（双卡合计 570.86），平均 TTFT 1309.37 ms，吞吐提升 102.55%。

- ShareGPT C1：平均 TTFT 182.10 ms，平均 TPOT 38.67 ms。

- 固定 4K/1K C16：三轮平均输出吞吐 195.43 tokens/s/卡，提升 6.14%；平均 TTFT 2551.15 ms，下降 52.39%。

- GSM8K 历史实测：准确率 96.35%（5-shot，实际评分 1314 题，正确 1266 题）。

- 其他固定长度档位整体变化有限，64K 场景与基线基本持平。

【代码仓库】

[GitHub：qwen38-bw1000-sglang-submission](https://github.com/02xdcl/qwen38-bw1000-sglang-submission)

【实测报告】见本楼正文：

① 环境声明

Qwen3.8-27B BF16，BW1000 双卡 TP=2；SGLang 0.5.12+das185、PyTorch 2.10、Triton 3.6、DTK 26.04。主要配置记录包括 chunked prefill 8192、max prefill tokens 16384、schedule conservativeness 0.4。

② 基线对比

采用本卡型历史自测基线。固定长度测试每档三轮取均值；ShareGPT 每档单轮 1000 个成功请求。每卡吞吐为双卡输出吞吐÷2，提升率按“（复测值－基线值）÷基线值”计算。

③ 优化方法

围绕 SGLang 请求调度、Chunked Prefill 和连续 Decode 步数开展调优，结合 Profiling 分析 GEMM、Gated DeltaNet 与跨卡通信开销，评估不同并发负载下的吞吐与响应延迟。

④ 数据表格

|---|---:|---:|---:|

| 4K/1K C16 | 368.24 → 390.86 | +6.14% | 2551.15 |

| ShareGPT C1 | 21.15 → 25.38 | +20.00% | 182.10 |

| ShareGPT C4 | 80.30 → 112.07 | +39.56% | 207.46 |

| ShareGPT C16 | 184.24 → 320.15 | +73.77% | 231.10 |

| ShareGPT C32 | 239.20 → 467.39 | +95.40% | 264.25 |

| ShareGPT C64 | 281.84 → 570.86 | +102.55% | 1309.37 |

GSM8K 历史测试采用 Temperature=0、5-shot、最大生成长度 2048 tokens，实际评分 1314 题，正确 1266 题，准确率 96.3470%，耗时 2990.85 秒。

⑤ 结论与边界

现有跨会话自测对照中，ShareGPT 吞吐提升最高 102.55%，4K 部分并发档位的首 Token 延迟明显改善，64K 整体基本持平。上述结果对应所列负载与测量轮次；

【原始日志】

见仓库 [source/results/](https://github.com/02xdcl/qwen38-bw1000-sglang-submission/tree/main/source/results) 与 [source/experiments/](https://github.com/02xdcl/qwen38-bw1000-sglang-submission/tree/main/source/experiments)，包含已归档的服务启动日志、benchmark 原始输出（`.log` / `.jsonl`）、结束统计及时间记录。

【声明】

以上数据均在所述环境中实测，未伪造、未拼接日志。

10/18

u_1790148224

回复 @u_1790148224

第二版

【论坛 ID】g_9xpikndp

【参赛组别】开放组（卡型：BW1000 ×2，TP=2；SGLang 赛道）

【参选榜单】双榜（吞吐榜 + 时延榜）

一、原有成绩

以下提升率均相对本卡型历史自测基线。

- ShareGPT C64：输出吞吐 285.43 tokens/s/卡，双卡合计 570.86 tokens/s，平均 TTFT 1309.37 ms，吞吐提升 102.55%。

- ShareGPT C1：平均 TTFT 182.10 ms，平均 TPOT 38.67 ms。

- 固定 4K/1K C16：三轮平均输出吞吐 195.43 tokens/s/卡，双卡合计 390.86 tokens/s，吞吐提升 6.14%；平均 TTFT 2551.15 ms。

- GSM8K 历史实测：5-shot，实际评分 1314 题，正确 1266 题，准确率 96.3470%。

- 固定长度测试：此前结果显示，64K 场景相对历史基线整体基本持平。

二、测试环境

Qwen3.8-27B BF16，BW1000 双卡 TP=2；SGLang 0.5.12+das185、PyTorch 2.10、Triton 3.6、DTK 26.04。

主要服务配置包括 chunked prefill 8192、max prefill tokens 16384、schedule conservativeness 0.4。

三、历史基线与 ShareGPT 测试

采用本卡型历史自测基线。固定长度测试按每档三轮正式测试取均值；ShareGPT 每档单轮 1000 个成功请求。每卡吞吐为双卡总输出吞吐除以 2，提升率按“（复测值－基线值）÷基线值”计算。

|---|---:|---:|---:|

| 4K/1K C16 | 368.24 → 390.86 | +6.14% | 2551.15 |

| ShareGPT C1 | 21.15 → 25.38 | +20.00% | 182.10 |

| ShareGPT C4 | 80.30 → 112.07 | +39.56% | 207.46 |

| ShareGPT C16 | 184.24 → 320.15 | +73.77% | 231.10 |

| ShareGPT C32 | 239.20 → 467.39 | +95.40% | 264.25 |

| ShareGPT C64 | 281.84 → 570.86 | +102.55% | 1309.37 |

ShareGPT 测试中，吞吐提升随并发增加而扩大。C64 的双卡总输出吞吐达到 570.86 tokens/s，但 TTFT 同时上升至 1309.37 ms，体现了高并发吞吐与请求响应延迟之间的权衡。

四、新增：固定长度 SLA 并发测试

本次新增 4K、64K 两种输入长度的系统性并发扫描，用于观察不同输入规模下的吞吐、首 Token 延迟和单 Token 输出延迟。

测试配置：

- 输入长度：4096 tokens（4K）、65536 tokens（64K）。

- 输出长度：1024 tokens。

- 数据集：随机生成（random），固定随机种子 1。

- 请求速率：无限制（request-rate inf），由最大并发参数控制。

- 预热：每档两轮；正式测试：每档三轮，以下数据为三轮均值。

- 成功请求数：每轮为设定并发数的两倍。

- 汇总范围：4K 的 C1、C8、C16、C32、C64、C128；64K 的 C1、C8、C16、C32。

4.1 4K 输入并发测试

|---:|---:|---:|---:|---:|---:|

| C1 | 8 | 326.31 | 25.10 | 599.38 | 39.29 |

| C8 | 16 | 74.21 | 220.80 | 1639.70 | 34.66 |

| C16 | 32 | 83.43 | 392.78 | 2555.38 | 38.27 |

| C32 | 64 | 116.52 | 562.46 | 7250.03 | 49.85 |

| C64 | 128 | 232.63 | 563.42 | 22240.67 | 75.00 |

| C128 | 256 | 429.78 | 609.95 | 98424.69 | 74.98 |

4.2 64K 输入并发测试

|---:|---:|---:|---:|---:|---:|

| C1 | 8 | 466.73 | 17.55 | 10485.51 | 46.78 |

| C8 | 16 | 347.62 | 47.13 | 57903.72 | 93.75 |

| C16 | 32 | 674.47 | 48.58 | 183978.08 | 96.21 |

| C32 | 64 | 1370.00 | 47.84 | 435666.70 | 99.85 |

五、GSM8K 精度测试

GSM8K 历史测试采用 Temperature=0、5-shot、最大生成长度 2048 tokens。实际评分 1314 题，正确 1266 题，准确率为：

1266 / 1314 = 96.3470%

测试耗时 2990.85 秒。该结果为历史精度测试数据，不应与本次固定长度性能测试混为同一轮实验。

六、优化方法与分析

优化工作围绕 SGLang 请求调度、Chunked Prefill 和连续 Decode 步数开展，并结合 Profiling 分析 GEMM、Gated DeltaNet 与跨卡通信开销，评估不同并发负载下的吞吐与响应延迟。

七、结论与适用边界

在 BW1000 双卡 TP=2 环境下，现有 ShareGPT 历史自测对照中，C64 输出吞吐提升达到 102.55%。新增固定长度 SLA 并发测试进一步补充了 4K 和 64K 输入下的吞吐与延迟曲线：4K 在高并发下仍有一定吞吐增长，但延迟代价显著；64K 则较早出现吞吐平台，继续增加并发的收益有限。

以上结论仅适用于所列模型、硬件、服务配置、输入输出长度和测试轮次。历史基线对比、ShareGPT 榜单数据、固定长度并发扫描及 GSM8K 精度结果分别记录，不将不同测试口径的数据混合计算。

八、代码仓库与原始测试材料

GitHub：`qwen38-bw1000-sglang-submission`

本次固定长度扫描共 10 个档位、30 轮正式测试，导出记录中 30 轮均标记为通过，未重新运行或修改原始压测日志。

【声明】以上数据来自所列环境中的实测与历史归档。不同测试使用不同负载与统计口径，相关结论仅在对应测试条件下成立。

10小时前

maxKonger

9楼

【论坛 ID】[maxKonger]

【参赛组别】先锋组 BW100 + Sglang 赛道+ 2GPU（tp=2,model=Int8-w8a8）

【参选榜单】双榜 (吞吐榜 + 时延榜)

【成绩】吞吐 405.46 tokens/s/卡　TTFT 609 ms　相对本卡型基线提升率峰值吞吐提升 40.43%（单路最高提升 77.64%），首字时延最高降低 41.98%，SLA 并发提升 100%

【代码仓库】GitHub 地址：https://github.com/egtoken-ai/q38-bw100-sglang

【实测报告】见项目比赛报告.md, result 目录

【原始日志】见项目logs目录和result目录

【声明】以上数据均在本声明环境中实测，未伪造、未拼接日志

10/18

咕

咕咕咕

8楼

【论坛 ID】 g_exhyd6h6和mdpnu709axzw

【参赛组别】主力组 K100-AI（卡型：海光K100-AI，gfx928，128 CU，64GB显存/卡；本方案TP2，SLA主成绩用卡0、1；ShareGPT C1用卡4、5，其余主表档位用卡6、7）

【参选榜单】 SGLang赛道：吞吐榜＋时延榜

【成绩】

- 吞吐榜（SLA）： 4K-in/1K-out，已测SLA三轮均通过的最高档 C7，输出吞吐 102.1990 tokens/s/卡（TP2聚合204.3980 tokens/s÷2卡）；TTFT均值 4478.06 ms、P95均值 8992.07 ms；TPOT P95均值 34.29 ms。

- 时延榜（SLA）： 4K-in/1K-out，C1，TTFT均值 1302.72 ms、P95均值 1308.81 ms；TPOT P95均值 17.24 ms，输出吞吐 28.6806 tokens/s/卡。

ShareGPT： C1 / C4 / C16 / C32 / C64输出吞吐（两卡聚合）：54.5359 / 144.5965 / 326.2182 / 419.7877 / 416.8612 tokens/s；相对官方baseline提升率：+348.85% / +613.70% / +210.97% / +149.25% / +72.19%。各档取三轮正式测试均值，排除预热；C64采用最新复核值。

自测基线： ShareGPT C32，同卡对v1／v1-return六轮正式测试均值为 194.6361 tokens/s/卡，本方案为 209.8939 tokens/s/卡，提升 7.84%。

本方案成绩取三轮正式测试对应统计的算术均值，排除预热；P95为三轮P95的均值。4K SLA按每轮TTFT P95＜10秒、TPOT P95＜80 ms分别判定。官方TPS按两卡聚合口径与本机TP2对比，提升率＝（本机TPS÷官方TPS－1）×100%；镜像、上下文、预热及同机并行条件差异见报告，表列对照不作为同期隔离A/B收益。

【代码仓库】

GitHub：https://github.com/gugugu-b/qwen3.8-k100-ai-int8

【实测报告】

《Qwen3.8-27B K100-AI SGLang性能优化报告》

https://github.com/gugugu-b/qwen3.8-k100-ai-int8/blob/main/v2/submit/docs/性能优化报告.md

报告按“环境声明→基线对比→优化方法→数据表格→结论与边界”组织，完整保留38组测量、114轮正式测试及适用范围。本简介新增的官方对照采用本次提供的《hygon_baseline.xlsx》，作为随帖材料。

【原始日志】四类齐全，以下路径均相对GitHub仓库根目录：

1. 硬件驱动信息

v2/submit/result/evidence/environment-declaration-20261017/

含CPU、内存、存储、驱动、拓扑、宿主／容器OS及框架依赖版本。

2. 启动日志

4K C1服务：v2/submit/logs/community-official-20261017-c-p01-server/server.log

4K C7服务：v2/submit/logs/community-official-followup-20261017-d-p01-server/server.log

ShareGPT C32服务：v2/submit/logs/v2_benchmark_raw/final/sharegpt/c32/service/server.log

3. benchmark原始输出

4K C1：v2/submit/logs/v2_benchmark_raw/final/random/4k-c1/

4K C7：v2/submit/logs/v2_benchmark_raw/final/sla/4k-c7/

ShareGPT各档：v2/submit/logs/v2_benchmark_raw/final/sharegpt/

含预热与正式轮记录、统计结果、压测命令及执行日志。其他C64批次详见：v2/submit/docs/性能总表.md

4. 结束统计和时间戳

各档原始目录保留汇总统计、完成状态及时间记录。

【声明】

以上数据均在本声明环境中实测，原始日志完整保留，未伪造、未拼接日志。

10/18

liust

7楼

【论坛 ID】 liust

【参赛组别】主力组 K100-AI（卡型：海光 K100-AI，gfx928，120 CU，64GB HBM/卡；本方案 TP2 用卡 0,1）

【参选榜单】双榜（吞吐榜 + 时延榜）

【成绩】

吞吐榜（4K-in/1K-out @ C16 = SLA 最大并发档，TP2 聚合 233.27 tok/s）：

• 吞吐 116.6 tokens/s/卡（233.27 ÷ 2），TTFT 1639 ms（C16 均值，SLA 判分口径），TPOT 67.02 ms

• 相对本卡型基线：官方 baseline（K100-AI / SGLang 0.5.12）4K SLA 最大并发 = 0 → 本方案 C16；

4K/1K 逐档提升率（C1/C8/C16/C32）：+12% / +87% / +215% / +139%

64K 吞吐榜（64K-in/1K-out @ C1 = SLA 最大并发档，TP2 聚合 26.27 tok/s）：

• 吞吐 13.1 tokens/s/卡（26.27 ÷ 2），TTFT 2951 ms（C1 均值），TPOT 35.36 ms

• 相对本卡型基线：官方 baseline 64K SLA 最大并发 = 0 → 本方案 C1；

64K/1K 提升率（C1/C8）：+249% / +304%

时延榜（4K-in/1K-out @ C1）：

• TTFT 554 ms（均值）/ TPOT 26.26 ms，吞吐 18.7 tokens/s/卡（37.35 ÷ 2）

【代码仓库】

https://github.com/BGODYU/qwen38

【实测报告】

见 https://github.com/BGODYU/qwen38/blob/main/README.md

【原始日志】4 类齐全（仓库 logs/ + result/）：

• 硬件驱动信息 — env_declare.yaml（hy-smi 快照 + DTK 2604 + 驱动栈 + 宿主机/容器 OS + torch/sglang 版本）

• 启动日志 — logs/server_startup_1016.log（含 25 个启动参数）

• benchmark 原始输出 — result/raw/（4K-C1/C8/C16/C32、64K-C1/C8，共 7 档；每档 summary.json + requests.jsonl）

• 结束统计与时间戳 — result/sla_verdict.csv、result/rounds.csv、result/summary_table.csv

【声明】

以上数据均在本声明环境中实测，未伪造、未拼接日志。

10/17

zhy1999

6楼

【论坛 ID】zhy1999 【参赛组别】先锋组 BW100（卡型：海光 BW100，gfx936，64GB HBM/卡；本方案 TP2 用卡 0,1。参赛子赛道 A = vLLM，2 卡）【参选榜单】双榜（吞吐榜 + 时延榜）【成绩】吞吐榜（4K-in/1K-out @ C32 = SLA 最大并发档（p50 判分口径）/ C8（p95 判分口径），TP2 聚合 546.0 ÷ 2）：吞吐 273.0 tokens/s/卡，TTFT 2950 ms（C32 p50；p95 18360 ms），TPOT 44.0 ms（p50）/ 70.6 ms（p95）时延榜（4K-in/1K-out @ C1）：TTFT 716 ms（p50）/ 718 ms（p95），TPOT 20.7 ms（p50）/ 24.3 ms（p95），吞吐 24.0 tokens/s/卡（TP2 聚合 47.9 ÷ 2）基线（官方基线帖 2026-09-22，BW100 / vLLM 0.21.0，TP2，非自测基线）： • 4K/1K 输出吞吐六档：C1 +132% / C8 +153% / C16 +88% / C32 +53% / C64 +20% / C128 +27% • 64K/1K 输出吞吐四档：C1 +48% / C8 +73% / C16 +85% / C32 +88% • SLA 最大并发：4K 官方 C1 → 本方案 C32（p50 口径）/ C8（p95 口径：C8 p95 TTFT 4.63s < 5s、TPOT p95 31.6ms < 50ms；C16 起 p95 超线）；64K 官方 0（C1 即不达标）→ 本方案 C1（p95 TTFT 17.5s < 20s、TPOT p95 56.3ms < 60ms，贴线通过）精度：GSM8K 95.4511%（1319 题全量，门槛 95.0 过线；对官方基线 97.0 降幅 1.55pp ≤ 2pp），见报告 §5.3；其余三项（LiveCodeBench/RealWorldQA/MathVision）按当前提交范围不执行稳定性：随机数据 10 档 33 轮零失败（每档 status=PASS、successful_rounds=3/3）；ShareGPT 五档 15 轮全部 1000/1000 成功，成功率 100% 【代码仓库】https://github.com/zhy1999/q38-bw100-vllm 【实测报告】五段式全文见仓库 result/REPORT.md（环境声明→基线对比→优化方法→数据表格→结论与边界，含全部数据表）；原始日志 4 类与代码补丁链均已在仓库中可复现（patch/apply.sh + verify.sh + SHA256SUMS）。【原始日志】4 类齐全（仓库 logs/ + result/ + config/，全部未截断）： • 硬件驱动信息：config/env_declare.yaml（卡型 BW100/OS/DTK dtk2604/镜像/框架版本）+ logs/start_server.log（平台插件 hcu 激活、vLLM 0.21.0 banner） • 启动日志：logs/start_server.log（2026-10-15 17:10 目标机实测启动全量输出，含全部启动 flag/env） • benchmark 原始输出：result/fixed/（10 档 × round-01..03 逐请求 requests.jsonl + 每档 summary.json + 2 轮 warmup 预热 + config.json，共 130 文件） • 结束统计与时间戳：各档 summary.json（status=PASS / successful_rounds=3 / 每轮 wall_time_s）；全过程日志 logs/bench.log、ShareGPT logs/sharegpt_full.log、GSM8K logs/gsm8k_run.log 【声明】以上数据均在本声明环境中实测，未伪造、未拼接日志。 ---

10/17

5楼

**第 1 版**

【论坛 ID】myrfy001

【参赛组别】开放组·K500SM_AI（SGLang 赛道）

【参选榜单】吞吐榜 + 时延榜（双榜）

【成绩】

- 4K SLA 最大并发 C32：输出吞吐 251.38 tok/s/卡（两卡聚合 502.76），TTFT 均值 8437 ms，TPOT 均值 51.62 ms；官方基线同档 71.43 tok/s/卡（聚合 142.864），提升率 +252%

- 64K SLA 最大并发 C1：输出吞吐 15.59 tok/s/卡（两卡聚合 31.17），TTFT 均值 17929 ms，TPOT 均值 14.58 ms；官方基线同档 3.76 tok/s/卡（聚合 7.52），提升率 +315%

- ShareGPT C1 / C4 / C16 / C32 / C64 输出吞吐（两卡聚合）：64.73 / 170.33 / 326.35 / 398.72 / 474.47，提升率 +433% / +741% / +211% / +137% / +96%

- SLA 最大并发（赛题文档均值口径）：4K 32、64K 1；官方基线帖 4K 0、64K 0

【代码仓库】https://github.com/myrfy001/qwen38-k100ai-sglang

【实测报告】论坛无法上传附件，见GitHub仓库report.md

【原始日志】论坛无法上传附件，见GitHub仓库logs目录（硬件驱动、启动、benchmark 原始输出含 P99、结束统计与时间戳四类；精度逐题记录）

【声明】以上数据均在本声明环境中实测，未伪造、未拼接日志。

---

**日志与时间戳**：按主办方 10-04 答复第 8 条，以带时间戳的纯文本日志代替截图，见附件 `logs/04_summary_timestamps/` 与 `logs/05_timestamped_text/`。

10/16

ghu_32865a800

4楼

【论坛 ID】ghu_32865a800

【参赛组别】先锋组 BW100（卡型：海光 BW100，gfx936，64GB HBM/卡；本方案 TP2 用卡 0,1。参赛子赛道 A = vLLM，2 卡）

【参选榜单】双榜（吞吐榜 + 时延榜）

【成绩】

吞吐榜（4K-in/1K-out @ C8 = SLA 最大并发档，TP2 聚合 440.5 ÷ 2）：吞吐 220.3 tokens/s/卡，TTFT 4156 ms（C8 p95，SLA 判分口径；p50 1100 ms），TPOT 14.3 ms（p50）/ 19.0 ms（p95）

时延榜（4K-in/1K-out @ C1）：TTFT 610 ms（均值）/ 620 ms（p95），TPOT 10.0 ms，吞吐 45.2 tokens/s/卡（TP2 聚合 90.3 ÷ 2）

基线（官方基线帖 2026-09-22，BW100 / vLLM 0.21.0 / BF16，非自测基线）：

• 4K/1K 输出吞吐六档：C1 +338% / C8 +305% / C16 +212% / C32 +147% / C64 +105% / C128 +105%

• 64K/1K 输出吞吐四档：C1 +311% / C8 +219% / C16 +209% / C32 +205%

• SLA 最大并发：4K 官方 C1 → 本方案 C8；64K 官方 0（C1 即不达标）→ 本方案 C1（TTFT 12.1s，20s 线，裕量近一倍）

精度：

• GSM8K 95.45%（全量 1319 题，门槛 95.0 过线；对官方基线 97.0 降幅 1.55pp ≤ 2pp）

• RealWorldQA 76.99%（765 题全量）、MathVision 81.91%（304 题全量）：自写 judge 自测，绝对值偏低是 judge 口径更严（BF16 对照同口径也只有 77.12% / 79.28%，官方基线 85.9 / 90.0）

• 精度对照：官方 BF16 权重同题集逐题配对 + McNemar 精确检验，GSM8K 1319 题 Δ=−0.15pp、RWQA Δ=−0.13pp、MathVision Δ=+2.63pp，都在噪声范围内，量化 + 投机解码没有可测的精度损失（logs/acc10/gsm8k_full_* 与 *_bf16_* 逐题记录，paired_acc.py 可复算）

• LiveCodeBench 自写 harness 前 100 题 75.0%（公共用例口径，非官方 private test），以官方 harness 复测为准

稳定性：随机数据 10 档 33 轮零失败；ShareGPT 五档 15 轮全部 1000/1000，同档波动 <0.5%（C1 ~78 → C64 ~1106 tok/s）；输出确定性已验证（固定 cache_salt 冷启动两次同 prompt 逐字符一致）

【代码仓库】https://gitee.com/liu-xincheng_66_66/qwen-opt

【实测报告】见仓库根目录《实测报告_Qwen38_vLLM_BW100.md》（五段式：环境声明→基线对比→优化方法→数据表格→结论与边界）；仓库内同步见 submit/REPORT.md。可运行 Demo：video/demo.mp4（启动与访问方式见 DEMO.md）

【原始日志】4 类齐全（仓库 submit/logs/，全部带时间戳未截断）：

• 硬件驱动信息：baseline_hwinfo_20260922_112336.log（BW1000×2 快照：PCI/SN/温度/功耗/sclk）+ env_declare.yaml（镜像/DTK/驱动栈/权重 sha256）

• 启动日志：v3final4k_server.log / t5full_server.log（完整未截断，含全部启动参数与 patch 生效记录）

• benchmark 原始输出：t5full_4k_c20260929_*/、v3final_64k_c*/（10 档逐请求 + 每档汇总）、sharegpt_matrix/（ShareGPT 五档各 3 轮）

• 结束统计与时间戳：各档 summary.json（status/successful/时间戳）+ 精度逐题 acc10/*.jsonl

【声明】以上数据均在本声明环境中实测，未伪造、未拼接日志。

10/16

ghu_32865a800

回复 @ghu_32865a800

第 2 版

【论坛 ID】ghu_32865a800

【参赛组别】开放组（卡型：海光 BW1000 ×2，gfx936，64GB HBM/卡，TP2）；子赛道 A：vLLM 0.21.0

【参选榜单】双榜（吞吐榜 + 时延榜）

【成绩】

1. 吞吐：4K/1K C64，1130.01 tokens/s 双卡（565.01 tokens/s/卡），相对同机同卡基线 +100.50%。

2. 时延：4K/1K C1，TTFT 607 ms、TPOT 10.5 ms；ShareGPT C1，TTFT 198 ms，均为均值。

3. 精度：GSM8K 95.45%（1259/1319，全量同口径）。

说明（基线口径）：官方未发布 BW1000 的基线数值（基线帖只列 BW100 与 K100-AI）。按赛题 3.1「没有官方基线的卡」的口径，本贴所有倍数均以同机 BF16 自测基线为分母：同一台机器、同一镜像、官方默认启动参数、官方 benchmark 脚本，原始日志一并提交。

① 4K 输入／1K 输出：2 轮预热＋3 轮正式测试

C1：双卡 90.18 tok/s｜每卡 45.09｜TTFT 607 ms｜TPOT 10.5 ms｜基线 24.79｜+263.8%（3.64x）

C8：双卡 427.52 tok/s｜每卡 213.76｜TTFT 1979 ms｜TPOT 14.6 ms｜基线 162.51｜+163.1%（2.63x）

C16：双卡 691.59 tok/s｜每卡 345.79｜TTFT 3050 ms｜TPOT 18.6 ms｜基线 306.07｜+126.0%（2.26x）

C32：双卡 920.93 tok/s｜每卡 460.47｜TTFT 5191 ms｜TPOT 26.6 ms｜基线 480.96｜+91.5%（1.91x）

C64：双卡 1130.01 tok/s｜每卡 565.01｜TTFT 9004 ms｜TPOT 44.6 ms｜基线 563.61｜+100.5%（2.00x）

C128：双卡 1086.85 tok/s｜每卡 543.43｜TTFT 26666 ms｜TPOT 82.8 ms｜基线 654.72｜+66.0%（1.66x）

② 64K 输入／1K 输出：1 轮预热＋2 轮正式测试

C1：双卡 43.25 tok/s｜每卡 21.62｜TTFT 12124 ms｜TPOT 11.3 ms｜基线 17.32｜+149.8%（2.50x）

C8：双卡 63.65 tok/s｜每卡 31.83｜TTFT 40150 ms｜TPOT 84.7 ms｜基线 47.02｜+35.4%（1.35x）

C16：双卡 65.08 tok/s｜每卡 32.54｜TTFT 83914 ms｜TPOT 156.8 ms｜基线 49.95｜+30.3%（1.30x）

C32：双卡 64.56 tok/s｜每卡 32.28｜TTFT 273177 ms｜TPOT 179.7 ms｜基线 49.79｜+29.7%（1.30x）

③ ShareGPT：每档单轮 1000 个请求（C1 为 200 prompts 抽样），全部完成

C1：双卡 78.00 tok/s｜每卡 39.00｜TTFT 198 ms｜TPOT 12.9 ms｜基线 24.77｜+214.8%（3.15x）

C4：双卡 238.90 tok/s｜每卡 119.45｜TTFT 324 ms｜TPOT 16.5 ms｜基线 90.36｜+164.4%（2.64x）

C16：双卡 562.30 tok/s｜每卡 281.15｜TTFT 398 ms｜TPOT 28.5 ms｜基线 309.21｜+81.9%（1.82x）

C32：双卡 774.70 tok/s｜每卡 387.35｜TTFT 499 ms｜TPOT 42.0 ms｜基线 497.28｜+55.8%（1.56x）

C64：双卡 1106.40 tok/s｜每卡 553.20｜TTFT 661 ms｜TPOT 59.6 ms｜基线 526.45｜+110.2%（2.10x）

每卡吞吐＝双卡总吞吐÷2；多轮指标取正式轮次算术均值。

④ SLA 最大并发（ttft 和 tpot 数值取平均；判定按 p95：4K 为 TTFT p95 <5s 且 TPOT p95 <50ms；64K 为 TTFT p95 <20s 且 TPOT p95 <60ms）

4K/1K：最大并发 C8｜TTFT 均值 1979 ms｜TPOT 均值 14.6 ms｜基线最大并发 C8｜与基线相同；C16 时 TTFT p95 8.00s 超 5s 线（基线 7.77s 同样超线）

64K/1K：最大并发 C1｜TTFT 均值 12124 ms｜TPOT 均值 11.3 ms｜基线最大并发 C1｜与基线相同；C8 时 TTFT p95 98.1s 超 20s 线（基线 101.5s 同样超线）

同并发下的时延裕量：4K C8 的 TPOT p95 由基线 48.7 ms 降至 20.0 ms（裕量 2.6%→60%）；4K C1 的 TPOT p95 由 40.2 ms 降至 12.2 ms；64K C1 的 TPOT p95 由 46.4 ms 降至 13.8 ms。

【代码仓库】https://gitee.com/liu-xincheng_66_66/qwen-opt

【实测报告】见本楼正文与仓库五段式报告：

https://gitee.com/liu-xincheng_66_66/qwen-opt/blob/master/实测报告_Qwen38_vLLM_BW1000.md

① 环境声明：BW1000×2（gfx936，Card Series BW/C-3000），DTK 26.04 / hyhal，镜像 vllm:0.21.0-ubuntu22.04-dtk2604-py3.10，CPU Hygon C86 128 核 / 503GB 内存 / 8 卡单节点（跨卡链路可达，TP2 走 HCCL）；模型 Qwen/Qwen3.8-27B 官方 BF16 权重（sha256 全量存档）及派生 W8A8 per-channel INT8 权重；框架改动仅 1 处（GDN ba 投影融合 custom op，数学等价，patch 已附）。

② 基线对比：同机 BF16 自测基线，10 档固定参数 + 5 档 ShareGPT 全部有原始日志；吞吐提升 1.30x～3.64x，SLA 最大并发与基线相同（见上）。

③ 优化方法：MTP 投机解码（官方 checkpoint 自带 MTP 头，k=3，拒绝采样保证分布一致）、W8A8 per-channel INT8 量化、调度参数 mbt=16384（4K/64K 统一）、GDN ba 投影融合（48 层两个小 GEMM 合成单次）、mamba state 缓存精度开关（仅 4K）。

④ 数据表格：见上三表；逐请求记录与每档 summary.json 在仓库 submit/logs/（par_g0..g3、ab_4kmbt16k、exp4k_mbt16384、sharegpt_matrix），对照总表 submit/result/self_baseline_bw1000.md。

⑤ 结论与边界：峰值吞吐 1130 tokens/s（4K C64），C128 因队列累积为 1086.85；提升幅度随并发上升收敛（4K 3.64x→1.66x，64K 2.50x→1.30x），64K 高并发受显存带宽与预填充耗时约束；64K C8 以上 TPOT 均值 84.7/156.8/179.7 ms（基线 128.9/187.6/203.3 ms），p95 为 286.1/295.7 ms（基线 217.8/221.4 ms）；4K C1 TTFT 607 ms（基线 555 ms）；GSM8K 与 BF16 无统计显著差异（配对 McNemar p=0.86）。

【原始日志】4 类齐全，仓库 submit/logs/：

· 硬件与驱动：evidence/01_hwinfo_dcu.*（hy-smi）、02_topology.*（产品名与卡间链路）、03_host.*（CPU/内存/存储），截图与原文各一份

· 服务启动日志：par_g0..g3/server.log（完整启动参数、patch 生效记录、KV 与图捕获）

· benchmark 原始输出：par_g0..g3/fixed_*/requests.jsonl 逐请求 + summary.json 每档汇总（status/successful_rounds/时间戳）

· 结束统计与时间戳：各档 summary.json，精度逐题 logs/acc10/*.jsonl

【测量参数】

· 4K 六档：2 轮预热 + 3 轮正式，每轮 max(8, 2×并发) 请求，全部 PASS

· 64K 四档：1 轮预热 + 2 轮正式，每轮 max(8, 2×并发) 请求，全部 PASS

· ShareGPT：每档单轮 1000 请求，C1 为 200 prompts；seed 20260912、temperature 0

· 服务端：tp2 / bf16 / max-model-len 131072 / mbt 16384 / max-num-seqs 128 / mem-util 0.85 / 无前缀缓存 / --disable-custom-all-reduce / cudagraph 捕获尺寸 ≤32

· 数据来源：4K 为 exp4k_mbt16384（C16/C32）与 ab_4kmbt16k（C1/C8/C32/C64/C128），同一配置两次会话；64K 为 v3final_64k_c*；基线为 par_g0..g3

【复现】

服务（4K 场景，W8A8 + MTP k3 + mbt 16384）：

VLLM_HCU_MAMBA_SSM_CACHE_DTYPE=1 ./submit/scripts/run_vllm_2card.sh --model /path/Qwen3.8-27B-W8A8 --served-model-name Qwen3.8-27B --tensor-parallel-size 2 --max-model-len 65536 --enable-prefix-caching --max-num-batched-tokens 16384 --reasoning-parser qwen3 --speculative-config '{"method":"qwen3_5_mtp","num_speculative_tokens":3}' --port 8000

基线（BF16，务必关掉 GDN 融合补丁）：

VLLM_GDN_FUSE_BA=0 ./submit/scripts/run_vllm_2card.sh --model /path/Qwen3.8-27B --served-model-name Qwen3.8-27B --tensor-parallel-size 2 --dtype bfloat16 --max-model-len 131072 --max-num-batched-tokens 16384 --max-num-seqs 128 --gpu-memory-utilization 0.85 --trust-remote-code --disable-custom-all-reduce --no-enable-prefix-caching --compilation-config '{"cudagraph_capture_sizes":[1,2,4,8,16,24,32]}'

压测：

python3 submit/scripts/benchmark_official_pkg.py --base-url http://127.0.0.1:8000 --model Qwen3.8-27B --input-len 4096 --output-len 1024 --concurrency 64 --warmup-rounds 2 --measure-rounds 3 --output-dir ./out

【声明】以上数据均在本声明环境中实测，未伪造、未拼接日志；

10/21

lscsxyx

3楼

【论坛 ID】lscsxyx

【参赛组别】开放组（BW150）—— 海光 DCU BW150（ gfx936；本方案 TP2 用卡 6,7）

【参选榜单】双榜（吞吐榜 + 时延榜）

【成绩】

吞吐榜：400.9 tokens/s/卡（ShareGPT conc64 = 聚合 801.83 tok/s ÷ 2 卡，3 轮中位，极差 1.30%）

官方 SLA 场景峰值：4K-in/1K-out @ C32 = 287.2 tokens/s/卡（聚合 574.35 tok/s）

时延榜：TTFT 197.8 ms（ShareGPT C1 中位）/ TPOT 14.44 ms（ShareGPT C1 中位），吞吐 33.98 tokens/s/卡

相对本机自测基线提升率（分母 = 同环境出厂默认配置 B2）：

指标基线 B2 本方案提升率

ShareGPT 输出吞吐 C1 26.92 tok/s 67.96 +152.5%

ShareGPT 输出吞吐 C64 556.09 801.83 +44.2%

SLA 4K/1K 最大并发 16 32 +100%

SLA 64K/1K 最大并发 3 6 +100%

GSM8K（5-shot 贪心全量 1314） 96.19% 96.35% +0.16 pp

基线说明：本机为 BW150，官方未发布 BW150 基线（不在 BW100 / K100-AI 之列），按 §3.1 属开放组，基线在同环境、出厂默认配置下自测。

【代码仓库】https://github.com/XxxxxX-code/bw150-sglang

【实测报告】见下方五段式（环境声明 → 基线对比 → 优化方法 → 数据表格 → 结论与适用边界），全文 = submit/REPORT.md。

【原始日志】4 类齐全（仓库内路径）：

硬件驱动信息 — submit/logs/01_hardware_driver_info.log （hy-smi / rocm-smi 8 卡快照 + 驱动 6.4.0-V1.7.0.20260810 + DTK-26.04-rc4 + 宿主/容器 OS + 各包版本）

启动日志 — submit/logs/00_default_crash.log（出厂默认启动失败证据）、 submit/logs/05_server_b2.log 与 submit/logs/05_server_final.log（基线与本方案两条链路完整启动日志）

benchmark 原始输出 — submit/logs/10_sla/{b2,final}_{4k,64k}/conc*_n*.log （含并发、吞吐、TTFT、TPOT、P99 等全部字段）、 submit/logs/20_sharegpt_{b2,final}/（ShareGPT 全档位逐轮原始输出）

结束统计与时间戳 — submit/logs/12_run_timeline.txt（全流程带时间戳）、 submit/logs/30_precision/（GSM8K 精度）、submit/logs/06_final_runtime_env.txt（被测进程逐项生效 env）

另有 submit/logs/04_model_sha256.txt（全 32 个权重文件 sha256 清单指纹 50851bab）。

【声明】以上数据均在本声明环境（submit/env_declare.yaml）中实测，未伪造、未拼接、未编辑原始日志

10/14

lscsxyx

回复 @lscsxyx

挑战赛数据补充：https://github.com/XxxxxX-code/bw150-sglang/blob/main

10/21

一天一顿泡面

2楼

【论坛 ID】jixx
【参赛组别】先锋组 BW100（卡型：海光 BW100，gfx936；本方案 TP2 用卡 0,1。参赛子赛道 B = SGLang，2 卡）
【参选榜单】双榜（吞吐榜 + 时延榜）
【成绩】
吞吐榜（4K-in/1K-out @ C3 = SLA 最大并发档，TP2 聚合 119.1 ÷ 2）：
• 吞吐 59.6 tokens/s/卡，TTFT 2315.6 ms（C3 p95，SLA 判分口径；均值 1212.6 ms），TPOT 20.70 ms
• 相对本卡型基线：官方基线（BW100 / SGLang 0.5.12）4K SLA 最大并发 = C1（本方案 = C3，净胜）；4K/1K 六档全部超基线 C1 +145% / C8 +52% / C16 +38% / C32 +29% / C64 +28% / C128 +23%
时延榜（4K-in/1K-out @ C1）：
• TTFT 836.4 ms（均值）/ 893.1 ms（p95），TPOT 18.46 ms，吞吐 26.0 tokens/s/卡（TP2 聚合 51.9 ÷ 2）
【代码仓库】https://developer.sourcefind.cn/codes/jixx/qwen38-27b-bw100-op
【实测报告】详见附件《Qwen38_SGLang_实测报告.md》（五段式：环境声明 → 基线对比 → 优化方法 → 数据表格 → 结论与边界）；仓库内同步见 docs/performance_report.md。
【原始日志】4 类齐全，详见附件《core_logs_P21.tar.gz》（完整打包，仓库内 result/ + logs/ 同步齐全）：
• 硬件驱动信息：hy-smi 8×BW100 快照 + DTK 2604 + 驱动栈 + OS + torch/sglang 版本（env_declare.yaml）
• 启动日志：logs/svc_P21_c01.log（完整未截断，含全部启动参数）
• benchmark 原始输出：result/official/P21ORCH/ 等（126 jsonl，4K/1K 六档、64K 四档、ShareGPT、SLA 各档逐请求数据 + 每档汇总）
• 结束统计与时间戳：各档 jsonl 内 duration/completed/时间戳 + 精度日志（logs/gsm_full_A.log、mv_A_f*.log、lcb_A_r2.log、rwqa_A_r2.log）
【声明】以上数据均在本声明环境中实测，未伪造、未拼接日志。

10/10

codingmiao

1楼

【论坛 ID】codingmiao

【参赛组别】主力组 K100-AI（卡型：海光 K100-AI，gfx928，120 CU，64GB HBM/卡；本方案 TP2 用卡 0,1）

【参选榜单】双榜（吞吐榜 + 时延榜）

【成绩】

吞吐榜：吞吐 121.3 tokens/s/卡（4K-in/1K-out @ C16 = SLA 最大并发档；TP2 聚合 242.6 tok/s ÷ 2 卡），TTFT 8334 ms（C16 均值，SLA 判分口径）

时延榜：TTFT 1339 ms（4K C1 均值，p95 1347 ms）/ TPOT 18.6 ms（C1 p95），吞吐 29.0 tokens/s/卡

相对本卡型基线提升率：官方 baseline（K100-AI / SGLang 0.5.12）两场景最大并发均 = 0（连 C1 都过不了）→ 本方案 4K=C16 / 64K=C1 均为净胜。自测基线（stock 配置 A/B，同窗背靠背，canary 双指标标窗口质量）：4K C1 TTFT −16.0%、输出吞吐 +7.9%、TPOT −8.1%；64K C1 TTFT −14.2%。

【代码仓库】

https://github.com/codingmiao/q38-k100ai-submission

【实测报告】

见 https://github.com/codingmiao/q38-k100ai-submission/blob/master/README.md

【原始日志】4 类齐全（附件 / 仓库 logs/ + result/）：

硬件驱动信息 — logs/hardware_driver_info.log（hy-smi 8×K100-AI 快照 + DTK 2604 + 驱动栈 + 宿主机/容器 OS + torch/sglang 版本）

启动日志 — logs/server_startup_1008.log（2026-10-08 19:41 启动 → 23:46 末批 decode，与 benchmark 同一 uptime，完整 2884 行未截断）

benchmark 原始输出 — result/{4k_c1,4k_c8,4k_c16,4k_c32,64k_c1,64k_c8,canary_pre,canary_post}/（每档 summary.json + per-request requests.jsonl + harness.out）

结束统计与时间戳 — logs/sla_mean_rescan_1008.log（START Thu Oct 08 21:49:36 / DONE 23:46:29 CST，逐档 SLA 判定 + canary 双指标）

【声明】

以上数据均在本声明环境中实测，未伪造、未拼接日志。

10/9

codingmiao

回复 @codingmiao

按群聊注意事项补充内容： https://github.com/codingmiao/q38-k100ai-submission/blob/master/%E6%95%B0%E6%8D%AE%E8%A1%A5%E5%85%85%E5%9B%9E%E7%AD%94.md

10/21