主办方好， 我们是本届 Qwen3.8 性能优化挑战赛（vLLM 赛道）的参赛者，使用海光 DCU 单机 4 卡环境：`hy-smi` 报告设备名为 `K500SM_AI`，架构为 `gfx928`，单卡 120 CU / 64 GiB。我们在按赛题文档、参赛规则与官方基线帖准备作品的过程中，遇到若干口径不一致或未明确之处，因这些口径会直接影响成绩的判定方式，特此集中提出，恳请明确。以下每条我们都先写出我们读到的规则原文与理解，再提出需要确认之处；若其中某项已在其它帖中答复，烦请指个链接，我们自行查证。 **1｜精度门槛的判读方式** 我们的理解：赛题文档「二、精度 Baseline 与准入」的 2.2 节正文写「优化版本相对于官方基线的精度降幅不得超过 2 个百分点」；同一节的表格列名为「基线值 / 准入阈值」，并给出 GSM8K ≥ 95.0、LiveCodeBench v6 ≥ 88.3、RealWorldQA ≥ 83.9、MathVision（Without CI）≥ 88.0。 请明确：评审时以「相对降幅 ≤ 2 个百分点」为准，还是以「绝对准入阈值」为准？若以绝对阈值为准，而我们使用官方发布的 INT8 量化权重（与官方 K100_AI 性能基线所用为同一份权重），该量化版本的官方精度基线值应由谁提供？ **2｜卡型归属** 我们的理解：参赛规则「2.1 硬件分组」把卡型分为「主力组 · K100-AI（K100-AI）」与「开放组 · 其他卡型（其他 DCU 卡型）」，并对「没有官方基线的卡」规定三条规矩，其中一条是「要把基线的四类原始日志一起交上来，并公示 3 天接受社区质疑」。分组表按卡名分类，未给出架构判据。 我们使用海光 DCU，`hy-smi` 与 `torch` 均报告设备名为 `K500SM_AI`，架构为 `gfx928`（K100-AI 架构），120 CU / 64 GiB。请明确：这种情况应按主力组 K100-AI 计（沿用官方 K100_AI 基线），还是按开放组计（需自测基线并公示 3 天）？ **3｜四项精度评测的具体工具与参数** 我们的理解：赛题文档「一、精度验证 Benchmark」写「各 Benchmark 的评测方式与原版一致，基于官方指定的数据版本、测试子集和评测脚本执行」。 请明确四项分别使用什么工具及版本（lm-evaluation-harness / OpenCompass / VLMEvalKit / 其它），以及下列参数： - **GSM8K**：few-shot 数为多少？是否启用 CoT？ - **LiveCodeBench v6**：数据版本是 `test6.jsonl`（175 题）还是 `release_v6`（1055 题）？ - **MathVision**：是否为 Qwen3.8-27B model card 的「Without CI」口径？使用 `test`（3040 题）还是 `testmini`（304 题）？ - **RealWorldQA**：是否必须使用 VLMEvalKit 自带的 `RealWorldQA.tsv`（其内容与 Hugging Face `xai-org/RealworldQA` 不一致）？ **4｜SLA 口径与「SLA 最大并发」的测量规程** 我们的理解：赛题文档「4.1.3 随机数据 Baseline · SLA 最大并发测试」给出 K100AI（4K 输入 / 1K 输出）的 SLA 条件为「TTFT < 10s 且 TPOT < 80ms」；而官方基线帖「5.1 固定长度输出吞吐」写「SLA 条件为：4K 场景 TTFT p95 < 3 秒且 TPOT p95 < 50 ms」。两套阈值不一致（TTFT 上限 10 s vs 3 s，相差约 3.3 倍；TPOT 上限 80 ms vs 50 ms，相差 1.6 倍）。 请明确： (a) 以哪一套为准？ (b) 统计量取轮均值，还是取轮 p95？ (c) 「SLA 最大并发」的测量规程是什么——是逐档试（C1 / C2 / C4 / …）取最大的通过档？轮数与每轮请求数是否沿用基线帖的「2 轮预热 + 3 轮正式、每轮 `max(8, 2×并发)` 请求」？ **5｜性能基线与精度基线是否取自同一档位** 我们的理解：参赛规则「2.1 硬件分组」写「比拼核心不是硬件绝对速度，而是相比自身卡型官方基线的性能提升率」，即提升率的分母是本卡型官方基线；赛题文档 2.2 节又单独给出四项精度基线（GSM8K 97.0 等）。官方公布的 K100-AI 性能基线（vLLM 0.21.0）与这四项精度基线的数值来源，未标明是否取自同一配置。 请明确：性能基线使用的是哪个精度的权重（BF16 还是 INT8）？若是 BF16，我们使用官方发布的 INT8 量化权重与之对比时，是否仍按同一分母计算提升率？ **6｜64K 档的官方服务配置** 我们的理解：官方 K100_AI vLLM 配方（基线帖 3.2.1）写的是 `--max-model-len 33792`；按此配置，64K 输入 / 1K 输出的请求会在协议层被拒绝（HTTP 400）。但该帖 5.1 结果表中 64K C1 / C8 却有数值。 请明确：64K 档是否使用了另一份配置（例如更大的 `--max-model-len`）？如是，能否提供该配置？ **7｜ShareGPT 档是否计入性能评分** 我们的理解：赛题文档「3.1 标准数据集测试」把 ShareGPT 列为测试内容；而其「4.1.2 标准数据集 Baseline」中 K100AI 行的数值为空白（原文：「原文档此处的 BW100 / K100AI 数据在提供的内容中为空白，未给出数值」）。 请明确：ShareGPT 档是否进入性能评分？若进入，官方基线数值以哪一处为准？ **8｜两项行政口径** (a) 提交截止时间。我们读到多处口径不一致：参赛规则「赛程总览」表写「10/18 17:59　作品提交截止」；参赛规则「十二、参赛者 FAQ」写「10/18 17:59 前可更新」；参赛规则「5.4 提交方式与时间」与官方《作品提交专区》帖写「截止时间：10/18 23:59」。请明确以哪个为准？ (b) 截图形式。我们的理解：参赛规则「5.3 原始日志（截图 + 原文）」写「形式：截图（≥3 张，要含命令行上下文和时间戳）+ 原始文本日志打包，两者缺一不可」。我们的评测机为无图形界面的服务器环境，请明确：命令行文本输出 + 时间戳是否满足该要求？ 以上问题若有部分已在其它帖中答复，烦请指个链接，我们自行查证。如需要，我们可提供更详细的复现材料（启动命令、原始日志、复现步骤）。感谢！