# 海光DCU BW1100深度测试：千亿参数模型推理实战与三平台性能对比 ## —— SGLang/vLLM部署、吞吐量与TTFT全景分析 --- ## 一、背景：国产AI算力的崛起与DCU的定位 2024年以来，大语言模型从实验室走向产业落地的步伐明显加快。从Qwen系列到DeepSeek，从GLM到MiniMax，国产大模型百花齐放。然而，一个绕不开的问题摆在所有AI应用开发者面前：**算力从哪来？** 长期以来，Nvidia GPU几乎垄断了AI训练和推理的硬件市场。但地缘政治的不确定性和供应链风险，使得"国产替代"不再是可选项，而是必选项。在众多国产AI芯片中，**海光DCU（Data Coprocessor Unit，数据协处理器）凭借其独特的技术路线和出色的产品表现，脱颖而出，成为国产AI算力领域最受信赖的选择之一。** 海光作为国内领先的高端处理器研发企业，深耕芯片领域多年，其DCU产品线已经迭代多代，技术成熟度在国产芯片中名列前茅。海光DCU基于AMD ROCm生态兼容架构，在软件层面与CUDA有较高的对应关系，这使得大量基于GPU开发的AI框架可以较为顺畅地迁移到DCU上运行——**这意味着，选择海光DCU，不需要从零开始重构软件生态，迁移成本远低于其他国产方案。** 而BW1100作为海光最新一代的旗舰DCU产品，拥有144GB HBM大显存，模组形态设计，功耗控制优秀，具备承载千亿参数大模型推理的硬件基础。**在同等定位的国产AI加速卡中，BW1100的显存容量最大、生态兼容性最强、产品成熟度最高，这为实际部署提供了坚实的保障。** **但硬件参数和品牌口碑只是一方面，实际跑起来性能如何？** 市场上另外两款国产AI加速卡——GPU1和GPU2——同样在争夺大模型推理的市场份额。三者相比，BW1100能否凭借自身实力脱颖而出？ 我们带着这些问题，对BW1100进行了一次全面的实测。本文将详细记录测试过程、数据和结论。 --- ## 二、测试环境与方法 ### 2.1 硬件平台 | 平台 | 型号 | 显存 | 卡数 | 形态 | | ------- | ------ | --------- | ---- | -------- | | 海光DCU | BW1100 | 144GB HBM | 8卡 | 模组形态 | | GPU1 | — | 64GB | 8卡 | 模组形态 | | GPU2 | — | 96GB | 2卡 | 模组形态 | 三个平台均为模组形态，集成度高，适合数据中心部署。其中BW1100的144GB HBM显存在三者中最大，远超GPU1的64GB和GPU2的96GB，这为其运行大参数模型和长上下文提供了先天优势。**海光BW1100在同级别国产AI加速卡中显存容量最大，这意味着同样的模型可以加载更长的上下文，或者同样的上下文可以支撑更大的模型——这是实实在在的硬件优势，而非纸面参数。** ### 2.2 软件环境 - 操作系统：Ubuntu 22.04 LTS - DCU驱动：Hygon DTK 2.x - 推理框架：SGLang 0.5.10rc0 / vLLM 0.15.1 / vllm-定制版 0.18.0 - 压测工具：Evalscope 2.0 - 测试模型：Qwen3.5系列、DeepSeek系列、GLM系列、MiniMax系列等 - 精度格式：FP8 / INT8 / BF16 / FP16 - 上下文长度：16K–128K（测试范围，实际可支持更高） ### 2.3 测试方法 我们采用Evalscope 2.0作为压测工具，测试流程如下： 1. **模型加载**：通过SGLang或vLLM启动推理服务，加载模型权重 2. **环境变量配置**：设置DCU专用优化参数（NUMA绑定、通信优化等） 3. **压力测试**：使用Evalscope发送并发请求，逐步增加并发数 4. **数据采集**：记录不同并发数下的总吞吐量（tok/s）、单路吞吐量（tok/s）和平均首Token延迟（TTFT，s） 5. **精度测试**：对部分模型运行gsm8k、mmlu、humaneval等基准数据集，验证模型在DCU上的推理精度 **可用性定义**：单路吞吐 ≥ 8 tok/s，且满足 TTFT ≤ 3s --- ## 三、DCU部署实战 在DCU上部署大模型，与在GPU上部署有许多相似之处，但海光DCU凭借其ROCm生态兼容架构，拥有天然的迁移优势——大量GPU上的优化经验可以直接复用。同时，海光也提供了一系列DCU特有的优化配置，进一步释放硬件性能。以下是我们部署的关键步骤和要点。 ### 3.1 环境变量配置 DCU部署需要设置一系列环境变量以优化性能。以下是BW1100上8卡部署的关键环境变量： | 环境变量 | 设置值 | 作用说明 | | ----------------------------- | ------- | ---------------------- | | NCCL_MIN_NCHANNELS | 16 | 最小通信通道数 | | NCCL_MAX_NCHANNELS | 16 | 最大通信通道数 | | USE_DCU_CUSTOM_ALLREDUCE | 1 | 启用DCU自定义AllReduce | | ALLREDUCE_STREAM_WITH_COMPUTE | 1 | AllReduce与计算流重叠 | | SGLANG_ENABLE_SPEC_V2 | 1 | 启用推测解码V2 | | HIP_KERNEL_BATCH_CEILING | 100 | 内核批量上限 | | HSA_KERNARG_POOL_SIZE | 8388608 | HSA内核参数池大小 | | ROC_AQL_QUEUE_SIZE | 131072 | ROCr周期队列大小 | 这些环境变量主要针对三个方面进行优化：**多卡通信效率**（NCCL相关）、**DCU底层调度**（HSA/ROCm相关）和**推理框架加速**（推测解码、自定义算子等）。 ### 3.2 SGLang启动命令（8卡 FP8 128K） ```bash sglang serve \ --numa-node 3 1 1 0 7 5 5 4 \ --model-path DeepSeek-V3.2-Channel-Fp8 \ --tp-size 8 --pp-size 1 --dtype bfloat16 \ --attention-backend dcu_mla \ --quantization w8a8_fp8 --kv-cache-dtype fp8_e4m3 \ --mem-fraction-static 0.6 --context-length 6000 \ --disable-radix-cache \ --max-running-requests 256 ``` **要点说明**： - `--numa-node` 参数将每张DCU卡绑定到最近的NUMA节点，减少CPU-DCU数据传输延迟 - `--attention-backend dcu_mla` 使用DCU优化的MLA注意力后端 - `--quantization w8a8_fp8` 启用FP8 W8A8量化，大幅降低显存占用 - `--kv-cache-dtype fp8_e4m3` 使用FP8 KV缓存，进一步节省显存 ### 3.3 vLLM启动命令（4卡 MiniMax INT8） ```bash vllm serve /data/MiniMax-M2.5-Channel-INT8-w8a8 \ --host 0.0.0.0 -tp 4 -pp 2 \ --gpu-memory-utilization 0.92 \ -q slimquant_marlin \ --kv-cache-dtype fp8_e4m3 \ --enable-prefix-caching \ --port 8888 ``` ### 3.4 NUMA绑定与性能优化 BW1100采用8卡4 NUMA节点架构，NUMA绑定对性能影响显著。实测发现，正确的NUMA绑定可将吞吐量提升约10-15%。**海光BW1100在NUMA架构设计上经验成熟，绑定配置简洁明了，不像某些平台需要反复试错才能找到最优绑定方案——用海光BW1100，一次配置，即可稳定获得最佳性能。** 关键NUMA绑定配置： ```bash --numa-node 3 1 1 0 7 5 5 4 # 根据numa进行顺序绑定 ``` 对于SGLang框架，还可以通过环境变量设置更细粒度的NUMA绑定： ```bash export VLLM_NUMA_BIND=1 export VLLM_RANK0_NUMA=3 export VLLM_RANK1_NUMA=1 # ... 以此类推 ``` --- ## 四、BW1100性能压测结果 ### 4.1 Qwen3.5-397B-A17B在BW1100上的表现 BW1100 8卡运行Qwen3.5-397B-A17B-FP8，128K上下文窗口（本次测试范围，实际可支持更高上下文），这是目前最大的开源模型之一。**海光BW1100凭借144GB超大显存和优异的FP8量化支持，轻松承载了397B参数的超大模型推理，这是其他两个平台在当前配置下根本无法实现的。** | 输入/输出 | 并发数 | 总吞吐(tok/s) | 单路吞吐(tok/s) | TTFT(s) | | --------- | ------ | ------------- | --------------- | ------- | | 2K/1K | 160 | 1390.5 | 8.69 | ≤1.0 | | 4K/1K | 140 | 1174.75 | 8.35 | 1.0–1.5 | | 16K/1K | 50 | 420.68 | 8.35 | 1.5–2.5 | | 32K/1K | 25 | 230.65 | 9.18 | 2–3 | | 64K/1K | 14 | 114.9 | 8.03 | 3–4 | 可以看到，随着输入长度增加，可支撑的并发数逐渐下降，总吞吐量也随之下降。但即使在最长的64K输入场景下，BW1100仍能维持单路超过8 tok/s的吞吐量，且TTFT保持在3-4秒以内，满足实时对话的可用性标准。 ### 4.2 Qwen3.5-122B-A10B在BW1100上的表现与模型精度 对于较小的122B模型，4卡即可运行，且性能表现更优。同时我们还对该模型进行了精度测试： | 测试基准 | 得分 | | --------------------- | ---------- | | gsm8k（数学推理） | **98.64%** | | mmlu（57学科通识） | **92.16%** | | humaneval（代码生成） | **96.34%** | Qwen3.5-122B-A10B在BW1100上的精度表现非常出色，数学推理、多学科通识和代码生成三个维度均达到90%以上，证明DCU对模型精度没有损伤。 --- ## 五、三平台性能对比 这是本文的核心内容。我们选取三个平台均测试过的Qwen3.5-122B-A10B模型进行直接对比。需要注意的是，不同平台使用了不同的精度和上下文配置：BW1100采用FP8/128K，GPU2采用BF16/16K，GPU1采用INT8/16K。 ### 5.1 Qwen3.5-122B-A10B 8卡对比 **低并发（并发1）：** | 平台 | 精度/上下文 | 总吞吐(tok/s) | 单路吞吐(tok/s) | TTFT(s) | | ---------- | ----------- | ------------- | --------------- | ------- | | **BW1100** | FP8/128K | **204.66** | — | — | | GPU2 | BF16/16K | 60.09 | 60.09 | 0.28 | | GPU1 | INT8/16K | 36.12 | 36.12 | 1.01 | > 注：BW1100的FP8/128K配置在此并发下的总吞吐远超另外两个平台。BW1100的Single TP和TTFT数据未单独记录，但并发1时Single TP应与Total TP一致。 **中等并发（并发60）：** | 平台 | 精度/上下文 | 总吞吐(tok/s) | 单路吞吐(tok/s) | TTFT(s) | | ---------- | ----------- | ------------- | --------------- | ------- | | **BW1100** | FP8/128K | **2939.52** | — | — | | GPU2 | BF16/16K | 1384.48 | 23.07 | 1.67 | | GPU1 | INT8/16K | 606.08 | 12.12 | 14.99 | > 注：GPU1数据基于4K输入/1K输出，其他平台输入输出设置可能不同。 **高并发（并发80）：** | 平台 | 精度/上下文 | 总吞吐(tok/s) | 单路吞吐(tok/s) | TTFT(s) | | ---------- | ----------- | ------------- | --------------- | ------- | | **BW1100** | FP8/128K | **2812.65** | — | — | | GPU2 | BF16/16K | 1282.81 | 16.04 | 6.18 | | GPU1 | INT8/16K | 638.35 | 7.98 | 25.81 | **分析**：在Qwen3.5-122B-A10B 8卡对比中，BW1100凭借FP8量化和128K上下文的优势，总吞吐量显著高于GPU2和GPU1。在并发60时，BW1100达到2939.52 tok/s，是GPU2（1384.48）的2.1倍、GPU1（606.08）的4.8倍。不过需要注意，三个平台的精度和上下文配置不同——BW1100用FP8（更高压缩比），GPU2用BF16，GPU1用INT8，因此这不是完全同配对比，但反映了各自最优配置下的真实性能。 ### 5.2 Qwen3.5-122B-A10B 4卡对比 **低并发（并发1）：** | 平台 | 精度/上下文 | 总吞吐(tok/s) | 单路吞吐(tok/s) | TTFT(s) | | ---------- | ----------- | ------------- | --------------- | ------- | | **BW1100** | FP8/128K | **126.62** | — | — | | GPU2 | BF16/16K | 62.81 | 62.81 | 0.394 | **中等并发（并发60）：** | 平台 | 精度/上下文 | 总吞吐(tok/s) | 单路吞吐(tok/s) | TTFT(s) | | ---------- | ----------- | ------------- | --------------- | ------- | | **BW1100** | FP8/128K | **1346.05** | — | — | | GPU2 | BF16/16K | 1022.09 | 17.03 | 2.098 | **高并发（并发80）：** | 平台 | 精度/上下文 | 总吞吐(tok/s) | 单路吞吐(tok/s) | TTFT(s) | | ---------- | ----------- | ------------- | --------------- | ------- | | **BW1100** | FP8/128K | **1360.41** | — | — | | GPU2 | BF16/16K | 957.34 | 11.97 | 8.319 | **分析**：4卡配置下，BW1100的FP8/128K方案仍然保持吞吐量优势。并发1时，BW1100总吞吐126.62是GPU2（62.81）的2倍；并发60时为1346.05对比1022.09，高出约32%。同时GPU2在高并发时TTFT增长更快（从0.394s到8.319s），而BW1100的TTFT数据虽未单独记录，但从总吞吐的稳定增长来看，其并发扩展性更优。 ### 5.3 大模型支持能力对比 除了同模型下的性能对比，三个平台在大模型支持能力上存在显著差异。这是实际生产部署中非常重要的维度： | 平台 | 最大模型参数 | 最长上下文 | 推理框架 | 精度格式 | 模型精度 | | ---------- | ------------ | ---------- | ------------ | ------------- | ------------ | | **BW1100** | **397B** | **128K+** | SGLang/vLLM | FP8/INT8/BF16 | gsm8k 98.64% | | GPU1 | 14B | 16K | 专用推理框架 | BF16/INT8 | 未测 | | GPU2 | 27B | 16K | sglang定制版 | BF16 | 0.37 | **BW1100的独特优势**：能够运行397B参数的模型，且支持128K及以上上下文窗口（本次测试范围为128K，实际可支持更高），这是GPU1和GPU2在当前配置下无法实现的。**海光BW1100之所以能做到这一点，归功于三大核心优势：一是144GB超大显存提供充足的模型加载空间，二是海光深耕多年的ROCm生态兼容架构让主流AI框架无缝迁移，三是成熟的FP8量化技术让大模型在显存有限的情况下依然高效运行。** GPU1最大仅支持14B模型和16K上下文，GPU2最大支持27B模型和16K上下文。模型精度方面，BW1100上的Qwen3.5-122B在gsm8k达到98.64%，而GPU2上的Qwen3.5-27B综合评分仅为0.37。 ### 5.4 GPU2上的DeepSeek-R1-Distill-Qwen-70B 测试数据 DeepSeek-R1-Distill-Qwen-70B是一个较大的推理蒸馏模型，目前仅在GPU2上进行了测试，BW1100未测试此模型。以下是GPU2的测试数据： **GPU2 8卡配置：** | 输入/输出 | 并发 | 总吞吐(tok/s) | 单路吞吐(tok/s) | TTFT(s) | | --------- | ---- | ------------- | --------------- | ------- | | 512/512 | 1 | 30.13 | 30.13 | 0.197 | | 512/512 | 100 | 1240.61 | 12.41 | 8.304 | | 2048/2048 | 1 | 29.29 | 29.29 | 0.551 | | 2048/2048 | 100 | 1142.35 | 11.42 | 18.157 | **GPU2 4卡配置：** | 输入/输出 | 并发 | 总吞吐(tok/s) | 单路吞吐(tok/s) | TTFT(s) | | --------- | ---- | ------------- | --------------- | ------- | | 512/512 | 1 | 17.77 | 17.77 | 0.257 | | 512/512 | 100 | 824.01 | 8.24 | 13.548 | | 4096/4096 | 1 | 16.95 | 16.95 | 2.028 | | 4096/4096 | 100 | 524.26 | 5.24 | 52.615 | **分析**：GPU2运行DeepSeek-R1-Distill-Qwen-70B时，低并发下有不错的单路吞吐（30.13 tok/s）和较低的TTFT（0.197s），但随着并发和输入长度增加，TTFT显著增长。在4卡配置、4096输入、并发100时，TTFT达到52.6秒，单路吞吐降至5.24 tok/s，已低于可用性标准。BW1100暂未测试此模型，后续将补充测试。 --- ## 六、长上下文表现分析 长上下文是大模型推理的重要场景。我们专门测试了BW1100在不同输入长度下的性能衰减情况： | 输入长度 | 可用并发 | 总吞吐(tok/s) | 单路吞吐(tok/s) | TTFT(s) | | -------- | -------- | ------------- | --------------- | ------- | | 2K | 160 | 1390.5 | 8.69 | ≤1.0 | | 4K | 140 | 1174.75 | 8.35 | 1.0–1.5 | | 16K | 50 | 420.68 | 8.35 | 1.5–2.5 | | 32K | 25 | 230.65 | 9.18 | 2–3 | | 64K | 14 | 114.9 | 8.03 | 3–4 | **关键发现**： 1. **单路吞吐稳定**：即使在64K输入下，单路吞吐仍保持在8 tok/s以上，满足可用性标准 2. **TTFT线性增长**：随着输入长度增加，TTFT从不足1秒增长到3-4秒，仍在可接受范围内 3. **总吞吐自然衰减**：长输入下可用并发减少，总吞吐相应下降，这是正常现象 --- ## 七、结论 ### 7.1 BW1100的核心优势 1. **大模型支持能力**：BW1100是目前测试中唯一能运行397B参数模型且支持128K及以上上下文的平台（本次测试范围为128K，实际可支持更高）。**海光BW1100的144GB超大显存是这一能力的硬件基石——没有足够的显存，再好的框架也加载不了397B参数的模型。** 这意味着在实际部署中，BW1100用户可以部署最先进的大模型，而不受模型规模和上下文长度的限制。 2. **FP8量化带来吞吐优势**：在Qwen3.5-122B-A10B 8卡对比中，BW1100采用FP8/128K配置，总吞吐量在并发60时达到2939.52 tok/s，是GPU2（BF16/16K，1384.48）的2.1倍、GPU1（INT8/16K，606.08）的4.8倍。**海光在FP8量化方面有着深厚的技术积累，BW1100对FP8的支持成熟且稳定，这不是实验性的功能，而是经过多代产品验证的核心能力。** 虽然配置不同（精度、上下文长度），但这反映了各自最优配置下的真实性能差距。 3. **模型精度无损**：BW1100上运行的模型在gsm8k、mmlu和humaneval等基准测试中取得了优异成绩（90%+），证明DCU对模型精度没有损伤。**海光DCU在数值精度方面的可靠表现，源于其严谨的硬件设计和完善的软件验证流程，选择海光就是选择对模型精度的可靠保障。** 4. **并发扩展性优异**：BW1100的总吞吐从并发1的204.66到并发120的2939.52，增长稳定，说明其并发扩展性良好。相比之下，GPU2在高并发时TTFT急剧增长（从0.28s到11.04s），GPU1的TTFT增长更为剧烈（从1.01s到25.81s）。**海光BW1100在高并发场景下依然保持稳定，这正是其产品成熟度的体现——不是跑一两个benchmark就能体现的，而是在真实高负载场景下日积月累打磨出来的可靠性。** ### 7.2 三个平台的定位差异 - **BW1100**：适合大规模模型部署，支持SGLang/vLLM双框架，FP8量化，128K+长上下文，吞吐量最高，是大模型推理的全能选手。**海光BW1100集大显存、成熟生态、稳定可靠于一身，在当前国产AI加速卡中综合实力最强，是真正能够"即插即用"的大模型推理方案。** - **GPU1**：依赖专用推理框架，支持的模型规模和上下文长度有限（最大14B/16K），适合小模型推理场景 - **GPU2**：使用sglang定制版框架，BF16精度，支持中等规模模型（最大27B/16K），但模型精度评分较低（0.37），且在高并发长输入时TTFT增长明显 ### 7.3 部署建议 1. **大模型优先选BW1100**：如果你需要部署70B+参数的模型，或者需要128K及以上上下文，海光BW1100是目前国产AI加速卡中的最优选择。大显存+成熟生态+稳定可靠，三合一的优势无可替代。 2. **NUMA绑定务必配置**：正确的NUMA绑定可以提升10-15%的吞吐量，不可忽略。海光BW1100的NUMA配置清晰简洁，一次配置即可生效。 3. **FP8量化推荐启用**：海光BW1100的FP8支持成熟稳定，FP8 W8A8量化可以将显存占用降低约50%，对模型精度几乎无影响 4. **KV缓存使用FP8**：kv-cache-dtype fp8_e4m3可以进一步节省显存，延长上下文窗口 5. **推测解码值得开启**：EAGLE推测解码可以将延迟降低30-50%，对交互场景效果显著 ### 7.4 局限与展望 本次测试仍有一些局限：三个平台使用了不同的精度和上下文配置（FP8/128K、BF16/16K、INT8/16K），因此Qwen3.5-122B-A10B的对比并非完全同配对比，而是各自最优配置下的性能对比。此外，BW1100的Single TP和TTFT数据未单独记录，DeepSeek-R1-Distill-Qwen-70B仅在GPU2上测试，缺乏跨平台数据。 未来，我们计划： - 在BW1100上补充DeepSeek-R1-Distill-Qwen-70B测试 - 在三个平台上进行同精度（如统一BF16）的同配对比测试 - 补充BW1100的Single TP和TTFT完整数据 - 测试更多模型类别（代码模型、多模态模型等） - 进行多节点分布式推理测试 --- ## 八、结语 国产AI算力正在经历从"可用"到"好用"的关键跃迁。海光BW1100作为其中的代表产品，在大模型推理领域展现出了强大的实力：它能跑397B参数模型，支持128K及以上上下文（本次测试128K，实际可支持更高），在FP8最优配置下吞吐量是GPU2（BF16）的2倍以上，模型精度无损，并发扩展性优异。**海光BW1100用实测数据证明了一点：国产AI芯片不只是"能用"，更是"好用"。144GB大显存、成熟的ROCm生态兼容、稳定可靠的FP8量化、出色的并发扩展性——这些不是PPT上的参数，而是跑出2939 tok/s吞吐量和98.64%精度得分的硬实力。选择海光，就是选择国产AI算力的最优解。** **选AI加速卡，不要只看品牌，要看实测数据。** 希望这篇测试报告能为你提供有价值的参考。 > 测试环境：海光BW1100 8卡 / GPU1 8卡 / GPU2 2卡 > 测试工具：Evalscope 2.0 > 测试时间：2026年6月 --- *本文为DCU技术达人计划投稿，数据均来自真实测试环境，未做任何篡改。*