> 适用范围：多实例 LLM 服务集群（本文实测：海光 DCU 八卡、8 个 vLLM 实例 + 反向代理统一入口，多模态识图业务）上线前的容量评估。方法不绑定具体硬件，任何 LLM 集群可用。 集群搭好后需要回答一个基础问题：单位时间能处理多少请求。回答它只能靠压测，而压测最容易在方案设计阶段引入偏差——并发拉满取单点数字、单请求延迟乘并发估算吞吐、绕过代理直连后端，都会得出形式完整但结论失真的数据。笔者将本次摸底整理为设计决定、实测数据、读数规则、容量换算四部分。 ## 一、加压前的四个设计决定 | 决定 | 理由 | |---|---| | 阶梯加压 8→16→32→48→64→128 | 单点数据无法定位曲线区段；阶梯才能呈现「爬升—平台—崩塌」全貌 | | 负载画像固定并分组 | 结果强依赖输出长度与推理链开关；定义短问答（max_tokens=64，关 think）与详细描述（max_tokens=384，关 think）两种画像分开测 | | 每级记录五项指标 | 成功率、总耗时、p50/max 延迟、命中后端数、吞吐。命中后端数用于校验调度健康度 | | 全部经反向代理打真实入口 | 绕过代理得到的是理论值；代理前后的差即调度开销的体检数据 | ## 二、实测数据 短问答画像（max_tokens=64，关 think，每级单轮）： | 并发 | 成功率 | 总耗时 | p50 | max | 命中后端 | 吞吐 | |---|---|---|---|---|---|---| | 8 | 100% | 0.3s | 0.3s | 0.3s | 8 | 25.5 r/s | | 16 | 100% | 0.4s | 0.3s | 0.3s | 8 | 44.4 r/s | | 32 | 100% | 0.5s | 0.4s | 0.5s | 8 | **67.3 r/s** | | 48 | 100% | 0.8s | 0.5s | 0.7s | 8 | 60.2 r/s | | 64 | 100% | 1.1s | 0.6s | 0.9s | 8 | 60.5 r/s | | 128 | — | — | **3.8s** | — | 8 | **19 r/s** | 详细描述画像（max_tokens=384，关 think）： | 并发 | 成功率 | 总耗时 | p50 | 吞吐 | |---|---|---|---|---| | 8 | 100% | 3.5s | 2.9s | 2.3 r/s | | 16 | 100% | 4.3s | 3.5s | 3.7 r/s | | 32 | 100% | 4.9s | 4.0s | 6.6 r/s | ## 三、读数规则 **规则一：吞吐不涨而延迟上涨 = 到达饱和。** 本例饱和点约在并发 48：吞吐由 67.3 回落至 60.2 r/s，总耗时应声爬升（0.5s → 1.1s）。饱和是负载画像下的物理上限，不是故障。 **规则二：过载并发反噬吞吐。** 并发 128 时吞吐跌至 19 r/s、p50 排队 3.8s——低于并发 8 的水平。超出服务容量的客户端并发不产生吞吐，只产生积压，积压自身消耗资源并可能引发超时重试连锁。 **规则三：客户端并发对齐服务端槽位。** 本集群容量 = 8 卡 × 每实例 max_seqs=4 = **32 个并发槽**。并发 32 时吞吐最优（67.3 r/s），与该计算吻合。突破天花板的位置在服务端参数（调大 max_seqs 后重启集群），不在客户端堆 worker。 **两条有效性验证（缺一则数据不可信）：** 1. 真并行检查——并发 32 的总耗时（0.5s）应接近单请求延迟（0.3s）；若接近 32 倍串行时长则实际是排队轮转。 2. 调度均衡检查——每级命中后端数均为 8，最少连接调度正常、无孤岛实例。 ## 四、瓶颈预判采样 压测期间每数秒采集两组硬件指标： | 指标 | 实测 | 含义 | |---|---|---| | HCU 利用率 | 中位 ~71%，峰值 100% | 算力未完全打满，仍有并行空间 | | 显存占用 | 79%/卡（余 ~13GB） | KV cache 池有余量 | 组合推论：max_seqs 由 4 提至 6（总并发 48）预计可增 15–30% 吞吐，代价为单请求延迟上升。注意此为待验证假设——改配置后须重跑同一阶梯以新曲线确认，不得直接写入容量规划。 ## 五、换算业务容量 ``` 日处理量 ≈ 稳态吞吐(r/s) × 86400 × 0.75 ``` 0.75 为持续负载折扣（波峰波谷、重试、无效请求、排队损耗）。本集群各画像结果： | 场景 | 稳态吞吐 | 可持续/天 | |---|---|---| | 短问答（≤64 tok，关 think） | ~60 r/s | ~390 万 | | 中等描述（~100 tok，关 think） | ~19 r/s | ~123 万 | | 详细描述（~384 tok，关 think） | ~6.6 r/s | ~43 万 | | 详细描述（带 think） | ~1.5–2 r/s | ~10–13 万 | 同一台机器不同口径相差可达数十倍，「一天能处理多少」必须携带负载画像提问。向业务方交付上表而非单一峰值数字。 ## 附表：核对清单 - [ ] 加压阶梯覆盖爬升、平台、崩塌三段 - [ ] 负载画像固定且分开测（输出长度 × think 开关） - [ ] 经真实入口（含 LB/代理） - [ ] 五项指标齐备（成功率/p50/max/命中后端/吞吐） - [ ] 服务端槽位数已计算（卡数 × max_seqs）并对齐客户端并发 - [ ] 压测中同步采集硬件利用率与显存余量 - [ ] 饱和点与崩塌点分别标注 - [ ] 日容量换算含持续负载折扣 *测试条件补充：海光 K100_AI × 8（单卡 64GB HBM）/ MiniCPM-V-4.5 8B / 8 实例（max_seqs=4）+ aiohttp 反代 :8000 / BF16 + eager / 数据取自内网实测一轮。*