我用flagos，四卡跑minimax-m2.5-awq，可以到27.5tps了。
https://forum.sourcefind.cn/thread/7ed52753-37a6-11f1-be71-0242ac150003
0
2
0
0
MiniMax-M2.1 在 K100-AI 上推理速度异常问题反馈
2026-02-26 15:16:38
312
**反馈**
**一、环境信息**
* **显卡型号：K100-AI（64G）**
* **服务器数量：2 台**
* **每台 GPU 数量：8 张**
* **网络环境：千兆 / 万兆（均测试）**
* **镜像：**[harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.11.0-ubuntu22.04-dtk25.04.2-1226-das1.7-py3.10-20251226](http://harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.11.0-ubuntu22.04-dtk25.04.2-1226-das1.7-py3.10-20251226)
**二、问题概述**
在使用最新的 **MiniMax-M2.1 K100-AI 适配镜像** 部署完成后，推理性能异常偏低。
注：m2、m2.1、m2.5三个模型都试过了，使用的都是这个镜像，结果是一样的。m2.5有个BW1000的镜像，在K100AI上使用时，vllm启动会报错
**具体表现：**
* 单并发情况下：
* 输出速度仅 **4\~5 tokens/s**
* HCU 利用率极低
* 提高并发数后：
* 总 tokens/s 线性增长
* 但 **单请求平均 tokens/s 仍维持在 4\~5**
说明：
当前问题表现为“吞吐可叠加，但单流速度严重受限”。
**三、对照测试结果**
为排查问题，进行了以下测试：
**1️****⃣****网络测试**
| **测试场景** | **结果** |
| ------------------ | -------------- |
| 两台服务器（千兆） | 无改善 |
| 两台服务器（万兆） | 无改善 |
→ 网络带宽不是瓶颈。
---
**2️****⃣****参数调优测试**
测试修改参数：
* dtype
* max-model-len
* max-num-batched-tokens
* max-num-seqs
结果：
所有参数调整均未对单并发 tokens/s 产生影响。
---
**3️****⃣****模型对比测试**
| **模型** | **单并发tokens/s** |
| -------------- | ------------------------ |
| MiniMax-M2.1 | 4\~5 |
| Qwen系列 | 20\~30 |
说明：
同硬件环境下，其他模型性能正常，问题可能与 MiniMax 适配实现相关。
**四、问题特征总结**
* 单流速度受限
* 并发增加仅提高总吞吐
* HCU 利用率低
* 网络无影响
* 参数调优无影响
* 其他模型性能正常
全部评论（4）
只看楼主
O
4/14
吕
我这边和楼主相同的测试结果，不过是用一台8*K100AI的机器，按照曙光给的部署教程，M2.1 M2.5 推理速度平均6 tokens/s, Qwen系的模型推理速度就很快，感觉是适配的问题
3/4
A
请教一下，您说的“m2.5有个BW1000的镜像，在K100AI上使用时，vllm启动会报错”，是按照https://developer.sourcefind.cn/modelzoo/list/minimax-m2.5_vllm/detail?post_id=9ccf5533-0c09-11f1-a49f-0242ac150003&active=ModelOverview 这个文章里的指导，用harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.11.0-ubuntu22.04-dtk26.04-0130-py3.10-20260202镜像，并替换成文章里的vllm版本，然后报错了吗？
最后m2.5能跑通的模型，是用harbor.sourcefind.cn:5443/dcu/admin/base/vllm:0.11.0-ubuntu22.04-dtk25.04.2-1226-das1.7-py3.10-20251226这个镜像跑通的吗，有做额外的适配操作吗？
2/28
没有更多内容了
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据