1
框架组件
新人贴
置顶
DAS1.7-vLLM-0.9.2 镜像在K100_AI上存在已知精度问题,若生产环境中使用,请提前做好相应测试!
2025-11-25 17:21:48
657
DAS1.7发布的容器镜像vLLM-0.9.2-ubuntu22.04-dtk25.04.2-py3.10在K100\_AI上执行Qwen3-30B等模型存在精度不足问题。若生产环境中使用,请提前做好相应测试!具体问题描述如下: 1. qwen3-30b-a3b-w8a8-tp2模型在humaneval数据集上执行推理任务存在精度不足问题,分数偏低有乱码 2. qwen3-30b-a3b-fp16-tp2模型在math500和humaneval数据集上执行推理任务存在精度不足问题,分数偏低有乱码。 我们的工程团队已确认此问题,并正在积极优化K100\_AI上模型的推理精度不足的问题。修复后将在光源中以vllm容器镜像的形式更新,更新地址为:[https://sourcefind.cn/#/image/dcu/vllm?activeName=overview](https://sourcefind.cn/#/image/dcu/vllm?activeName=overview)
全部评论(2)
只看楼主
网
网友O51JUC
2楼
这个30B模型 2507 的测试发现 高并发下乱码 低并发暂时未发现有太大的问题,但是并发一高,能力就大幅度下降了
1/30
网
网友lQKnJd
1楼
到底低了多少啊,只有这两个模型有问题吗,2507的版本有没有问题呢
2025/12/8
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据