DAS1.7发布的容器镜像vLLM-0.9.2-ubuntu22.04-dtk25.04.2-py3.10在K100\_AI上执行Qwen3-30B等模型存在精度不足问题。若生产环境中使用,请提前做好相应测试!具体问题描述如下:
1. qwen3-30b-a3b-w8a8-tp2模型在humaneval数据集上执行推理任务存在精度不足问题,分数偏低有乱码
2. qwen3-30b-a3b-fp16-tp2模型在math500和humaneval数据集上执行推理任务存在精度不足问题,分数偏低有乱码。
我们的工程团队已确认此问题,并正在积极优化K100\_AI上模型的推理精度不足的问题。修复后将在光源中以vllm容器镜像的形式更新,更新地址为:[https://sourcefind.cn/#/image/dcu/vllm?activeName=overview](https://sourcefind.cn/#/image/dcu/vllm?activeName=overview)