3
1
Qwen
请问vllm下在K100.AI上执行Qwen3-30B等模型存在精度的问题解决了吗?
2025-12-25 12:12:03
125
请问vllm下在K100.AI上执行Qwen3-30B等模型存在精度的问题解决了吗? 使用Qwen3-30B-int4抽取文档知识图谱,同样的代码,用A6000,输出的JSON格式的准确率是100%,K100.AI上每10个有就3个输出格式出错,这差距太大了啊。
全部评论(1)
只看楼主
L
litzh
1楼
请提供一下具体的模型权重链接,和问题复现代码
2025/12/29
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据