0
3
1
0
Qwen
请问vllm下在K100.AI上执行Qwen3-30B等模型存在精度的问题解决了吗?
2025-12-25 12:12:03
125
操作
请问vllm下在K100.AI上执行Qwen3-30B等模型存在精度的问题解决了吗? 使用Qwen3-30B-int4抽取文档知识图谱,同样的代码,用A6000,输出的JSON格式的准确率是100%,K100.AI上每10个有就3个输出格式出错,这差距太大了啊。
全部评论(1)
只看楼主
L
L
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
litzh
只看此人
1楼
请提供一下具体的模型权重链接,和问题复现代码
2025/12/29
赞
回复
@圈友
暂无数据
尚未选择
发送
没有更多内容了
--
楼主
0
点赞
0
帖子
关注
私信
楼主热帖
暂无数据
常见问题新帖
暂无数据