2
4
DeepSeek
4台K100-AI8卡服务器部署671后,模型回答问题出现并行回答混乱的问题。
2025-04-27 22:21:06
97

原生模型的知识,多个人同时提问,就出现问题获取到问题,给出的答案错乱,A问:买肉需要多少钱,B问:买米需要多少钱,模型回答A:买米花了多少钱,回答B:买肉花了多少钱。

全部评论(7)
只看楼主
X
xingh
1楼
可以尝试在起服务时指定精度--dtype fp16
2025/4/28
网
网友BWYLuV
回复 @xingh
好我试一下
2025/4/28
网
网友BWYLuV
回复 @xingh
我就是用的--dtype float16,我改成bfloat16试试
2025/4/29
X
xingh
回复 @xingh
嗯嗯,如果还有问题的话再看
2025/4/29
全部6条回复
没有更多内容了
--
楼主
Level.6
0 帖子
楼主热帖
暂无数据