2
4
0
0
DeepSeek
4台K100-AI8卡服务器部署671后,模型回答问题出现并行回答混乱的问题。
2025-04-27 22:21:06
97
操作
原生模型的知识,多个人同时提问,就出现问题获取到问题,给出的答案错乱,A问:买肉需要多少钱,B问:买米需要多少钱,模型回答A:买米花了多少钱,回答B:买肉花了多少钱。
全部评论(7)
只看楼主
X
X
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
xingh
只看此人
1楼
可以尝试在起服务时指定精度--dtype fp16
2025/4/28
赞
回复
@圈友
暂无数据
尚未选择
发送
网
网
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
网友BWYLuV
回复
@xingh
好我试一下
2025/4/28
赞
回复
@圈友
暂无数据
尚未选择
发送
网
网
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
网友BWYLuV
回复
@xingh
我就是用的--dtype float16,我改成bfloat16试试
2025/4/29
赞
回复
@圈友
暂无数据
尚未选择
发送
X
X
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
xingh
回复
@xingh
嗯嗯,如果还有问题的话再看
2025/4/29
赞
回复
@圈友
暂无数据
尚未选择
发送
全部6条回复
没有更多内容了
--
楼主
0
点赞
0
帖子
关注
私信
楼主热帖
暂无数据
常见问题新帖
暂无数据