3
模型应用
问答大模型(比如GLM、qwen、magicoder)答非所问、胡说、回答乱码(常见于vllm)
2024-09-27 16:12:11
102

解决方案:

可能的原因很多,可参考以下解决方案尝试解决:

1.检查vbios版本,升级vbios (液冷卡用 hpc 开头的vbios,风冷卡用PCIE开头的vbios)

2.尝试更改dtype,fp16\float32等进行更改。

3.安装指定的flash_attn:https://forum.sourcefind.cn/thread/515

全部评论(0)
只看楼主
暂无数据
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据