3
Qwen
标题
2025-03-26 15:40:59
142

纯小白，想尝试微调一下1.5B模型，在量化这一步：
nf4_config = BitsAndBytesConfig(load_in_4bit=True)
model = AutoModelForCausalLM.from_pretrained(
model_name,
quantization_config=nf4_config,
device_map="auto"
)执行的时候会报错

Error invalid device function at line 81 in file /data/jenkins_workspace/workspace/bitsandbytes@4/csrc/ops.cu

想求助一下这个问题有可能解决吗，或者有没有其他的量化方式。:kelian:

 

全部评论（3）
只看楼主
Z
zhufzh
1楼
您好，麻烦参考https://forum.sourcefind.cn/thread/599 的问题提交模板，提供下使用的模型及代码运行脚本，方便我们复现问题
2025/3/26
网
网友0ZOjzy
回复 @zhufzh
您好，我是使用image.sourcefind.cn:5000/dcu/admin/base/jupyterlab-pytorch:2.3.0-ubuntu20.04-dtk24.04.3-py3.10容器进行开发，DCU是K100。我在容器内安装了bitsandbytes(0.42.0+das.opt1.dtk24042)和triton(2.1.0+das.opt1.dtk24043)。具体代码如图和报错所示：
2025/3/28
网
网友GMoXGL
回复 @zhufzh
这个问题有结论吗
2025/7/11
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据