贴一下报错信息，以及具体是哪个量化版吧
0
1
0
0
DeepSeek-R1-Distill-Llama-70B的量化版本有哪一个可以运行，试了几个都不行
2025-03-20 11:23:39
165
下面是目前的配置|
操作系统版本：Ubuntu 22.04.5
DTK版本：dtk-25.04
驱动版本：/
DCU类型：K100_ai *2卡
模型:qwq_32b
vllm:pytorch2 .4 .1 -ubuntu22 .04 -dtk25 .04 -rc4 -vllm0 .6 .6 -py3 .10 .tar.gz
全部评论（3）
只看楼主
R
2025/3/21
T
您这边运行具体哪些模型没有成功呢，qwq_32b内部验证是OK的，方便发一下报错截图，或者远程登录方式吗？我们登录您环境看下
2025/3/21
网
2025/3/20
没有更多内容了
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据