1
1
3
模型应用
qwen2_pytorch和qwen2.5_pytorch执行推理命令的报错问题
2024-10-17 14:39:38
83

通过dtk24.04.2的docker镜像部署的环境,部署的千问模型为qwen2_pytorch和qwen2.5_pytorch,根据光源上的部署文档,使用vllm框架推理执行一次推理命令均报错,具体报错如下图:(具体的模型列表见下图)

全部评论(1)
只看楼主
Z
zhuwenwen
1楼
显存不够
2024/10/21
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据