1
1
AI人工智能
使用开发者社区vllm/DAS1.1/下的0.3.3 py38版本的vllm报错
2024-06-28 16:01:43
123

使用如下命令报错，运行的模型是deepseek模型：
python -m vllm.entrypoints.openai.api_server --trust-remote-code --model /app/LLaMA-Factory-main/saves/magicoder-7B-qlora-alpach-zh

attachmentId-image.png

全部评论（3）
只看楼主
P
panhuiwen
2楼
当前DCU支持的版本为0.3.3，请在vllm支持模型列表内查询是否支持您的模型。
2024/7/1
D
dcu_fae_zhangxp
1楼
先确认下torch、dtk还有python版本是否一致吧
2024/6/28
网
网友lw8uNw
回复 @dcu_fae_zhangxp
docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-ubuntu20.04-dtk24.04.1-py3.8 使用的是光源的镜像，是一致的
2024/6/28
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据