1
1
AI人工智能
目前vllm支持张量并行推理吗
2024-04-29 18:07:31
127

我使用qwen1.5系列的模型多卡并行报错

 

全部评论(1)
只看楼主
P
panhuiwen
1楼

请检查下环境中torch是否可以正常调用DCU:

1. python -c "import torch; torch.cuda.is_available()"

2. rocminfo | grep gfx

3. pip list | grep torch
2024/5/6
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据