请问xin怎么识别到dcu的
0
1
0
0
标题
2024-11-29 10:28:42
183
如何查看DCU使用率？
问题1. 下图中哪个参数是显存使用率？（已启动模型推理服务，模型load成功，为何DCU%=0%）
问题2. xinference运行大模型推理，提示Expected all tensors to be on the same device, but found at least two devices, cpu and cuda:0!
全部评论（4）
只看楼主
网
2024/12/4
Z
问题1中VRAM%是显存使用率，DCU%是DCU的核心利用率，模型load成功但DCU%=0%表示DCU显存中已经加载了数据或模型，但DCU计算核心并未实际运行推理任务。问题2中的出错信息也表明了推理任务没有开始，因为tensor张量分散在两个设备上，可以考虑在代码中强制把输入数据和模型都加载到GPU上，希望能解决您的问题
2024/11/29
没有更多内容了
--
楼主
0 点赞
0 帖子
楼主热帖
暂无数据常见问题新帖
暂无数据