1
9
模型应用
vllm 安装部署报错
2025-07-07 16:37:06
110

我之前安装过vllm,版本是vllm-0.6.2+das.opt3.dtk2504-cp310-cp310-manylinux_2_28_x86_64.whl,我的模型也一直在正常部署使用,今天我把vllm进程kill了,然后用同样的命令重新启动,结果报错了,提示的numpy版本是2.0,需要降到1.0,然后我按照要求降级到1.0之后,又报错,现在我重新弄了一个docker,安装了相同的vllm版本,提示需要安装lmslim,然后我安装了lmslim-0.2.1+das.dtk2504-cp310-cp310-manylinux_2_28_x86_64.whl,现在又提示RuntimeError: Tried to instantiate class 'core_C.ScalarType', but it does not exist! Ensure that it is registered via torch::class。
搜了一下是缺少,libtorch_hip.so,这个文件。
但是之前正常运行的版本都没有用过这个文件,这是为什么呢?
应该如何解决
安装的镜像是别人发的:/jupyterlab-pytorch_2.3.0-ubuntu20.04-dtk24.04.3-py3.10-ds-llamaf.tar

全部评论(1)
只看楼主
X
xingh
1楼
根据描述,问题可能是底层库的更新导致的兼容性错误,可以尝试使用降低numpy到1.26.x而非1.0,重建容器后出现的问题可能是当前PyTorch环境可能缺少 libtorch_hip.so或者路径不可见,可以使用find / -name "libtorch_hip.so" 2>/dev/null查找
2025/7/7
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据