1
框架组件
No platform detected, vLLM is running on UnspecifiedPlatform
2025-08-28 11:29:02
159
  1. 环境情况:ubuntu22.04, dtk25.04.1,python3.10.0(conda虚拟环境),显卡驱动正常安装,hy-smi正常,不依赖框架直接用阿里云modelscope运行qwen3-30B大模型的情况下,所有显卡正常运行,可以进行推理,速度比0.5B稍慢,比235B快很多。
  2. 依次安装与上述环境匹配的定制版 Torch , Triton , Flash_attn, Flash_mla, Lmslim之后,安装定制版 vllm
  3. 命令行输入python -c "import vllm; print(vllm.version)",结果如下。

INFO 08-28 11:17:37 [init.py:244] No platform detected, vLLM is running on UnspecifiedPlatform
0.8.5.post1

如何解决No platform detected, vLLM is running on UnspecifiedPlatform的问题,感谢大佬指点:baoquan:。

全部评论(5)
只看楼主
P
panhb
1楼
能使用镜像的话尽量使用镜像,如果不能,请提供下您安装的vllm包链接
2025/8/28
网
网友T0KRfU
回复 @panhb
感谢大佬指点,我用的是wget --content-disposition 'https://download.sourcefind.cn:65024/file/4/vllm/DAS1.6/vllm-0.8.5.post1+das.opt1.dtk25041-cp310-cp310-manylinux_2_28_x86_64.whl'
2025/8/29
P
panhb
回复 @panhb
尝试过source /opt/dtk/env.sh吗
2025/8/29
网
网友T0KRfU
回复 @panhb
多谢大佬,source /opt/dtk/env.sh加入到bashrc中的,每次启动终端都会执行,但是没有用,还是如题所示报错,应该是缺少什么关键组件。根据大佬指点,用镜像解决了问题,但是还请平台可以给一个不使用镜像的操作文档,根据平台给出的定制优化版本的vllm安装步骤,最终没有安装成功,挫败感还是有的,希望大佬方便时候可以反馈一下,感谢~:baoquan:emoji
2025/8/30
全部4条回复
没有更多内容了
--
楼主
Level.3
0 帖子
楼主热帖
暂无数据