- 环境情况:ubuntu22.04, dtk25.04.1,python3.10.0(conda虚拟环境),显卡驱动正常安装,hy-smi正常,不依赖框架直接用阿里云modelscope运行qwen3-30B大模型的情况下,所有显卡正常运行,可以进行推理,速度比0.5B稍慢,比235B快很多。
- 依次安装与上述环境匹配的定制版 Torch , Triton , Flash_attn, Flash_mla, Lmslim之后,安装定制版 vllm
- 命令行输入python -c "import vllm; print(vllm.version)",结果如下。
INFO 08-28 11:17:37 [init.py:244] No platform detected, vLLM is running on UnspecifiedPlatform
0.8.5.post1
如何解决No platform detected, vLLM is running on UnspecifiedPlatform的问题,感谢大佬指点:baoquan:。