光合开发者社区-论坛

基础环境

有个关于VLLM安装的问题请教一下

2026-09-07 15:51:11

108

我最近在升级原来的环境（硬件是K100_AI，软件环境欧拉22.03）。主要目的是想要安装vllm-0.9.2+das.opt1.dtk2604.torch251-cp311-cp311-manylinux_2_28_x86_64.whl。为此，我首先升级了驱动到rock-6.3.30-V1.4.1a.run。然后更新了DTK到DTK-26.04-openEuler22.03-x86_64.tar.gz。接着安装了torch-2.5.1+das.opt1.dtk2604-cp311-cp311-manylinux_2_28_x86_64.whl；triton-3.1.0+das.opt1.dtk2604.torch251-cp311-cp311-manylinux_2_28_x86_64.whl。但是安装vllm-0.9.2+das.opt1.dtk2604.torch251-cp311-cp311-manylinux_2_28_x86_64.whl的过程中，提示需要flash_attn2.6.1，自动安装报错No module named 'torch'。手动进入python，运行import torch无报错。退而求其次，手动安装了flash_attn-2.8.3+das.opt1.dtk2604.torch251-cp311-cp311-manylinux_2_28_x86_64.whl。再次安装vllm-0.9.2+das.opt1.dtk2604.torch251-cp311-cp311-manylinux_2_28_x86_64.whl还是一样报错。使用pip install vllm-0.9.2+das.opt1.dtk2604.torch251-cp311-cp311-manylinux_2_28_x86_64.whl -c constraints.txt安装，强制要求flash_attn的版本为2.8.3或者flash_attn==2.8.3+das.opt1.dtk2604.torch251。依然会报错The conflict is caused by: vllm 0.9.2+das.opt1.dtk2604.torch251 depends on flash_attn==2.6.1 The user requested (constraint) flash-attn==2.8.3+das.opt1.dtk2604.torch251 这种情况下，该如何解决，是否可以安装旧版flash\_attn-2.6.1+das.opt1.dtk25042-cp311-cp311-manylinux\_2\_28\_x86\_64.whl解决？

Ray

楼主

6楼

我在欧拉系统里用那个Ubuntu的Docker运行VLLM，然后加载了Qwen3.8-27B-FP8，生成速率感觉只有2 Tokens/s。也不知道这是正常的还是哪有问题

9/9

Ray

回复 @Ray

看着也不是走的CPU，这也慢得太离谱了

9/9

tianlh

5楼

安装的时候可以试下加--no-deps

9/8

Ray

回复 @tianlh

这样安装得了运行不了也没啥用

9/8

Ray

楼主

4楼

我目标只是为了运行千问Qwen3.8-27B-FP8或者千问Qwen3.8-27B模型。系统是欧拉2203，驱动已经升级到最新，并且已经重启过物理机。有没有合适的vllm，cupy，torch，triton，flash_attn版本组合推荐的

9/8

Ray

楼主

3楼

等我反过来先安装cupy-v12.3.0py310.dtk2604-09Apr2026.tar.gz。其他部分全跟着py3.10走，安装到最后，又出现Collecting flash_attn==2.6.1 (from vllm==0.11.0+das.opt1.dtk2604.torch290)，但是vllm==0.11.0需要的又是dtk2604。而flash261只有flash_attn-2.6.1+das.opt1.dtk25042-cp310-cp310-manylinux_2_28_x86_64.whl

9/7

Ray

楼主

2楼

9/7

Ray

楼主

1楼

问题更新：我全面换成了

triton-3.5.1+das.opt1.dtk2604.torch290-cp311-cp311-manylinux_2_28_x86_64

torch-2.9.0+das.opt1.dtk2604-cp311-cp311-manylinux_2_28_x86_64

flash_attn-2.8.3+das.opt1.dtk2604.torch290-cp311-cp311-manylinux_2_28_x86_64

vllm-0.11.0+das.opt1.dtk2604.torch290-cp311-cp311-manylinux_2_28_x86_64。

安装到一半依然会在cupy==12.3.0的阶段报错/tmp/tmpsius2l07/a.cpp:1:10: 致命错误：cublas_v2.h：No such file or directory，/tmp/tmp4yblkggs/a.cpp:2:18: 致命错误：cuda_runtime_api.h：No such file or directory。exception: Your CUDA environment is invalid. 诸如此类的内容

9/7