0
1
0
0
数学库
新人贴
Qwen3-VL vllm跑不起来
2025-12-19 14:04:46
386
操作
AssertionError: assert envs.VLLM\_USE\_V1 V1引擎跑不起来 vllm 版本0.11
Z100L
全部评论(17)
只看楼主
A
A
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
ANYA
只看此人
4楼
老师您好,目前vllm0.8.5以上的版本需要在K100AI或BW系列的卡上才能正常运行,无法运行可能和您当前所使用的加速卡型号有关
2025/12/20
赞
回复
@圈友
暂无数据
尚未选择
发送
W
W
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
wangleming
回复
@ANYA
Z100L运行vllm0.8.5可以吗?
2/2
赞
回复
@圈友
暂无数据
尚未选择
发送
Y
Y
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
yanzy
回复
@wangleming
试试vllm 0.11.0 ,https://developer.sourcefind.cn/codes/modelzoo/qwen3-vl_pytorch这有一个推理示例
2/2
赞
回复
@圈友
暂无数据
尚未选择
发送
W
W
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
wangleming
回复
@yanzy
谢谢,我试了一下,报错跟您的一样。我用的vllm0.11.0,尝试部署Qwen3 VL. 请问您成功了吗?
2/10
赞
回复
@圈友
暂无数据
尚未选择
发送
全部6条回复
M
M
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
maming
只看此人
3楼
pip list | grep vllm 麻烦使用这个命令查看下vllm版本,并告知下机器型号
2025/12/19
赞
回复
@圈友
暂无数据
尚未选择
发送
李
李
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
李红
回复
@maming
root@worker-0:/public/home/u2578# pip list | grep vllm vllm 0.11.0+das.opt1.alpha.8e22ded.dtk25042 root@worker-0:/public/home/u2578# === GPU 型号 === GPU 0: Vega 20 [Radeon Pro VII/Radeon Instinct MI50 32GB] - 17GB GPU 1: Vega 20 [Radeon Pro VII/Radeon Instinct MI50 32GB] - 17GB === GPU 状态 === GPU 0: 0.0GB / 17GB GPU 1: 0.0GB / 17GB === DTK 驱动 === ============================ System Management Interface ============================= ====================================================================================== HCU Temp AvgPwr Perf PwrCap VRAM% HCU% Mode 0 50.0C 26.0W auto 300.0W 0% 0% N/A 1 50.0C 25.0W auto 300.0W 0% 0% N/A ====================================================================================== =================================== End of SMI Log ===================================
2025/12/19
赞
回复
@圈友
暂无数据
尚未选择
发送
李
李
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
李红
楼主
只看此人
2楼
镜像 l4-lqm-minimax-m2:vllm0.11.0-ubuntu22.04-dtk25.04.2-py3.10 root@worker-0:/public/home/u2578/gelab-zero-workspace# VLLM_USE_V1=1 python3 -m vllm.entrypoints.openai.api_server \ --model /public/home/u2578/gelab-zero-workspace/models/gelab-zero-4b/stepfun-ai/GELab-Zero-4B-preview \ --dtype float16 \ --max-model-len 4096 \ --tensor-parallel-size 2 \ --api-key gelab-zero-key-secret \ --port 8606 \ --host 0.0.0.0 \ --disable-log-stats \ --disable-log-requests INFO 12-19 04:34:18 [__init__.py:217] Automatically detected platform rocm. WARNING 12-19 04:34:24 [__init__.py:1756] argument '--disable-log-requests' is deprecated and replaced with '--enable-log-requests'. This will be removed in v0.12.0. (APIServer pid=344) INFO 12-19 04:34:24 [api_server.py:1839] vLLM API server version 0.11.0 (APIServer pid=344) INFO 12-19 04:34:24 [utils.py:233] non-default args: {'host': '0.0.0.0', 'port': 8606, 'api_key': ['gelab-zero-key-secret'], 'model': '/public/home/u2578/gelab-zero-workspace/models/gelab-zero-4b/stepfun-ai/GELab-Zero-4B-preview', 'dtype': 'float16', 'max_model_len': 4096, 'tensor_parallel_size': 2, 'disable_log_stats': True} (APIServer pid=344) INFO 12-19 04:34:24 [model.py:555] Resolved architecture: Qwen3VLForConditionalGeneration (APIServer pid=344) `torch_dtype` is deprecated! Use `dtype` instead! (APIServer pid=344) WARNING 12-19 04:34:24 [model.py:1742] Casting torch.bfloat16 to torch.float16. (APIServer pid=344) INFO 12-19 04:34:24 [model.py:1519] Using max model len 4096 (APIServer pid=344) INFO 12-19 04:34:27 [scheduler.py:205] Chunked prefill is enabled with max_num_batched_tokens=2048. (APIServer pid=344) Traceback (most recent call last): (APIServer pid=344) File "/usr/lib/python3.10/runpy.py", line 196, in _run_module_as_main (APIServer pid=344) return _run_code(code, main_globals, None, (APIServer pid=344) File "/usr/lib/python3.10/runpy.py", line 86, in _run_code (APIServer pid=344) exec(code, run_globals) (APIServer pid=344) File "/usr/local/lib/python3.10/dist-packages/vllm/entrypoints/openai/api_server.py", line 1953, in
(APIServer pid=344) uvloop.run(run_server(args)) (APIServer pid=344) File "/usr/local/lib/python3.10/dist-packages/uvloop/__init__.py", line 69, in run (APIServer pid=344) return loop.run_until_complete(wrapper()) (APIServer pid=344) File "uvloop/loop.pyx", line 1518, in uvloop.loop.Loop.run_until_complete (APIServer pid=344) File "/usr/local/lib/python3.10/dist-packages/uvloop/__init__.py", line 48, in wrapper (APIServer pid=344) return await main (APIServer pid=344) File "/usr/local/lib/python3.10/dist-packages/vllm/entrypoints/openai/api_server.py", line 1884, in run_server (APIServer pid=344) await run_server_worker(listen_address, sock, args, **uvicorn_kwargs) (APIServer pid=344) File "/usr/local/lib/python3.10/dist-packages/vllm/entrypoints/openai/api_server.py", line 1902, in run_server_worker (APIServer pid=344) async with build_async_engine_client( (APIServer pid=344) File "/usr/lib/python3.10/contextlib.py", line 199, in __aenter__ (APIServer pid=344) return await anext(self.gen) (APIServer pid=344) File "/usr/local/lib/python3.10/dist-packages/vllm/entrypoints/openai/api_server.py", line 180, in build_async_engine_client (APIServer pid=344) async with build_async_engine_client_from_engine_args( (APIServer pid=344) File "/usr/lib/python3.10/contextlib.py", line 199, in __aenter__ (APIServer pid=344) return await anext(self.gen) (APIServer pid=344) File "/usr/local/lib/python3.10/dist-packages/vllm/entrypoints/openai/api_server.py", line 209, in build_async_engine_client_from_engine_args (APIServer pid=344) assert envs.VLLM_USE_V1 (APIServer pid=344) AssertionError
2025/12/19
赞
回复
@圈友
暂无数据
尚未选择
发送
S
S
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
suily
回复
@李红
尝试使用vllm serve、去掉VLLM_USE_V1=1,看下输出变化
2025/12/19
赞
回复
@圈友
暂无数据
尚未选择
发送
李
李
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
李红
回复
@suily
没再折腾了,去掉VLLM_USE_V1=1 它也没跑起来 大概就是说 qwen3-vl 得用VLLM_USE_V1引擎
2025/12/19
赞
回复
@圈友
暂无数据
尚未选择
发送
M
M
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
maming
回复
@李红
export VLLM_USE_V1=1 python3 -m vllm.entrypoints.openai.api_server \ --model /public/home/u2578/gelab-zero-workspace/models/gelab-zero-4b/stepfun-ai/GELab-Zero-4B-preview \ --dtype float16 \ --max-model-len 4096 \ --tensor-parallel-size 2 \ --port 8606 \ --host 0.0.0.0 \ --disable-log-stats 试下这样的启动命令呢
2025/12/19
赞
回复
@圈友
暂无数据
尚未选择
发送
全部5条回复
Z
Z
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
zhangwb
只看此人
1楼
您好,请问咱使用的镜像是什么呢?麻烦贴一下具体的报错日志吧。
2025/12/19
赞
回复
@圈友
暂无数据
尚未选择
发送
李
李
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
李红
回复
@zhangwb
贴啦
2025/12/19
赞
回复
@圈友
暂无数据
尚未选择
发送
没有更多内容了
--
楼主
0
点赞
0
帖子
关注
私信
楼主热帖
暂无数据
常见问题新帖
暂无数据