光合开发者社区-论坛

数学库

新人贴

K100 部署 MinerU2.5_vllm 时，...

2026-04-14 20:51:46

265

K100 部署 MinerU2.5_vllm 时，启动vllm 推理模式报错，我使用的海光社区的docker 安装方式， `docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.5.1-ubuntu22.04-dtk25.04.2-py3.10` 启动命令：： ``` export MINERU_MODEL_SOURCE=local export HIP_VISIBLE_DEVICES=7 HIP_VISIBLE_DEVICES=7 mineru-vllm-server --port 30000 ``` 之前在另外一个项目上成功使用。这个项目不行。目前只能贴图错误信息： ![attachmentId-image.png](/api-forum/file/RedirectImage?path=20260414/1776171854692_image.jpg) ![attachmentId-image.png](/api-forum/file/RedirectImage?path=20260414/1776171878540_image.jpg) ![attachmentId-image.png](/api-forum/file/RedirectImage?path=20260414/1776171940519_image.jpg) ![attachmentId-image.png](/api-forum/file/RedirectImage?path=20260414/1776171956962_image.jpg)

邢

邢堂旭

楼主

2楼

@panhuiwen @DAP后端技术支持

4/14

邢

邢堂旭

楼主

1楼

4/14

邢

邢堂旭

回复 @邢堂旭

感觉是这里的问题
File "/usr/local/lib/python3.10/dist-packages/flash_attn/flash_attn_interfaceRROR 04-14 21:07:29 [engine.py:476]py",line 90, in flash_attn_varlen_forwardERROR 04-14 21:07:29 [engine.py:476]out, q, k, V, out_padded, softmax_lse, S dmask, rng_state = flash attn_cuda.varlen fwd(ERROR 04-14 21:07:29 [engine.py:476] RuntimeError: HIP error: invalid device functionERROR 04-14 21:07:29 [engine. py:476] HIP kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect.ERR0R 04-14 21:07:29 [engine.py:476] For debugging consider passing AMD_SERIALIZE_ KERNEL=3ERROR 04-14 21:07:29[engine.py:476] Compile with TORCH USE HIP DSA' to enable device-side assertions

4/14

zhangwb

回复 @邢堂旭

您好请问咱的卡是K100AI还是K100呢，目前从截图上看是fa的问题，咱环境里的fa版本是什么呀。

4/15

邢

邢堂旭

回复 @zhangwb

你好第一个项目是K100 AI , 现在的项目是K100（出问题了）我昨天也看了论坛说K100 vllm 支持到0.5，那是25年5月。
不知道现在k100是否支持 mineru 的推理模式。

4/15

全部8条回复