1
官方技术指导
【社区常见问题】vllm在Z100L/K100上推理报错问题
2025-06-19 14:30:10
553

问题描述: vllm推理出现For debugging consider passing AMD_SERIALIZE_KERNEL=3.Compile with TORCH_USE_HIP_DSA  to enable device-side assertions.的报错。
该问题被多次提及,相关链接如下:
https://forum.sourcefind.cn/thread/800
https://forum.sourcefind.cn/thread/965
https://forum.sourcefind.cn/thread/786
https://forum.sourcefind.cn/thread/791
https://forum.sourcefind.cn/thread/799

问题分析: 在Z100L和K100上使用vllm推理时出现以上报错的原因,是错误的使用vllm0.5.0以上版本镜像,目前Z100L和K100上最高支持到vllm0.5.0版本。

结论: Z100L和K100最高支持到vllm0.5.0版本,可以拉取vllm0.5.0版本的镜像创建环境进行推理。

解决方案: 针对Z100L和K100上vllm推理时出现上述报错,可以使用vllm0.5.0版本的镜像进行解决,可以拉取以下镜像: docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.5.0-dtk24.04.1-ubuntu20.04-py310-20250225
补充不同版本vllm启动在线服务指令 :
0.5.0及其以下:不支持vllm serve 的指令,需要替换成python -m vllm.entrypoints.openai.api_server
0.6.2及其以上:支持vllm serve 的指令启动,vllm serve /path/to/model ~

全部评论(4)
只看楼主
网
网友lQKnJd
1楼
只能支持vllm 0.5?那0.5版本能支持qwen3吗
2025/6/21
网
网友lQKnJd
回复 @网友lQKnJd
我是K100_AI,用vllm0.8.5-ubuntu22.04-dtk25.04.1-rc4-das1.6-py3.10-20250620-fixpy启动老是报错
2025/6/21
Y
yangzhong
回复 @网友lQKnJd
是的,目前Z100L和K100只能支持到vllm0.5.0,0.5.0版本不支持qwen3
2025/6/24
Y
yangzhong
回复 @网友lQKnJd
K100AI vllm0.8.0这个镜像可以正常启动qwen3的,可以发一下您的启动命令
2025/6/24
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据