问题描述: vllm推理出现For debugging consider passing AMD_SERIALIZE_KERNEL=3.Compile with TORCH_USE_HIP_DSA to enable device-side assertions.的报错。
该问题被多次提及,相关链接如下:
https://forum.sourcefind.cn/thread/800
https://forum.sourcefind.cn/thread/965
https://forum.sourcefind.cn/thread/786
https://forum.sourcefind.cn/thread/791
https://forum.sourcefind.cn/thread/799
问题分析: 在Z100L和K100上使用vllm推理时出现以上报错的原因,是错误的使用vllm0.5.0以上版本镜像,目前Z100L和K100上最高支持到vllm0.5.0版本。
结论: Z100L和K100最高支持到vllm0.5.0版本,可以拉取vllm0.5.0版本的镜像创建环境进行推理。
解决方案: 针对Z100L和K100上vllm推理时出现上述报错,可以使用vllm0.5.0版本的镜像进行解决,可以拉取以下镜像: docker pull image.sourcefind.cn:5000/dcu/admin/base/custom:vllm0.5.0-dtk24.04.1-ubuntu20.04-py310-20250225
补充不同版本vllm启动在线服务指令 :
0.5.0及其以下:不支持vllm serve 的指令,需要替换成python -m vllm.entrypoints.openai.api_server
0.6.2及其以上:支持vllm serve 的指令启动,vllm serve /path/to/model ~

暂无数据