10
数学库
提问帖
有回复
K100_AI 推理性能测试
2026-03-02 09:51:27
113
在使用VLLM在K100_AI上部署大模型时，进行benchmark测试，报错AttributeError: 'ROCmFlashAttentionImpl' object has no attribute 'fa_prefix_attn_func'， dtk2504，torch=2.4.1，VLLM版本0.8.5，使用curl命令进行单条推理测试时，是正常的
全部评论（3）
只看楼主
Y
yangzhong
1楼
我使用vllm0.8.5-torch2.4.1-dtk25.04.1镜像进行benchmark测试qwen3模型可以正常测试不报错，麻烦发一下您使用的具体镜像名称和测试模型，我对齐测试一下看看
3/2
S
suncd
回复 @yangzhong

jupyter-vllm0.8.5-ubuntu22.04:rc7-das1.5-py3.10-20250612-fixpy-rocblas0611-rc2 ,这个镜像
3/2
Y
yangzhong
回复 @suncd
这个镜像已经比较旧了且属于中间版本，建议您更换较新的vllm镜像，如果必须使用vllm0.8.5版本的镜像，建议您使用image.sourcefind.cn:5000/dcu/admin/base/vllm:0.8.5-ubuntu22.04-dtk25.04.1-rc5-das1.6-py3.10-20250724
3/2
没有更多内容了
--
楼主
Level.4
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据