1
运行时
提问帖
有回复
新人贴
flash attn支持问题
2026-06-15 17:04:41
251
我在使用[harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm0.20.0-ubuntu22.04-dtk26.04-py3.10-MiniCPM-V-4.6](http://harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm0.20.0-ubuntu22.04-dtk26.04-py3.10-MiniCPM-V-4.6)这个镜像，vllm运行qwen3.6模型推理的时候attention使用的是triton 的kernel_paged_attention_2d,环境中默认安装了flash attn，2.8.3+das.opt1.dtk2604.torch2100.20260330.g3f0061，请问我应该如何调用flash attn呢
全部评论（7）
只看楼主
Z
zhangwb
1楼
您好，能发一下您现在的启动脚本嘛？
6/16
--
回复 @zhangwb
vllm serve /workspace/Qwen3.6-35B-A3B \
  --tensor-parallel-size 2 \
  --max-model-len 262144 \
  --disable_custom_all_reduce \
  --no-enable-log-requests \
  --no-enable-prefix-caching

启动是这样的
6/16
Z
zhangwb
回复 @zhangwb
您好，我们后续发布的vllm0.21版本会支持fa实现，您可以持续关注一下。:aixin:emoji
6/16
--
回复 @zhangwb
目前vllm0.20是不支持fa实现的对吗

6/16
全部6条回复
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据
常见问题新帖
暂无数据