1
框架组件
DTK可否支持CUDA12+,目前只支持11.8,FlashInfer无法使用,提示在/opt/dtk/cuda/include下缺少cuda_fp8.h文件
2025-09-16 23:47:34
123
Ktransformers的balance_serve模式需要使用FlashInfer作为推理引擎,但是FlashInfer只支持CUDA12+,DTK未来能否支持CUDA12+的内容?
全部评论(2)
只看楼主
A
ANYA
1楼
您可以使用dtk25041 地址如下https://download.sourcefind.cn:65024/1/main/DTK-25.04.1,或使用DTK25041的镜像创建容器,然后在DTK25041的环境下找到dtk的路径,参考如下指令执行:source dtk/cuda/cuda-12/env.sh
2025/9/17
A
ANYA
回复 @ANYA
目前支持度还不完全,您可以先试试,若存在问题可以将需求提交给我们
2025/9/17
没有更多内容了
--
楼主
Level.2
0 帖子
楼主热帖
暂无数据