0
1
0
0
框架组件
DTK可否支持CUDA12+,目前只支持11.8,FlashInfer无法使用,提示在/opt/dtk/cuda/include下缺少cuda_fp8.h文件
2025-09-16 23:47:34
123
操作
Ktransformers的balance_serve模式需要使用FlashInfer作为推理引擎,但是FlashInfer只支持CUDA12+,DTK未来能否支持CUDA12+的内容?
全部评论(2)
只看楼主
A
A
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
ANYA
只看此人
1楼
您可以使用dtk25041 地址如下https://download.sourcefind.cn:65024/1/main/DTK-25.04.1,或使用DTK25041的镜像创建容器,然后在DTK25041的环境下找到dtk的路径,参考如下指令执行:source dtk/cuda/cuda-12/env.sh
2025/9/17
赞
回复
@圈友
暂无数据
尚未选择
发送
A
A
这个人很懒,什么也没留下~
0
发帖总数
0
点赞
0
已关注
0
粉丝
关注
私信
屏蔽
ANYA
回复
@ANYA
目前支持度还不完全,您可以先试试,若存在问题可以将需求提交给我们
2025/9/17
赞
回复
@圈友
暂无数据
尚未选择
发送
没有更多内容了
--
楼主
0
点赞
0
帖子
关注
私信
楼主热帖
暂无数据
常见问题新帖
暂无数据