2
模型应用
提问帖
有回复
请问K100AI有支持fast whisper的方案吗?想跑语音转文字模型 faster-whisper-large-v3-turbo
2026-05-29 09:03:05
181
faster-whisper-large-v3-turbo如果只用cpu是能跑起来,但是用gpu的话faster-whisper库要用到ctranslate2才能跑,看了下载资源里最新的只有DAS1.3的(https://download.sourcefind.cn:65024/4/main/ctranslate2/DAS1.3),平时用的镜像版本通常是比较新的比如 harbor.sourcefind.cn:5443/dcu/admin/base/custom:vllm018-ubuntu22.04-dtk26.04-gemma4-0413,请问这种DAS1.3老版本的镜像要去哪里下载呀? 或者有没有类似模型仓库里那种直接能跑的方案?或者出个新一些版本的ctranslate? (看之前也有讨论的帖子不知道后续搞定了没 https://forum.sourcefind.cn/thread/1196) faster-whisper库:https://github.com/SYSTRAN/faster-whisper/tree/master 模型:https://www.modelscope.cn/models/pengzhendong/faster-whisper-large-v3-turbo 注:直接在新的镜像比如vllm018里卸载ctranslate2再装DAS1.3的ctranslate2不可行,报错: import ctranslate2 Traceback (most recent call last): File "", line 1, in File "/usr/local/lib/python3.10/dist-packages/ctranslate2/__init__.py", line 21, in from ctranslate2._ext import ( ImportError: /usr/local/lib/python3.10/dist-packages/ctranslate2/libcublas.so.11: undefined symbol: rocblas_ztrmm_outofplace 测试用例是: from faster_whisper import WhisperModel model_dir = "/workspace/models/faster-whisper-large-v3-turbo" model = WhisperModel(model_dir, device="cuda", compute_type="auto", local_files_only=True) segments, info = model.transcribe("dataset/speech.wav") print("Detected language '%s' with probability %f" % (info.language, info.language_probability)) for segment in segments: print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
全部评论(4)
只看楼主
L
liumg
1楼
你应该用dtk24.04的镜像,你用的是2604的dtk的镜像
5/29
A
aaatest
回复 @liumg
好的我再试试,多谢!这是只和dtk版本有关吗,DAS版本不影响吗?
5/29
L
liumg
回复 @aaatest
das版本都会有会带有dtk的版本在里面
5/29
A
aaatest
回复 @liumg
哦哦换成社区vllm0.6.2的镜像就可以用了,谢谢!
不过想请教一下是不是只支持传参compute_type用float32?我用float16会报错。attachmentId-image.png

试了下如果打印ctranslate2支持的compute_type只有float32:
>>> import ctranslate2
>>> print(ctranslate2.get_supported_compute_types('cuda'))
attachmentId-image.png

对应于使用时的 model = WhisperModel(model_path, device="cuda", compute_type="float32", local_files_only=True),如果只能用float32的话感觉效率低了些
6/8
没有更多内容了
--
楼主
Level.1
0 帖子
楼主热帖
暂无数据