用 Whisper 的 AI 模型搞了个本机语音转文本及视频对话转录文本(字幕)的 app

[Marksdo]

应用商店搜索 Whisper Mate 下载试试

以后看没字幕的片子也可以自己本机翻译来看了😅

具体支持以下功能

• 转录音频或视频文件
• 使用 deepl 免费 api 翻译字幕
• 嵌入字幕编辑器，以修正转录错误
• 导出为 SRT 、VTT 、CSV 、JSON 、SEGMENT 格式
• 支持为每个字幕设置发言人
• 大多数操作支持批量选择，例如批量运行任务、批量翻译行或批量设置发言人
• 支持拖放文件开始转录
• 支持在搜索转录时键入文本
• 编辑器可预览音频或视频文件，并与播放范围同步
• 支持多语言转换

https://apps.apple.com/us/app/id6450404233

不会直接贴软件截图，只能发地址了 https://i.imgur.com/pZlbn2G.png https://i.imgur.com/Q4fIDRp.png https://i.imgur.com/H3Y2uRG.png

[Socrazy]

支持日语吗

[zhufeilong]

不买 Lifetime Plans 有什么限制吗？

[Upperak1]

看了下，不付费只能用简单模型

[Marksdo]

@Socrazy 多语言的模型支持日语，不要选中 English 的模型，并在多语言模型选定自动或者指定日语

[Marksdo]

@zhufeilong Free 的限止了不能使用大模型，大模型会比较准确，特别是英语 Only 的对英语是很准确的，只需矫正极少部分.如果是 M1 及 M2 的机器，使用 CoreML 的模块能极大的提升转录的速度

[Marksdo]

@Upperak1 如果日常用的上，可以帮助提升效率的话，帮忙回下血...😂

[zhufeilong]

@Marksdo #5 感谢

[Marksdo]

另外介绍下翻译那块，因为苹果商店不能明细写使用了破解的 Deepl 来实现免费翻译，其实可以 github 上找 deeplx 项目或者 zu1k/deepl 这两个项目，在 Whisper Mate 那里配制 local 类型的 deepl ，指向那两个逆向工程的 deeplx 项目，然后用但线程，间隔时间搞个 1-2 秒的，基本就免费随便翻译转录出来的文本了

[gpt5]

如果未来支持实时 speech to text 了，请艾特我一下。

[ql562482472]

有 windows 版本嘛？然后有日语就更好了

[Chandleric]

导出的 SRT 字幕文件好像格式不对？时间轴和文本的位置颠倒了，导致播放软件都无法识别。另外在哪里可以导出双语字幕呢？我好像没有找到这个功能。如果能能解决的话以后看剧就不用等字幕组了，感谢作者！

[Marksdo]

@gpt5 这个可以说下具体场景吗？我看下具体怎么来弄实现

[Marksdo]

@Chandleric 😅..我修复下

[Marksdo]

@ql562482472 window 版本不会弄，都是弄 mac 上的 app ，还有其它几个小 App 有用的可以玩下哈

[gpt5]

@Marksdo 比如在线会议，如果对方安全设置比较严格，zoom/teams 都无法打开软件自带的字幕功能（对我个人来说，我需要实时字幕，不需要翻译）。bemyears （作者也在 v 站）有实时字幕功能，但感觉准确度不是很高。

[LAMBO]

CoreML 模块开启后，字幕是简体和繁体混排的，请问是正常的吗

[LAMBO]

测试了一下，并不是 CoreML 导致的。但很奇怪，我在抖音上下载了一个短视频，转换出来，字幕始终都是简繁字体混排的，但测试 YouTube 上的长视频就正常，字幕文字一直是简体。

[Marksdo]

@gpt5 这个有计划做的，也是针对这种场景，但必须上 macOS13+,估计要一周

[Marksdo]

@LAMBO 正常，开发时也遇到这个问题，应该上 whisper 模型本身问题，看后面如果模型有更新，跟随看下，如果只是 coreml 开启后才出问题的可能上转 coreml 模型时裁枝了，fp32->fp16 了

[LAMBO]

@Marksdo 感谢，反复测试了下，应该和 coreml 无关。可能就是 whisper 模型本身问题导致的。