用 Whisper 的 AI 模型搞了个本机语音转文本及视频对话转录文本(字幕)的 app

[Marksdo]

应用商店搜索 Whisper Mate 下载试试

以后看没字幕的片子也可以自己本机翻译来看了😅

具体支持以下功能

• 转录音频或视频文件
• 使用 deepl 免费 api 翻译字幕
• 嵌入字幕编辑器，以修正转录错误
• 导出为 SRT 、VTT 、CSV 、JSON 、SEGMENT 格式
• 支持为每个字幕设置发言人
• 大多数操作支持批量选择，例如批量运行任务、批量翻译行或批量设置发言人
• 支持拖放文件开始转录
• 支持在搜索转录时键入文本
• 编辑器可预览音频或视频文件，并与播放范围同步
• 支持多语言转换

https://apps.apple.com/us/app/id6450404233

不会直接贴软件截图，只能发地址了 https://i.imgur.com/pZlbn2G.png https://i.imgur.com/Q4fIDRp.png https://i.imgur.com/H3Y2uRG.png

[Catch6]

这玩意我记得有协议限制，不能商用，你可小心点吧

[awfe]

第一次下载模型到 66%的时候停住不动了，点击停止后再重新下载出现这个错误。切换到东京和新加坡的服务器也是一样。重新打开也是一样。

[saberw]

@gpt5 Win11 有实时字幕，甚至能识别抽象的日式英语发音

[zhufeilong]

@Catch6 开源模型吧，而且国外已经非常多的竞品了，像 MacWhisper 、WhisperScript 用高级模型也都是要收费🤡

[Marksdo]

@awfe 这个服务器在国外，如果不稳定行要 FQ 来下载.

[Marksdo]

把国区价格改为了$4.99 ，谢谢大家的建议!

[gpt5]

@saberw 但是 win11 自带那个只有英语。。比如整理会议记录时，还需要中文。

[z1249502889]

在预览字幕的时候，视频稍微长一点，会特别卡。上面也有人说过的，srt 导出格式是错误的，没法正常导入视频观看。

[saberw]

@gpt5 开发版可以选择语言，中英日都有，我都用半年了

[gpt5]

@saberw 卧槽，试了一下，精度和速度都还不错。

[minamike]

发现了一个骚操作
先下载一个最小的模型和 CoreML 模型
然后用网上下载的编译好的 large 模型和 CoreML 模型替换掉就好了🐶

[zhangwb2008]

推荐个免费的竞品 Windows/Mac 通用 https://mxmefbp9p0g.feishu.cn/docx/ZI3ldweTXorTvMxYLbucT00Un5n

[Marksdo]

@minamike 😅,被你发现你

[Marksdo]

@z1249502889 SRT 格式错误的新版本已经修复,可以更新试试,字幕多卡的问题,已记录下,会修复的!感谢提供 BUG

[minamike]

@Marksdo #33 主要是不知道为啥购买界面一片空白，难道是我的系统是 14.0 测试版的原因

[Marksdo]

@minamike 还没在 14.0 上测试过,开发机只有一台也不敢贸然升级上去

[Marksdo]

@minamike 还没在 14.0 上测试过,开发机只有一台也不敢贸然升级上去
@z1249502889 我测试了一部 2 个多小时的影片没感觉到卡(转换后),如果在转换中去看是会卡的,whisper 默认是只保留 2 个核心给用户其它地方使用,其它都用来做计算了

[z1249502889]

@Marksdo #37 具体表现是，随便拉翻译后的字幕，字幕的顺序会错乱，对应不到播放条上。如果音频时间比较长，字幕拉到一半，然后再拉到最开始的地方，会发现字幕不能回到最开始的时间点。

[zhufeilong]

@z1249502889 #38 我也遇到了这个问题 @Marksdo 希望有空能修复字幕顺序错乱的问题

[azurerayus]

作者，经过使用发现了一点问题还有需要几个功能改进
已知问题：
1 、在原始字幕进行翻译后，发现错误进行修改原始字幕。再进行单行翻译，在左侧列表下依旧显示过往的错误翻译。没有进行翻译更新，但是在右侧的字幕预览中倒是没有问题。
2 、更改字幕效果中的透明度无效，一旦尝试更改就始终维持在 100%不透明状态。

功能需求：
1 、增加对于 whisper api 的支持，可以放在付费项。这个对于低配机来说的确重要。就是一个分离音轨提交 api 就行。
2 、增加对于 chatgpt 翻译支持，这个有很多成熟案例。AI 翻译还是要效果好一些，如果支持自定义 prompt ，那么对于一些视频先大致指定内容和翻译角色，应该效果会好很多。

这个软件的功能其实我自己也尝试做过，这是个普遍的需求大家都有。一般再集成一个 youtube 下载器，支持部分网址的直接解析下载。本地识别或者 api 识别再翻译就是很流畅的流程了。

价格方面本来看到有 5 刀，结果到昨天晚上就是 20 刀了。这个常态化价格我觉得还是在 10 刀以下更吸引人购入。