33 字幕: 支持多语种、有背景音乐也能准确识别的双语字幕软件

2023-08-21 17:39:54 +08:00
 yedaxia

迭代了几个版本后,现在功能又强大了一点点...

33 字幕是一个智能双语字幕工具。

它基于 Whisper 语音识别大模型优化(非调用 openai 接口),能识别中英日韩、法语、泰语、西班牙、阿拉伯等 50 多种不同国家语言。

经我们测试,它在识别外语准确度很棒,其中包括英语的部分西方语言,识别能力可以接近人类水平。

为了进一步提升准确度,我们集成了预提取人声的 AI 模型,让有背景音乐的音频也能很好识别。

翻译支持 DeepL 、微软、百度等翻译接口。

可以点击这里查看 效果对比

字幕软件这么多,该如何选择:

  1. 中文/英文单字幕:剪映
  2. 字幕调轴:aegisubarctime
  3. 小语种/双语字幕:33 字幕

有 GPU 或愿意折腾的:

  1. buzz
  2. subtitleedit
PS: Whisper 的小模型识别能力真的不行,普通设备跑不了大模型,即便能跑也会有一些问题,比如时间轴不准确,不建议普通人去折腾。

这个软件源于我们内部需求,顺便做出来的。对于大部分中文视频博主来说,用剪映加个中文字幕就够了,还不用钱(字节在这方面非常厚道)。

我们就没办法做到完全免费,GPU 服务器真的巨贵!

有多一个选择总是好的,如果你有视频内容出海或者搬运的需求,说不定我们这个小软件可以帮到你。

如果你想体验软件的功能,可以给我留言,我会给你回复 50000 算力额度的兑换码。

2372 次点击
所在节点    分享创造
9 条回复
zhangsimon
2023-08-21 17:43:13 +08:00
关注 lz 作品了,很多围绕视频生产的工具,不错
但有没有能提取视频字幕的工具啊(从硬字幕提取出 srt )?
yedaxia
2023-08-21 17:52:59 +08:00
@zhangsimon 之前有试过一个 OCR 的开源软件,效果不是很理想,不过关键是这个下来成本也便宜,可能还不如直接语音识别。
Alias4ck
2023-08-22 14:44:09 +08:00
自己折腾 我用这两个 whisper.cpp 或者 fast-whisper
fortree
2023-11-25 17:11:31 +08:00
mac OS 版下载页面无法访问,是链接问题吗? https://oss.agilestudio.cn/app/zimu/33ZM-0.8.0.dmg
yedaxia
363 天前
@fortree 奇怪,我这边可以正常下载。
JackCkei
347 天前
@yedaxia 楼主,我刚体验了一下,那个额度消耗太快了,一个 65 分钟的英文视频,用那个英文大模型,居然要 18000w 额度,送的那 1.5w 直接不够,有没有其他方法解决这种。我日常也会翻译视频来看和发布到网上,找过不少软件你这个是我看到体验最好的一款,剪映说实话现在不是很好用,而且小语种不好识别
yedaxia
345 天前
@JackCkei 谢谢肯定,识别的准确度我们还是有信心的,关于算力的问题,我们也是用云 GPU 在跑,成本是真的高,如果对比讯飞听见和绘影字幕这些软件,我们的定价已经是非常良心的了。

另外我们在研究在本地部署模型 + 云端微调的方式,来进一步降低识别的成本,到时候应该可以以非常低的代价来生成字幕。

可以期待一下。
JackCkei
345 天前
@yedaxia #7 那静候佳音了
yedaxia
329 天前
@JackCkei 我们已经支持了本地识别,虽然还有一些问题,但可以用了,我们后续会继续优化本地的识别效果。加上支持导入翻译字幕,目前制作双语字幕已经可以做到零成本使用了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/967150

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX