这是一个创建于 686 天前的主题，其中的信息可能已经有所发展或是发生改变。
分享一个我们正在做的产品--快转字幕 https://www.kzzimu.com ，目标是海外市场，先在国内试试水，de 下 bug 。
下面我跟大家分享技术、经验和资源哈。
一句话介绍
是基于 Whisper 魔改版，实现音视频转字幕，GPT-4 翻译加润色，识别说话人，字幕智能重排的一站式音视频平台。
V 友们肯定会说，XX 、XXX 和 XXXX 不都有这些东西？
我们的优势是：
- 无须显卡，云端速度非常快。
- 普通用户可以免费使用。
- 傻瓜式，用户不需要有任何技术，不需要去搞什么 Key 。
- 解决很多 AI 模型的输出不稳定问题，保证结果的稳定性。
- 有一个体验非常好的字幕编辑器和文件管理系统。
对我们的产品的技术实现感兴趣的话，可以留言，我会分享一些技术细节。比如，我们的说话人识别，用的是 NVIDIA 的 Nemo 。
API
另外，V 友如果想要在自己的产品上快速实现我们现在的功能，我们也做了 API 可以对接，比如我们支持 2 小时以内，100M 的不分段的音频识别。
一些 todo
- 提取音频的纯人声、纯背景（已经做好，测试上线）
- 海外版（架构一开始就是面向全球，现在正在准备外文资料和服务器架构）
- 下载合并了字幕的视频文件。（已经设计好）
- 根据字幕的剪辑功能。（新建文件夹）
 |
1
webjourneyer 2023-12-15 15:36:26 +08:00
哇，我们正好也在开始做这块的，希望楼主能分享更多细节
|
 |
2
terryops OP @webjourneyer 多搞搞差异化吧。你想知道哪部分的细节？
|
|
3
webjourneyer 2023-12-15 16:02:34 +08:00
@terryops 目前我们基于 whisper 也搞了一个字幕提取的(主要是参考开源的应用），但我就一直没办法像楼主你那样搞成网站的形式来调用进行调用，你们边播放边把字幕实时搞进去是怎么处理的呀
|
 |
4
Cellinlab 2023-12-15 16:10:52 +08:00
加个音色识别吧，这样能吊打市面上 99%字幕识别工具了，给字幕加上角色
|
|
5
terryops OP @Cellinlab 我们可以识别说话人，区分 1 、2 、3 、4 、5 、6 这样，但是具体这个人是谁，需要音色的向量保存下来，然后人工标注。
目前我们的产品主要定位是视频创作者，用户可以手动标注说话人的名字，目前来看是够用的。 |
|
6
terryops OP @webjourneyer 这个很简单，是浏览器自带的功能，用那个 WebVTT 的格式，就能挂载字幕了。
|
 |
7
lidedongsn 2023-12-15 16:22:13 +08:00
这个特色是转字幕，有没有想过加强剪辑的能力
|
|
8
lidedongsn 2023-12-15 16:24:11 +08:00
还有就是基于识别字幕的文本内容结合当前的大模型能力，生成视频摘要还有智能剪辑
|
|
9
Cellinlab 2023-12-15 16:24:55 +08:00
@terryops 挺好，我觉得你可以和他们谈下合作 https://www.33subs.com/contact
|
|
10
webjourneyer 2023-12-15 16:28:08 +08:00
@terryops 感谢，我研究下
|
|
12
terryops OP @lidedongsn 谢谢，这块我们研究下能做到什么个程度。
|
 |
13
Andim 2023-12-15 17:00:00 +08:00
试了下中文比原生的 Whisper 还是要差点，原生 Whisper 能识别中文 80%
https://www.kzzimu.com/result/94f99bd0e6f59046222957b506ded023  https://gcdnb.pbrd.co/images/wIzlPpehs9tW.png?o=1 只识别出四句 音频是 李千那 的 延禧攻略 |
 |
14
deiphi 2023-12-15 17:14:31 +08:00
试了一下，跟 Whisper large v3 出来的字幕一模一样。
|
|
15
terryops OP @deiphi 我们是基于 Large-V2 ，V3 有很多问题，测试后弃用了。
我们考虑到了很多边界的情况的处理，一个视频是测不出来质量差别滴。 |
|
16
terryops OP @Andim 可能是你的文件有问题，我把你发的链接直接下载视频下来，拖进去转录，能出全部歌词。
[temp-Imagej-U4z-LX.jpg]( https://postimg.cc/JydH3tZR) |
|
17
terryops OP <a href='https://postimg.cc/JydH3tZR' target='_blank'><img src='https://i.postimg.cc/JydH3tZR/temp-Imagej-U4z-LX.jpg' border='0' alt='temp-Imagej-U4z-LX'/></a>
|
|
18
Andim 2023-12-15 21:49:16 +08:00
@terryops
https://mega.nz/file/64VjFSRY#wHOazbwhbsSj7BJ2LnjTZco0Wx5SUzEdqlEH8Is0_DM 这个音频我用 Whisper 识别是没问题的，不过 Whisper 对中文的错误率还是很高  |
|
19
terryops OP @Andim 你有没有发现你出现了李宗盛作词作曲这种幻听？然后 3 分 17 秒那句完全就错的。
我们研究了很多这种问题，有很多解决方案，比如然后你那个文件有点问题，我们有个功能，去杂音。 https://imgur.com/a/acOVSYO 勾选之后就能识别了。 https://imgur.com/a/AMVID1N 另外 Whisper 对音质要求很高的，音质差，识别率就差，断句也会差。你那个 8mb 的 wav 文件，码率应该相当低。 但是可以做一些音频处理，移除杂音。 |
 |
20
wswlaz 2024-01-04 13:13:12 +08:00
获取视频信息失败,请检查 URL 是否有效
|
Select Language