找不到好用的视频生成字幕及翻译字幕软件,于是我开源了一款

175 天前
 buxuku2008

[!TIP]

客户端版本地址: https://github.com/buxuku/video-subtitle-master ,欢迎大家使用体验

自己之前下载了一些外文视频(我说是学习视频,而非岛国视频,你信吗?哈哈!),没有字幕,希望能够添加字幕文件,同时也能够将字幕文件翻译成中文, 还希望能够通过批量处理的方式来减轻工作量。

类似需求,有一批厂商已经提供到了支持,比如 讯飞听见, 网易见外 等,但这些在线服务都涉及到视频的上传动作,效率相对比较低下。

希望能够找一个客户端工具,在本地来生成,试用了一些工具( Mac 平台),依然不理想

找不到好用的,干脆就自己来写个工具吧,因为自己是做前端的,想到的就是用 Nodejs 写脚本来批量处理实现。核心流程就是通过 ffmpeg 提取音频,通过 whisper 生成字幕文件,通过翻译 api 把字幕文件翻译成中文字幕文件,然后就可以在播放器里面挂载字幕了。

我把这个工具开源了,地址: https://github.com/buxuku/VideoSubtitleGenerator , 后面非常荣幸得到了一峰大佬的推荐,一峰大佬的影响力果然非同凡响,推荐之后,这个项目的 star 数直线蹭蹭上涨,一下子就得到了 300 多 star, 给我了很大的鼓舞。

同时,我也发现,小工具,自己用用很简单,但要把它开源,做成好用的产品,还是有一定难度的,比如我这个小工具,要使用它,需要在电脑上提前安装好 whisper 和 ffmpeg, 这本身就有一点门槛了。

于是我进行了迭代了,把 whisperffmpeg 集成到了工具里,不需要用户下载了,减少了很多步骤,但它依然还是一个命令行的工具,需要在终端里面使用,同时修改配置也需要在配置文件里面进行修改,使用上还是有一些难度的。

进一步想想,那我干脆把它做一个客户端工具好了,所有的配置操作都可视化, 这样使用上就没有什么门槛了,大家使用起来也非常方便了。

啃了一下 electron 的文档,集成 ffmpeg, 通过 nextjs + shadcn + tailwindcss 写前端页面,把整个命令行工具的能力集成到了这个客户端工具里面。整体效果如下图:

当然,它还只是一个初始版本,也非常欢迎 V 友们尝试使用,提出宝贵的意见和建议,我将持续更新迭代,让它能够更好地帮助到有需要的朋友们。

这是项目的地址: https://github.com/buxuku/video-subtitle-master 欢迎 V 友赐 star 一枚🤝

3402 次点击
所在节点    分享创造
42 条回复
chunkingName
174 天前
请问,能在我家里的群晖上部署然后自动为群晖上所有视频生成字幕吗?
winglight2016
174 天前
前几天刚看到一个 js 版的命令行开源项目,好像就是 lz 这个,这么快就有 GUI 了。我用 AI 帮忙做了个 python 版,有兴趣的拿走: https://github.com/winglight/VideoExtractSub
buxuku2008
174 天前
@thinkm #16
buxuku2008
174 天前
@thinkm
抱歉哈,我目前对于输出的要求没有那么高。所以翻译也是一行一行进行翻译的,火山支持多行翻译,但应该也没有去关联上下文,如果我良好的上下文关联进行翻译的话,估计要通过 ai 来翻译可能效果会好一些。
你这边方便的话,可以麻烦帮我提供一素材,就是那种单行翻译效果比较差的那种。我好去尝试一下更好的翻译方法实现。
buxuku2008
174 天前
@digd 恩,看了一下,该项目已经不再维护了,不过思路挺不错的。
buxuku2008
174 天前
@SawyerGuo 大佬,可以分享了下项目地址吗?我这个项目目前还没有支持 windows 版本,下一步计划正好也是去兼容 Windows
buxuku2008
174 天前
@chunkingName
不支持在群晖上面运行那个 GUI 版本,不过你可以试试那个命令行版本,但最好的方式,是在电脑上面运行,然后挂载群晖里面的内容。
YuushaTao
174 天前
等个 windows 版,先 star
DavZhn
174 天前
已 star ,不过好像下载模型的时候,一直是正在下载,77.7m 的那个 下载了 10 分钟了 还是那样诶?
buxuku2008
174 天前
@DavZhn 你使用的是官网的源吗?官网的源有时会被墙,使用国内源应该是很快的。
DavZhn
174 天前
@buxuku2008 选择的是国内的诶
lhsakudsgdsik
174 天前
chrome 浏览器现在貌似就可以识别视频字幕吧
thanksir
174 天前
@zhw2590582 好喜欢这个界面
ivyliner
174 天前
@buxuku2008 嗯, 我的 APP: YPlayer 好像可以完美解决你的核心需求: 本地批量生成字幕和批量翻译
https://www.engineerdraft.com/yplayer/
ivyliner
174 天前
@jatesun #12 我的 APP BeMyEars 好像就是你想要的 https://www.engineerdraft.com/bemyears/
buxuku2008
174 天前
@DavZhn
你通过 command + shift + i 可以打开控制台,在 console 里面看看,有没有什么日志信息呢
forvvvv123
174 天前
大赞,非常好,我非常需要!现在就下载下来试试!
FFFMML
174 天前
用 pixel 自带的他可以把英文实时实翻译成繁体,准确度高,而且基本上是全局调用,找个 iptv 的英文电台,他都直接显示中文字幕。自己录的视频他也会跑出来翻译。
mdgwmt0
174 天前
感谢
LJason
174 天前
支持一下,等 Linux 或 Windows 版

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1043476

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX