机缘巧合, 我居然做了一个以前梦想中的功能, 实时翻译播放器, 任意外语视频拖进来就看双语字幕

[iorilu]

以前也发过

www.zimuji.com

我是 V2sub-Ai 字幕机的作者, 算是比较早做这种视频语音识别生成字幕并翻译的人了

现在做这个的也很多, 功能基本大同小异

今年突发奇想, 能不能搞个实时翻译播放器呢

毕竟按本来流程, 需要先语音识别转录字幕, 然后翻译, 一个视频弄下来需要不少时间的

多年前看日本片时总是想, 要有实时翻译就好了...

能不能视频拉进来立马就能看呢, 毕竟不好看可以立马删掉, 不用费事折腾, 而且很多视频也就看一次 也许折腾完了又不想看了

总之, 花了一段时间, 有 AI 协助, 反正也是搞出来了

效果我还是满意的, 视频拉进去几秒钟(看配置可能时间有长有短)就能看到双语字幕了, 大大提高我看比较长英语教学视频的兴趣

昨天就看了近 3 个小时的 YouTube 下载的教学视频

而且现在大模型翻译都很不错

详细使用文档

视频演示

总之这个功能是很多年前梦想的, 没想到真的实现了, 居然还是自己实现的, 想想有点奇妙

反正我没看到有类似的播放器, 有可能是全球首创

说明: 该软件是收费的, 虽然免费版也能用, 但这个功能需要强化版以上

软件内支持多个翻译器, 其中微软谷歌是免费的, 其他大模型翻译器均需要自备 key, 基本支持市面上任意大模型

对翻译要求较高的建议使用大模型翻译器, 流行的都可以, 效果秒杀谷歌微软的

有兴趣的可以留邮箱(可 base64), 可以赠送一个月强化版注册码 , 也算是回馈 v2 了

或加我微信: aizimuji, 找我要也行

上面忘了说

需要注册码说下需要, windows 或 macos 版

因为注册码不通用

[midpoint]

“沉浸式翻译” 插件可以在线看的时候自动生成中文字幕，不用下载下来，感觉更方便

[iorilu]

@midpoint 他那个只能看 YouTube 把, 是利用 YouTube 自己生成的字幕翻译的

我这个是看任意本地外语视频

[chung]

@iorilu cmVkb2tvb29AZ21haWwuY29t,来一个试试 ， 谢谢佬

[iorilu]

@chung 已发送

不过上面忘了说, 这个软件分 macos, windows 版

注册码不通用, 我给你发了 windows 版

如果你需要 macos 版, 回我下, 我再发个 macos 版

[xayoung]

在 op 的群里呆了挺久的了，一直都有在回复疑问和更新版本，支持一下。来个 mac 版，谢谢 eGF5b3VuZzAxJTQwZ21haWwuY29t

[iorilu]

@xayoung 已发, 欢迎提意见, bug

[Romic]

来个 windows 版，谢谢

[iorilu]

@Romic 需要邮箱生成注册码的

发下邮箱, 可用 base64 编码下

[Romic]

@iorilu #8 cm9tMWM4MDMyM0BnbWFpbC5jb20K

[iorilu]

@Romic 已发

[xf1121]

来个 window 版本的，谢谢老哥
aHhmMjAwMDExMjFAZ21haWwuY29t

[VDarker]

求一个 windows 版的 谢谢

[iorilu]

@xf1121 已发


@VDarker 发下邮箱, 可用 base64 编码

[skating422]

来个 mac 版的，谢谢: c2thdGluZzQyMkBnbWFpbC5jb20=

[iorilu]

@skating422 已发送, 欢迎提意见 bug

[iorilu]

分享个使用技巧

有个参数是分段长度

因为软件原理就是先整体分段, 然后每段语音识别出原视字幕, 然后发送到翻译引擎翻译

所以每次翻译的是一段识别的所有字幕

考虑到大模型 API 翻译往往调用比较慢

所以适当增大这个分段时间, 让每次调用大模型 API 多翻译一些

可以减少大模型 API 调用次数, 提高流畅性, 还可以减少 token 使用数

所以我建议用大模型翻译器的可将分段时间调整为 20 秒

如果使用机器翻译器, 谷歌微软(默认)这种可以不用调使用默认 10 秒, 这种翻译器反正速度很快, 正常
1 秒就完成

[justlikemaki]

potplayer 支持实时翻译插件的，也可以边播放边显示，我一直在用。

[iorilu]

@justlikemaki 这个我知道

其实我本来已经开发好了 potplayer 插件, 打算集成这个播放器

不过后来还是取消了这种做法, 毕竟这个播放器并没开源, 没法控制一些细节, 再加上这种方式操作很麻烦

所以后来还是决定自己开发专用播放器

[followad]

Mac 老哥

NjQ2ODM2NDE1QHFxLmNvbQ==

[VDarker]

@iorilu NzU4ODYzMzE5QHFxLmNvbQ==
感谢

[iorilu]

@followad

@VDarker

两位已发

[donnywusoftware]

我说个我的办法，chrome://settings/accessibility 打开浏览器的实时字幕开关，然后播放视频的时候使用 Chrome 播放就有字幕了

[bihui]

请教大佬，视频本身没有字幕也可以实时翻译吗？如果一个电影长 2 个小时本身没字幕你咋生成字幕并翻译？
调用本机 whisper 会不会太慢，调用别人的 api 会不会也很慢，
我很好奇如何实时获取字幕的

谢谢！

[iorilu]

@bihui 就是用来播放没有字幕的视频的

原理就是上面说的

因为软件原理就是先整体分段, 然后每段语音识别出原视字幕, 然后发送到翻译引擎翻译

whisper 的话看个人机器, 只要又不是太差的显卡(3060 以上) , 肯定是可以实时看的

mac 的 M 系列芯片也没任何问题, 完全可以实时看

即时没显卡, 我提供了缓冲参数, 把缓冲时间放大点也能看

[dadadadaadada]

@justlikemaki #17 什么插件老哥

[NicoNya]

Windows 的，谢谢老哥
ZGp2aW5laDhAZ21haWwuY29t

[iorilu]

@NicoNya 已发

[justlikemaki]

@dadadadaadada 右键菜单，字幕，开启 生成有声字幕 和 实时字幕翻译

[bihui]

谢谢大佬,
大概理解了下,用 ffmpeg 提取音频并分段,whisper 识别每一段,分别提交翻译引擎..

那效果估计跟 youtube 的实时翻译差不多吧.

[4zp8oaahntzvhd]

mac 的，我想体验下那些外语视频翻译过来效果怎么样，谢谢大佬

[ma5onxu]

NDQyODkxNjMzQHFxLmNvbQ== 我也想试试，大佬

[iorilu]

@4zp8oaahntzvhd 需要个邮箱

@ma5onxu 给你发了 windows 版, 如果需要 mac 的, 回下,我可以再发下

再说下, 需要的提供
1. 邮箱
2. 版本(mac 或 windows)

[4zp8oaahntzvhd]

@iorilu #32 aW50ZWxsZWN0dWFsemhhbmdAZ21haWwuY29t 😅 麻烦大佬了 mac

[iorilu]

@4zp8oaahntzvhd 已发

[tt86331237]

aXNzamtkamRka2tkQGdtYWlsLmNvbQ==
谢谢 windows

[4zp8oaahntzvhd]

@iorilu 收到了谢谢，一打开下载链接，哇，软件还挺大。。。

[iorilu]

@tt86331237 已发
@4zp8oaahntzvhd 带模型的 , 本地 ai 带模型软件都不小

[iorilu]

小提示:

如果希望有比较好的字幕翻译效果

请使用大模型翻译器

现打开翻译配置里面, 选择一个合适你的翻译器并确保测试通过

我个人推荐 gemini, 毕竟可以免费白嫖

当然了, 其他白嫖现在也很多, 有兴趣的可以看看 火山也能白嫖, 国外的 groq 都行

但 gemini 翻译器是大模型翻译器里面最快的, 基本达到机器翻译器的速度, 别的明显慢

尤其 deepseek 官方的, 很慢, 不是很推荐使用