撸了日本小电影提取字幕并翻译的工具

[Brightt]

撸了个提取视频字幕并用大模型翻译的工具，专门针对日语优化，支持 Windows 和 macOS （ M 芯片）： https://github.com/cddqssc/Caption-Trans

如图，帮我的一个朋友翻译了一部番号为 ipx-726 的日语片，效果非常哇塞


利用 whisperX 的词级时间戳针对日语进行优化，其他语言保持 whisperX 的基本水准，比 whisper 强。
转录自动识别 GPU 加速
推荐使用 gemini flash lite 系列模型，速度快价格便宜，还能翻译敏感词

翻译是先让 AI 总结全文，然后再逐批让 ai 翻译，每批有上下文关联

效果实测不错，有些模型还能翻译出非常下流的语句

[gojo]

能支持命令行就好了, 能集成到各种自动化工具里

[CharmingCheung]

能否加个识别出来的字幕编辑功能，允许编辑完之后再送去翻译，因为有些句子识别出来就是一条几分钟的超长"あああああ"，实际用的时候既需要编辑掉，翻译起来也浪费 token 。

[ireqhawk]

@feidao158 你碰到的问题跟我猜的一样，哈哈。
直接正则+极特殊情况(大部分集中在国产和步兵)写规则匹配。这条路已经实际试过可行了.几万部各种来源的准确率能到 99%以上.特殊情况再手动补规则进去.

[goodryb]

@Brightt #92 单独试了下，还是 grok 比较生猛

[CaptainTimo]

能不能用女优现有的视频训练 tts ，然后直接生成中文音频啊

[Brightt]

@CaptainTimo 太会享受了

[yukunZhan9]

之前做过一款基于本地 whisper 做识别然后调用大模型做翻译的功能，对于一些声音小或者杂音比较多的场景识别起来效果比较差，还有大部片段只有啊啊叫的效果也不行，不知道这个怎么样，已 start ，晚上回去深度体验一下。🤓

[Brightt]

@yukunZhan9 这个就是解决你遇到的那些问题，深度体验下

[gulullu]

能批量不啊，求个批量的

[fionasit007]

请问一部 10Gb 左右的要花多少时间呢，之前看到过类似的开源的，折腾了下结果很慢

[19cm]

老哥,能集成这个进去不,

[junas7]

@fionasit007 抽一根兰州的时间

[jwxyz1992]

第一生产力，名不虚传

[txhsj]

回去先研究下

[kome]

Faster Whisper TransWithAI ChickenRice ，这个项目可以本地使用，应该是只支持 CPU 或者 CUDA ，我这移动版 1650 4G 显存，也能跑，速度不是很快。

[JackMaMa]

@zmqking 手机端好像没有

[mrabit]

好东西 收藏了

[Jiashu121]

@wyattyhh #4 javbd 和 javlib ，自己下载 20G+的片源

[tadashiyui]

咱就是说原来你们还看剧情的吗，我都直接跳到正片，来回不就是嗯嗯啊啊那几句.......

[Brightt]

@tadashiyui 我看的有码的，有码的基本上都有点剧情。无码的现在不好看了

[zjj19950716]

可恶 第一次产生要换硬件的念头 竟然是在这个场景下

[KousukeSakurako]

挺不错的，只可惜我会日语用不上

[hanli]

环境能不能保存在软件目录？ C 盘空间不多了

[erwin985211]

小米手机有一个实时字幕的功能，支持日文，效果挺不错的

[kirieievk]

我搞了一个是在电报机器人上直接下载 pt 站的种子,然后自己翻译上字幕之后发到我电报.这样就可以在线看了.看了就删.不过一般都是看各种小众文艺电影,也有小电影.也用的 whisperX,质量已经非常好了.

[sickoo]

@Brightt #3 本身都带有马赛克，太高清马赛克更模糊，乐趣减少特多

[kukat]

已经有近 400 个老色批（包括我） star 了

[dragoooon]

@yuwancumian27149 potplayer 可以

[shell314]

可以加一个翻译漫画的

[hackpro]

翻译出来的是外挂字幕还是直接写会原视频容器啊

[wm5d8b]

看番剧适用吗？现在又重回网盘时代了，不想等字幕组古法烤制

[Brightt]

@hackpro 外挂，外挂比较灵活，特别对于 vr

[Brightt]

@wm5d8b 兄弟 我不知道，我做这个工具只测试过日本成人电影，其他语言，其他类型都不知道效果

[hackpro]

@Brightt 赞👍

[yaakua]

如果只是为了实时看视频字幕，可以看看我这个软件： https://fanyueai.com 还支持实时翻译字幕

[kylehuangyu]

@frankkly 试过了速度跟不上

[wnpllrzodiac]

衣裤衣裤

[kero991]

你别说，隔壁也有一个类似的项目，发在小众软件
https://github.com/meizhong986/WhisperJAV
起因是 Whisper 不能很好的处理某种片子里的喘息哼叫等，所以做了这个

[wenyupapa8]

等到下载完都 soft 了

[desstiony]

windwos ，gpu 启用失败，nvidia-5070

[RUIN44]

輸出語言能增加繁中嗎？

[jtam]

Ollama:gemma4 不能翻译敏感词，有啥可以敏感词的本地模型么？

[GodSppp]

老哥, AMD 的显卡, 不能加速吗?

[artv]

@frankkly 今天更新 DualPiP 扩展 发现可以实时翻译了
https://chromewebstore.google.com/detail/ddkmobcljbfggkmibabekgpbighaogpn