爱意满满的作品展示区。
KevZhi

做了个本地 AI 字幕软件,商业纪录片剧组已经在用了,送 15 个激活码

  •  
  •   KevZhi · 8h 9m ago · 592 views

    各位 V 友好,分享一下我做的字幕软件,灵幕 SmarterSub。

    官网:https://smartersub.kevzhi.com/

    支持 Windows 和 Apple Silicon Mac,可以免费试用 7 天全部功能。先把地址放这里,感兴趣的可以直接下载,拿自己的视频试试。

    最近 vibe coding 的东西太多了,我自己看见一个新软件,第一反应也是:这东西到底有什么用,我为什么不直接用现成的?

    所以做灵幕的时候,我一直有个要求:我自己拿它做视频,得比之前用的、按分钟收费的商业字幕软件更省事,字幕出来的效果还得更好。否则把几个开源模型接起来,做个界面,再收一遍钱,我自己都说服不了自己。

    我本身做视频,而且很多时候,最后坐在那里把字幕从头审到尾的人就是我。真的做多了就知道,机器永远做不到 100%,只要你在意字幕的质量,那就永远得有人把关,哪怕机器做到了 99% 的识别正确率,剩下 1% 还是意味着一条 20 分钟的视频里就有 60 个错需要人来改。

    一个产品名错十次,要改十次。英文大小写不对,要改。一句话从中间很别扭的地方断开,要拆开重新合。数字、单位、中英文空格,再一点点收拾。每件事都不大,一条片子做下来,时间全花在这里了。

    所以我做灵幕,关心的是识别完以后,还剩多少活要人干。

    我把这些年做字幕积累的规则,整理成上万条真实字幕,在 Qwen3-ASR 上训练了字幕 LoRA,让断句、分行、大小写这些尽量第一次就出来对的。而 Qwen3-ASR 一开始是完全不会分行短句去水词的。还有个我自己很喜欢的功能:你改正一个词,它会理解你这次改了什么,再去找其他相似错误,让你确认要不要一起改。

    不可能指望本地模型认识所有新产品,但我已经告诉你正确写法了,就别再让我改十遍了吧。

    V 友如果会做技术教程、软件演示、数码评测或者课程,可以试试。中英混说、型号和术语比较多的内容,正好也是我平时做得比较多的。

    开发时也走过弯路。我试过把音频直接丢给多模态比较强的在线大模型,打算做 BYOK,把字幕规则全写进提示词。它确实聪明,有些新词靠上下文就能猜对。但字幕还需要时间轴,这部分仍然得另外对齐。断句和格式规则太黑盒了,执行不稳定,换段素材,结果可能又不一样。最后还是回到了专门的语音识别模型,加字幕训练和时间对齐这条路。

    现在我自己做片,用灵幕需要手动收拾的地方,已经比之前用的按分钟收费的软件少了,出来的字幕也更合我的要求。不同题材肯定有差别,大家可以拿自己的素材对照一下。

    另外,最近上线的某部大型商业纪录片,剧组已经在用了,反馈非常好。片尾还能找到我。 自己用着好和别人真的拿去完成一个商业项目,还是不一样。这也是我收费的底气。

    还有翻译和声音补录,简单说一下。

    翻译会先把完整意思译出来,再拆回原来的字幕时间轴,不用翻完又重新做一遍字幕。不过这里不吹,本地翻译模型在文风、地道程度和复杂语境上,确实不如好的在线大模型。优势是素材不用上传,出来已经是一份可以接着校对的字幕。有保密要求的片子,或者想先做个翻译底稿,比较合适。

    补录就是解决那种:二十分钟口播都录完了,中间说错一个字,怎么办?

    重新拿麦克风补一句,语气、距离、房间声音可能都变了。我把声音克隆接进了字幕编辑里,哪句说错了,就在旁边改文字,参考原声音色生成补录,连着上下句听一下,合适就用。不保证每句都能一次满意,但救得回来一句,就少折腾一次。

    识别用的是 Qwen3-ASR 1.7B + 我自己训练的字幕 LoRA,翻译是 腾讯 Hy-MT2-7B,声音补录是 Qwen3-TTS。

    上游模型的贡献当然属于上游。我做的是几十个模型里一个一个试,看每个真正的能力底子,找到最适合的,然后训练 LoRA,以及把这些能力变成一套真的可以每天干活的工具。那些反复修改、来回找、重新调轴的时间能不能省下来,才是我觉得它值得收费的地方。

    这几样都在本机跑,视频、音频和字幕不用上传,也不按分钟数或者次数收费。代价就是安装包大一些。配置要求和功能演示官网都有,下载模型、激活和授权验证需要联网。

    价格直接列一下:

    • Lite:79 元永久使用,1 台电脑。 识别、编辑、文稿对齐、智能纠错都有,主要做中文字幕可以选这个。
    • Pro 个人版:149 元永久使用,1 台 Mac + 1 台 Windows。 多了翻译、声音补录、镜头切点与字幕吸附、固定替换词、自定义字幕模型等功能。
    • Pro 工作室版:199 元永久使用,3 台电脑,平台自由组合。 和个人版功能一样。
    • 临时做个项目,也有 14.9 元 / 30 天的 Pro,不自动续费。

    永久版带首次激活起一年的更新,之后授权范围内的旧版本照常用,不续更新也能继续干活。Lite 可以补差价升级,大家可以先 7 天试用,看看自己的电脑跑得怎么样,做完一条片子到底有没有省事。

    这次给 V 友准备了 5 个 Pro 授权码、10 个 Lite 授权码。

    想申请的朋友,希望先下载试用,再来回帖。说说平时做什么内容,试下来怎么样,想要哪个版本就行。希望你确实有长期需求,别领了以后一直吃灰,名额留给用得上的朋友。哪里不好用直接讲。我会在 11 月 12 日 从试用后回帖的朋友里挑选,先到先得,并在本帖公布。

    没拿到授权,但试过觉得值得买,也准备了优惠码 V2EX。任意版本九折,没有截止日期,一共 100 个名额,用完为止。

    最后还有个开源感谢计划:官网开源致谢里列出的项目的贡献者,以及阿里巴巴、腾讯的在职员工,无论是不是千问和混元团队的人,都可以申请。核验以后送 终身免费 Pro,永久使用、永久更新,申请方式在官网购买页 。

    没有这些项目,我一个人做不到现在这样,这个版本付费也买不到,算是对开源模型的感谢。符合条件的直接申请就好,不用占这次的 15 个名额。

    欢迎试试,有问题就在帖子里说,我来改。

    12 replies  •  2026-11-05 22:49:12 +08:00
    perfectlife
    perfectlife
    7h 29m ago
    1
    我最近也有类似的需求,从 mv 视频的硬字幕中取出来时间轴歌词,头疼,asr 识别的文字错误率太高了,时间轴也不准
    KevZhi
    KevZhi
    OP
    7h 25m ago
    2
    @perfectlife Qwen3-ASR 是对歌曲做过优化的,我试过说唱正确率还是非常高的,普通演唱凑活吧,你可以试试。内部也有词级时间轴,暂时还不支持导出,你可以让 AI 读一下项目文件。
    或者这类活应该用 OCR 建议让 AI Agent 动用 AI 能力修
    KevZhi
    KevZhi
    OP
    7h 19m ago
    3

    @perfectlife 你可以看看效果
    perfectlife
    perfectlife
    7h 13m ago
    4
    @KevZhi Qwen3-ASR 识别歌曲歌词,错误率太高了,我现在就是用 ocr 识别获取歌词,时间轴用 Qwen3-ForcedAligner-0.6B 做时间对齐 ,但是感觉准确性要求高的情况下 ,还是差点意思,我这边还是用逐行和逐字的时间轴歌词 ,现在是各种路子都用了 感觉挺难的
    KevZhi
    KevZhi
    OP
    7h 3m ago
    5
    @perfectlife 正解就是找 AI Agent 用网络知识库去矫正了,对于中文来说,ASR 缺失了正确的语调,原始输入就相当于被污染了,挑战是指数级增加的 基本都靠后面的文本编码器来救,毕竟比如万青,真人都可能听不出是什么词。
    但是我试了些英文说唱识别率基本 100%,英文歌词也不影响,本来语调信息就不多
    perfectlife
    perfectlife
    6h 19m ago
    6
    @KevZhi llm 校正这个路子我也走了,llm 校正歌词后再给 ForcedAligner-0.6B 时间对齐,但是有些字幕和互联网的歌词不一致,客观情况下我还是只能以字幕歌词为准,被两头堵了,现在是一方面拼命提高 ocr 识别准别度,一方面提高时间轴的准确, 数十万部视频,基本不太可能人工介入去救,现在想就是只能接受一些识别没那么准的情况
    yukunZhan9
    yukunZhan9
    6h 11m ago
    7
    晚上回去试用一下,自己也在搓字幕识别,但是还没到训练 LoRA 那一步,还是想着尽可能的减少依赖,mac 尝试使用 apple 自己的听写看看效果。
    KevZhi
    KevZhi
    OP
    5h 46m ago❤️1
    8
    @yukunZhan9 Apple 中文听写正确率 90% 都不到,属于根本没法用那一档。
    Whisper Large 是 93%左右
    FireRED ASR 据说是 SOTA ,97.5% 但我也试了,夹杂英文词、型号大小写全都错的,训练集质量可以说是非常堪忧。FUNASR 也不太理想。
    这都是我踩过的坑,可以不用再试了哈哈
    Qwen3-ASR 1.7B 别人测试集是 97%,但是实际表现非常好,尤其是科技数码类话题,经过我训练以后同类型视频基本 CER 99.2% 左右。文本层有点东西,训练预料质量也非常高。比如比亚迪 DM-i 裸模都能正确标注
    干字幕识别这个活,低参数量的模型没有实用价值,看着快了,占用性能小了。实际上省下来的时间,会一分不少浪费在人工校正阶段,甚至花的更多
    yukunZhan9
    yukunZhan9
    5h 21m ago
    9
    @KevZhi #8 哈哈,那看起来确实要劝退这个方案了
    KevZhi
    KevZhi
    OP
    2h 42m ago
    10
    @KevZhi 打错字了 CER 是错误率写反了哈
    flysic
    flysic
    2h 6m ago
    11
    怎么安装包这么大
    我使用的是:
    我使用 https://github.com/WEIFENG2333/VideoCaptioner#gui-%E6%A1%8C%E9%9D%A2%E7%89%88
    给剪辑后的视频配上实时字幕。

    安装 videocaptioner 过程,安装 ffmpeg 中,遇到的问题

    在为 `videocaptioner-gui` 安装与配置 `ffmpeg` 的过程中。在 mac 上完全免费
    KevZhi
    KevZhi
    OP
    1h 19m ago
    12
    @flysic 包内置模型和运行环境,安装及用,免的用户自己配置,所以比较大。
    实际效果证明了,完全不需要在线 LLM ,只是后训练 1.7B 的本地 ASR ,分行断句一项也能做得非常好,完全直接可交付的好。而且可以迁移不同人的风格,那我觉得用在线 LLM 就不是特别优雅的方式。灵幕有免费试用,可以试用比一比其他软件,看看有没有比其他软件省时间,值不值得付费看你自己
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2178 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 16:08 · PVG 00:08 · LAX 08:08 · JFK 11:08
    ♥ Do have faith in what you're doing.