开源一套视频处理工具链

基本概念

前段时间，影视剧风被下架的视频，讨论了国内流媒体平台画质和码率过度压缩的问题，在站内也有不少讨论。

事实上作为 pter，我们可以很轻松获取到原盘以及各大压制组压制的视频，但是对于普通用户来说，这个问题就比较棘手了。

对于一些 VR 设备来说，我们甚至期望视频能有 4k+ 的分辨率，以获得更好的观影体验。

压制也是一个小圈子，目前社区拥抱的技术栈普遍是 VapourSynth + FFmpeg(x264/x265/AV1...)
这里不介绍视频编码器的参数，只涉及 VapourSynth ，你可以把他当成一个 Python library ，以下我们简称为 vs

让我们来压制第一个视频！别担心，后面我们会提供全 Docker 化的解决方案，毕竟配环境总是令人痛苦万分的 lol

import vapoursynth as vs
from vapoursynth import core

clip = core.bs.VideoSource(source="s.mkv")
clip.set_output()

接下来，我们用 vspipe 来执行这个脚本，pipe 到 ffmpeg 开始压制

vspipe script.py - | ffmpeg -i - -vcodec libx265 -crf 16 output.mkv

超分辨率

超分辨率（ Super-Resolution ）也是 low level vision 领域的一个重要研究方向 ~~（灌水重灾区）~~，目前也有不少开源项目，社区模型（ weights ）也非常丰富

通过 SISR (Single Image Super-Resolution) 或者 VSR (Video Super-Resolution) 技术，我们可以轻松 Enhance 视频

不过这个方向并没有 huggingface 那种方便的 lib ，vs 社区里的一些方案也并不是那么灵活

所以我们开源了 ccrestoration，一个基于纯 PyTorch 的 SR 推理库，依赖干净，~~没有 MMCV~~，设计上参考了 BasicSR 和 huggingface Transformers 。通过自定义配置，可以轻松 online load 各种各样的社区模型

当然，它也支持 vs ，你可以直接在 vs 脚本里调用它

import vapoursynth as vs
from vapoursynth import core

from ccrestoration import AutoModel, BaseModelInterface, ConfigType

model: BaseModelInterface = AutoModel.from_pretrained(
    pretrained_model_name=ConfigType.RealESRGAN_APISR_RRDB_GAN_generator_2x
)

clip = core.bs.VideoSource(source="s.mp4")
clip = core.resize.Bicubic(clip=clip, matrix_in_s="709", format=vs.RGBH)
clip = model.inference_video(clip)
clip = core.resize.Bicubic(clip=clip, matrix_s="709", format=vs.YUV420P16)
clip.set_output()

现在，我们可以自由地调用相当多的 SR 模型了，它有完整的类型提示

容器化

2024 年了，不搞 Docker 怎么行呢？ AMD ROCm 甚至已经支持了 WSL2 Docker ，让我们把上面的环境打包吧~

vs-playground 提供了打包好的环境，以及提供了基于 Juptyer 的 Web IDE

你可以直接在浏览器里写 vs 脚本，在线预览任意一帧，调整参数，开始压制

分布式

不过，单机压制速度还是太慢了，所以我们构建了一个并行压制的最小实现 FinalRip

通过简易的 Dashboard ，你可以轻松分布式执行你在 vs-playground 里写好的脚本

FinalRip 会把视频切成多个 clip ，接着送到队列里，等待 worker 消费，最后合并输出。~~当然现在还是实验阶段，API 写的也很糙~~

全自动追番

构建了上面的工具链，老二刺螈初心还是不能忘，所以我们还开源了一个全自动追番工具 AnimePipeline

配置 RSS ，自动下载任务送到 FinalRip ，然后上传到 Telegram 等，方便分享给大家

这是跑完一季后的结果，当然只是一个示例，x265 8bit 显然是不合适的

可是，新番很多都是英肉，人名看不懂咋办啊？幸好现在有 LLM ，结合 bangumi 信息，翻译质量还是不错的。

我们开源了一个简单的 LLM 动漫翻译字幕工具 yuisub ，它提供了自动生成双语 ASS 特效字幕的 API ，也可以作为 cli 使用

结语

这套工具链目前还处于早期开发阶段，如果你有任何问题，欢迎提出 issue

近期会完善 SR 推理库，支持更多的网络结构

下面是所有提及的仓库：