基于光流的开源视频未来帧预测算法

[hzwer]

欢迎大家来为我们的项目建设提供宝贵意见和 star：
https://github.com/megvii-research/CVPR2023-DMVFN
论文在做正式发表前的处理，模型也将会按照实用反馈进行更新
当前模型输入两个 RGB 帧，输出未来一帧的预测，类似于插帧的外插版本



<amp-youtube data-videoid="rlghCGbAqUo" layout="responsive" width="480" height="270"></amp-youtube>

[ac23]

流批

[whi147]

这么做的目的是为了提前渲染？

[hzwer]

@whi147 可能可以做 或者以压缩方式做 但是我们不太熟悉相关应用 🧐

[siknet]

这能拿来给视频补帧吧？

[hzwer]

@siknet 补帧有另外一些项目，有些技术上的小区别

[deorth]

我能想到的用处是，插帧算法得出来的视频最后会少一帧（相对于原视频的两倍帧而言），然后可以用这个补上? 233

[devliu1]

强啊

[iloveoovx]

应用的话，研究下 meta 在 asw 相关的一些工作？因为 VR 对帧数和延迟在所有应用中是最敏感的，所以补帧方面他们花了很多工夫

[huxiaotao]

@iloveoovx 确实可以

[xing7673]

这个应该是用来压缩的。
补帧是内插

[kop1989smurf]

类似 DLSS3 吧。既通过预测插帧，来降低传统补帧内插帧导致的延时效应。