为什么 waifu2x 图片放大效果那么差,我自己的算法效果那么好?

2021-06-28 14:06:07 +08:00
 3dwelcome

一图胜千言:

最上面就是原图片(像素是 400 宽度),中间是最新版本 waifu2x,而最下面是我自己的图片放大版本。

为什么最终差距会拉开那么大?首先申明,最下面没加任何锐化滤镜,就是原图输出。

4831 次点击
所在节点    程序员
35 条回复
Kagari
2021-06-28 16:19:58 +08:00
原图这么糊 waifu 来干啥
mikumkf
2021-06-28 16:22:15 +08:00
是因为输入的原图,不仅仅经过了下采样的操作减低分辨率,还经过了各种的压缩损失了信息,从而出现 domain gap 。而 waifu 最原始的算法基于 SRCNN 在训练的时候并没有考虑到这些情况。如果重新训练 waifu 用楼主自己的数据集,在 2x 倍的放大倍率下应该是没太大差距的
3dwelcome
2021-06-28 16:26:10 +08:00
@1423 这个效果才对嘛。。虽然缩小后细节都没了,但是边缘不糊了!

弄了大半天,是给 waifu2x 的原图片尺寸太大了吗?晕过去。
CrazyRundong
2021-06-28 17:42:19 +08:00
刚好再过两个月就是 ICLR abstraction deadline 了,楼主对自己算法有信心的话交一篇 submission ?
3dwelcome
2021-06-28 17:50:34 +08:00
@CrazyRundong 这图片只是刚好击中了 waifu 的软肋,只要原图不模糊,足够清晰,两者放大效果应该半斤八两。

最多就是加一点涂抹感,但厚涂也是艺术!
icyalala
2021-06-28 18:31:48 +08:00
如果单看楼主的那些图片:
waifu2x 是按图片是 "缩小" 过的为假设,尝试去还原 "原图"。
你给的图片是 "缩小&模糊" 过的,那 waifu2x 还原后的原图应该是 "模糊" 过的,这点 waifu2x 完全没问题。

例如我拍了张景深很浅的照片,背景本来就是漂亮的虚化,如果处理后虚化也给变清晰了那就不对了。
suyeH
2021-06-28 18:40:14 +08:00
不就是图像超分吗,随便找篇 sota 的顶会 paper 的开源模型就完事了,看你这效果十分不自然,这有什么可以炫耀的?
ReferenceE
2021-06-28 18:42:34 +08:00
@suyeH 别尬黑,别人是"自研"。是啥水平拉出来溜溜,算法代码开源一切都知道了
3dwelcome
2021-06-28 18:51:50 +08:00
@suyeH 又不是所有的顶会 paper 都开源的,开源只是其中一部分而已。

比如 stylegen2 开源了,硬件要求 12G 显存,我估计 V2 硬件满足标准的人数,不到 1%。
longbye0
2021-06-28 19:27:08 +08:00
waifu2x 用的开源模型几年前的了,动画真的是 easy 模式
root99527
2021-06-28 19:38:40 +08:00
你的输入图的退化模型是怎么样的?
jander1234
2021-06-29 06:06:18 +08:00
‮⁢?⁢清⁢不⁢说⁢也⁢己⁢自⁢以⁢所⁢?⁢了⁢法⁢算⁢𝗥⁢𝗦⁢𝗙⁢的⁢源⁢开⁢近⁢最⁢𝗗⁢𝗠⁢𝗔⁢了⁢考⁢参⁢是⁢不⁢是⁢你
chocotan
2021-06-29 09:08:59 +08:00
@3dwelcome 你怎么不说全国全球硬件满足标准的人数呢。。。
3dwelcome
2021-06-29 10:18:45 +08:00
@jander1234 肯定有一部分参考开源的,也有一部分是自己原创的。这点我不否认。

大部分是 AI 厚涂学习算法,不能算传统的图片处理算法。

至于这算法代码是不是开源,其实真无所谓,github 上高手满天飞。多我一个不多,少我一个不少。
3dwelcome
2021-06-29 10:28:30 +08:00
@jander1234 我查了一下 AMD,没代码啊,说最早也要下个月呢。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/786233

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX