[讨论]基于卷积神经网深度学习的图像降噪算法初步探究

[Explorare]

最近在Github上发现一个有趣的项目，是一个专门为AniPic优化的图像放大算法，基于卷积神经网深度学习，通过大量数据让算法自行优化处理方式，官方提供了一个在线demo - waifu2x，效果令人惊讶，先上个图。

原图

处理后（参数：Noise Reduction: low; Upscaling: 2x;)

作为对照放出用PS处理的效果（参数: 两次平方扩大2x，noiseware full luma noise reduction, 表面模糊0.1, USM锐化）

效果强差人意，明显不如waifu2x的效果。

而且根据核心算法的论文，算法本身实际上可以不对图像进行预处理，直接处理RBG，而waifu2x提供的demo是将RBG图像先转化成YUV，这个过程会对效果造成负面影响，但即便如此效果依旧理想，下一步目标是尝试直接处理RBG图像测试效果。

目前demo是基于N卡的CUDA运算，但实际上核心算法可提取出来基于CPU运算，能处理视频和图像，算法本身的目标是降噪而非放大，但用来放大图像也是可以的。虽然算法本身是用来降噪的，但实际也可作为压缩算法，对图像视频进行有损压缩后，在接收端进行放大并降噪，能节省不少带宽和空间，有可能成为有损版的H.265(?)

本文的主要目的就是介绍一下这个降噪算法，诸君有需要处理的扫图可以直接丢到这里进行处理，但要注意2M的文件限制，也可以部署算法到本地环境，部署方式有提供。

PS.我并不是DeepLearning专业的，也是刚刚接触，正在啃基础论文，对此方面很感兴趣，本文旨在抛砖引玉之效，上面的观点部分来自之前和坛友的讨论，可能认识有错误，朱军尽管指正，希望能推荐一些入门资料和相关大牛的部落格。

以上

[参考文献]
[1] nagadomi/waifu2x Image Super-Resolution for Anime-Style-Art - Github
[2] Image Super-Resolution Using Deep Convolutional Networks - arxiv
[3] 卡通图片的压缩 - 风云的BLOG
[4] UFLDL教程 - Stanford
[5] zouxy09的专栏 - CSDN

本网站（或页面）的文字允许在 知识共享 署名-相同方式共享 3.0协议 下修改和再使用。

[evolighting]

完全不懂但是需要学习这个的路过…
什么，其实我是生物信息的…

[66CCFF]

看了下github的star，这说明基础研究下项目只要工程做得好还是会有很多关注的。
也算对我等的鼓舞。

[Explorare]

@66CCFF 主要还是这个项目选对切入点了，很吸引我等死宅码农，我在想把核心算法做成PS插件处理海报扫图，做成MangaMeeya看漫画用，或者做成potplayer实时优化老番画质，最容易实现的是做个高清版舰娘，素材全部高清化就OK，已经有成熟的素材替换方案了。

[chengzhoukun]

@Explorare 支持，做个像madvr那样的渲染器挺好的

[Explorare]

@chengzhoukun 如果没记错的话，madVR主要是管理颜色的，还有个SVP是插帧做的很牛，但实时提升画质的，我所知道的应该是大法的BRAVIA视频处理引擎最强

[linxy]

我是在知乎上看到了相关问题
http://www.zhihu.com/question/30497963
然后去读了一下论文，感觉 还是很厉害的。
有时间要详细 的来学习一 下。
PS，我是做图像处理的……

[KexyBiscuit]

看到二次元就戳进来了，mark

[xlrtx]

放大了一张..

[Explorare]

@xlrtx demo的算法是为AniPic特化训练过的，可能对于元素较复杂的三次元图像的效果还不理想，但经过足够的样本训练，应该也会很理想。

[LPeJuN6lLsS9]

这个好神奇，可惜完全不懂机器学习之类的，所以怀着敬意……

但是这个主题有点奇怪，看上去像是楼主发布了这个软件。特别是“参考文献”，不是一篇介绍文吗？虽然主题目的是说介绍算法但是整个主题都在说waifu2x这个软件。最后ＲＢＧ错了

[openkl]

感谢楼主分享知识，文章末尾的引用貌似笔误：
[3] 卡通图片的压缩 - 风云的BLOG
应为：
[3] 卡通图片的压缩 - 云风的BLOG

[Explorare]

@hantsuki
首先我是刚接触DeepLearning，所以对于核心算法并没有完全理解，只能就项目本身和社区反响等做一些介绍，希望能有大牛来上点干货，其实就是敲碗等了。

[Explorare]

@openkl
没看出有什么不同啊( ´_ゝ`)

[xlrtx]

@Explorare

没有看过文章, 感觉很有意思啊, 我上传的原图片不是很大, 仿佛可以增加新的信息到图片里.

这个算法是先要用大量其他图片训练么, 还是只用上传的图片进行训练?

[Explorare]

@xlrtx
应该是有专门用来训练的素材吧

[zwzmzd]

看了下作者，三作就是用去雾算法拿了CVPR2009的Best Paper的大牛

[Explorare]

@zwzmzd kwsk

[linxy]

@zwzmzd 对啊对啊，何恺明

[neutrino]

在没有cuda的情况下速度如何呢，对于降噪质量不用太好，速度第一，无需人工干预的算法。。。

[zwzmzd]

@Explorare 转个微信上的文章

http://mp.weixin.qq.com/s?__biz=MzA4NjA4MTkzMw==&mid=209218404&idx=1&sn=db6a7eafb83a70ecef76a287fc2ace91&scene=2&from=timeline&isappinstalled=0#rd