[讨论]基于卷积神经网深度学习的图像降噪算法初步探究

[Explorare]

最近在Github上发现一个有趣的项目，是一个专门为AniPic优化的图像放大算法，基于卷积神经网深度学习，通过大量数据让算法自行优化处理方式，官方提供了一个在线demo - waifu2x，效果令人惊讶，先上个图。

原图

处理后（参数：Noise Reduction: low; Upscaling: 2x;)

作为对照放出用PS处理的效果（参数: 两次平方扩大2x，noiseware full luma noise reduction, 表面模糊0.1, USM锐化）

效果强差人意，明显不如waifu2x的效果。

而且根据核心算法的论文，算法本身实际上可以不对图像进行预处理，直接处理RBG，而waifu2x提供的demo是将RBG图像先转化成YUV，这个过程会对效果造成负面影响，但即便如此效果依旧理想，下一步目标是尝试直接处理RBG图像测试效果。

目前demo是基于N卡的CUDA运算，但实际上核心算法可提取出来基于CPU运算，能处理视频和图像，算法本身的目标是降噪而非放大，但用来放大图像也是可以的。虽然算法本身是用来降噪的，但实际也可作为压缩算法，对图像视频进行有损压缩后，在接收端进行放大并降噪，能节省不少带宽和空间，有可能成为有损版的H.265(?)

本文的主要目的就是介绍一下这个降噪算法，诸君有需要处理的扫图可以直接丢到这里进行处理，但要注意2M的文件限制，也可以部署算法到本地环境，部署方式有提供。

PS.我并不是DeepLearning专业的，也是刚刚接触，正在啃基础论文，对此方面很感兴趣，本文旨在抛砖引玉之效，上面的观点部分来自之前和坛友的讨论，可能认识有错误，朱军尽管指正，希望能推荐一些入门资料和相关大牛的部落格。

以上

[参考文献]
[1] nagadomi/waifu2x Image Super-Resolution for Anime-Style-Art - Github
[2] Image Super-Resolution Using Deep Convolutional Networks - arxiv
[3] 卡通图片的压缩 - 风云的BLOG
[4] UFLDL教程 - Stanford
[5] zouxy09的专栏 - CSDN

本网站（或页面）的文字允许在 知识共享 署名-相同方式共享 3.0协议 下修改和再使用。

[Explorare]

@neutrino 还没成功尝试基于CPU的运算，基础知识还不够。

[zjf]

[Explorare]

@zjf 宪兵队(#ﾟДﾟ)ｺﾞﾙｧ!!

[shadowind]

这个是超分辨，使用卷积神经网络学习到低分辨和高分辨图像的变换关系模型，就可以用来做其他的图像的超分辨了~

[Explorare]

@shadowind 也就是说实际上并不是降噪而是将原图放大再缩小？

[est]

你们在win98时代没玩过一个叫做 s-splice （名字可能有误）的神奇放大软件？

放大任意图片，比马赛克x2强很多那种。

[shadowind]

@Explorare 这个算法不会降噪。降噪一般都是些平滑的操作，去掉噪声信息；而超分辨可以理解为让图像更加的清晰，就像把720P转为1080P，是要增加细节信息的。

[binux]

我觉得和 PS 比不公平。
算法是为漫画图片特化过的，在不实际增加信息量的前提下，对某种风格更讨好。
这不代表使用「神经网络机器学习」就要比别的机器学习算法，甚至比某种人工策略更好。

[YuJianrong]

这个项目有名的一个原因是作者是jQ的作者吧……很多人订阅他的博客的（包括我）

[tabris17]

老实说效果并不是很好

[YuJianrong]

搞错了，John Resig只是博文里提了一下，不是作者……怪我没好好读。

[xlrtx]

@shadowind

f(低分辨率) --> 高分辨率, 先用大量的图片组训练模型, 然后就可以将任意图片放大了.. 好有意思的想法

[jedihy]

神经网络还没out？

[hardware]

@jedihy NN现在是最火的。。。

[jedihy]

@hardware 是么？神经网络算法已经做了快30年了。

[hardware]

@jedihy 风水轮流转啊 哈哈

[flowfire]

对算法和机器学习很苦手╮（￣▽￣）╭

[66CCFF]

@jedihy 人工智能也做了几十年了。谁解决问题谁火很正常。
TAMU。。你是智能系的或者和陈建二有联系？

[heliar]

CNN如果不用Cuda...那训练的时长难以想象了

[jedihy]

@66CCFF 额，你是gary gao？