话说我想弄一个识别动漫人物的工具

[malusama]

目前的想法是根据图片识别动漫人物..因为在 twitter 上经常会分享一些画师的图... 但是自己一段时间没追番会不认得是哪个人物...而且感觉自己经常有需求,就试试能不能实现了

目前想法是根据深度学习(虽然我不会,但是看起来就这个能够实现的样子)来分类图片 目前用百度的 esaydl 实现了一个 demo

https://abyss.malu.moe

目前用到的数据都是自己去 pixiv 根据关键词爬取的..现在大概有 20 多个分类..都是自己喜欢的角色..

实际上感觉根据图片画风识别画师更实在些...自己训练人物都是认识的识别啥啊..

[kingcc]

居然能识别我的智乃酱( ╯▽╰)，赞一个…

[Rocinante]

三笠都没有认出来啊。。

[malusama]

@Rocinante #22 还没有加入三笠的数据....如果有数据了应该可以的

[malusama]

添加了三笠的数据...不过还没有上线.
还得等百度的审核...

[malusama]

....又崩了...

[icylogic]

有点意思……可以讨论一下

easydl 这种肯定泛化性会很好，但针对单一类型未必有很好的效果，你用这个做到最后也许不一定能比 Google Image Search 和 iqdb, SauceNAO 效果好。反正你爬的也是 p 站，SauceNAO 和 iqdb 我估计整个 p 站和其他画师网站基本全爬了，你传一张 p 站有的图它经常直接能把 pixiv id 给你……

做特定业务最好针对场景的特征去寻找合适的网络结构，才有希望比这种一般性的网络效果更好一点。动漫的人物是有一些一般图片没有的特征的（比如锐利的边缘，比如眼睛一般比较大，画面一般主体比较突出），这方面我觉得可以看看 waifu2x，waifu2x 似乎用了一个带反卷积层的 vgg 7 层网络，作者考虑到速度，没有用一些新的 inception、resnet 之类的结构，可以试试这些网络效果会不会好一点。

不过不知道你爬了多少人，这种如果你根本就没去爬那个角色，怎么样都没法识别出来人名对不对……
但你可以去想别的方向，比如特征不止人物名字，还有画师啊、番剧啊、萌属性（去爬萌娘百科呗）啊都可以做识别，然后你甚至可以基于这些特征去做推荐算法，比如你贴个英莉莉，然后自动识别出来个“败犬”，然后联想到 015 什么的……

[icylogic]

或者用番剧 /漫画做训练，然后识别同人图……

或者反过来做复杂场景下的检测

[malusama]

@icylogic #27 这种范围识别做不到...至少我一个人标注数据太累了...

[malusama]

@icylogic #26 其实如果有足够的数据(比如把 p 站全爬了)那么传统的计算机视觉之类的方法就可以了.
甚至 类似 https://whatanime.ga/ 这种工具实现得也很好...

网络模型现在我还没具体做...

[malusama]

现在 chrome 的插件也实现了下..
在图片上有右键有选项可以方便的跳转到网站进行识图...刷 twitter 方便很多

[malusama]

@malusama #30 插件是这个
https://chrome.google.com/webstore/detail/abyss/nljmailkjafdbjdhbkieamopknjcocpg?hl=zh-TW

[malusama]

@icylogic #26 对了..其实下一步就是根据画风识别哪个画师..感觉这个是可以比较方便获取标注数据的..
有兴趣吗?

[malusama]

V15 上线..增加了一个人物的识别..目前有 40 多个人物

[heasy]

可以

[malusama]

要不要增加库巴公主...

[malusama]

有没有人愿意一起来标注数据

[malusama]

其实后面我是想分享这部分数据集的...有没有人愿意玩玩?

[malusama]

发现上排行榜的画师都不是很高产...所以画师识别暂时搁置

[quwabcxyz]

大工程，有几个思路可以同步进行，一，人工标记，最优状态下，七十亿人口每人花一分钟标记一张图片。但这状态哪怕做到后期也实际利用率也很难达到百分之十。但这个可以形成庞大的必要原始参考数据。二，将图片上的基础元素提取出来，可能有几百亿个元素样板，建立元素数据库。三，识别模板，简化识别成本 ，用不同层级的模板套用要求不同的对象，一方面可以对匹配率达到量化控制。
深度学习感觉不是个好出路，库和算法都坑爹，需要结合图片来源，没有就捉瞎。
其实就是机器视觉的内容

[malusama]

@quwabcxyz #39 兄弟。。你说到最后不也是识别各种元素么。。最后还是深度学习好用