[开源]ACG2Vec——ACG 相关深度学习应用（以图搜图、插画评分、文本搜图等）

[OysterQAQ]

ACG2vec全称为Anime Comics Games to vector 。本 repo 会持续维护一些基于二次元相关的深度学习领域实践与探索。

在线预览（目前包含文本搜索、以图搜图、文本搜图、图片分数预测）：https://cheerfun.dev/acg2vec/

开源仓库：https://github.com/OysterQAQ/ACG2vec

演示页前端开源仓库：https://github.com/wewewe131/acg2vec-frontend

以上两个仓库求个 star QAQ🌟🌟🌟

目前模块包括：

• model：深度神经网络模型模块，目前包括

  • acgvoc2vec：基于从维基百科动漫列表、萌娘百科、Bangumi 、pixiv 、AnimeList 等来源获取清洗处理抽取的 510w 语句对微调的 sentence-transformers 模型，生成二次元相关文本的特征向量，用于各种下游任务（标签推荐，标签搜索，推荐系统等）

    可以使用 Huggingface 在线体验:https://huggingface.co/OysterQAQ/ACGVoc2vec

  • dclip：使用 danburoo2021 数据集对 clip （ ViT-L/14 ）模型进行微调。

    可以使用 Huggingface 在线体验:https://huggingface.co/OysterQAQ/DanbooruCLIP

  • pix2score：基于 resnet101 的多任务模型，用于预测动漫插图的收藏数、浏览数与琴瑟级别

  • illust2vec：从DeepDanbooru模型去除预测头并对末尾层做均值池化的图片语义特征抽取模型

• webapp：对外提供 web 服务模块。目前包括开箱即用的二次元插画标签预测服务、以图搜图服务、插画特征抽取服务、文本特征抽取服务

• docker：基于容器化的部署模块，包括了部署所需要的配置文件与资源文件

💡预览

语义文本搜索

语义图像搜索

插画综合评分预测

以图搜图

[zoharSoul]

大佬 nb!!!

[OysterQAQ]

@zoharSoul 还是比较浅层的一些实践，当作研一一年学习的总结😁

[tanranran]

研一就这么强了，大佬牛批

[OysterQAQ]

@tanranran 研一要结束了，还有一些实践在论文中，还没发出去所以没办法开源

[tanranran]

@OysterQAQ #4 大佬太适合读博了，继续深造下去吧

[OysterQAQ]

@tanranran 不考虑读博了，现在深度学习应用科研消耗不是一般人能承受的了，而且更喜欢工业界的一些东西（实用，有意义），学术界上缝合的太多了（包括我自己）。而且硕士运气好老师挺不错的，也见到很多其他的老师，读博还得再 roll 一次🐶

[Aloento]

太强了，愿意贡献一张 A100 给大佬助助兴

[OysterQAQ]

@Aloento 感谢大佬，不过目前没啥需求了，也没想到什么合适的新项目。以上项目主要是数据集都很大 需要本地存储，我自己组的 3080+3090 ，本地机械 80t ，有很大一部分都被数据集占了（特别是为了训练时候不预处理，提前存储好二进制的已经预处理好的数据集文件）

[LancerComet]

acgvoc2vec 有点意思，我给自己做了一套收图的图库跑在了群晖上，图片有 tag 和 tag 同义词，不过同义词都是手动关联的，acgvoc2vec 可以做到自动化；另外 dclip 是不是也可以反着来，通过图片生成 tag

[OysterQAQ]

@LancerComet dclip 通过图片生成 tag 可以用向量检索方式实现，不过类似 BLIP 这种生成式可能更好一些

[xiaoxiao168]

@OysterQAQ 有考虑像 生成 模特儿吗？ 有些公司在搞了， 更新不同产品 ，目标消费者 生成不同的模特，这个算“工业界”吗？ 不是很懂，
（有兴趣做（跨境）电商的朋友 欢迎交流
https://discord.gg/VjWJbTjNWQ
跨境电商 合作共赢）

[maocat]

#11 @Livid 速 ban

[DeltaSix]

@OysterQAQ 谢谢，我需要研究研究，我的水平也就是简单调用一下 Resnet 跑跑识别什么的😢

[LancerComet]

@OysterQAQ

简单试了一下 acgvoc2vec 还行，给自己的小图库晒同义词合并是够了，随便试了一下：

The similarity between '赤井心' and '赤井はあと' is 0.7822584509849548
The similarity between '虚拟主播' and 'VTB' is 0.5672250986099243
The similarity between '虚拟主播' and 'VTuber' is 0.5994329452514648
The similarity between 'VTuber' and 'VTB' is 0.7549457550048828
The similarity between 'JK' and '高中女生' is 0.6553347706794739
The similarity between 'Maid' and '女仆' is 0.7300522327423096

不过还没想好怎么集成，目前只想到做成选择某个标签的时候将评分高的同义词都列出来然后自己筛选，平时只需要往里填同义词之后再筛选就可以，感谢楼主开源

PS：果然最宝贵的还是数据，只看到一条数据库 connect string

[OysterQAQ]

@LancerComet 统计科学是这样的，数据是基础😬

[wentx]

啥时候可以以图搜片？

[OysterQAQ]

@wentx 有数据集就可以做

[charslee013]

赞美大佬开源～

有个问题想请教一下，我自己搭建试了一下，发现 web-app 里面没有 `/similarityImages` 路由
这是要自己搭建一个向量库存储全部图片的特征，然后根据上传图片的特征值(阈值为 0.5)来做匹配么 🤨

[OysterQAQ]

@charslee013 yes 本来有打算集成，但是太臃肿了，自己搭建更加自由一些。

[OysterQAQ]

@charslee013 额 看错了 相似度搜索没有阈值的说法，是直接搜出 topk 相似的