[开源]ACG2Vec——ACG 相关深度学习应用（以图搜图、插画评分、文本搜图等）

ACG2vec全称为Anime Comics Games to vector 。本 repo 会持续维护一些基于二次元相关的深度学习领域实践与探索。

在线预览（目前包含文本搜索、以图搜图、文本搜图、图片分数预测）：https://cheerfun.dev/acg2vec/

开源仓库：https://github.com/OysterQAQ/ACG2vec

演示页前端开源仓库：https://github.com/wewewe131/acg2vec-frontend

以上两个仓库求个 star QAQ🌟🌟🌟

目前模块包括：

model：深度神经网络模型模块，目前包括
- acgvoc2vec：基于从维基百科动漫列表、萌娘百科、Bangumi 、pixiv 、AnimeList 等来源获取清洗处理抽取的 510w 语句对微调的 sentence-transformers 模型，生成二次元相关文本的特征向量，用于各种下游任务（标签推荐，标签搜索，推荐系统等）
  
  可以使用 Huggingface 在线体验:https://huggingface.co/OysterQAQ/ACGVoc2vec
- dclip：使用 danburoo2021 数据集对 clip （ ViT-L/14 ）模型进行微调。
  
  可以使用 Huggingface 在线体验:https://huggingface.co/OysterQAQ/DanbooruCLIP
- pix2score：基于 resnet101 的多任务模型，用于预测动漫插图的收藏数、浏览数与琴瑟级别
- illust2vec：从DeepDanbooru模型去除预测头并对末尾层做均值池化的图片语义特征抽取模型
webapp：对外提供 web 服务模块。目前包括开箱即用的二次元插画标签预测服务、以图搜图服务、插画特征抽取服务、文本特征抽取服务
docker：基于容器化的部署模块，包括了部署所需要的配置文件与资源文件

💡预览

语义文本搜索

语义图像搜索

插画综合评分预测

以图搜图

zzzlight

2023-08-03 10:09:46 +08:00

@LancerComet 你好，我稍微看了下 pgvector 的 git ，好像他们提供的 l2 距离的搜索是直接用的 faiss 的 ivfflat 方法（也就是是聚类大致分几个桶之后查询点和图库中数据暴力遍历的思路)(也叫倒排索引)。具体的 pgvector 的表现情况可以看： https://ann-benchmarks.com/pgvector.html 这里用常用的一些数据集（基本就是手写数字和一些经典图像转换过来的究极经典数据集）评估了 qps 情况，查询量可以参考这个的 qps ，理论上来说这些数据集都是被算法极大适应的数据类型，真实世界的查询情况只会差不会好（单由于你这个本来也就是暴力遍历，我估计会和真实环境下差不多）。大致达到 90 多的召回率在 10-100 的 qps 这个范围。