计算机视觉模型，需求是对比两张图片的相似度，求指点或者有大佬愿意尝试一下，可有偿

[daohuo]

本人对这块一窍不通，目前借着 GPT 根据颜色和人体姿态求的相似度，东拼西凑的做出来了，只能说差强人意，堪堪能用，领导希望一个模型解决问题，并且随着训练的材料越多，模型越准确

基于需求，标照片和客片这两张图，即使是按照人眼评判标准相似度足够的，也可能在整体饱和度，亮度，色调，人体姿态，背景颜色等有差异

而需要评判的图片，背景，物体和人物姿态，衣服都会有变化

如果有直接能用的开源项目，或者不需要太多相关知识就能达成的学习路线，希望有大佬指点一二

或者有大佬愿意尝试，可以谈一下报酬看看我们领导是否能接受

[daohuo]

@DIMOJANG 好的，感觉这个度量学习比较接近需求，我去看看

[NoOneNoBody]

你的描述并没有说清需求，这个“相似度”是如何定义的？
一个百分比数值？那还需要定义权重，颜色、主体(如人物)哪个重要
如果没有定义，纯整体比较，计算 mse 就是了，很简单的一两行代码(用 pyvips 就一行)
一般说“相似度”就是求 mse ，但以你的描述，则是比较复杂，颜色、明暗度都要判断，还有主体姿态

其他方面去看 opencv.img_hash 模块的各种计算，模块内有两图计算值 compute 方法，得出的是单一浮点数

如果主体的姿态还需要描述的话，例如站着、坐着、单手上举……需要能描述的模型
如果只是找出不同，不需要描述，按下面找茬方式就行


找出不同之处？就是类似“找茬”游戏
找茬核心是 skimage.metrics.structural_similarity ，根据其计算结果，在 mask 上描线
网上有例子和代码

其实两图尺寸和内容基本一致的话，找成对相似是比较容易的，都有现成的模块可以完成
我遇到的难题是旋转、裁边（将原图裁掉边缘部分，多数是因为切去水印，然后放大到原尺寸）……这些就很棘手

[ihciah]

https://github.com/ihciah/deep-fashion-retrieval
贴一个 7 年前的代码，是不是类似需求？评判相似度并做 retrieval 。
“相似”的定义是不好描述的，所以需要你收集相似的和不相似的样本并 finetune 一下网络。

[tfdetang]

如果是私有场景，估计很难直接通过开源模型实现吧，最起码要自己训练或者(few shot)。 我个人觉得这个场景类似于小区的人脸识别门禁那种 pair-wise 的思路，是用两个正例对与负例组成样本对来找出相似度边界

[DigitalG]

听上去你的标准有些模糊。打分标准不明确的话，不是很好做。至少细化下“如何判断相似度”的规则，要达到能够给标注团队看过之后能制作训练集的程度吧。

而且你提到人眼也无法判断的情况。我倾向建议不要依赖单一模型去解决。比如由多个不同的模型分别或依次判断，单一模型只提供某个方面的相似度评分。最后综合判断，你可以简单设置多个阈值，每个模型的评分可以有自己的权重（或者这个步骤用另一个回归模型得到一个总分）。

另外，上面说的多个不同的模型，也可以加入传统 cv 的方法去判断饱和度等，不一定非得深度学习。（这也不会影响训练材料越多，模型约准确的要求）

[EndlessMemory]

这个一般使用孪生神经网络吧

[loadingimg]

https://idealo.github.io/imagededup/

[openmynet]

如果相似度受到整体饱和度，亮度，色调，人体姿态，背景颜色的方面的影响，感觉 image hash 可能更适合你

[SunDoge]

我觉得这个需求挺有意思的，想试试，能提供一些 example data 吗？

[yichengxian]

Deeplearning4j