关于获取两张图片中人体姿态的相似度,求大佬指点

2023-11-27 17:04:09 +08:00
 daohuo

我用 mmpose 获取了图片中人体姿态的 keypoints (如下图)等数据,如何对比不同图片的 keypoints 的相似度

已经尝试过余弦相似度等,也使用过生成人体姿态骨架图片(骨架图片如下)再进行特征对比,都不理想,有的还行,但总有姿态差距特别大的,相似度却很高的情况 作为一个完全的不懂算法和深度学习的萌新,借助网络上的资料和 chatgpt 走到这一步,后面实在走不下去了,已经卡了好几天了,恳请懂行的大佬指点方向,最好是基于开源项目

1509 次点击
所在节点    Python
3 条回复
thinkershare
2023-11-27 17:10:18 +08:00
干脆直接训练神经网络,你最终需要的输出是个几维的值? 你的样本足够多吗? 如果样本足够,感觉直接训练图像识别网络好了,将这个任务交给网络学习,不自己设计白盒算法。
Muniesa
2023-11-27 17:23:47 +08:00
mmpose 仓库里就有个舞蹈相似度评分的 https://github.com/open-mmlab/mmpose/tree/main/projects/just_dance
ielonzh
344 天前
我也在研究这个问题。可以看下这个算法,通过训练模型可以将不同视角的姿态转换成向量,然后可以进行比较。这个的主要问题就是没有预训练模型,需要自己搞数据训练。

谷歌最新姿势识别模型 Pr-VIPE ,怎么变都能认得你 | ECCV2020 - 新智元的文章 - 知乎
https://zhuanlan.zhihu.com/p/345130265

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/995655

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX