关于摄像头动作捕捉的方案选择

[cocoZombie]

兄弟们，我今天接到公司的需求，头大。 公司要搞一套动作捕捉方案，但是我对动捕完全不懂啊，领导让我找解决方案，所以来这里想询问一下大家的意见。

业务描述：
必须使用摄像头录像，并在画面中捕捉特定人的骨骼信息，比如头部，手肘，大腿等。优先选择普通的 webcam

基本需求：

1. 基于摄像头的动作捕捉方案。
2. 只捕捉一个人，如果出现多人则会忽略多出来的人。
3. 能获取特定部位的二维坐标信息，比如大腿在平面坐标系中的位置。
4. 获取关节的夹角。
5. 判断当前的姿态，比如：走路，下蹲，跳跃等。
6. 能获取人的位置信息，看他走到了哪里。

有朋友有这方面的经验吗？
领导说是找一下开源的 SDK 。
我今天搜了下，发现可以使用第三方的 RGB-D 深度摄像头并配合其 SDK 进行开发，比如奥 bi 的一些摄像头，他们有现成的解决方案。
开源 SDK 的话我搜到了 openPose ，不过我们的需求需要我们自己再开发。

求大佬们指点迷津

[codeself]

你啥技术栈?这属于自己是谁都没介绍明白

[israinbow]

纯视觉动补 mediapipe 一把梭, 你举得问题都是业务, 动不出来的数据看一眼就知道怎么处理了, 剩下的自己琢磨去.

[kera0a]

可以用 OpenPose ，1 、2 、3 、4 都非常简单。5 、6 估计得琢磨下不好搞

[Bown]

开源的话 Google 的 Mediapipe 还不错，可以直接体验 Web 端 Demo 看是否满足需求 https://mediapipe-studio.webapps.google.com/home

[israinbow]

@kera0a #3 相机标定个坐标系, 纯肢体坐标判断就能实现.

[cocoZombie]

@codeself 我们的项目最终是要嵌入到 HTML 中。

[cocoZombie]

@israinbow 好的，谢谢

[cocoZombie]

@Bown 明白了，谢谢，我去琢磨一下

[KaliZ]

我试图把需求分个类：
2：目标跟踪
3 、4：姿态估计
5：行为识别

19 年使用 OpenPose 和图卷积网络做过 3 、5 ，精度不大符合预期😐

[ysc3839]

要嵌入网页的话，基本就只有 Tensorflow 相关的可用了，其他框架似乎都得在 native 应用跑的

[ysc3839]

模型大概可以选 MoveNet ，搜了下有现成的项目 https://github.com/szczyglis-dev/js-ai-body-tracker

[cocoZombie]

@KaliZ 好的，谢谢。openpose 的优先级降低了

[cocoZombie]

@ysc3839 非常感谢，其实也不是非 html 不可。我们的项目是基于 electron 框架的 PC 桌面端应用。

[Winner4good]

可以看看是否符合你的需求，<amp-youtube data-videoid="vOeI9Tc4-3A" layout="responsive" width="480" height="270"></amp-youtube>

[cocoZombie]

@Winner4good 谢谢，确实可以，不过我最终选择了 MediaPipe

[cocoZombie]

一个半月过去了，更新一下近况
我们最终选择了 MediaPipe ，目前基本符合我们的需求。
MediaPipe 可以提供所有的关节点信息，并且我们可以根据这些信息计算出夹角，根据夹角可以计算出姿态。
位置信息也会在 MediaPipe 的返回信息中呈现，可以根据这些信息计算位移。
不过位置信息我们目前不是很需要，我个人感觉位置信息计算位移并不精确，等待后续开发时再更新此贴。