这是一个创建于 427 天前的主题，其中的信息可能已经有所发展或是发生改变。
兄弟们，我今天接到公司的需求，头大。 公司要搞一套动作捕捉方案，但是我对动捕完全不懂啊，领导让我找解决方案，所以来这里想询问一下大家的意见。
业务描述：
必须使用摄像头录像，并在画面中捕捉特定人的骨骼信息，比如头部，手肘，大腿等。优先选择普通的 webcam
基本需求：
- 基于摄像头的动作捕捉方案。
- 只捕捉一个人，如果出现多人则会忽略多出来的人。
- 能获取特定部位的二维坐标信息，比如大腿在平面坐标系中的位置。
- 获取关节的夹角。
- 判断当前的姿态，比如：走路，下蹲，跳跃等。
- 能获取人的位置信息，看他走到了哪里。
有朋友有这方面的经验吗？
领导说是找一下开源的 SDK 。
我今天搜了下，发现可以使用第三方的 RGB-D 深度摄像头并配合其 SDK 进行开发，比如奥 bi 的一些摄像头，他们有现成的解决方案。
开源 SDK 的话我搜到了 openPose ，不过我们的需求需要我们自己再开发。
求大佬们指点迷津
 |
1
codeself 2023-09-13 17:24:05 +08:00
你啥技术栈?这属于自己是谁都没介绍明白
|
 |
2
israinbow 2023-09-13 17:29:32 +08:00
纯视觉动补 mediapipe 一把梭, 你举得问题都是业务, 动不出来的数据看一眼就知道怎么处理了, 剩下的自己琢磨去.
|
 |
3
kera0a 2023-09-13 17:35:11 +08:00 via iPhone
可以用 OpenPose ，1 、2 、3 、4 都非常简单。5 、6 估计得琢磨下不好搞
|
 |
4
Bown 2023-09-13 17:36:14 +08:00
开源的话 Google 的 Mediapipe 还不错，可以直接体验 Web 端 Demo 看是否满足需求 https://mediapipe-studio.webapps.google.com/home
|
 |
6
cocoZombie OP @codeself 我们的项目最终是要嵌入到 HTML 中。
|
|
7
cocoZombie OP @israinbow 好的，谢谢
|
|
8
cocoZombie OP @Bown 明白了，谢谢，我去琢磨一下
|
 |
9
KaliZ 2023-09-13 20:07:42 +08:00
我试图把需求分个类：
2：目标跟踪 3 、4：姿态估计 5：行为识别 19 年使用 OpenPose 和图卷积网络做过 3 、5 ，精度不大符合预期😐 |
 |
10
ysc3839 2023-09-14 00:40:12 +08:00 via Android
要嵌入网页的话，基本就只有 Tensorflow 相关的可用了，其他框架似乎都得在 native 应用跑的
|
|
11
ysc3839 2023-09-14 00:51:45 +08:00 via Android
模型大概可以选 MoveNet ，搜了下有现成的项目 https://github.com/szczyglis-dev/js-ai-body-tracker
|
|
12
cocoZombie OP @KaliZ 好的，谢谢。openpose 的优先级降低了
|
|
13
cocoZombie OP @ysc3839 非常感谢，其实也不是非 html 不可。我们的项目是基于 electron 框架的 PC 桌面端应用。
|
 |
14
Winner4good 2023-09-14 09:07:44 +08:00
可以看看是否符合你的需求，
|
|
15
cocoZombie OP @Winner4good 谢谢，确实可以，不过我最终选择了 MediaPipe
|
|
16
cocoZombie OP 一个半月过去了，更新一下近况
我们最终选择了 MediaPipe ，目前基本符合我们的需求。 MediaPipe 可以提供所有的关节点信息，并且我们可以根据这些信息计算出夹角，根据夹角可以计算出姿态。 位置信息也会在 MediaPipe 的返回信息中呈现，可以根据这些信息计算位移。 不过位置信息我们目前不是很需要，我个人感觉位置信息计算位移并不精确，等待后续开发时再更新此贴。 |
Select Language