有个想法,手势控制电器,求思路。

2023-07-12 17:39:57 +08:00
 jd186

举个例子 一个房间有多个电器

手势 A 指向电器 A ,电器 A 开、手势 B 指向电器 A ,电器 A 关 手势 A 指向电器 B ,电器 B 开、手势 B 指向电器 B ,电器 B 关 手势 A 指向电器 C ,电器 C 开、手势 B 指向电器 C ,电器 C 关

使用 Yolov5 具体该怎么标注训练模型或者其他方法。求大佬给个思路

1742 次点击
所在节点    程序员
20 条回复
yankebupt
2023-07-12 18:21:20 +08:00
我也在想这个问题。
然后发现,电器 A 不能是灯
是灯的话,手势 B ,好了,摄像头什么都看不见了,上红外照明吧
然后夜视的摄像头好几百,红外下因为光照点不同(正面直射)还不能和可见光的同一套模型,各种烦心事都来了
看各种竞赛那个高识别率高性能,估计都是钱堆出来的

我当初想的更激进,我妄想可以用一般非眼动仪红外摄像头捕捉视线实现床上显示屏自动开关。
后来发现,这个问题早就有人采集好高质量视线数据库等你训练了,之所以还没出成品,不是模型正确率不够,就是硬件钱不够。
很伤心......
LLaMA2
2023-07-12 18:26:42 +08:00
例子不对,你这个例子让我想起来商场导购向大妈推销「真」「纯」触屏电视,不需要(电视机不配)遥控器!

体态追踪,手势追踪都涉及到视角。
LLaMA2
2023-07-12 18:29:23 +08:00
@yankebupt 买个普通的摄像头,拆开,把红外滤光片去掉,就得到一个效果不那么好的红外摄像头
yankebupt
2023-07-12 18:34:26 +08:00
近距离采集手势的,有 leap motion ,没法用。远距离采集手势,估计得多摄像头 opencv 人体骨架估算手臂指向(可能相对容易),高清摄像头大致判断手势类型(可能需要各个角度的个人手势照片训练),然后合成一下吧……
yolov5 不知道行不行,看他们标注都是 curved fingers,stretched fingers 什么的,估计不训练偷别人数据的话能识别攥拳和伸平两种手势就了不起了……
joesonw
2023-07-12 18:37:39 +08:00
可以用毫米波雷达,做人体感应的那种。
yankebupt
2023-07-12 18:38:13 +08:00
@ye4tar 红外摄像头没用,要的是红外照明。没照明什么都拍不出来。而且照明在有可见光的时候还不能开,否则过曝。
yankebupt
2023-07-12 18:40:24 +08:00
@ye4tar 而且红外照明还和各种东西有干扰,比如各种VR头显主动的被动的统统不支持红外照明,有干扰
yankebupt
2023-07-12 18:45:49 +08:00
@ye4tar 说到不配遥控器的电视,还真有个想法,可以在手上手势识别(比如 m5stack 那种大小的单片机,没有广告的意思),然后红外发给电器。(想办法干掉信号反射就是了)
因为是穿戴品同样没人用就是了。
lpf0309
2023-07-12 18:53:24 +08:00
只用训练电器就行了吧,一个手势识别,一个骨架识别,这俩都有现成的模型,关键是骨架识别怎么指向电器,毕竟图像只有 2D ,指向是 3D 的
TerryRobles
2023-07-12 21:18:54 +08:00
手势识别好做。但是指向没做过。
duke807
2023-07-12 21:26:36 +08:00
高清热成像
至少 320x240 起步
好似是不怕隐私泄漏,在家光 pp 也不怕被拍
duke807
2023-07-12 21:26:59 +08:00
@duke807 好处是
Gill123
2023-07-13 10:21:49 +08:00
小米出了一个皮皮灯,里面有做这个功能
jd186
2023-07-13 14:14:35 +08:00
@Gill123 再想想再回复
jd186
2023-07-13 14:16:26 +08:00
目前没有实际性的思路或建议。求大佬漏一漏
blankmiss
2023-07-13 14:26:36 +08:00
我感觉是伪需求,我有时间指这 指那 已经一句话让小爱同学打开了
wanniwa
2023-07-13 14:28:04 +08:00
@blankmiss 是的,感觉还是喊一声方便
0bing
2023-07-13 14:36:34 +08:00
不用训练,靠堆设备:
2 个动捕摄像头+穿戴手套。你要通过跳舞来控制拖拉机都可以~
jd186
2023-07-13 15:30:09 +08:00
@0bing 回复前仔细审题
yankebupt
2023-07-13 20:14:14 +08:00
@jd186 比较可行的方法可能是苹果表那套方案,通过手表拍照手背上的那两根筋,做固定但精确的手势检测(不知有没有专利),然后确保红外遥控 LED 只照到一个设备就是了
听 CSDN 说 yolov5 装树莓派里只有 0.3fps 到 3fps ,比较可怕

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/956231

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX