讨论一下手机监听的可能性

2023-07-17 10:40:01 +08:00
 pkoukk

观月经监听贴有感,大家反驳的意见主要集中是

软件( APP )监听不可行,没权限,无法控制耗电量

硬件监听,看上去也没人抓到过实时上报的数据包

但是我感觉好像并不是完全不可行,以下是我想的一个方案,因为没有搞过嵌入式,有没有搞过的老哥说说行不行

1 、目前手机上普遍都有语音助手,一般情况是通过专用的语音识别芯片实现的。比如这款 .介绍里说待机只有几亚毫瓦,还带 208k 的 SRAM 和 1M FLASH 。

2 、这么大的存储,只存“小爱同学”这几个字是不是太浪费了,能不能定期更新一些热词进去?

3 、命中热词之后,其实也不需要实时上报,在内存或者日志记录一个字典,存一下触发次数

4 、随着其它系统上报数据,一起上报。

5 、厂商分析后,做成画像卖给广告商联盟。

看着流程很长,但其实只要做到分钟级的处理链路,对用户来说就相当实时了。

11868 次点击
所在节点    程序员
134 条回复
yangxiaopeipei
2023-07-17 11:52:39 +08:00
输入法应该是重灾区
Ericality
2023-07-17 12:00:40 +08:00
我的观点是 可行 但是有更轻松的方法
相信可行的缺点都说的很清晰了 能耗和精度都存疑
热词确实是一个思路 但是我觉得在 iPhone 上不太容易实现 毕竟要是这个都能搞定 那苹果估计早就有新的越狱思路了?
我更倾向是用广告联盟将信息聚合 其中分两部分 一个是如何唯一确定一个用户 一个是如何共享信息
前者的话 app 端可以扫描用户图片(就扫描最近 10 张 然后合在一起算一个 hash 值就行 然后 hash 值一样的就是同一个用户喽) 可以上报设备信息 具体列表可以看用户协议 其中有不能获取的信息 但是其他信息结合在一起依旧足够排重了
同时还有登录账号 你只要登陆了 前面的信息都不需要了 账号之间直接绑定一次 下次就直接确认用户了(不是说用第三方方式登录 ) 毕竟广告联盟是可以跨公司的 不存在腾讯和阿里不共享数据的可能性
关于后者就更简单了 只要在 app 中集成 sdk 就可以向特定网站发送信息 具体可以抓个包看一下 很多 app 是写死了向一个域名写日志 写不到就重试到成功为止 同时为了避免被屏蔽 还可以用 http 查询 dns 然后直接对 ip 发起访问
我觉得以上方式都比热词唤醒容易多了 也隐蔽多了 至少对普通用户来说是的
wipbssl
2023-07-17 12:03:10 +08:00
不需要存关键字,内置一个 embedding 表就可以,需要添加识别的内容直接更新 embedding 表就可以。用 embedding 表和语音的表示做矩阵分解就可以。这样的计算成本很低,而且不需要上传大量语音数据。
yanyumihuang
2023-07-17 12:03:51 +08:00
@wipbssl ?拼多多是国内先爆出来的好吧
wipbssl
2023-07-17 12:08:18 +08:00
@yanyumihuang 一开始被 play store 下架并警告,然后卡巴斯基出来石锤,哪来的国内爆料
cmdOptionKana
2023-07-17 12:11:17 +08:00
你可能忽略了一个问题: 绝大多数人不会自言自语.

唤醒词触发, 大多数情况下都是大家先安静, 再由一个人喊唤醒词, 或者通过主动靠近设备或提高音量来提高识别率.

而如果你想监控用户, 一般就只能是聊天的场景, 七嘴八舌的一顿说, 这种情况下想监听热词, 难度会大很多很多.

还有, 你预设的候选热词越多, 识别难度就越大, 匹配过程耗时越长, 误判率也会暴涨.
Ocean810975
2023-07-17 12:26:07 +08:00
换唤醒关键词肯定是可以的,毕竟华为啥的都已经实现了,至于能不能有多个关键词,我表示存疑,如果我明确了同时只有一个关键词,无论是芯片设计思路上还是功耗控制上都会容易很多。
我觉得效益不够,比如我
tin3w5
2023-07-17 12:34:40 +08:00
反正我始终不相信没监控。你可以说我被迫害妄想症,但是至少是在连着 Wi-Fi 充电的时候,别有用心的人肯定是能做一些事情的,更何况做这种事情的大概率不止一个,可能是一群畜生。
所以我从来都是手机充电时不连 wifi ,连接 wifi 时不充电。
另外,别用第三方输入法,多选个词能累死你啊?懒成什么样了?国内的 app 能不用就不用,能卸载就卸载。权限好好限制,有必要就多抓抓包、分析一下,毕竟现在广告联盟太无孔不入了,谁也不能确定哪个 app 会在背后搞你一下。
geeksammao
2023-07-17 12:41:13 +08:00
你不如统计下普通人一天能说几个广告热词,其中又有多少能够排除周围噪音被手机准确识别到。即使前面两步都过了,问题又来了:我说"我无法坚持健身",手机监听到了"健身"热词时是否应该给我推健身商品?没有语义识别光监听个关键词几乎没用。
bertonzh
2023-07-17 12:42:45 +08:00
我之前也想过心理学方面的因素,但是发现很多时候并不是简单的心理学(关注放大)能解释的。而是心理学、算法、社会学的一个结合。

思考一下,为什么你在聊天时会说到某件事物? 99% 的情况下,这个事物并不是凭空出现在你的大脑里,而往往有如下背景:
- 你在做某件事情,这件事情需要这个事物。
- 你读到的某篇文章、浏览的某个网页、刷到的某个 feed 提到过这个事物
- 你其实已经刷到过这类推荐了,你忘记了,但是潜意识里这个推荐已经影响到你了。
- 朋友向你提到过
- 这个事物最近本身很火

在你说到这个事物之后,你是否搜索过,是否在聊天工具中提到过,以及用输入法输入过?
你的聊天对象是否搜索过?

拿一楼向量数据库来说,随着这半年 AGI 的火热,向量数据库最近本身就很火,而且一楼大概率也在关注 AI 方向,所以推荐向量数据库并不奇怪。
mkoijnbhu
2023-07-17 12:44:44 +08:00
说一件可能无关的事,小米前两年有一项鸡肋无比的噱头功能叫“睡眠检测”,说是通过环境光及打鼾情况检测睡眠,这里是否运用了声音检测及相关模型分析?
yolee599
2023-07-17 12:55:28 +08:00
@tangtang369 #1 前段时间我 B 站也被推了向量数据库
NoOneNoBody
2023-07-17 12:56:10 +08:00
@wipbssl #25
2022 年 google 发布一个漏洞分析,没有提及哪个 app
2023.02 深蓝洞察发布文章,PDD 恶意代码的事被揭露,文章是中文的
2023.03 play 下架 pdd ,卡巴发布报告,两者相差仅几天,动作应该是同时的,只是结果有前后
6bsLo69Qdu3RPY4c
2023-07-17 13:11:15 +08:00
@tangtang369 傻子说玄学。还码一大堆字。呕。。。
docx
2023-07-17 13:21:49 +08:00
可能性无法排除,但持续监听不太可行——功耗容易露馅,这样做的成本也比较大,还不如搞点大数据买通点人来得简单。
可能类似于语音助手唤醒那样,有特定的触发关键词吧……
pkoukk
2023-07-17 13:46:45 +08:00
@cmdOptionKana 手机激活的时候会让你念几遍提示词,记录你的声纹特征的。不是你的声音去喊提示词,不会唤醒语音助手的,你可以试试。
fredweili
2023-07-17 14:23:05 +08:00
愿意相信就相信,反正我只用 iPhone
wolfie
2023-07-17 14:27:05 +08:00
@pkoukk
斯诺登 是什么安全级别的,广告公司员工是什么级别的?
拼多多多少用户,全世界多少手机用户?
wolfie
2023-07-17 14:28:46 +08:00
但凡用过一次 广告投放后台就知道,通过监听投放的转化率会是多么的低。
littiefish
2023-07-17 14:37:35 +08:00
监听用的各种传感器,省电又不容易被发现,录音太 low 了,还容易惹上各种事。有相关论文的

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/957316

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX