APP 非抓包数据爬取方案征集

[ahhhhhh888]

• 需求：爬取封闭 APP 中的公开数据，比如微信内公众号的数据、朋友圈数据、美团内的商家数据等。
• 问题：这些数据场景的共同特征是无法通过 HTTPS 抓包的方式获取，且相关 APP 都没有开放可以爬取的 H5 页面，或 H5 版本的页面信息不足。
• 方案：
  1. 通过 Appium 抓取（方案待实践验证）；
  2. 通过自动脚本录屏后，由 AI 根据特征对进行视频内画面信息提取实现数据爬取（尚未发现此类工具）。

针对这两个方案，有建议或其他思路，恳请赐教。🌹🌹🌹

[q11391]

怎么可能抓不了包

[Gilmty]

微信 MMTLS ，美团 TCP

[tool2d]

@q11391 抓了也没用，好一点 APP 大部分都是流量加密的，你还要去破解。

有这功夫，不如写点 OCR 脚本识别文字靠谱。

[x86]

截屏再 ORC

[dapang1221]

root 了么，用 frida 加 hook ，或者去内存里捞吧

[owen800q]

@dapang1221 現在新的 app 大部分都是 flutter, 沒法用 frida hook dart

[ming61177]

autoxjs + clip 技术

[luzihang]

实现过，运行半年没什么问题。airtest+阿里云手机+百度飞桨 ocr+自己代码调度整体流程

[ahhhhhh888]

@luzihang #8 这个不错，赞！

[capehorn]

App 爬虫 Android 无障碍爬即可。 联系我 linode16