V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
hexor
V2EX  ›  问与答

[爬虫] 想要爬取 APP 内的数据, 目前我有两种方案, 应该怎么选择?

  •  
  •   hexor · 2019-06-25 11:41:37 +08:00 · 1935 次点击
    这是一个创建于 1933 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前自己有两种方案:

    1. 用安卓模拟器配合手势操作脚本, 再使用 Fiddler 抓到数据
    2. 反编译 APP 的 APK/IPA 包, 找到拼接数据请求的算法和密钥, 然后使用脚本直接发送请求

    第一种方案

    这种方案自动化程度比较低, 简单来说就是模拟人类直接使用 APP, 在使用的过程中通过 Fiddler 抓数据. 假如 APP 更新界面版本或者更改操作逻辑, 手势脚本就需要重新录制, Fiddler 的抓取逻辑也需要重新修正.

    第二种方案

    这种方案需要对反编译技术有一定了解, 需要自己能够找到源码内的请求加密逻辑相关代码. 但是自动化程度高.

    自己对反编译技术不是很了解, 对于第二种方案, 虽然晚上一些论坛里的大神会共享出来某些 APP 的加密算法逻辑和密钥, 但是毕竟不能长期依靠, 所以我现在使用的是第一种方案.


    请问一下各位

    1. 如果我想往 APP 数据爬虫这个方向继续往下走, 是不是必须要掌握一定的反编译技术才行?
    2. 反编译技术应该如何入门, 入门这个大概需要花费多少时间?
    3. 我是否还有别的更好的方案选择?

    谢谢任何回复.

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   939 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 21:16 · PVG 05:16 · LAX 14:16 · JFK 17:16
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.