关于手机 app 抓包一般流程是不是使用 fiddler 或者 Charles 来查找接口,在使用 mitmproxy 的 mitmdunmp 对接口所含有的数据进行提取,再用自动化 appium 或者 AirtestIDE 控制?

前言

我这边是没办法测试这个流程了,因为我的手机和电脑按照上面这几个软件所写的开端口,手机搞证书搞代理,但是只能抓取到 http 的,https 根本抓不到.

fiddler 根据设置,发现我只有在 pc 端可以看到 https 请求和内容,手机上设置完网络就出现问题并且在 fiddler 中发送的 https 请求看不到, http://i2.tiimg.com/691087/985a55c38b750b7e.png

但使用 pc 访问手机版的 V2EX 能看到 https 请求,内容也看得到 http://i2.tiimg.com/691087/7b490d2497620ecf.png

http://i2.tiimg.com/691087/bcea635ba47531e0.png

使用 mitmproxy 中只能看到有 http 请求,
并且在手机上设置代理 ip:8080,我去访问 bilibili 时网络无法连接的情况 http://i2.tiimg.com/691087/b203a4b95300089b.png

charles 也是同样,设置了代理 ip:8888,证书,ssl,能看到 https 请求,但出现 unknown 显示,显示都是乱码 http://i2.tiimg.com/691087/97d9d4e77e7f8684.png

也就只有自动化软件能用了...

有哪位知道怎么搞定这些,能否告知一下

我先来说说流程

相对页面的数据进行抓取

(1) 使用 fiddler 或者 Charles 想抓取的接口

(2) 编写要在 mitmdump 筛选提取 addons.py 文件

(2)(1)

impoer mitmproxy.http.HTTPFlow

from mitmproxy import ctx, http

def response(self, flow: mitmproxy.http.HTTPFlow):

if '找到接口中所有含有的关键字' in flow.response.url or flow.request.host == "关键字":

	text = flow.response.get_text()
    
    text = re.findall('提取的内容',text)
    
    #存入数据库或者文本
	
    with open(....)as f:
    	
        f.writer(text)

addons = [ response() ]

(2)(2)

开启 mitmproxy 中的 mitmweb ->>> 直接在命令行开启 mitmweb

(2)(3)

mitmdump 加载刚刚写出来的文件 ->>> 加载文件 mitmdump -s addons.py

这样手机在使用 app 滑动的时候,mitmdump 会对所有经过的请求进行过滤,进行文本提取,保存

(3) 上面几乎已经完成,只需要使用自动化工具 appium 或者 AirtestIDE 来对手机不断滑动发送请求,mtimdump 则保存

网络上教程太少了,文档也就那么几个反反复复,

这个流程是否正确??????????? 是可以无视 js 和加密的把?

locoz

2019-06-20 16:34:00 +08:00

可以看一下我的这几篇文章

[当你写爬虫遇到 APP 的请求有加密参数时该怎么办？ [初级篇-常规模式] ]( https://mp.weixin.qq.com/s/KFM37LN7phd8nbI8iIHDtw)

[当你写爬虫遇到 APP 的请求有加密参数时该怎么办？ [初级篇-秒杀模式] ]( https://mp.weixin.qq.com/s/_FjW6zzBv7-LENfB9B2loA)

[当你写爬虫抓不到 APP 请求包的时候该怎么办？ [初级篇] ]( https://zhuanlan.zhihu.com/p/46433599)

[当你写爬虫抓不到 APP 请求包的时候该怎么办？ [中级篇] ]( https://zhuanlan.zhihu.com/p/56397466)

[当你写爬虫抓不到 APP 请求包的时候该怎么办？ [高级篇-混淆导致通用 Hook 工具失效] ]( https://zhuanlan.zhihu.com/p/63028507)