V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  z1421012325  ›  全部回复第 2 页 / 共 2 页
回复总数  35
1  2  
@artandlol go'看不懂,再说了我也只是 app 抓数据,不可能数据都给加密了吧,中途拦截数据 mitmdump 挺好用的,简单
@muchengxue 应该是安卓版本没有到 8 把?
@crab 难道爬虫终极阶段要有反编译 app 的能力吗,别吓我. 也不可能能每个 app 都有 SSL Pinning 吧?,ios 手机测试了能抓到 https


是安卓版本问题吧?
@KuroNekoFan 不敢 root 自己用的手机, ios 我测试了可以抓 https 的, sslpinnning 也不可能每个 app 都用了吧
@artandlol 我看了一下,这个软件使用来建立代理服务器开端口用的? 不懂
@crab 我要是能这么弄,我还需要这么多流程搞的这么乱吗........

不动反编译 app 啊
抓的起点和趣天下
更新一下,我试了用 ios,结果可以用 chlarles 抓取到 https 的请求了,果然是小米手机的问题吗?

http://i1.fuimg.com/691087/749b4cdaed5b307c.png

http://i1.fuimg.com/691087/511747de62e4717a.png
@crab 我这边弄了一个 centos 的 adsl vps 拨号服务器,是要在 vps 端设置端口才行,我先前是在 xp 上使用 squid,现在 centos 使用的是 tinyproxy 设置端口的,xp 上的可能是 squid 设置有问题,所以一直没有弄开端口
@crab 我现在再试试 在含 flask 的服务端 用 tinyproxy 按着这个搞 https://www.2cto.com/kf/201806/754303.html
@akira 怎么?会把这服务器 ban 掉吗?还是有什么缺点?
@crab 不,其实我想问是在 vps 客户端上设置还是在含有 flask 的服务端使用 squid 设置一个端口?
其实就是这点搞不懂
@crab 那我在含 flask 服务端上咋知道 vps 客户端的端口啊,
轮子中说的难道是要在 flask 服务端使用 Squid 或者 TinyProxy 设置端口吗?还是随便写一个?
scrapy 框架的话有个方法 response.urljoin(你提取出来的链接) 可以补全
1  2  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3657 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 14ms · UTC 00:49 · PVG 08:49 · LAX 16:49 · JFK 19:49
Developed with CodeLauncher
♥ Do have faith in what you're doing.