上 https 的接口怎么爬取了？

2018-10-27 19:32:17 +08:00
 rupert
比如 豆瓣 APP 的接口，这种上证书的接口怎么爬取了？ 有人试过吗
2778 次点击
所在节点    程序员
10 条回复
d5
2018-10-27 19:39:10 +08:00
有区别嘛，只要没有 ssl-pinning
t6attack
2018-10-27 19:49:55 +08:00
带上证书或者忽略证书错误。其他都一样。
比如 curl 有三个相关参数。CURLOPT_CAINFO、CURLOPT_SSL_VERIFYPEER、CURLOPT_SSL_VERIFYHOST。
jugelizi
2018-10-27 19:59:02 +08:00
基本的搜索都不会用？
leoleoasd
2018-10-27 21:25:12 +08:00
他说的是抓包吧..
tetsai
2018-10-28 09:58:36 +08:00
立即 mitmproxy
rupert
2018-10-28 11:35:32 +08:00
@tetsai 这个可以
Marven
2018-10-28 20:00:05 +08:00
charles,手机配置一下证书，就能抓到 https 的包了
rupert
2018-10-29 15:04:34 +08:00
@Marven 这样只能抓包不能爬取
l4ever
2018-10-31 01:43:55 +08:00
https 照爬啊，上 python
urllib3 上星期还爬了某 https 几十万数据下来。
rupert
2018-11-02 10:42:03 +08:00
好吧，cUrl 加上参数 --insecure 就可以了， 不知道这是什么原理

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/501748

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX