请求各位怎么解决 https 爬虫登录

2017-05-08 16:23:05 +08:00
 pual

楼主目前爬虫调试网站的 https 的 post 请求 ， 从 chrome 上获取到了证书，但是请求还是 acess deny，请问各位有好的 https 请求调试工具么

1629 次点击
所在节点    问与答
8 条回复
ss098
2017-05-08 16:26:59 +08:00
我推测这和 HTTPS 无关，是对方的反爬虫策略所致，你可以试试检查所发出请求的特征和正常浏览器有什么区别。
welkinzh
2017-05-08 16:28:57 +08:00
应该和 https 没关系 我猜 同楼上
pual
2017-05-08 16:33:44 +08:00
post 内容基本没问题和浏览器一致，request header 部分没有添加，爬取网站 login 的时候用到了 https, 浏览器显示调用 login 接口后重定向了
gouchaoer
2017-05-08 16:35:51 +08:00
浏览器信任 fiddler 证书，然后设置 fiddler 抓包，那就可以看到发送内容了
gouchaoer
2017-05-08 16:36:41 +08:00
程序请求 https 也可以通过 fiddler 抓包，比较一下区别就 ok 了
pual
2017-05-08 16:40:47 +08:00
@gouchaoer 问题是我不知道这种非对称加密方式，同样的明文加密后每次都是一样的，aes-256-cfb 这种就是不一样的每次
gouchaoer
2017-05-08 16:53:56 +08:00
@pual 你把 sockets 代理和 https 搞混了，简单地说就是 https 的浏览器网站 fiddler 直接搞
我是高级爬虫开发工程师
pual
2017-05-08 17:03:28 +08:00
@gouchaoer 多谢了

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/359902

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX