天猫的反爬加强了?

2016-08-26 21:05:15 +08:00
 spikeLIN

这两天突然发现很多都爬取不了,把失败的 url 丢进去一看,发现都需要登录才能浏览了.
平时是自己弄了个代理池,每次爬都从代理池里面随机取代理爬的.
这样都被反爬了还有什么好的方法吗?

4528 次点击
所在节点    Python
6 条回复
petelin
2016-08-26 21:17:05 +08:00
登录进去拿到 session 就行了，又没说 session 和 IP 必须一匹配，不知道你什么意思。
qianlifeng
2016-08-27 00:56:14 +08:00
我也发现了，还在想怎么弄
ljcarsenal
2016-08-27 10:24:16 +08:00
求教你们整天爬来爬去的有什么经济价值？
bf68
2016-08-27 11:54:01 +08:00
@ljcarsenal 同问
mrcode
2016-08-27 21:32:53 +08:00
@petelin 登陆后拿到的是 token 吧。:smile:
petelin
2016-08-27 22:55:20 +08:00
@mrcode 想说 session id. 脑抽了，当时看到这个问题感觉很无聊，，，

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/302019

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX