爬京东的商品列表老被跳转到首页，咋整

2014-10-17 23:14:26 +08:00
 xinyidao
公司要爬京东的一类商品列表。
爬了10多条，就被jd跳转到首页了。

各位爬网人士，你们都是怎么绕过去的
4333 次点击
所在节点    问与答
6 条回复
herozzm
2014-10-17 23:43:55 +08:00
频率太高了，京东有防护，适当降低频率看看
tcsky
2014-10-18 00:24:56 +08:00
请求太快了, 以前刷东西时也遇到过, 速度放慢, 加代理, 走不同cdn节点.
zooooom
2014-10-18 00:47:41 +08:00
大公司都会有防爬机制
zts1993
2014-10-18 08:37:02 +08:00
遇到验证码了吧，。。。。。。。
伪造ip试试
xinyidao
2014-10-18 11:49:03 +08:00
@zts1993 ip怎么伪造啊？
xinyidao
2014-10-18 11:49:43 +08:00
@tcsky cdn节点也可以选？

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/139680

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX