爬京东的商品列表老被跳转到首页，咋整

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 3486 天前的主题，其中的信息可能已经有所发展或是发生改变。

公司要爬京东的一类商品列表。
爬了10多条，就被jd跳转到首页了。

各位爬网人士，你们都是怎么绕过去的

6 条回复 • 2014-10-18 11:49:43 +08:00

herozzm

2014-10-17 23:43:55 +08:00

频率太高了，京东有防护，适当降低频率看看

tcsky

2014-10-18 00:24:56 +08:00

请求太快了, 以前刷东西时也遇到过, 速度放慢, 加代理, 走不同cdn节点.

zooooom

2014-10-18 00:47:41 +08:00

大公司都会有防爬机制

zts1993

2014-10-18 08:37:02 +08:00 via Android

遇到验证码了吧，。。。。。。。
伪造ip试试

xinyidao

2014-10-18 11:49:03 +08:00

@zts1993 ip怎么伪造啊？

xinyidao

2014-10-18 11:49:43 +08:00

@tcsky cdn节点也可以选？