对于需要验证的爬虫问题

[aragakiiyui]

最近写一个爬虫，根据输入的关键字抓取某电商网站的搜索结果。实际应用时估摸着请求了5、6次，然后便直接跳转到登录页面，需要登录才能进行抓取，所以就只能登录再抓了。
可是我很好奇，这种验证机制背后的原理是什么？！有大神能够解答一番嘛，不甚感激！

[latyas]

233 难道是淘宝

[crayygy]

233不要测试淘宝
注意友好

[wind4]

referer、cookie、csrf、请求间隔……只想到这么多

[socrates]

@wind4 再加上user-agent，有些网站会检查一些http的header特征，看看是否是爬虫

[est]

2333 最弱的反爬虫手段。

[frankzeng]

加上user-agent，然后随机暂停一下

[akira]

同一IP短时间内访问次数，这个限制也蛮常见的

[ZzFoo]

@latyas
@crayygy
@est
有什么梗嘛?

[ljcarsenal]

据说taobao有复杂的检测模型。。。不光是上面提到的那些

[aragakiiyui]

@latyas @crayygy 其实是一淘

[aragakiiyui]

@frankzeng 就是会有大量的请求啊。。不然我也乐意停一停，不过也太吊了，请求几次就要登录了。。

[aragakiiyui]

@est 该如何是好。。。

[aragakiiyui]

现在是14：35分，我又能搜了。。我直接F5手动刷新。。若干次后，又直接跳转登录页面了。。

[nullcc]

这种类似CC攻击的请求是有可能被拦截的，内部验证机制可能会相当复杂，user-agent，referer这些的有可能会去验证，还有就是CC攻击几乎是一些纯粹的页面攻击，大多并不会去请求这个页面所加载的一些其他文件，有一种做法是去查看某个IP在加载某页面时是否还加载了相关文件，但从防护角度来说这个方法是相当复杂的。

[nullcc]

尽管有各种验证机制，就算能绕过，但同个IP过于频繁的请求还是有可能被加入黑名单

[aragakiiyui]

@nullcc 那估计只能不停换ip去访问了。但是有什么简单的办法确定何时换ip？

[paw]

打开chrome ，右键 审查元素， 打开淘宝 搜索
然后把chrome发出请求的全部头和cookies都添加到爬虫去。。

[nullcc]

@aragakiiyui 除非能知道对方的计算方式，如果不怕累的话，不断累加请求去发。。

[imn1]

很明显大数据检测出不是“常用设备”

[latyas]

淘宝估计是各URL有相应的单位时间访问次数限制，这个单位时间不是1s，可能是一段时间，并且全天各时间段都不一样，然后按照行为给予客户端惩罚值，超过了就要输验证码，然后这个阈值会提高，再次达到时又要输验证码，再次提高，有点像E绅士，233