如何有效的对付流氓爬虫？

[webflier]

近一段时间时不时有流氓爬虫，垃圾评论机器人到我的网站，导致资源占用率极高。
有没有什么方案可以自动屏蔽这些东西？
我原来是是发现一个，屏蔽一个。这实在太麻烦了，我现在直接block了2家廉价主机商的所有ip，中国一个省的ip，一个东欧国家的ip。

[lyragosa]

那些好的爬虫还会在agent声明自己的spider或者bot，屏蔽掉就是

有些无良爬虫直接写Mozlia/5.0 更无良的直接伪造一个标准的用户访问的agnet，根本没得破。

[sanddudu]

遇到 UA 伪造的话你可以通过分析 log 来找，一般他们的访问操作不会像正常的用户

[iannil]

自己写个程序分析流量，凡是流量异常的ip一律封掉24小时。

[codingpp]

我就是流氓爬虫，你破不了我的

[webflier]

又block了一家主机商，整个世界清静了。。。
目前block了online.net，datashack/WSI，hetzner

[imn1]

能封掉的爬虫都不算流氓

[dong3580]

直接伪造成浏览器，各种该有的都有，你要怎么屏蔽？

[mywaiting]

计算访问频率，输出个reCAPTCHA验证码吧

[humiaozuzu]

@webflier 主机商ip段如何获得的呢？

[xiaocsl]

0.0 前段时间爬慧慧,表明是机器人.但自动的会限制访问频率.直接换成adsl,自动断线重连换IP.这也没法破哈..

[greatghoul]

http://robbinfan.com/blog/11/anti-crawler-strategy

[tumutanzi]

我用的是incapsula服务，CDN，然后就没有垃圾评论了。他们有专门应付垃圾爬虫的设置。

[Lelouchcr]

限制频率，多个ua，n个匿名代理，你破不了的～

[webflier]

@humiaozuzu 看这儿 http://bgp.he.net/AS36351

[webflier]

@tumutanzi 我有用cloudflare，效果不明显

[hanchengluo]

洗洗再采集
http://www.smartweb.cn