这种爬虫是不是无解？

[woshinide300yuan]

http://wx1.sinaimg.cn/large/7e8b4ac8ly1ffbewcp4wrj20wl0d50y1.jpg

• • 对于封禁爬虫，我只会屏蔽 IP 和屏蔽 UA 两种，并且这个 UA 屏蔽起来似乎误伤面积会很大。

问题来了，这么写 if ($http_user_agent ~ "Mozilla/5.0" ) { return 403;
}

是不是所有 Mozilla/5.0 都进不来了。

不会不懂了，请 dalao 明示，嘿嘿，谢谢，周末愉快~

[popu111]

@SlipStupig "会花很长时间调试从而增加对方的痛苦值"，这也太狠毒了点。。。

[632333300]

哦呵呵

[murmur]

@zhs227 真是浏览器就跳验证码啊，google 不经常怀疑你是机器人

[lk1ngaa7]

基于 ip 频次的惩罚式封禁

[xiongbiao]

吐点脏数据

[lightforce]

如果要精确，只有靠 cf,aka 这种 cdn 的大数据，你自己判断总有失误的时候
我是最近总有啥 b 扫 dede 的漏洞，尝试 post 注入 plus 目录下的文件。。。我也是醉了

[jarlyyn]

@SlipStupig

我说的是对付你那 1000 个老黑

[SlipStupig]

@jarlyyn 那已经不是反爬虫了，你成了挂马网站了.....

[herozzm]

爬虫会自动从各种 UA 和 ip 代理池中随机挑选一个，你的方法无效，至于密罐无法应对精准采集，会跳过蜜罐的

[zjqzxc]

如果想完全屏蔽爬虫，页面内容都通过 ajax 异步加载进去

[mingl0280]

iptables -A INPUT -p tcp --dport 80 -m state --state NEW -m recent --update --seconds 30 --hitcount 10 --rttl -j DROP

[mingl0280]

@lightforce 我那个人搞的没啥卵用连后台都没有的网站天天被各种爬虫和攻击工具扫……你这还算好的了……

[bombless]

感觉常见手段就是出验证码了。能在 iptables 断下自然是最好的

[woshinide300yuan]

@mingl0280 这防火墙规则是干啥滴？

[mingl0280]

@woshinide300yuan 80 端口新建连接限制 30 秒内 10 个连接，否则丢包。

[woshinide300yuan]

@mingl0280 哇哦。66666

[gladuo]

暴力点，1 个 ip 1h 就只能访问 50 次，超过了，就拉黑 IP 3h，期间页面正常渲染，重要内容转换为乱码

[8355]

我自己的经验就是建议你不要限制 UA，其次只要限制 ip 短时间内的访问量即可，不要限制全天多少。因为我们之前公司项目做测试的时候 如果你的项目定向流量很大，那么很容易误伤很多正常流量，比如说有很多免费的公共 WIFI 比如公车 地铁上的 wifi ip 都是固定几个 这样的话就会造成很多自然日很多合法流量被禁止。所以只要访问量不对你服务器进行大量冲击 采集就采集吧。

[XiaoFaye]

@ddd2500 有些网站你不开 JS，内容根本就出不来。。。

[woshinide300yuan]

@gladuo 那蜘蛛呢大哥哥？