咨询各位大佬：如何准确的判断出利用 IP 代理池与 UA 多变的爬虫？

[unclemcz]

自己的一个资料站，这两年一直被频繁的爬虫和爆破工具骚扰，我现在的策略是很简单的定时判断 IP 的访问量，如果一个 IP 在 1 分钟内访问超过 120 次，则加入临时黑名单，本身并不反感爬虫，只要不影响到网站正常打开，我的态度是随便爬随便爆，所以才设置 1 分钟 120 次的限制。

最近碰到有些疯狂的爆破工具，一次会使用上百个 IP 和不同的 UA 来访问，一旦这时候后台数据库就处于满负荷状态，网页应用卡死，由于 IP 很分散，所以基本绕过了限制，我统计了一下近期的一次被爆破记录，网站一分钟内被访问了近 2k 次，但单 IP 访问也才 5~30 左右，现在就很苦恼，怎么把这些访问阻止的同时又不误伤正常用户。

作为现业余程序员一个不成熟的想法：去找代理 IP 库，然后定期更新加入黑名单，如果可行，去哪里找代理 IP 地址呢？

离开 IT 行业十来年，很多技术已经有些跟不上了，各位大佬莫要见笑。

[yikedianzi]

试试字体混淆，爬到了也没用

[unclemcz]

@yikedianzi 我不想提高反扒的难度，只是纯粹的需要避免高频的爬取和爆破，能保证网站正常访问即可。

[SmiteChow]

WAF

[unclemcz]

@SmiteChow 网站现在部署在百度云 BAE 上，这个产品没有 WAF 可选，BAE 稳定性很好也很省心，所以还没有更换的打算。我是想在应用层面做些简单防护，不指望防高手，能防住那种只会用工具爆或者爬、又不会控制频率只会瞎爬的小白就可以了。所以代码层面如果有些有效的逻辑策略，那就最好了。