发一段 Nginx 屏蔽各无效爬虫的配置上来，欢迎大家补充完善。

[nicoljiang]

最近发现大量来自欧美的请求，高峰每秒 58 个请求里，有 52 个都是这些爬虫。

它们爬的速度快，范围广，又不能产出实际效益，完全可以屏蔽掉。

下面是我的配置：

if ($http_user_agent ~* "AhrefsBot|MJ12bot|hubspot|opensiteexplorer|leiki|webmeup") {
        return 403;
}

欢迎大家一起来补充完善：

1. 各爬虫的关键词；
2. 不同 Server 的配置。

[buffge]

@nicoljiang 我觉得你这是防蜘蛛,而不是屏蔽爬虫

[nicoljiang]

@buffge 不管是 Spider 还是 Crawler，实际上指的都是一类的东西。

[mingyun]

@longyujin9 header 里伪造的 ua 可以通过吗