求分享阿里和腾讯云 ip 段，发现这些云上面太多的 bot 爬虫，要封掉它们

[herozzm]

或者求运营同学的爬虫 ip 黑名单谢谢

[DavZhn]

0.0.0.0/0

[DavZhn]

然后再搞个白名单

[Foxkeh]

你看是不是要的这个 http://as.chacuo.net/company

[DT27]

分享个我自己的垃圾屏蔽规则
#禁垃圾蜘蛛
if ($http_user_agent ~* "YandexBot|DotBot|SeznamBot|SemrushBot|YisouSpider|serpstatbot|Bytespider|TinEye-bot|WordPress|Datanyze|woorankreview|CCBot|BPImageWalker|SabsimBot|MJ12bot|SEOkicks|SlurpChina|1subscribers|DomainStatsBot|Qwantify|AhrefsBot") {
return 400;
break;
}

#禁部分爬取工具
if ($http_user_agent ~* "crawl|curb|git|Wtrace|Scrapy|python-requests|Go-http-client|python-requests" ) {
return 400;
break;
}

#禁特殊后缀
location ~* \.(asp|aspx|ashx|htaccess|ini|env|git|project|cgi|java|action|jsp|cfg|tpl|sql)$ {
return 400;
break;
}

[herozzm]

@DavZhn 不行的 网址还是要给陌生人看的

@DT27 这是封锁 user_agent 啊，我遭遇的爬虫都是 win10 chrome 的特征，封了就变
@Foxkeh 没看到阿里云，腾讯云，亚马逊云，甲骨文云，google 云，微软云这些 ip 段，实际上这些爬虫都是不是在这些云上

[leoking6]

套 cf，源站给 cf 的 ip 白名单，再设置 cf 的防火墙规则，比如高威胁分数要求验证

[cydian]

查 ip whois 。根据公司反查整个公司注册的段。然后全部段拉黑。

[FlyingShark]

查 as 号，阿里云 IP 段封了

套 cf，国外 IP 威胁分数高的要验证。国内家宽 IP 早被艹烂了，就算了吧