今日头条字节跳动的蜘蛛爬虫 Bytespider（流氓至极），如何屏蔽

[xiaomimix5]

Bytespider 得知来自于头条系。一搜索发现众多小站中招。

几宗罪：

• 大并发集中式访问，攻击式地采集数据 Bytespider 爬虫虽然不比 Doos，cc，可是对于 web 服务来讲多大的服务（相对来讲）都能拖垮。 占满 CPU 带宽等资源。
• 这家伙不受 robots 规则限制

useragent 为 Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.4988.1224 Mobile Safari/537.36; Bytespider，

---

我的服务器是 win server 2016,,,IIS 8.0 因业务特殊，没有用 Nginx。。

搜索到的解决方案是： 封禁 user-agent ？ 屏蔽 IP 段？

请教如何在 IIS 中进行相应的设置进行封禁此恶意的抓取？

附图（转载至他站，IIS 日志中类似于此）

[humor66]

不赶紧爬，怎么做搜索？

[cnrting]

屏蔽 ip 最简单有效

[unclemcz]

直接封 IP 吧，我对 Bytespider 的操作是这么处理的，很简单很暴力，只要特定页面记录访客浏览记录（ ua、ip ），程序定期检索访客的 ua，检索到关键字后，将对应的 ip 加到屏蔽列表。

[skenan]

自己用的..
```
if ($http_user_agent ~* (bytespider|scrapy)) {
return 444;
}
```