为什么总有人扫我的网站，难道我动了谁的奶酪？

[tianshiyeben]

在 nginx 日志里，经常有奇怪的 404，还有假蜘蛛。

烦。

[heiheidewo]

5M 的带宽，有 4.9M 都是被爬虫消耗了

[aloxaf]

瞅了一下我的一个人网站，明面上的爬虫流量大概有 50%，不过所有的异常流量加起来有 70% 了，看来达到了平均水准了 2333

@ajaxfunction 大公司的 bot 应该都遵守 robots 协议的吧，不想让它爬就禁止

[JackYao]

不用想了- - 大部分都是 ai 扫的
我自家 nas 架在了公网， 天天被人干。。

[ajaxfunction]

@aloxaf 其实早就设置了 所有爬虫禁止访问，
但实际上这种资源类网站 和瓜子优信车源类似， 盯着的人太多了，上到竞争对手，下到第三方卖行业软件的众多小公司都在互相采集，毕竟信息就是真金白银

[inktiger]

动奶酪你是网站都得崩咯，爬虫遍历互联网都是

[superrichman]

爬虫太正常了，不喜欢就配置一下全部拒绝掉

[programmerM]

我的个人博客每天 50% 以上的请求都是爬虫，其中 AhrefsBot 的请求最多。我的爬虫请求统计 https://www.misterma.com/data.html

[Soar360]

我的个人博客，连爬虫都不愿意光顾。
https://www.coderbusy.com/

[bojue]

@aloxaf bot 听说有人越界，不知道真假，国内环境没有相关的处罚

[tianshiyeben]

@superrichman 我不会配置，不管了

[coderabbit]

@superrichman

[sunwq]

挂点广告

[tianshiyeben]

@sunwq 不了。也没多少人访问。