百度每秒抓取很多次, 导致 CPU100%, 除了限制抓取频率, 还有别的什么方法?

2020-12-10 14:44:08 +08:00
 RickyC

占 CPU 的进程是 php 不是 mysql, 那上 redis 也不好使吧?

998 次点击
所在节点    问与答
2 条回复
treblex
2020-12-10 14:55:24 +08:00
nginx 缓存 get 请求
另，看看是不是其他问题吧
ggabc
2020-12-21 15:06:58 +08:00
假的了，百度站长那里可以控制采集密度
你看到的压力，应该是爬虫或者攻击工具冒充的 ua

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/734136

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX