有没有什么办法可以控制蜘蛛或同一个 IP 链接网址的时间？

[MrMike]

服务器环境是 LAMP(4 核 16G 内存),最近服务器 CPU 占用率一直在 90%以上，用 TOP 查看，有很多 HTTPD 进程。查看日志后，发现蜘蛛同一时间发起了很多请求。

之前已经通过 rebots.txt 限制了蜘蛛的爬行，但是没什么用。后来通过 mod_limitipconn.c 设置了同一个 IP 的并发数，但是现在看来也没什么用。在访问日志里查看，百度蜘蛛的 IP 在同一时间都是不同的。

而且现在用 mod_limitipconn.c 设置后，对非蜘蛛的 IP 也影响了，公司里如果多个同事在使用网站，就会出现 503 的情况，要再次刷新页面才能正常。。

有没有什么方法可以解决这个问题呢？

[MrMike]

知道的朋友，请指教一下么。谢谢。