网站受到爬虫的攻击？？

2016-03-20 14:13:49 +08:00
 des

网站突然有大量的百度爬虫访问，频次特别高，每秒几乎上百请求，都是不存在的页面。 而且查证确实是百度的爬虫，请问这是啥情况？

4383 次点击
所在节点    问与答
8 条回复
UnisandK
2016-03-20 14:39:10 +08:00

像这种地方是可以让百度的爬虫去爬你的网站的

DNS 先把百度爬虫解析到 127.0.0.1 去吧
DesignerSkyline
2016-03-20 15:12:55 +08:00
上纯 CHACHA20_POLY1305 ，百度就会失去爬取你网站的兴趣了。。。。
Andy1999
2016-03-20 15:53:37 +08:00
有种东西叫 UA 伪造
ivmm
2016-03-20 16:31:10 +08:00
@UnisandK 那岂不是没收录了
lecher
2016-03-20 16:39:33 +08:00
也许不是百度的爬虫，只是伪造了百度爬虫的 useragent 。
实际上百度如果有每秒几百的抓取频率，那就要笑疯了，赶紧构造界面刷 SEO 排名去，这能构造多少百度收录出来啊。
des
2016-03-20 16:59:24 +08:00
@Andy1999
@lecher 的确是百度蜘蛛的 ip
bazingaterry
2016-03-20 18:36:29 +08:00
@des 我当年也是，百度爬虫能把我个人网站爬死机，后来用 IPTABLES DROP 了就好了……
dzxx36gyy
2016-03-20 18:48:34 +08:00
去注册百度站长，然后调整爬虫抓取频率

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/264915

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX