要怎么解决这只丧心病狂的 Googlebot

2016-08-27 18:49:26 +08:00
 imlinhanchao

这是前几天突然收到网站无法访问的邮件提醒发现的。意外发现居然 10G 流量统统耗光光。这是前所未有的,因为基本上平时都没什么人访问的。

后台查了一下访问日志,发现访问来源 IP 为 89.248.160.204 , Agent 里标识着 Googlebot 。丧心病狂的一分钟访问同一个文件 113 次,并且 24 小时不间断访问。一下子就把我流量吃光了。

所以请教万能的 V 友,要怎么在保证 Google 可以正常收录的同时,防止此类事件的发生呢?

4370 次点击
所在节点    问与答
9 条回复
phoenixlzx
2016-08-27 19:06:08 +08:00
http://bgp.he.net/ip/89.248.160.204

AS29073 89.248.160.0/21 Novogara LTD

Googlebot 个毛线...
yexm0
2016-08-27 19:11:25 +08:00
UnisandK
2016-08-27 19:14:04 +08:00
被 CC 了吧
imlinhanchao
2016-08-27 19:16:52 +08:00
@phoenixlzx 这个网站挺有用的啊~AS29073 是代表什么意思?
shiny
2016-08-27 19:20:07 +08:00

几年前写的小工具
shiny
2016-08-27 19:23:54 +08:00
Google 蜘蛛是无法伪造的。以 89.248.160.204 为例:如果反向 dns 解析到: crawl-89-248-160-204.googlebot.com
同时, ping crawl-89-248-160-204.googlebot.com 得到 ip 89.248.160.204 ,那它就是真的谷歌蜘蛛,否则就一定是假的。
imlinhanchao
2016-08-27 19:25:15 +08:00
@shiny 感谢~已收藏。
imlinhanchao
2016-08-27 19:36:30 +08:00
感谢各位 V 友解答,话说这是我第一次遭遇这种攻击。没有经过任何查证就怪罪于 Googlebot ,实在是不严谨了。
重新看了后台日志,从流量突然增大的日子看起来,和某个事件有关。日期刚好和我把域名转移到另一个服务商相吻合。不过并没有什么实质性证据便是,只是日期太过相符不禁令人猜想。
singer
2016-08-28 15:13:33 +08:00
刚打挂一个博客,整天在博客上盗别人的文章装自己的,看不下去。
写了个自动化的 cc&&dos ,检测到 200 ,就开启攻击,几天了一直没发现那博客可以再用过, 2333 。。。

博客写写自己的东西就好了,千万别盗别人版权。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/302169

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX