google 爬虫太疯狂了,屏蔽它又没排名,放开又被爬死,还不能控制它的爬取频率,怎么办?

177 天前
 herozzm
google 爬虫爬起来真的就是 cc 攻击,以前的 google 的站长后台可以控制爬取频率,被下了,真是无语,在服务端 nginx 控制频率不理想,因为限制了 google 爬虫的频率,大部分时候是返回 502 ,google 站长后台就一直提示 502 ,不给排名
2571 次点击
所在节点    问与答
22 条回复
oIMOo
176 天前
OP 并没有回应关于“垃圾站”的回复 - -
herozzm
176 天前
@oIMOo 看个人资料的网站,不是垃圾站

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1046927

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX