谷歌爬虫现在不遵守 robots 标准了吗？

2020-10-23 12:26:05 +08:00

axo

“是否允许搜索引擎索引我的主题”一直设置的“不允许”。V 站在相关主题帖页面中也放入了`<meta name="robots" content="noindex, nofollow">`，但是谷歌搜索仍然能搜到相关贴（不是其他垃圾爬虫站的镜像贴，就是 V 站的主贴

设置了“不允许”的其它 V 友，也可以试试自己的帖，应该都能搜到。

不懂就问：是谷歌爬虫不遵守相关标准了？还是什么情况？

3429 次点击

所在节点

Google

2 条回复

tankren

2020-10-23 14:20:41 +08:00

https://www.google.com.hk/search?newwindow=1&sxsrf=ALeKk0074YqA7ek2QLt7ypcIIxxbJ9gZVQ%3A1603434029632&source=hp&ei=LXaSX5meJM77wQPV-q7AAQ&q=%E8%B0%B7%E6%AD%8C%E7%88%AC%E8%99%AB%E7%8E%B0%E5%9C%A8%E4%B8%8D%E9%81%B5%E5%AE%88+robots+%E6%A0%87%E5%87%86%E4%BA%86%E5%90%97%EF%BC%9F&oq=%E8%B0%B7%E6%AD%8C%E7%88%AC%E8%99%AB%E7%8E%B0%E5%9C%A8%E4%B8%8D%E9%81%B5%E5%AE%88+robots+%E6%A0%87%E5%87%86%E4%BA%86%E5%90%97%EF%BC%9F&gs_lcp=CgZwc3ktYWIQDFAAWABgsRloAHAAeACAAQCIAQCSAQCYAQCgAQKqAQdnd3Mtd2l6&sclient=psy-ab&ved=0ahUKEwjZ6ISeicrsAhXOfXAKHVW9CxgQ4dUDCAs

axo

2020-10-23 18:30:33 +08:00

而且本页面明明有标签……
https://i.loli.net/2020/10/23/eAE1M7THFCgw3fr.png