首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
›
Google Play
›
Google Fi
›
Google Developers Channel
›
Google 全球透明度报告
›
9to5Google
V2EX
›
Google
谷歌爬虫现在不遵守 robots 标准了吗?
axo
·
2020-10-23 12:26:05 +08:00
· 3429 次点击
这是一个创建于 1495 天前的主题,其中的信息可能已经有所发展或是发生改变。
“是否允许搜索引擎索引我的主题”一直设置的“不允许”。V 站在相关主题帖页面中也放入了`<meta name="robots" content="noindex, nofollow">`,但是谷歌搜索仍然能搜到相关贴(不是其他垃圾爬虫站的镜像贴,就是 V 站的主贴
设置了“不允许”的其它 V 友,也可以试试自己的帖,应该都能搜到。
不懂就问:是谷歌爬虫不遵守相关标准了?还是什么情况?
robots
谷歌
允许
爬虫站
2 条回复
•
2020-10-23 18:30:33 +08:00
1
tankren
2020-10-23 14:20:41 +08:00
https://www.google.com.hk/search?newwindow=1&sxsrf=ALeKk0074YqA7ek2QLt7ypcIIxxbJ9gZVQ%3A1603434029632&source=hp&ei=LXaSX5meJM77wQPV-q7AAQ&q=%E8%B0%B7%E6%AD%8C%E7%88%AC%E8%99%AB%E7%8E%B0%E5%9C%A8%E4%B8%8D%E9%81%B5%E5%AE%88+robots+%E6%A0%87%E5%87%86%E4%BA%86%E5%90%97%EF%BC%9F&oq=%E8%B0%B7%E6%AD%8C%E7%88%AC%E8%99%AB%E7%8E%B0%E5%9C%A8%E4%B8%8D%E9%81%B5%E5%AE%88+robots+%E6%A0%87%E5%87%86%E4%BA%86%E5%90%97%EF%BC%9F&gs_lcp=CgZwc3ktYWIQDFAAWABgsRloAHAAeACAAQCIAQCSAQCYAQCgAQKqAQdnd3Mtd2l6&sclient=psy-ab&ved=0ahUKEwjZ6ISeicrsAhXOfXAKHVW9CxgQ4dUDCAs
2
axo
OP
2020-10-23 18:30:33 +08:00
而且本页面明明有标签……
https://i.loli.net/2020/10/23/eAE1M7THFCgw3fr.png
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
1145 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 42ms ·
UTC 22:53
·
PVG 06:53
·
LAX 14:53
·
JFK 17:53
Developed with
CodeLauncher
♥ Do have faith in what you're doing.