知乎疑似屏蔽了谷歌爬虫

212 天前
 FirefoxChrome
2024 年 4 月 28 日的谷歌快照显示允许谷歌索引

https://webcache.googleusercontent.com/search?q=cache:https://www.zhihu.com/robots.txt

https://www.zhihu.com/robots.txt

而最新的删掉了这些:

User-agent: Googlebot
Disallow: /appview/
Disallow: /login
Disallow: /logout
Disallow: /resetpassword
Disallow: /terms
Disallow: /search
Allow: /search-special
Disallow: /notifications
Disallow: /settings
Disallow: /inbox
Disallow: /admin_inbox
Disallow: /*?guide*

User-agent: Googlebot-Image
Disallow: /appview/
Disallow: /login
Disallow: /logout
Disallow: /resetpassword
Disallow: /terms
Disallow: /search
Allow: /search-special
Disallow: /notifications
Disallow: /settings
Disallow: /inbox
Disallow: /admin_inbox
Disallow: /*?guide*
579 次点击
所在节点    互联网
1 条回复
liuhaitaoSB
212 天前
额,回想起 前两天的什么中文互联网正在 GG, 这个是不是准备慢慢离开国际互联网

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1044240

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX