今天在用百度搜点内网内容的时候,发现搜索结果中有的链接标注了“微信公众平台”,试了一下,点击能打开并且跳转到的是微信公众号域名。很疑惑,我记得微信屏蔽了所有搜索引擎的抓取,只和搜狗进行了合作,没听说对百度开放了呀。
与此同时,Google 仍然不能搜索。于是再去看了下 robots.txt
User-Agent: *
Allow: /$
Allow: /debug/
Allow: /qa/
Allow: /wiki
Allow: /cgi-bin/loginpage
Allow: /cgi-bin/wx
Allow: /webpoc/ruleCenter
Disallow: /
这个Disallow: /
一如既往呀,那百度是怎么搞的?无视 robots.txt ?南山法院没有作为吗?
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.