今天在用百度搜点内网内容的时候,发现搜索结果中有的链接标注了“微信公众平台”,试了一下,点击能打开并且跳转到的是微信公众号域名。很疑惑,我记得微信屏蔽了所有搜索引擎的抓取,只和搜狗进行了合作,没听说对百度开放了呀。
与此同时,Google 仍然不能搜索。于是再去看了下 robots.txt
User-Agent: *
Allow: /$
Allow: /debug/
Allow: /qa/
Allow: /wiki
Allow: /cgi-bin/loginpage
Allow: /cgi-bin/wx
Allow: /webpoc/ruleCenter
Disallow: /
这个Disallow: /
一如既往呀,那百度是怎么搞的?无视 robots.txt ?南山法院没有作为吗?
1
ijrou 2023-08-05 11:40:01 +08:00
robots.txt 就是一个单方面的要求,就算南山法院要告,也不会拿 robots 告,而是以非法侵入计算机信息系统罪告。。。
|
2
fantathat 2023-08-05 12:43:16 +08:00 via iPhone
是呀,好奇怪呀,原来有收录,只是没有放出来,被你发现了,百度原来是偷偷干这事儿啊 😏
|
3
googlefans 2023-08-05 13:41:37 +08:00
这是这个君子协议
不是强制的 |