微信的 robots.txt 是否涉嫌违反《反垄断法》？

[captray]

最近搜东西时，发现微信的 robots.txt 文件禁止了除首页和几个页面的爬虫索引： https://mp.weixin.qq.com/robots.txt

User-Agent: *
Allow: /$     #关于此指令解释在链接 [2] 文末
Allow: /debug/
Allow: /qa/
Allow: /wiki
Allow: /cgi-bin/loginpage
Allow: /cgi-bin/wx
Disallow: /

作为中文互联网最大的内容平台之一，微信竟然只对其他搜索引擎开放了几个页面[1]，如果需要搜微信公众号的文章必须得在微信内，或者腾讯系搜索引擎——搜狗内进行搜索，这是否已经涉嫌违反了《反垄断法》？

[1] https://www.google.com/search?q=site:mp.weixin.qq.com

[1] https://www.baidu.com/s?wd=site%3Amp.weixin.qq.com

[2] https://developers.google.com/search/reference/robots_txt

[aegon466]

@x86 👍

[juziss]

@x86 这个跟对方的反爬机制太强了，直接投诉对方的行为是一样的

[Cielsky]

@xhpan10 用户可以自己选择多处发表吧

[zhoushiya]

求问如果直接在 robots.txt 里写了禁止爬虫的目录，比如后台 admin 目录。。。但是通过网址直接打开 http://xxx.com/robots.txt 不就看到了后台的地址？

[mmdsun]

腾讯：只要我招聘国家退休官员够多，永远别想搞我反垄断。（梗来源于腾讯招要求）

[watzds]

说得好！淘宝禁止百度爬商品带的头

[Urutora]

整天盯着蚊子吸你血，吸血鬼当没看见，服了。行政机关的垄断算不算垄断呢？怎么没人不服？

[iamsad3508]

1.法律.txt 不改也行
2.以前有 MSN，QQ 不构成垄断。现在有钉钉，说不定还是不能构成垄断呢
3.360 的案子好像是说明 robot 还是有一些效力的吧？

[dfkjgklfdjg]

@zhoushiya
Disallow: /，然后 allow 你想要开放的目录就可以了，方向思考一下呗

[zhoushiya]

@dfkjgklfdjg #29 明白了，先禁用所有，然后打开指定目录，多谢