微信的 robots.txt 是否涉嫌违反《反垄断法》?

2020-12-25 10:34:32 +08:00
 captray

最近搜东西时,发现微信的 robots.txt 文件禁止了除首页和几个页面的爬虫索引: https://mp.weixin.qq.com/robots.txt

User-Agent: *
Allow: /$     #关于此指令解释在链接 [2] 文末
Allow: /debug/
Allow: /qa/
Allow: /wiki
Allow: /cgi-bin/loginpage
Allow: /cgi-bin/wx
Disallow: /

作为中文互联网最大的内容平台之一,微信竟然只对其他搜索引擎开放了几个页面[1],如果需要搜微信公众号的文章必须得在微信内,或者腾讯系搜索引擎——搜狗内进行搜索,这是否已经涉嫌违反了《反垄断法》?

[1] https://www.google.com/search?q=site:mp.weixin.qq.com

[1] https://www.baidu.com/s?wd=site%3Amp.weixin.qq.com

[2] https://developers.google.com/search/reference/robots_txt

6492 次点击
所在节点    问与答
30 条回复
PureWhiteWu
2020-12-25 10:36:25 +08:00
不涉嫌。
这是知识产权问题。
lakehylia
2020-12-25 10:44:21 +08:00
不涉嫌,这是 WWW 的设计问题,robots.txt 就是一个行业自律协议而已,没有法律效力的。
takemeaway
2020-12-25 10:49:35 +08:00
微信本身就涉嫌垄断了,还需要管 robots 文件?
captray
2020-12-25 10:55:55 +08:00
@lakehylia
@PureWhiteWu
了解,谢谢回答

@takemeaway
确实,感觉目前我国的反垄断法条还需进一步改进哈
helionzzz
2020-12-25 10:57:45 +08:00
一个日活 12 亿的软件本身已经处在实质垄断的地位了,不缺你一个行业自律 txt
Jooooooooo
2020-12-25 10:58:10 +08:00
那淘宝也应该开放百度抓取?
longaiwp
2020-12-25 10:58:37 +08:00
这个文件完全没有任何违规,但是微信垄断也不需要这个文件来证明,我们从它的行为已经能判断出它垄断了。
PureWhiteWu
2020-12-25 11:05:32 +08:00
@lakehylia robots.txt 有法律效力。
captray
2020-12-25 11:16:39 +08:00
jfdnet
2020-12-25 11:20:36 +08:00
@longaiwp
微软垄断官司当年不是打了好多年 差点被分拆 也极大影响了微软的产品策略 不然可能都不会错过移动时代。
luoqeng
2020-12-25 11:35:34 +08:00
南山必胜客了解下
natashahollyz
2020-12-25 11:41:14 +08:00
第一 wx 本身就是垄断了,和 robots 无关

第二 你家不让人进,这不是很正常吗?
duhongle
2020-12-25 12:43:39 +08:00
robots 可以遵守也可以不遵守。。。关键是你爬取微信文章使用。。。微信直接搞死你
EminemW
2020-12-25 13:16:31 +08:00
想啥呢?
maichael
2020-12-25 13:28:09 +08:00
@luoqeng #10 现在南山必胜客也没用了,阿里遭了下一个就是腾讯,这些互联网大公司这段时间会一个接一个被砍几刀。
glennv2ex
2020-12-25 13:31:02 +08:00
robots 就是个君子协议
passerbytiny
2020-12-25 14:12:44 +08:00
如果微信公众号占有市场主导地位,那么这么做是垄断的。在这一点上确实没垄断,因为微信公众号在内容平台市场不具有主导地位,事实上也不可能有任何商业公司能够主导国内的内容平台市场。
prodcd
2020-12-25 14:56:20 +08:00
https://www.taobao.com/robots.txt

User-agent: Baiduspider
Disallow: /

User-agent: baiduspider
Disallow: /
xhpan10
2020-12-25 17:20:20 +08:00
是垄断了。。用户发的文章,他不能去强制决定这篇文章不能被其它搜索引擎收录
x86
2020-12-25 17:26:50 +08:00
写爬虫还理直气壮了咋不要求微信给你个 api 直接调呢

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/738810

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX