V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
captray
V2EX  ›  问与答

微信的 robots.txt 是否涉嫌违反《反垄断法》?

  •  1
     
  •   captray · 2020-12-25 10:34:32 +08:00 · 6201 次点击
    这是一个创建于 1189 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近搜东西时,发现微信的 robots.txt 文件禁止了除首页和几个页面的爬虫索引: https://mp.weixin.qq.com/robots.txt

    User-Agent: *
    Allow: /$     #关于此指令解释在链接 [2] 文末
    Allow: /debug/
    Allow: /qa/
    Allow: /wiki
    Allow: /cgi-bin/loginpage
    Allow: /cgi-bin/wx
    Disallow: /
    

    作为中文互联网最大的内容平台之一,微信竟然只对其他搜索引擎开放了几个页面[1],如果需要搜微信公众号的文章必须得在微信内,或者腾讯系搜索引擎——搜狗内进行搜索,这是否已经涉嫌违反了《反垄断法》?

    [1] https://www.google.com/search?q=site:mp.weixin.qq.com

    [1] https://www.baidu.com/s?wd=site%3Amp.weixin.qq.com

    [2] https://developers.google.com/search/reference/robots_txt

    30 条回复    2020-12-26 12:58:14 +08:00
    PureWhiteWu
        1
    PureWhiteWu  
       2020-12-25 10:36:25 +08:00   ❤️ 4
    不涉嫌。
    这是知识产权问题。
    lakehylia
        2
    lakehylia  
       2020-12-25 10:44:21 +08:00   ❤️ 3
    不涉嫌,这是 WWW 的设计问题,robots.txt 就是一个行业自律协议而已,没有法律效力的。
    takemeaway
        3
    takemeaway  
       2020-12-25 10:49:35 +08:00   ❤️ 14
    微信本身就涉嫌垄断了,还需要管 robots 文件?
    captray
        4
    captray  
    OP
       2020-12-25 10:55:55 +08:00
    @lakehylia
    @PureWhiteWu
    了解,谢谢回答

    @takemeaway
    确实,感觉目前我国的反垄断法条还需进一步改进哈
    helionzzz
        5
    helionzzz  
       2020-12-25 10:57:45 +08:00
    一个日活 12 亿的软件本身已经处在实质垄断的地位了,不缺你一个行业自律 txt
    Jooooooooo
        6
    Jooooooooo  
       2020-12-25 10:58:10 +08:00
    那淘宝也应该开放百度抓取?
    longaiwp
        7
    longaiwp  
       2020-12-25 10:58:37 +08:00   ❤️ 4
    这个文件完全没有任何违规,但是微信垄断也不需要这个文件来证明,我们从它的行为已经能判断出它垄断了。
    PureWhiteWu
        8
    PureWhiteWu  
       2020-12-25 11:05:32 +08:00
    @lakehylia robots.txt 有法律效力。
    captray
        9
    captray  
    OP
       2020-12-25 11:16:39 +08:00
    jfdnet
        10
    jfdnet  
       2020-12-25 11:20:36 +08:00
    @longaiwp
    微软垄断官司当年不是打了好多年 差点被分拆 也极大影响了微软的产品策略 不然可能都不会错过移动时代。
    luoqeng
        11
    luoqeng  
       2020-12-25 11:35:34 +08:00   ❤️ 1
    南山必胜客了解下
    natashahollyz
        12
    natashahollyz  
       2020-12-25 11:41:14 +08:00
    第一 wx 本身就是垄断了,和 robots 无关

    第二 你家不让人进,这不是很正常吗?
    duhongle
        13
    duhongle  
       2020-12-25 12:43:39 +08:00
    robots 可以遵守也可以不遵守。。。关键是你爬取微信文章使用。。。微信直接搞死你
    EminemW
        14
    EminemW  
       2020-12-25 13:16:31 +08:00 via iPhone
    想啥呢?
    maichael
        15
    maichael  
       2020-12-25 13:28:09 +08:00
    @luoqeng #10 现在南山必胜客也没用了,阿里遭了下一个就是腾讯,这些互联网大公司这段时间会一个接一个被砍几刀。
    glennv2ex
        16
    glennv2ex  
       2020-12-25 13:31:02 +08:00
    robots 就是个君子协议
    passerbytiny
        17
    passerbytiny  
       2020-12-25 14:12:44 +08:00 via Android
    如果微信公众号占有市场主导地位,那么这么做是垄断的。在这一点上确实没垄断,因为微信公众号在内容平台市场不具有主导地位,事实上也不可能有任何商业公司能够主导国内的内容平台市场。
    prodcd
        18
    prodcd  
       2020-12-25 14:56:20 +08:00
    https://www.taobao.com/robots.txt

    User-agent: Baiduspider
    Disallow: /

    User-agent: baiduspider
    Disallow: /
    xhpan10
        19
    xhpan10  
       2020-12-25 17:20:20 +08:00
    是垄断了。。用户发的文章,他不能去强制决定这篇文章不能被其它搜索引擎收录
    x86
        20
    x86  
       2020-12-25 17:26:50 +08:00 via iPhone   ❤️ 1
    写爬虫还理直气壮了咋不要求微信给你个 api 直接调呢
    aegon466
        21
    aegon466  
       2020-12-25 17:30:10 +08:00
    @x86 👍
    juziss
        22
    juziss  
       2020-12-25 19:21:57 +08:00
    @x86 这个跟对方的反爬机制太强了,直接投诉对方的行为是一样的
    Cielsky
        23
    Cielsky  
       2020-12-25 20:11:02 +08:00 via Android
    @xhpan10 用户可以自己选择多处发表吧
    zhoushiya
        24
    zhoushiya  
       2020-12-25 20:30:17 +08:00
    求问如果直接在 robots.txt 里写了禁止爬虫的目录,比如后台 admin 目录。。。但是通过网址直接打开 http://xxx.com/robots.txt 不就看到了后台的地址?
    mmdsun
        25
    mmdsun  
       2020-12-25 22:17:01 +08:00 via Android
    腾讯:只要我招聘国家退休官员够多,永远别想搞我反垄断。(梗来源于腾讯招要求)
    watzds
        26
    watzds  
       2020-12-25 22:23:13 +08:00 via Android
    说得好!淘宝禁止百度爬商品带的头
    Urutora
        27
    Urutora  
       2020-12-25 23:55:47 +08:00 via iPhone
    整天盯着蚊子吸你血,吸血鬼当没看见,服了。行政机关的垄断算不算垄断呢?怎么没人不服?
    iamsad3508
        28
    iamsad3508  
       2020-12-26 08:27:17 +08:00 via Android
    1.法律.txt 不改也行
    2.以前有 MSN,QQ 不构成垄断。现在有钉钉,说不定还是不能构成垄断呢
    3.360 的案子好像是说明 robot 还是有一些效力的吧?
    dfkjgklfdjg
        29
    dfkjgklfdjg  
       2020-12-26 12:55:01 +08:00 via iPhone
    @zhoushiya
    Disallow: /,然后 allow 你想要开放的目录就可以了,方向思考一下呗
    zhoushiya
        30
    zhoushiya  
       2020-12-26 12:58:14 +08:00
    @dfkjgklfdjg #29 明白了,先禁用所有,然后打开指定目录,多谢
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   956 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 20:41 · PVG 04:41 · LAX 13:41 · JFK 16:41
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.