V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
F2Sky
V2EX  ›  问与答

百度收录微信公众账号的内容意味着什么?

  •  
  •   F2Sky · 2014-09-02 16:23:57 +08:00 · 4361 次点击
    这是一个创建于 3516 天前的主题,其中的信息可能已经有所发展或是发生改变。



    以前我们主要有两个途径搜索微信公众号的订阅内容,一个是微信app内的搜索,一个搜狗的微信搜索。

    现在百度也开始收录微信公众号的内容了,是不是意味着什么呢?
    9 条回复    2014-09-03 10:21:57 +08:00
    Showfom
        1
    Showfom  
       2014-09-02 17:07:47 +08:00
    意味着他们不遵守 robots.txt

    http://mp.weixin.qq.com/robots.txt

    同样搜狗也是不遵守的
    fangzhzh
        2
    fangzhzh  
       2014-09-02 17:23:42 +08:00 via Android
    @Showfom 哈哈 一语中的啊
    Showfom
        3
    Showfom  
       2014-09-02 17:46:46 +08:00
    @fangzhzh 是的,也就 Google 会遵守 robots.txt 啊

    https://www.google.com/search?q=site%3Amp.weixin.qq.com
    myang
        4
    myang  
       2014-09-02 17:49:45 +08:00
    我怎么搜不出来?任何关键字加site:mp.weixin.qq.com都没有结果。搜狗好像是腾讯合作推出的,等于授权了。
    9hills
        5
    9hills  
       2014-09-02 18:12:41 +08:00
    1. baidu搜不出任何结果,是准守robots的,lz眼花?
    2. sogou是和腾讯有官方合作的,不算不遵守
    9hills
        7
    9hills  
       2014-09-02 18:14:50 +08:00
    不过我看到lz的结果显示有265000个结果,我好像知道了什么。。前端的robots封禁八成出bug了。。
    mqzhang
        8
    mqzhang  
       2014-09-02 19:42:45 +08:00 via Android
    请看百度搜索 site:weixin.qq.com 的结果,就知道了。百度对robots.txt是遵守的
    wzzyj8
        9
    wzzyj8  
       2014-09-03 10:21:57 +08:00
    3L以后的情况真的有点看不懂。
    @9hills @myang
    1. 桌面端 site:mp.weixin.qq.com 显示站长工具,很明确的写了:Robots封禁:无
    其他一堆入口(譬如手机端),搜一下全都有搜索结果, 下图看第一条,更新时间是2014-9-1。http://postimg.org/image/rc2xq0o4n/
    2. Robots.txt禁止的是蜘蛛爬行,不是控制收录结果展示,任何情况下你有爬行记录都是违反协议的
    3. site:weixin.qq.com robots.txt明显不应该向mp.weixin.qq.com继承,按这样说我还可以讲是从qq.com 的 robots.txt 继承过来的。事实上根本就不是同一个站点,完全不同的站点怎么会因为遵守了不相干的站点的robots.txt就不流氓了呢?
    4. 搜狗不是合作的问题,合作也应该指明白名单UA,而非直接忽略robots.txt。何况搜狗忽略robots.txt直接爬行的事情也不是一次两次了:
    http://www.forumpostersunion.com/showthread.php?t=2529
    http://www.internetofficer.com/web-robot/sogou/
    http://www.webmasterworld.com/search_engine_spiders/4416720.htm

    不懂,好像百度、搜狗和我生活都没有什么交集,不知道哪里有值得被黑的点
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3621 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 10:42 · PVG 18:42 · LAX 03:42 · JFK 06:42
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.