百度收录微信公众账号的内容意味着什么？

Showfom

2014-09-02 17:07:47 +08:00

意味着他们不遵守 robots.txt

http://mp.weixin.qq.com/robots.txt

同样搜狗也是不遵守的

fangzhzh

2014-09-02 17:23:42 +08:00

@Showfom 哈哈一语中的啊

Showfom

2014-09-02 17:46:46 +08:00

@fangzhzh 是的，也就 Google 会遵守 robots.txt 啊

https://www.google.com/search?q=site%3Amp.weixin.qq.com

myang

2014-09-02 17:49:45 +08:00

我怎么搜不出来？任何关键字加site:mp.weixin.qq.com都没有结果。搜狗好像是腾讯合作推出的，等于授权了。

9hills

2014-09-02 18:12:41 +08:00

1. baidu搜不出任何结果，是准守robots的，lz眼花？
2. sogou是和腾讯有官方合作的，不算不遵守

9hills

2014-09-02 18:13:06 +08:00

http://www.baidu.com/s?wd=site%3Amp.weixin.qq.com&rsv_spt=1&issp=1&rsv_bp=0&ie=utf-8&tn=baiduhome_pg&rsv_n=2&rsv_sug3=1&rsv_sug4=38&inputT=1021

lz黑百度也太。。

9hills

2014-09-02 18:14:50 +08:00

不过我看到lz的结果显示有265000个结果，我好像知道了什么。。前端的robots封禁八成出bug了。。

mqzhang

2014-09-02 19:42:45 +08:00

请看百度搜索 site:weixin.qq.com 的结果，就知道了。百度对robots.txt是遵守的

wzzyj8

2014-09-03 10:21:57 +08:00

3L以后的情况真的有点看不懂。
@9hills @myang
1. 桌面端 site:mp.weixin.qq.com 显示站长工具，很明确的写了：Robots封禁：无
其他一堆入口（譬如手机端），搜一下全都有搜索结果，下图看第一条，更新时间是2014-9-1。http://postimg.org/image/rc2xq0o4n/
2. Robots.txt禁止的是蜘蛛爬行，不是控制收录结果展示，任何情况下你有爬行记录都是违反协议的
3. site:weixin.qq.com robots.txt明显不应该向mp.weixin.qq.com继承，按这样说我还可以讲是从qq.com 的 robots.txt 继承过来的。事实上根本就不是同一个站点，完全不同的站点怎么会因为遵守了不相干的站点的robots.txt就不流氓了呢？
4. 搜狗不是合作的问题，合作也应该指明白名单UA，而非直接忽略robots.txt。何况搜狗忽略robots.txt直接爬行的事情也不是一次两次了：
http://www.forumpostersunion.com/showthread.php?t=2529
http://www.internetofficer.com/web-robot/sogou/
http://www.webmasterworld.com/search_engine_spiders/4416720.htm

不懂，好像百度、搜狗和我生活都没有什么交集，不知道哪里有值得被黑的点