github 不准 baidu 爬取 难道这就是 baidu 比 google 菜的原因

[cy97cool]

https://github.com/robots.txt

翻到最下面，github 对没有列出的其他搜索引擎的 bot(包括百度)直接 Disallow: / 了

难道这就是 baidu 比不上 google 的原因？

[chenwenup]

这是 baidu 比不上 google 的表现吧，并不是原因。

[cy97cool]

@chenwenup 但反过来说 爬不了 github 的项目信息，用户想搜个 github 上的项目搜不到，自然更加比不上咯

[coolcoffee]

stackoverflow 没有禁止百度， 百度依然比较难检索， 可能是爬虫在墙内，爬墙外比较慢， 然后为了用户体验就把它 KO 了

[oott123]

从 archive.org 看，github 曾经允许过百度爬取。

https://web.archive.org/web/20150217105548/https://github.com/robots.txt
https://web.archive.org/web/20150218110340/https://github.com/robots.txt

github 在 2015 年 2 月 18 日移除了对百度蜘蛛的允许，我一开始觉得可能是和 GFW 大炮有关，后来查了一些 wiki 发现这个比 GFW 大炮还早，不知道是什么原因了。

可能是 12306 抢票事件？

[MrSoda]

当年 DDOS github 的时候就是劫持的 baidu 的流量，应该是这个原因吧

[jjianwen68]

加这个 bot 是不是要给 github 钱？

[Ellison]

Disallow?说的好像百度遵守 robots 协议一样

[f2f2f]

@coolcoffee 说得百毒上那么多收录的 H 站都是在国内的服务器咯？

[Antidictator]

@Ellison #7 #7 2333333

[bearqq]

我在百度搜到过 tumblr，下面一行红字，大意是该网站访问不稳定

[est]

@oott123 反过来是好事

国内很多舆情系统是基于 baidu 的数据，如果 baidu 把 github 给爬了不知道多少 编程思考 之类的 blog 会被检索到，然后瞬间被封。