从这个文件中能分析出什么，比如 BA,比如 V2EX ?

[exuxu]

https://www.baidu.com/robots.txt
https://www.v2ex.com/robots.txt
http://www.taobao.com/robots.txt

＂User-agent: Baiduspider
Disallow: /

User-agent: baiduspider
Disallow: /＂是指不让百度给爬吗？

这样子指定 User-agent ，这么多爬虫？
User-agent: Baiduspider-image
User-agent: Googlebot
User-agent: YoudaoBot
User-agent: Sogou web spider
User-agent: Sogou inst spider
User-agent: Sogou spider2
User-agent: ChinasoSpider

update

补上相关链接　从robots.txt能看出什么？

v2 的没列～～

[exuxu]

附上一个问题，新闻网址的源都是一个地方发了，然后其它网站都是从这个地方抓过来的么....

[wy315700]

08年淘宝就不允许百度去抓取了

[ryd994]

@exuxu 人民 新华 环球

[fengyqf]

看看有没有哪个二货，把网站管理后台地址放到robotx.txt里，然后你就有地方玩爆破了

[exuxu]

@ryd994 gov的媒体额

@fengyqf 嗯，我发的那个链接里面有提到这个

[decken]

@fengyqf WordPress默认不就是这样吗？

[ryd994]

@exuxu 其他地方发的不叫新闻叫谣言

[exuxu]

@ryd994 　ＴＡＴ

[fengyqf]

@decken 这种开源的软件可以不算在内，默认的地址懂的人都知道