小白问个爬虫问题

[frmongo]

想爬点 ZOL 的手机数据，看到 http://detail.zol.com.cn/robots.txt 上面似乎限制爬虫爬取
Disallow: https://detail.zol.com.cn/*

我理解，这样爬虫就无法访问产品数据了？这怎么办呢？有什么变通方法可以爬取。

[Ethanp]

你都知道看 robots 了不小白了

[alvin666]

悄悄，慢慢地爬，自己用，或者换网站。
人家不让你爬，无解

[xpresslink]

那个 robots.txt 主要是给搜索引擎来指引的。和你没有什么关系。

[geekcorn]

robots.txt 只是对搜索引擎爬虫的建议性限制吧，理论上正常用户在客户端浏览器能看到什么，操作什么，机器就可以做到什么

[b821025551b]

robots.txt 只是君子协议。。。就比如你家门开着，贴张纸，写着小偷别进来，小偷就真不进了么。。。

[0x5f]

伪造正常浏览器 ua 啊

[liupanhi]

你确实是小白,哈哈哈

[frmongo]

@liupanhi 给小弟指点下嘛，别只一笑而过

[dcalsky]

@frmongo 你发 http request 的时候，把 header 里的 user-agent 字段改成其他的。

[dcalsky]

@frmongo 但是其实也不用做任何多余的事情，因为 robotstxt 只是一个声明，遵不遵守全看写爬虫人的意思。

[arctanx]

楼主很有节操 233

[ml1344677]

破坏计算机信息罪了解一下 23333

[musclepanda]

你用 scrapy 的？ scrapy 在设置文件里面设置下就好了，有一个 Allow_robots 这样的设定，关了就好

[frmongo]

@arctanx 哈哈

[frmongo]

@ml1344677 我擦...

[frmongo]

@musclepanda 我用的 python2 的 request，写了个很简单的，伪装成 360 的 agent,可以用