爬豆瓣相册遇到 403，伪装浏览器不成功，呼叫总部...

[dedewei]

google得到伪装浏览器有两种选择：
第一种： https://gist.github.com/jianjiao2021/2c34d12dc2b327e62966


第二种： https://gist.github.com/jianjiao2021/05f9bbed66e79c24c9dc


还是返回403，请问哪里出错了？


全部代码： https://gist.github.com/jianjiao2021/7a8069afab52b12b0c76

[xiaogui]

抓的频率太快了吧

[jarlyyn]

没用python写过爬虫。

但是伪装浏览器，

首先是不是考虑有cookie?

其次是否考虑支持js的库？

第三是不是踩到了陷阱链接？

当然频率也是个问题。

[jarlyyn]

对了，还有reference_url?

我记得当时是用chrome开network页，然后把所有的header都copy了一遍。

[messense]

用 requests 吧..... urllib2 太难用了。

豆瓣反爬虫机制比较厉害，用很多代理 ip 去抓比较有效。ban 了就换代理。

[terrychang]

带上cookie看看

[alangz]

我抓取豆瓣小组内容的时候也是403，但是添加了UserAgent之后就可以了。不知道你为何不可以，当然用的时java。

[dedewei]

@jarlyyn 试过把所有header除了cookie都copy一遍，也不行。添加了Referer也还是不行。

小白，现在目标是先把脚本运行起来。所以cookie等知识打算一边学一边补。非常感谢你的回答。

[dedewei]

@terrychang 非常感谢，带上cookie运行成功了

[dedewei]

@messense 谢谢给的建议

[dedewei]

@terrychang 运行了两分钟.....又403了.....

[dedewei]

@terrychang
@messense
@jarlyyn 我想问的是，是不是如果上面模拟浏览器的步骤不出错，就肯定能继续爬？还是说上面即使模拟浏览器成功了，依然有其他方式导致403？

[xiaogui]

@dedewei “运行了两分钟.....又403了.....”主要是频率了吧

[dedewei]

@xiaogui 会不会是之前ip被屏蔽，等了很久，添加cookie再试的时候刚好解封了，所以才运行了几分钟？ 频率是设置爬取的时间间隔？爬一个网页等5秒这样子？我试试。

[xiaogui]

@dedewei 刚开始封，都是比如封你几分钟，但是抓取频率过高的话，这个时间会指树上升的。

[dedewei]

@dedewei 尝试了下，直接urllib2.urlopen(url)都返回403，应该不是频率问题吧

[dedewei]

@xiaogui 我好像理解错你说的频率了？

[terrychang]

不知道你带的是不是登录会员的cookie。
登录你的豆瓣帐号，然后用firebug导出你的cookie试试。

[lerry]

既然是伪装浏览器，就要尽可能的像浏览器一样
使用 requests.Session 把浏览器的headers都带上，能应付大部分网站，有的要有Referer，有的要js执行了才行，就用 phantomjs
理论上爬虫是防不住的，顶多是会限制频率罢了，这时侯你可以找一堆匿名代理

[hp19890515]

之前做了个简单的爬虫爬大众点评的商户，也有这种情况，试了几次之后知道是频率的问题，于是每次403的时候就休息一会儿，每隔2分钟再尝试，等不403的时候就又继续运行了

[liyaoxinchifan]

多ip才是王道