写的爬虫，爬取一段时间后，服务器就不响应了，有什么解决办法？

[cyneuzk]

RT ，一个下载文件的爬虫，一段时间后，服务器完全不响应。
可以确定的是服务器端根据不同 UA ，需要 POST 的数据不同，
我已经区分开 IE 、 chrome 、 firefox 三者各自需要的数据了，还是会有这种情况。
是因为 IP 限制了吗？

[abelyao]

有 IP 限制很正常啊… 没 IP 限制得被人爬到崩…

[marcushbs]

一般请求间要加一个按 x2 自增的 interval ，发现没反应了就等等，爬的那些服务如果靠谱点一般都有 ip 访问次数限制

[excelle08]

没设置 timeout ？

[cyneuzk]

@excelle08 设置了呀

[cyneuzk]

@abelyao 这种情况有方法解决吗

[abelyao]

@cyneuzk 买代理 IP ，爬几次之后就换一个 IP 咯

[wgjak47]

只有换 ip 喽。

[FanPengcheng]

在 header 里伪造来源 IP 。

[wxg4net]

伪造请求 IP(标准), 参数包含：
VIA:xxx.xxx.xxx.xxx
Client-Ip:xxx.xxx.xxx.xxx
X-Forwarded-For:xxx.xxx.xxx.xxx

[cyneuzk]

@wxg4net 学习一下

[cyneuzk]

@FanPengcheng 能详细点不

[Linxing]

加入代理服务器吧，不停的切换代理

[meloncrashed]

上面前辈都说了

多个 ip 切换，　每抓之间试试不同的时间间隔

[meloncrashed]

可以考虑时间间隔，是个随机数，不然动作太过规律，容易被看出来是非人类。

[KentY]

弄个代理池, 换着爬

[hengsha]

可能是服务器的问题，推荐使用郑州新数据代理的美国多 IP 服务器