求爬虫爬一个大型天涯帖子的加速办法

[tao1991123]

背景

天涯有一个帖子，作者在上面更新自己的某部小说。持续更新了好几年。前两天通过作者的微博得知更完了，但是由于更贴时间太长，这个帖子的灌水回复太多，现在已经有2500多页（注意不是2500楼，是2500页）。

问题

现在希望把作者的内容通过爬虫爬下来，保存为TXT。以前y用Python写过一个爬天涯的爬虫，为了防封IP用的是最笨的办法

time.sleep(1)

小贴很好办，但是这个2500楼的帖子，真心等不起。

请求

求一个可以快点把帖子爬完的办法

[mV2GK]

用scrapy爬会好点吧。。。

[anexplore]

到这上面挑几个速度较快的高匿名代理，多开几个进程，http://www.proxy.com.ru/

[mahone3297]

爬的太快，不怕被ban？
单机，必须要慢慢爬啊。。。

[abelyao]

@tao1991123

这帖子没几个人是站在楼主这种学习的角度去思考的，而是觉得 1400+ 秒能爬完就完了，万一下次遇到一篇 14000+ 秒的呢？

我对 python 不熟，但是爬虫的思路基本是一直的，无关语言。
首先用 sleep 来卡 1 秒是完全没必要的，这直接影响了爬虫效率。
要防止被 ban 无非就是不断换 IP 地址、user-agent 等等这些识别信息。
多线程并发是肯定要的，保证了你一秒钟可以多爬几个页面，那效率就翻倍提升了。

[omph]

scrapy，现成的爬虫框架，强大
http://www.oschina.net/translate/build-website-crawler-based-upon-scrapy

[imlonghao]

@omph pyspider不服