求爬虫爬一个大型天涯帖子的加速办法

[tao1991123]

背景

天涯有一个帖子，作者在上面更新自己的某部小说。持续更新了好几年。前两天通过作者的微博得知更完了，但是由于更贴时间太长，这个帖子的灌水回复太多，现在已经有2500多页（注意不是2500楼，是2500页）。

问题

现在希望把作者的内容通过爬虫爬下来，保存为TXT。以前y用Python写过一个爬天涯的爬虫，为了防封IP用的是最笨的办法

time.sleep(1)

小贴很好办，但是这个2500楼的帖子，真心等不起。

请求

求一个可以快点把帖子爬完的办法

[hambut]

http://www.tianyatool.com/ 只看楼主，再抓呗。。

[tao1991123]

@hambut 不行即使这样还是有1400多页

[ob]

一页一页爬啊，还要怎么加速？一次性的？

[jedyu]

代理、分页多线程/多进程

[pimin]

1400页还要加速？
哪些资源采集的不得用超级计算机啦

[ooh]

1400也闲多?

[sacuba]

2500页 一天应该没问题吧

[matrix67]

1400秒不到半小时啊

[gxm123gxm]

lz要不直接贴代码？

[fnd]

1400页真不多。

[ericls]

呃 异步爬虫 两分钟啊

[iam36]

@ericls ？

[tao1991123]

@ericls 求详细实现思路

[lch21]

搞一堆代理ip爬

[touch]

1400页还要加速，1400页也就分分钟的事吧

[wesley]

去爬wap版要容易很多

[shoumu]

楼主是哪个帖子，让大家都来爬爬，看谁能够用时最短爬完。

[est]

2500楼，time.sleep(1) ，也就一个小时就抓完了啊。

[Mutoo]

等这帖子回复的时间，早爬完了。

[tao1991123]

@Mutoo 追求更快更好，反正有个这需求，真好借这个机会学习提高一下 有何不好？