如何用Gevent更快速的异步爬取内容

[cabinw]

其实也不一定要用gevent，不过用了gevent之后效果的确不错

情况是这样，从IMDB id tt0000000 到 tt9999999遍历访问一遍豆瓣的电影信息，并保存电影信息。如果只是用线程，然后gevent.joinall(threads)，效果好像不是很明显，有什么更好的办法么？

初学gevent，还处于不会的状态

[eric_q]

http://developers.douban.com/wiki/?title=movie_v2#get_imdb_movie

[cabinw]

@chendahui007 我已经放弃爬了，会被封IP的

[cabinw]

@eric_q thanks，后来我也发现这个api了，看文档不够仔细阿，哈哈

[chendahui007]

@cabinw 那可以观摩你之前写的代码么?俺是新手,很新的手,没啥思路 ...`从IMDB id tt0000000 到 tt9999999遍历访问一遍豆瓣的电影信息 ` 这 它们怎么关联的 ,求思路

[cabinw]

@chendahui007 gtalk：cabinw#gmail.com

[lj0014]

楼主爬了多少豆瓣电影了，据说有４０Ｗ，我现在就爬了７Ｗ~

[cabinw]

@lj0014 哈哈，我已经停止了，本来有10来万的样子，交流下？

[lj0014]

@cabinw 加你gtalk了

[xi4nyu]

多核机子上面应该对应核数启，才能达到最大性能.

[feilaoda]

@cabinw 用你的代码，也只爬了7w多的数据。不知道其他的链接怎么找到。

[BigZ]

异步？还快速？太黑了
丢我们采集界的脸

采集界有个原则，单线程同步采集，必要的时候还要sleep几秒

[lj0014]

@BigZ 我用scrapy 有限速的……

[cabinw]

@BigZ 汗～小白不懂规矩，在这里向采集界各位前辈赔礼道歉了～ Sorry！不过我最后没有这么做

[sohoer]

@BigZ 呵呵，混哪的

[lemon1992]

@BigZ 我觉着还好吧，异步的库足够好的话，性能和单线程同步区别也不算大。各有优劣吧