如何用Gevent更快速的异步爬取内容

[cabinw]

其实也不一定要用gevent，不过用了gevent之后效果的确不错

情况是这样，从IMDB id tt0000000 到 tt9999999遍历访问一遍豆瓣的电影信息，并保存电影信息。如果只是用线程，然后gevent.joinall(threads)，效果好像不是很明显，有什么更好的办法么？

初学gevent，还处于不会的状态

[Livid]

Celery or RQ is better for such scenario.

[cabinw]

@Livid 3x~

[phuslu]

gevent.pool.spawn + httplib2

[Brutal]

queue 然后 q.get()

[reus]

requests + multiprocessing.Pool

[cabinw]

@phuslu @Brutal @reus 感谢给出的各种方案，我都去了解下

[btwo]

有测试结果了也请贴出来，一起学习下！

[muxi]

https://gist.github.com/3719516

[muxi]

http://gist.github.com/3719516

[muxi]

http://gist.github.com/3719535

[cabinw]

@btwo 好

[cabinw]

@muxi 如此详细，大赞！

[sinreal]

额，豆瓣好像限制单个ip访问频率的。楼主可以考虑多个ip慢慢去抓。

[cabinw]

@sinreal 我测试用单ip抓了12万数据貌似还没出现问题，不过这的确会是个问题啊

[14kscn]

我比较好奇的是 v2ex 可以贴 code 了？

[eric_q]

如果爬得过快消耗太多资源，可能会被手动封禁

[cabinw]

@eric_q 诶，那真是大问题了

[clowwindy]

爬虫的瓶颈不在抓取，在被爬的网站上……一般要爬单个网站的大量数据，要么直接找对方要，要么动用大量 IP……

抓取的性能不是问题，如果爬完全不同的网站，之前用 tornado 那个 async_http_client 写了一个爬虫，开 5 个进程一边爬一边往 HBase 里插，可以达到 2000 QPS。

[fanzeyi]

如果楼主可以生成出爬的页面的链接到一个数组里，可以直接用 grequests<https://crate.io/packages/grequests/> 非常好用的异步 URL Fetching 库.

后端是 Gevent ..可以写上 callback 参数 =v=

[chendahui007]

@cabinw 可以看看你写的爬豆瓣电影那个么?