做网络爬虫，python 的多线程，异步和 node.js 的异步哪个好？

[pc10201]

准备研究一下网络爬虫
自己做过测试，在局域网环境中python的多线程要比gevent要快一点

有没有高手来对比一下下面的各项？
python的多线程
python中的Tornado的异步http
nodejs的异步

另外多线程可能与异步结合在一起么？
感觉采集中最耗时的就是网络IO，数据抽取分析什么的倒是挺快

[allenwei]

@wangfengmadking 赞同，代理才是爬虫的最大瓶颈，还没到遇到瓶颈的并发量也许那个网站就扛不住了，一般能扛得住的都有反爬虫机制

[simpx]

@wangfengmadking 哈哈，是的。我的方案是建立在众多不稳定的代理之上的。需要动态监测、删除没用的代理，实在是非常麻烦。最后发现，其实只要摸清了目标限制策略，买几个额外的服务器ip，用多进程爬虫就把问题解决的又快又好

[sigmadog]

@simpx 怎么配置出口ip呀。。如果服务器有多个ip的话，有资料不？

[lazybios]

@wuyadong 不错 正需要分析下这方面的原型

[guoyang]

你哪个语言用的最好，就哪个好！

[duwei]

gevent的代码贴下？如果结果是比python多线程差的话，应该是没有利用上gevent的特性，比如使用了一些c的抓取库，这样的情况gevent是patch不到的。

[fire5]

被人骂过， 如下：

”爬虫，还多线程？ 我们一般都每次抓取后sleep 3秒钟。高性能，多核。丢我们爬虫界的脸。“

想想也是，悠着点，你好他也好。

[fork3rt]

我一般都是 Python 多线程 + Google Bot的 header - -#

[yakczh]

@wuyadong \tigerspider-master\core\util.py", line 79, in <module>
@gen.coroutine
AttributeError: 'module' object has no attribute 'coroutine'

[wuyadong]

@yakczh tornado版本要新一点，coroutine是比较新的版本才有的