Python vs Node.js 哪个更适合用于爬虫？

[zungmou]

Python 的优点是高效，从零到爬半个小时估计就能动起来。

Node.js 更侧重于 io 处理，但其 Javascript 语言特性也能带来高效的开发体验。

两者都有不错的异步性能， Python 3 之后已经原生支持协程， Node.js 更不用说了。

所以这两个用于爬虫，如果都熟练掌握，你会更倾向于哪一个？

[maxmilia]

PHP

[v2dead]

@zungmou 你可以一直加服务嘛，性能不够机器来凑。不过确实是要隔一段时间重启 phantomJS ，不知道是不是内存泄露，隔一段时间内存跑的高的不行。我当时是做进程池，每个 phantomJS 能跑十几次任务就直接让它重启了。

[murmur]

@neoblackcap 线程和进程有区别么，难道用线程渲染页面的 cpu 负载就能下来？

[XIVN1987]

如果只是爬虫的话，用自己最熟悉的最好
如果还想对爬来的数据进行分析的话，那 Python 更好，有 pandas 这样的神器，还有很多统计、机器学习方面的库

[mazyi]

node 一个巨大的优势在于如果你要爬的页面用 js 搞了个前端加密，虽然没有什么用但是 python 就很难处理

[jy01264313]

Python

[neoblackcap]

@murmur 你开进程需要内存的啊，线程可是共享内存啊。

[jarlyyn]

@fy

node 不是有 vm 么

[fy]

@jarlyyn 作为平台无关的动态语言，大家都有 vm 吧……

[xieranmaya]

我都是直接在浏览器里爬的

[freestyle]

scrapy +

[jarlyyn]

@fy

??

https://nodejs.org/api/vm.html

[only0jac]

怎么没人说 pyspider

[akring]

@xieranmaya 老铁 666

[fy]

@xieranmaya 生物脑智能技术肉眼爬虫表示压力不大

[songjiaxin2008]

我觉得都可以啊...Python 也有执行 JS 的包 之前用的是这个 https://github.com/doloopwhile/PyExecJS 但是国内更多的云平台都可以免费运行 Node 再加上[Cheerio]( https://github.com/cheeriojs/cheerio)这种包 也是很爽的

[insomniowl]

进来学习

[mingyun]

python requests 不解释

[log4geek]

给 Python 投一票！
Python 爬虫， 12 天从入门到精通。不信看看这个
http://log4geek.cc/2017/03/%e9%9b%b6%e5%9f%ba%e7%a1%8012%e5%a4%a9%e4%bb%8e%e5%85%a5%e9%97%a8%e5%88%b0%e7%b2%be%e9%80%9apython%e7%88%ac%e8%99%ab/