Python vs Node.js 哪个更适合用于爬虫？

[zungmou]

Python 的优点是高效，从零到爬半个小时估计就能动起来。

Node.js 更侧重于 io 处理，但其 Javascript 语言特性也能带来高效的开发体验。

两者都有不错的异步性能， Python 3 之后已经原生支持协程， Node.js 更不用说了。

所以这两个用于爬虫，如果都熟练掌握，你会更倾向于哪一个？

[mooncakejs]

选 js

[wellsc]

c++

[kidlj]

node

[zjsxwc]

额，看你熟练哪种语言呗，我用 php ，毕竟 phpquery 可以像 jquery 一样操作获取到的 html 文本，通过 curl 函数就可以异步或同步的模拟浏览器操作。

[sudoz]

js 的好处是可以直接在浏览器里跑，想想就带劲

[zungmou]

@mooncakejs Node.js +1
@wellsc 不嫌麻烦？
@kidlj Node.js +1
@zjsxwc PHP +1

[smallpath]

node 请使用 v7.6.0 ，直接用 async/await 无痛开写，开了跨域代理还可以直接在 chrome 里跑

[TangMonk]

node +1, 性能好, 还有 PhantomJS 模拟浏览器

[jiangzhuo]

要不要试试 neocrawler

[v2dead]

曾经是 phantomJS 做代理抓取渲染页面， python 在另一端处理任务，对抓到数据进行规整。这算是两个都用么？

[simapple]

scrapy +1

[zungmou]

@v2dead PhantomJS 对于大规模爬虫应用的话，性能如何？

[viko16]

@smallpath #7 求详细，是说 node-inspector 吗？

[murmur]

现在爬虫的性能早就不是问题 难点在动态数据和反爬虫上

你不是会挂代理么 吼哇 那我们就玩注册吧

[DarsyCheuk]

哪个熟悉点就用哪个呗
个人偏向 node 毕竟 js 语言摆在那😄

[murmur]

@zungmou 有人自称组件了 1000+实例的集群 除了每隔一段时间要强制重启释放资源外 没啥

[neoblackcap]

@zungmou 内存泄漏

[neoblackcap]

个人感觉大规模的爬虫都不应该使用基于 Chrome 的技术，基于 mozilla 的 spidermonkey 来做的爬虫可能性能会更好，关键是 V8 的引擎并非线程安全，你用到 V8 的时候就需要加锁，要提高并行就是加进程。一台服务器能上多少个进程？

[zungmou]

@murmur
@neoblackcap

感谢！

[fy]

都适合。 nodejs 有个额外好处是能直接解释执行页面上部分 js 代码（虽然要考虑安全性）。