你们有在生产环境中用 PhantomJS 做爬虫吗

2015-12-19 11:57:57 +08:00
 ufo22940268
RT

感觉速度太慢了。但是如果有些网站用静态爬虫的话好难分析。
4750 次点击
所在节点    问与答
9 条回复
fractal314
2015-12-19 13:33:41 +08:00
这个适合小规模的抓取，太耗 cpu
rootsir
2015-12-19 15:00:32 +08:00
@fractal314 headless 哪种不占 CPU 呢
liuzhen
2015-12-19 15:18:57 +08:00
用 PhantomJS 做截图
fractal314
2015-12-19 15:26:57 +08:00
@rootsir 逗逼
rootsir
2015-12-19 15:30:49 +08:00
@fractal314 擦 ，干嘛骂人呢
ezreal
2015-12-19 15:46:49 +08:00
有，我们的 SEO 系统就是用 PhantomJS 做的，所有商品详情页用 PhantomJS 爬下来存 mongoldb 中，爬虫过来直接喂静态的页面
icedx
2015-12-19 16:19:28 +08:00
我们的充值系统就是通过 PhantomJS 读取支付宝的
flaman
2015-12-19 23:05:09 +08:00
关键字 scrapy-splash
kkx
2015-12-20 16:34:13 +08:00
大家有碰到过 过一段时间爬取速度变慢的么 重起程序后又能恢复速度 感觉有内存泄漏问题
我用 phantomjs 和 selenium

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/244633

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX