想实现一个分布式爬虫系统,有哪些推荐的语言?

2015-01-12 16:53:05 +08:00
 vinthony

如果用来写爬虫 此语言有哪些优缺点?

3658 次点击
所在节点    编程
12 条回复
nilai
2015-01-12 17:30:12 +08:00
scrapy
icedx
2015-01-12 17:39:58 +08:00
Python
Gamon
2015-01-12 17:41:28 +08:00
Python
alexapollo
2015-01-12 17:45:18 +08:00
golang
a2z
2015-01-12 17:47:33 +08:00
python,已实现
a2z
2015-01-12 17:48:18 +08:00
vinthony
2015-01-12 19:38:40 +08:00
@nilai
@a2z 感觉推荐,现有的实现确实很好,但是还是想踩踩坑 ^_^
tabris17
2015-01-12 19:40:38 +08:00
C++
vinthony
2015-01-12 19:41:21 +08:00
@alexapollo 感谢推荐
a2z
2015-01-12 20:28:06 +08:00
@vinthony
有时间折腾可以搞搞,坑挺深的。
Bluek404
2015-01-12 20:55:04 +08:00
go+1

优点:多线程简单
缺点:需要编译
yakczh
2015-01-12 21:16:34 +08:00
看了一个Scrapy, 抓取的规则还是写在代码里,这样如何网站改版以后,还会重新调试代码,有没有爬虫可以把抓取规则独立到文件或者 数据库的,如果网站改版了,就可以通过后台编辑这些规则采集数据了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/161456

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX