想实现一个分布式爬虫系统，有哪些推荐的语言？

2015-01-12 16:53:05 +08:00

vinthony

如果用来写爬虫此语言有哪些优缺点？

3497 次点击

所在节点

12 条回复

nilai

2015-01-12 17:30:12 +08:00

scrapy

icedx

2015-01-12 17:39:58 +08:00

Python

Gamon

2015-01-12 17:41:28 +08:00

Python

alexapollo

2015-01-12 17:45:18 +08:00

golang

a2z

2015-01-12 17:47:33 +08:00

python，已实现

a2z

2015-01-12 17:48:18 +08:00

vinthony

2015-01-12 19:38:40 +08:00

@nilai
@a2z 感觉推荐，现有的实现确实很好，但是还是想踩踩坑 ^_^

tabris17

2015-01-12 19:40:38 +08:00

C++

vinthony

2015-01-12 19:41:21 +08:00

@alexapollo 感谢推荐

a2z

2015-01-12 20:28:06 +08:00

@vinthony
有时间折腾可以搞搞，坑挺深的。

Bluek404

2015-01-12 20:55:04 +08:00

go+1

优点：多线程简单
缺点：需要编译

yakczh

2015-01-12 21:16:34 +08:00

看了一个Scrapy，抓取的规则还是写在代码里，这样如何网站改版以后，还会重新调试代码，有没有爬虫可以把抓取规则独立到文件或者数据库的，如果网站改版了，就可以通过后台编辑这些规则采集数据了

第 1 页／共 1 页

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.