@loveuqian 君不见南山，车水马龙，人满为患，上下拥堵，劳心劳力。

@Doubear 资历给能力让步，对自己有信息就扔个简历过来～

既然你有这么多理由这不是应该你的 leader 决定的吗？直接把你的问题给你的 leader 做处理。

能干活就成呀，他自己负责一块，打包成 docker 应用，自己维护，不限制语言，各玩各的也行

@kakana 欢迎投简历 ～

用多说的社会化评论系统就可以了。增加这个插件。

@hanzichi 哇，这个可以收录到 demo 系列，我先标记一下，感谢你的分享～

@scnace 感谢你的 golang 资源分享，今天 update 一个新的版本上去

@slysly759 - - 大神不要捧我的臭脚了，我就是一个资源收集与分享～

@sinoandywong 感谢分享，基于 python 的有很多，我想更汇总不同语言的框架和资源

关于调度的，欢迎你使用这个。[调度]可视化的调度架构-Dagobah] http://brucedone.com/archives/754

执行载体暴露 api ，以 xml 或者 json 做为标准格式，执行载体要有当前执行，待跑列表，历史记录，爬虫管理，执行或者删除等核心功能，然后以此的基础上，你就欢快的脱离语言自己造轮子吧。

兄台，这里大部分都是 pythoner , .net 的相对少，或者你可以去博客园招一把。虽然我也是.net + python

@imydou - - 又不是水下编程，不过回南天难受是妥妥的。

欣赏大神的杰作！

其实有，不过你没用过， portia ,你 google 一下就知道了。

楼主要的 demo: https://github.com/BruceDone/scrapy_demo

@est scrapy 不敢说工业级，不过已经被我拓展成公司级的， docker 打包 + 中间件 + 调度 + 监控，很方便出量。其实 scrapy 还是满容易拓展的。

如果你想用 scrapy 呢，我写了很多教程：
(1)分布式下的爬虫 Scrapy 应该如何做-安装
(2)分布式下的爬虫 Scrapy 应该如何做-关于对 Scrapy 的反思和核心对象的介绍
(3)分布式下的爬虫 Scrapy 应该如何做-递归爬取方式，数据输出方式以及数据库链接
(4)分布式下的爬虫 Scrapy 应该如何做-规则自动爬取及命令行下传参
(5)分布式下的爬虫 Scrapy 应该如何做-关于爬虫的调度机制与调度架构的构想
(5.1)分布式下的爬虫 Scrapy 应该如何做-windows 下的 redis 的安装与配置
(6)分布式下的爬虫 Scrapy 应该如何做-关于实时 Debug 的那些事儿
(7)分布式下的爬虫 Scrapy 应该如何做-关于伪装和防 Ban 的那点事儿
(8)分布式下的爬虫 Scrapy 应该如何做-图片下载(源码放送)
(9)分布式下的爬虫 Scrapy 应该如何做-关于 ajax 抓取的处理(一)
(10)分布式下的爬虫 Scrapy 应该如何做-关于动态内容 js 或者 ajax 处理(2)
(11)分布式下的爬虫 Scrapy 应该如何做-关于 js 渲染环境 splash 的一些使用技巧总结
(12)分布式下的爬虫 Scrapy 应该如何做-分布式的浅析
(13)分布式下的爬虫 Scrapy 应该如何做-另一种分布式架构

http://brucedone.com/archives/771

我不建议新人一上手就学框架，你至少要弄懂基本的 html ,css,javascript, http 请求，正则或者 xpath,数据存储，语言基础。