爬虫平台 Crawlab v0.2 发布

Crawlab 是一个专注于爬虫的集成了爬虫管理、任务调度、任务监控、数据分析等模块的分布式爬虫管理平台，非常适合对爬虫管理、爬虫工程化有要求的开发者及企业。对 Crawlab 还不了解的童鞋，请移步之前的文章:

Crawlab 的任务调度核心模块是基于 Celery 的，因此天然支持分布式爬虫、多节点抓取。Crawlab 虽然是用 python 写的，但爬虫不局限于 python 爬虫，理论上可兼容任何语言以及任何框架。从目前开源的框架来看，大部分爬虫平台是以 scrapyd 为核心，因此只能支持 scrapy 框架的爬虫，而 Crawlab 不仅支持 scrapy，还支持其他框架的爬虫。

更新一览

v0.2 已完成

[x] 基础统计
[x] 数据分析（爬虫）
[x] 网站信息
[x] 定时任务
[x] 修复 bug

待开发

[ ] 用户管理
[ ] 上传爬虫
[ ] 导出数据
[ ] 高级数据分析（网站、任务）
[ ] 更多爬虫例子
[ ] 文件管理

截屏

基础统计（爬虫）

基础统计（任务）

定时任务

网站信息

Github: tikazyq/crawlab

如果感觉 Crawlab 还不错的话，请加作者微信拉入开发交流群，大家一起交流关于 Crawlab 的使用和开发。