Crawlab Lite 发布,更轻量的爬虫管理平台

2020-07-16 10:51:49 +08:00
 zkqiang

Crawlab 是一款基于 Golang 的分布式爬虫管理平台,产品发布已经一年有余,经过开发团队的不断打磨,即将迭代到 v0.5 版本。在这期间我们为 Crawlab 加入了大量社区用户共同期望的功能,使产品更加专业。但与此同时我们也注意到,部分用户并不是分布式爬虫用户,他们更多只是在单机情况下使用 Crawlab 。其次目前 Crawlab 逐步加入了丰富的功能,也使整个产品逐渐巨化,大部分用户并不能充分使用所有的功能。

因此 Crawlab Lite 作为 Crawlab 的轻量化版本正式发布,相较于 Crawlab,该版本将专注于解决单机环境下的爬虫管理,并且平台本身不再依赖任何外部数据库,现有以及未来加入的功能都仅限于高频使用的必需功能,做到最大化的功能克制。

功能特性

首次发布的版本为 v0.0.1 版本,该版本作为首个体验版本,已经具备了 Lite 版规划的核心功能,相较于 Crawlab 主要区别:

运行方式

我们依然保留通过 docker-componse 这种最方便的方式:

  1. 在任意目录下创建 docker-compose.yml,内容如下:
version: '3'
services:
  master:
    image: zkqiang/crawlab-lite:latest
    container_name: master
    ports:
      - "8080:8080"
  1. 在目录下运行命令:
docker-compose up -d
  1. 访问 http://localhost:8080

项目地址

https://github.com/crawlab-team/crawlab-lite

项目截图

2761 次点击
所在节点    Python
6 条回复
xdeng
2020-07-16 11:17:07 +08:00
裸机想试下发现还要装 npm
tikazyq
2020-07-16 12:52:25 +08:00
@xdeng 可以 docker 一键安装
anzu
2020-07-16 15:51:39 +08:00
只有 kv 文件数据库也太轻量了,而且为什么用 bolt 不用 sqlite
tikazyq
2020-07-16 17:12:27 +08:00
@anzu 只要最后效果不错,用什么都可以,bolt 应该是基于内存的,比 sqlite 更快
zkqiang
2020-07-16 20:16:41 +08:00
@anzu #3 因为一是 sqlite 需要 gcc 不方便,二是 Crawlab 本身就不依赖关系 SQL (社区版是依赖 mongo ),另外 kv 数据库真的很香啊
xdeng
2020-07-16 20:29:20 +08:00
@tikazyq 我 win 系统只装了 golang

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/690500

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX