前言
本次更新包括几个部分:
- 日志集中管理
- 自动安装依赖
- 开放 API
- Web Hook
- 自动生成结果集
更新日志
功能 / 优化
- 优化日志管理. 集中化管理日志,储存在 MongoDB,减少对 PubSub 的依赖,允许日志异常检测.
- 自动安装依赖. 允许从
requirements.txt
和 package.json
自动安装依赖.
- API Token. 允许用户生成 API Token,并利用它们来集成到自己的系统中.
- Web Hook. 当任务开始或结束时,触发 Web Hook http 请求到预定义好的 URL.
- 自动生成结果集. 如果没有设置,自动设置结果集为
results_<spider_name>
.
- 优化项目列表. 项目列表中不展示 "No Project".
- 升级 Node.js. 将 Node.js 版本从 v8.12 升级到 v10.19.
- 定时任务增加运行按钮. 允许用户在定时任务界面手动运行爬虫任务.
Bug 修复
产品规划
- 结果展示
- 爬虫
- 可配置爬虫
- 可配置爬虫支持 Splash
- 可配置爬虫支持 CrawlSpider
- 可配置爬虫支持正则表达式字段
- 定时任务
- 服务器
- SDK
- 全局
参考
社区
如果您觉得 Crawlab 对您的日常开发或公司有帮助,请加作者微信 tikazyq1 并注明 "Crawlab",作者会将你拉入群。欢迎在 Github 上进行 star,以及,如果遇到任何问题,请随时在 Github 上提 issue 。另外,欢迎您对 Crawlab 做开发贡献。
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
https://www.v2ex.com/t/664863
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.