首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
tikazyq
V2EX  ›  程序员

爬虫管理平台 Crawlab v0.4.6 发布

  •  1
     
  •   tikazyq · 3 天前 · 559 次点击

    前言

    本次更新主要集中在日志管理、任务触发、爬虫展示等优化,以及加入 Node.js SDK。

    更新日志

    功能 / 优化

    • Node.js SDK. 用户可以将 SDK 应用到他们的 Node.js 爬虫中.
    • 日志管理优化. 日志搜索,错误高亮,自动滚动.
    • 任务执行流程优化. 允许用户在触发任务后跳转到该任务详情页.
    • 任务展示优化. 在爬虫详情页的最近任务表格中加入了“参数”列. #295
    • 爬虫列表优化. 在爬虫列表页加入"更新时间"和"创建时间". #505
    • 页面加载占位器.

    Bug 修复

    • 定时任务配置失去焦点. #519
    • 无法用 CLI 工具上传爬虫. #524

    产品规划

    • 结果展示
      • 支持其他数据库
    • 爬虫
      • 支持 Git 仓库同步
      • 更好的 Scrapy 支持
      • 更好的长任务支持
    • 可配置爬虫
      • 可配置爬虫支持 Splash
      • 可配置爬虫支持 CrawlSpider
      • 可配置爬虫支持正则表达式字段
      • 可配置爬虫支持转化为自定义爬虫
    • 任务
      • 任务重试机制
    • 定时任务
      • 日历展示
    • 全局
      • 支持版本更新检测
      • 支持版本更新日志展示
    • 服务器
      • 支持终端操作 Docker 镜像
    • SDK
      • 更多命令支持
      • 支持 Golang、Java
    • 插件系统

    参考

    社区

    如果您觉得 Crawlab 对您的日常开发或公司有帮助,请加作者微信 tikazyq1 并注明 "Crawlab",作者会将你拉入群。欢迎在 Github 上进行 star,以及,如果遇到任何问题,请随时在 Github 上提 issue。另外,欢迎您对 Crawlab 做开发贡献。

    目前尚无回复
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1143 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 19ms · UTC 19:36 · PVG 03:36 · LAX 11:36 · JFK 14:36
    ♥ Do have faith in what you're doing.