V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
zhuyue
V2EX  ›  云计算

我们开源了一个日志查询的小工具 - Dagger <文末含福利>

  •  
  •   zhuyue · 2020-10-26 14:56:15 +08:00 · 2446 次点击
    这是一个创建于 1487 天前的主题,其中的信息可能已经有所发展或是发生改变。

    Dagger是一个基于 Loki 的日志查询和管理系统,它是从我们的云平台内派生出来的一个项目。dagger 运行在 Loki 前端,当前具备日志查询、搜索、保存和下载等特性,适用于云原生场景下的容器日志管理场景,更多的功能我们会在后面持续开放。

    之前小白分享过许多关于 Loki 的文章,有的同学可能会问了Grafana 的 Explore 也可以接 Loki 查看日志啊,为什么还要自己在搞个 Dagger

    Grafana 的确非常不错,对于查询方面它非常的高效且炫酷,刚开始小白也是直接将 Grafana 丢给研发的同学自己使用,不过也遇到很多问题,以下就是我们的日常


    • 场景一

    研发: "在?这么多 Label,哪个才是我的应用啊?"

    运维: "这个...这个...还有这个"

    研发: "这么多,还要手写,真费劲!"

    运维: "..."


    • 场景二

    研发: "在?我想查 xxx 这个字段,怎么过滤啊?"

    运维: 默默敲下 LogQL 语句发送给他,并说"LogQL 语句,了解下?"

    研发: "牛🍺,还要学啊,太麻烦了!"

    运维: "..."


    • 场景三

    研发: "在?,帮我下载下 xx 容器里面 x 时 xx 分的日志"

    运维: 经过一顿 kubectl cp 操作后,把日志发给了他

    ...过了 2 分钟...

    研发: "在?再帮我下载下 yy 容器里面 y 时 yy 分的日志,谢谢!"

    运维: 再经过一顿 kubectl cp 操作后,把日志发给了他,~~并在心中一万个草泥马跑过~~


    • 场景四

    研发:"在?我应用怎么查不到 jira 里报告的 xx 那天日志了?"

    运维:经过一顿调查后,"日志超过保留日期,被清除了"

    研发:"我正准备看日志 debug 呢!算了,下次吧",并顺手把 jira 转给运维

    运维:内心 os"宝宝心里苦,但宝宝不说"


    相信聪明的你一定发现了Grafana 的重心在于查日志,对于日志的管理始终差了点意思,这也是我们发起 dagger 初衷,让查日志的操作和保存更加简单方便。话不多说,先上图

    当前 Dagger 支持的功能还非常的少,仅仅满足了最基本的一些需求:

    • 支持日志按照标签和正则匹配的过滤规则,并且按照时间选择查询的日志(日志最大留存时间依赖 loki 配置),在过滤的行数里面支持日志上下文的追踪;
    • 简单的日志等级过滤,以及最大行数的选择,提供正序和倒序两种方式输出;
    • 提供日志的实时推送和日志下载功能;
    • 支持查询历史,并在快速查询中列出以保存的标签;
    • 支持日志快照,将当前查询的结果保存在 dagger 当中,提供下载和查看

    持续改进

    虽然 Dagger 还非常的新,不过它已经在我们内部稳定运行了 8 个月,当前我们仍然还有很多东西需要完善,比如:

    • 管理多个 Loki 实例

      • 在 Dagger 内支持多个 Loki 实例的配置管理,并支持多实例的日志查询
    • 日志告警

      • 支持 LogQL 的方式在前端添加自定义日志度量
      • 支持 Loki-Ruler 组件,在界面支持 ruler 的编辑和推送
      • 日志告警事件的订阅、收敛和通知(多渠道)
    • 部署简单

      • 集成多种日志客户端和 loki 的部署,完成一键部署

    总结

    请大家关注 Dagger 在 GitHub 上的仓库,内有更详尽的文档 https://github.com/CloudmindsRobot/dagger

    最后附上一个抽奖红包,关注云原生小白公众号回复dagger获取抽奖资格,10 月 30 日早上 9 点开,感谢大家转发支持🙏

    5 条回复    2020-11-03 17:57:14 +08:00
    ioiioi
        1
    ioiioi  
       2020-10-27 00:01:52 +08:00
    这波推广赞一个,应用场景化。目标明确,简单明了。
    Ehco1996
        2
    Ehco1996  
       2020-10-27 10:05:14 +08:00
    看上去不错 研究一下
    aeli
        3
    aeli  
       2020-10-27 10:27:48 +08:00
    这个不错,支持一下
    zhuyue
        4
    zhuyue  
    OP
       2020-10-27 18:43:51 +08:00
    欢迎大佬们来拍砖😄
    pepesii
        5
    pepesii  
       2020-11-03 17:57:14 +08:00
    START 一下先
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3142 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 18ms · UTC 00:18 · PVG 08:18 · LAX 16:18 · JFK 19:18
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.