数据质量监控开源框架/平台哪家强?

2021-10-18 17:50:00 +08:00
 dingyaguang117

最近在调研数据质量监控框架,发现一些开源产品:

  1. Apache 开源的 Griffin https://griffin.apache.org/
  2. 微众银行开源的 Qualitis https://github.com/WeBankFinTech/Qualitis

以及一些厂的自建 DQC 平台的经验(非开源)

  1. 网易 https://www.wxkol.com/item/067b1ecfedb31ff2.html
  2. 伴鱼 https://www.infoq.cn/article/8ozct75kmp8o4mypkqam

我们的需求是:

  1. 常规的多数据源支持、规则管理、任务管理
  2. 最好能支持复杂校验规则。(比如支持 使用一些脚本语言定义规则)
  3. 支持报表、通知等

请教各位大神给推荐些开源系统,或者指出一些开源系统的坑,或者分享自己自研 DQC 的坑。 谢谢大家!

1406 次点击
所在节点    问与答
1 条回复
zpfhbyx
2021-10-18 18:21:48 +08:00
😃 grafana 和 promethus 自建呗..

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/808598

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX