复杂的业务项目有无成熟框架做异常检测

2 天前
 xisha

背景:

复杂的业务项目,存在超巨量的业务逻辑,依赖大量数据源和输出大量指标。每次改动如果出现一些代码错误还好,就怕出现一些配置错误或者其他依赖问题,系统不报错,但指标值偏差好多,这种情况很难发现。

问题:

我想通过异常检测来初步判断输入输出是否出现了异常,比如原本长度均值在 12K 的字段突然下降到 1K ,指标只出现一个值,但预期会有 5 个值这种。除了手撸一套检查脚本外,有没有一些成熟的框架能做这个的呀?

PS

如果除了异常检测外,有别的方案,也麻烦各位大佬帮忙指出。多谢多谢

382 次点击
所在节点    问与答
4 条回复
Manley
2 天前
插眼,看看有没有大佬推荐,我学习一下
xiaoxinshiwo
2 天前
playwright 代替人工输入和点击
xisha
2 天前
@xiaoxinshiwo 多谢推荐,了解了下这是个测试工具,但是这个场景需要的是线上实时或事后的异常数据检测及发现,发现一些非预期变更。
我举两个例子:
1.上游接口提供的数据在变更后,该 List 会在 12 条数据时截断,真实数据可能是 5-40 条,后来发现有段时间的指标平均值下降了很多,才找到原因,如果用时序异常检测,应该能发现。
2.线上接口,调用后会根据参数返回标签,正常会返回 5 枚举中的一个,上游运维错误后只能返回 1 个,这种通过异常数据检测应该也能发现。
现在的想法是有没有什么成熟方案,我这边初步想用 Flink 去日跑批,或者脚本日跑批。
qocja
2 天前
prometheus 加几个 metrics 就好吧,如果需要告警再来个 alertmanager 就完事了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1082232

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX