V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
TypeErrorNone
V2EX  ›  DevOps

用什么来做数据监控报警?

  •  
  •   TypeErrorNone · 2020-07-23 14:31:41 +08:00 · 4861 次点击
    这是一个创建于 1344 天前的主题,其中的信息可能已经有所发展或是发生改变。

    1.每天的数据量很大,大概 5 亿多条,如果用 mysql 存储,再用来查询监控,肯定不行的。 那么用什么来存储呢?

    2.数据监控报警,可以知道当前金币发放的数据量,如果超过 /少于 3 天前,7 天前的数据量 10%,就发出报警, 用什么开源的工具可以快速实现呢?

    20 条回复    2020-07-24 15:25:28 +08:00
    defunct9
        1
    defunct9  
       2020-07-23 14:49:02 +08:00
    prometheus
    KaynW
        2
    KaynW  
       2020-07-23 15:17:26 +08:00
    prometheus
    useben
        3
    useben  
       2020-07-23 16:23:17 +08:00
    es
    shuax
        4
    shuax  
       2020-07-23 16:24:24 +08:00
    拿个字段放累加值行不行,不要用 sum
    CoooooolFrog
        5
    CoooooolFrog  
       2020-07-23 16:25:22 +08:00
    美团点评开源监控系统 cat,谁用谁知道
    tianshiyeben
        6
    tianshiyeben  
       2020-07-23 16:26:07 +08:00
    wgcloud
    superrichman
        7
    superrichman  
       2020-07-23 16:26:24 +08:00 via iPhone
    elasticsearch
    tianshiyeben
        8
    tianshiyeben  
       2020-07-23 16:26:42 +08:00
    shunconf
        9
    shunconf  
       2020-07-23 17:22:40 +08:00
    @CoooooolFrog 不留地址?
    laminux29
        10
    laminux29  
       2020-07-23 17:27:25 +08:00
    监控金币发放的数据量,这应该是业务,你居然敢拿第三方监控系统来实现,我也是佩服....万一第三方监控系统挂了,或者有个缓冲延迟什么的...
    sujin190
        11
    sujin190  
       2020-07-23 17:34:09 +08:00
    这种正常操作不应该先写入 Kafka,让后用个流式框架统计出每天的再写入 influxdb 或者 mysql 之类的来监控么,哪有直接监控原始数据的,就算每天太粗糙,那每小时肯定绰绰有余了,否则这么大量,存入 mysql,查询从磁盘读出来都不知道要多久了,毕竟磁盘读取速度摆在那的
    DukeAnn
        12
    DukeAnn  
       2020-07-23 17:54:39 +08:00
    flink
    joesonw
        13
    joesonw  
       2020-07-23 18:04:07 +08:00
    TICK 全家桶, Influx 存数据, Kapacitor 做按业务报警
    lasuar
        14
    lasuar  
       2020-07-23 18:29:36 +08:00
    Clickhouse,Yandex 公司内部业务驱动产出的列式存储数据库。
    -Clickhouse 用于在线流量分析,一步一步最终形成了现在的 Clickhouse 。在存储数据达到 20 万亿行的情况下,也能做到 90%的查询能够在 1 秒内返回结果。
    lasuar
        15
    lasuar  
       2020-07-23 18:33:23 +08:00
    Clickhouse,Yandex 公司内部业务驱动产出的列式存储数据库。
    - Clickhouse 用于在线流量分析,在存储数据达到 20 万亿行的情况下,也能做到 90%的查询能够在 1 秒内返回结果。
    - Clickhouse 能够实现实时聚合,一切查询都是动态、实时的,用户发起查询的那一刻起,整个过程需要能做到在一秒内完成并返回结果
    - Clickhouse 支持完整的 DBMS 。支持动态创建、修改或删除数据库、表和视图,可以动态查询、插入、修改或删除数据。
    - 数据批量写入,不需要经常更新、删除。数据写入完成后,相关业务不要求经常对数据更新或删除,主要用于查询分析数据的价值。
    - Clickhouse 适合用于商业智能领域,广泛应用于广告流量、App 流量、物联网等众多领域。借助 Clickhouse 可以实时计算线上业务数据,如资源位的点击情况,以及并对各资源位进行 bi 预警。

    京东使用的架构,Kafka --> flink 定时任务 --> Clickhouse 。
    lasuar
        16
    lasuar  
       2020-07-23 18:33:54 +08:00
    lasuar
        17
    lasuar  
       2020-07-23 18:34:20 +08:00   ❤️ 1
    觉得可以的话请点亮右上角。
    BQsummer
        18
    BQsummer  
       2020-07-23 23:11:18 +08:00 via Android
    关键词:时序数据库,推荐:Prometheus
    byzf
        19
    byzf  
       2020-07-24 12:26:40 +08:00
    prometheus 不是用来监控 api 的吗, 不能用来监控数据库的某个查询结果吧.
    lasuar
        20
    lasuar  
       2020-07-24 15:25:28 +08:00
    不会吧不会吧,楼主白嫖一波就溜了?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5286 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 47ms · UTC 09:34 · PVG 17:34 · LAX 02:34 · JFK 05:34
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.