V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
yuan101010
V2EX  ›  数据库

报表流水聚合数据的数据库技术选型

  •  1
     
  •   yuan101010 · 24 天前 · 1654 次点击

    公司要做一个监控项目,会有很多流水数据(每天 50w 的样子),根据流水数据的各个维度(人数,金额)等字段做不同时间粒度的报表(时间粒度不定,有可能是天、周、月、年),同一个维度在相同的时间粒度内做数据聚合( count,sum ),然后展示报表,昨天想了下用 mysql 可能不是那么好做,又调研了下其他的数据库暂时没有找到合适的解决方案,大佬们有合适的数据库方案推荐吗?( Java )

    第 1 条附言  ·  23 天前
    有大佬用过 influxDB 或者 prometheus 吗?能搞定么
    23 条回复    2021-09-28 20:28:13 +08:00
    zoharSoul
        1
    zoharSoul   24 天前
    离线+实时
    实时只算 1,2 天的就可以, es/solr 啥的都行
    labulaka521
        2
    labulaka521   24 天前
    olap
    推荐 clickhouse
    QGLNepal
        3
    QGLNepal   24 天前
    mongo 也可以,aggregate 指令挺好用的
    yuan101010
        4
    yuan101010   24 天前
    @labulaka521 感谢大佬,我去调研下,clickhouse 可以方便实时的时间聚合吗
    liprais
        5
    liprais   24 天前 via iPhone
    就这点数据量 mysql 就行
    wxdiy
        6
    wxdiy   23 天前
    直接 mysql 就行了。数据量挺小的。定时计算把 sql 写好就行了
    fiypig
        7
    fiypig   23 天前 via iPhone
    直接 mysql 就可以了
    labulaka521
        8
    labulaka521   23 天前
    @yuan101010 可以,就是写性能有点差,写入的话最好批量写入,clickhouse.tech 可以看看官网的文档
    bk201
        9
    bk201   23 天前
    感觉不就是 etl 工作吗?
    BiChengfei
        10
    BiChengfei   23 天前
    如果数据量以后没有增长,就 MySQL,如果需要 KPI,就选最吊的
    原始数据放一张表,称为源表,这张表指定表空间,空间给大点
    然后通过定时任务或其他手段,对源表数据进行分类处理,得到天、周、月、年等统计数据,查询时直接从分类表中查
    masterclock
        11
    masterclock   23 天前
    Influxdb 很合适,但是没有原生的集群方案
    Timescaledb 基于 pg,很合适

    druid,clickhouse 等功能也满足,更重量级
    David1119
        12
    David1119   23 天前
    flink 啊,mysql 数据聚合一下,再存 mysql 就好了,批流一体实时性也好
    ETiV
        13
    ETiV   23 天前   ❤️ 3
    0. 不要自己写代码
    1. 数据库用你熟悉的。比如 MySQL 的话,每条数据再加一个字段:日期—YYYYMMDD,同时给它做一个索引
    2. 报表用 metabase (其他 BI 工具都行),目标就是:你只需要写 SQL 就行了,不要自己写界面
    3. 了解一下 with XXX as (select ...), YYY as (select ...) select * from XXX left join YYY 这种写法

    然后你就无敌了~
    yuan101010
        14
    yuan101010   23 天前
    @BiChengfei 数据量就是差不多每天 50w 的流水数据,还不少的
    leafre
        15
    leafre   23 天前
    一天 50w,一年将近两亿,mysql 这数据量索引性能稍差,但也不是不能用,想要极致性能上 es
    azkaban
        16
    azkaban   23 天前
    flink 打成宽表,往 druid,ck 里灌就行了
    james2013
        17
    james2013   23 天前
    直接用 mysql 也没有问题,按月份分表,搞个定时任务,每天 00:10 统计前一天的记录
    nl101531
        18
    nl101531   23 天前 via iPhone
    mysql 就足够了,每天 50w 后,第二天产生结果表数据,然后清理历史数据。
    securityCoding
        19
    securityCoding   23 天前
    clickhouse 挺好用
    cxsz
        20
    cxsz   23 天前
    我司用 Influxdb,存传感器数据,按时间提取展示图表很方便
    sunmacarenas
        21
    sunmacarenas   23 天前 via Android
    不差钱就 SAP HANA
    mingl0280
        22
    mingl0280   23 天前 via Android
    MSSQL + PowerBI,国外现在用这个挺多的
    RangerWolf
        23
    RangerWolf   22 天前
    推荐 clickhouse 快到让你上瘾 但是应用逻辑跟 mysql 会有不一样的地方 需要调研
    关于   ·   帮助文档   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4071 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 02:52 · PVG 10:52 · LAX 19:52 · JFK 22:52
    ♥ Do have faith in what you're doing.