想问下 我这种 实时数据统计 可以用 flink 做吗？

[adguy]

现在公司是在海外做即时配送的，老板要我优化现在的实时统计 job ，

要监控 100000 骑士当天送单时长，多单重叠会有些特殊逻辑；

计算每个骑士当天下线时间；

计算当天每个门店的单履约情况，单子大约 8000000 一天，算这些单子 15 分钟被送达的量，还可能要分品牌、城市、业务线什么的

等等这些实时的统计，还就是想要监控各个业务线、不同状态的单子。用 flink 做可以吗？

现在是用代码 job 算的，比较慢，而且开发起来比较麻烦，需要查各种数据。

[shishiyi]

貌似可以

[qweruiop]

这点数据量，直接 clickhouse 一个查询就出来啦。。。

[kkbear]

用 flink 做的方法是什么？在实时的流处理里面一直更新统计结果？

[zoharSoul]

不适合 主要时间窗口太大了

[zoharSoul]

@qweruiop #2 clickhouse 顶不住面向 c 端的查询量

[R4rvZ6agNVWr56V0]

@zoharSoul 尝试使用 5 分钟的窗口大小,1 分钟的滑动步长 ，不行吗？

[adguy]

@zoharSoul 那麻烦问下 有什么合适的方法吗？

[512357301]

@zoharSoul ck 算完之后存到 mysql 呢，后者可以高并发

[XyIsMy]

clickhouse ，doris 物化视图应该可以直接实现

[lingalonely]

几个问题：
数据给谁看的，给 骑手，给商户，还是给 公司内部，这个涉及数据的查询频率。
数据在哪里，数据查询复杂程度怎么

正常来说 kafka 到 flink 到 mysql 没啥毛病
使用 doris ，greenplum ，ck 这类 MPP 数据库，千万级的数据量也是小儿科，看你们公司的本身架构

[adguy]

@lingalonely 商户骑手公司内部都有，骑手 是看他个人的，商户就看他几个店的，公司内部就看比如某条业务线所有的门店，还有按城市筛选这种。数据查询的频率总体不是特别高。

现在没有这样的数据，都是原始数据，或者是基于原始数据做了简单聚合的结果，查询基本不会很复杂，就是根据一堆条件查出 然后聚合统计

数据量一天单量肯定是 1000 万以下，骑士不超过 10 万。

架构还没想好，大佬有啥建议吗？

[loveaeen]

所以本身数据查询并不慢，慢的是统计分析这一步？
我的想法是 flink 抓取数据后 ETL 到 ES, Doris 都可以吧。

[sleeepyy]

https://github.com/risingwavelabs/risingwave 可以考虑这个

[lingalonely]

@adguy
假设你现在的原始数据在 mysql ， 一步到位的方式就是 把数据同步到 doris 这类数据库，这种复杂查询很快的，就是 doris 集群的成本需要考虑，看你们公司。至于这种架构，doris 相关官方的 doc 很多。

如果要成本控制，其实看你们数据其实不多，而且大概率以当日数据为主，mysql 其实可以搞定，所以通过同步从库，在从库计算应该可以达到你的需求，历史数据做定时汇总。应该可以解决你们当前的需求