咨询个 SQL 数据去重的问题

[kkbear]

目前有个流水表，大几千万的数据，可以简化如下：
会员号（ member_id), 流水日期（ trans_date)

有个需求，需要找出指定日期段内的会员数量（去重）
这个日期段时灵活的，可能时本月，本周，最近 7 天，最近 30 天

有什么方法能优化
1. 没办法根据日期段做汇总结果的统计表,因为日期段没有任何规律
2. 数据库为 mysql,目前用的 sum(distinct member_id) where trans_date between

[ZGame]

你这就一个表 直接推到 es 里查就很快了吧....

[ZGame]

1.先搞个从库,然后查询。
2.如果查询速度不满足效率,先加索引,数据库层面的优化
3.如果还是不行,把数据同步到 es 或者其他 mpp 并查询。

[hero1874]

搞 OLAP 数据库吧 StarRocks Doris ClickHouse 都行，不过 ck 运维很麻烦。。
StarRocks Doris 可以用 catalog ，直接取到 mysql 的数据，然后再计算也还不错

[cnbatch]

简单粗暴的解决办法

建个新的表（以下称之为“日期表”），只需两个 column:
timestamp 、会员号(member_id)

然后把流水表的数据逐条拆分写入这个“日期表”，顺便修改下原程序的代码，更新流水表的同时也要写入“日期表”

[chainal7777]

按天出汇总啊，楼上说 olap 的，我感觉还不如 mysql 呢

[Biggoldfish]

这种量级的数据和简单的需求，任何正常的 OLAP db 都是闭眼出结果吧

[srlp]

直接 doris 闭眼出。

面试的话，构建 memberid-活跃日期 bitmap 表

[loveaeen]

增加中间件也就增加了额外维护成本，按楼上说的。每日汇总数据数量，日期段只查汇总表也挺好的。

[oaix]

如果不用追求 100%准确，并且时间段最小粒度是天。可以每天算一个 hyperloglog ，存起来。查询的时候把对应日期的 hyperloglog 合并起来。