在数据变动的情况下如何对原始数据进行统计和查询

2019-11-20 14:09:16 +08:00
 daodao97
因为业务逻辑问题，数据随时可能发生变动，现在的需求是，在一定时间段内对原始数据进行统计，并查询出相关的数据明细（初期数据量百万级）。除了给变动数据加上时间来排除以外，还有什么好办法没有，想的头疼。
1647 次点击
所在节点    问与答
9 条回复
daodao97
2019-11-20 14:15:15 +08:00
数据库用的 mysql
clancyliu
2019-11-20 18:13:24 +08:00
你百度一下 CDC，不知道这个可以解决你的需求不。
areless
2019-11-20 18:35:15 +08:00
Binlog 可视化
akira
2019-11-20 18:36:05 +08:00
记录下所有数据的变动情况
liuzhaowei55
2019-11-20 22:38:03 +08:00
是数据更新还是还是有新的数据进来？数据更新的话不复制出来没有别的办法保存吧，是有新数据进来的话就加时间戳吧，不过按这数据量感觉 mysql 的时间戳也不太够用吧
daodao97
2019-11-20 22:58:04 +08:00
@liuzhaowei55 数据更新，复制出来不太现实，有很多时间段统计，太占空间了
TomVista
2019-11-21 09:30:55 +08:00
上 redis 维护统计数据,数据变动,修改 redis. 比如某个 sum newSum = oldSum+ newValue-oldValue.
daodao97
2019-11-21 22:55:50 +08:00
还有什么更有效率和性价比的办法吗
daodao97
2019-12-01 04:50:41 +08:00
继续寻找方案

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/621378

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX