10 亿级的操作流水和千万级的用户,进行匹配、查询、统计,怎么处理才能加快?最快能到什么速度?

2018-03-12 09:33:22 +08:00
 qinrui
2513 次点击
所在节点    问与答
8 条回复
tomczhen
2018-03-12 09:44:06 +08:00
不说业务逻辑不是瞎扯么。

全部数据放内存跑,最快到什么速度取决于具体业务逻辑,反正也没法更快了。
murmur
2018-03-12 09:45:19 +08:00
这大概就是四大行的数据量?用户数还不止?
做好分区分表机器全用最屌的那种就是你现在那个体验
至于所有数据级别的统计 你见过那个银行提供过这种服务 对吧 只针对一个用户统计数据反倒没多少
MasterC
2018-03-12 09:48:52 +08:00
这个级别的数据量不算太大。具体处理速度要看业务场景,连续 scan 还是随机读取,不同场景不同方案。使用当下很多的 olap 技术都可以做到秒级查询的,超复杂的 join 可能会慢些
feverzsj
2018-03-12 09:51:02 +08:00
流水这种时间序列数据很容易通过分表来解决大数据量,千万级用户也不是很多,单表就能解决
XOXO360
2018-03-12 10:23:05 +08:00
前提条件不说,就说最快?如果你是天河一号,你觉得需要几秒?,如果是全内存数据库,你觉得多少?你设计合理又是多少,不合理又是多少,用大数据的话,数据倾斜又是多久,如果是职场新人,建议问问你前辈。
lk1ngaa7
2018-03-12 12:22:58 +08:00
内存计算 ,hash 到机器
rashawn
2018-03-12 12:33:53 +08:00
最快… 一个用户给开一台机器
jahan
2018-03-12 16:22:28 +08:00
elasticsearch 可以不?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/437123

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX