求解决方案,大量埋点数据中的事件查询

2023-08-22 15:59:00 +08:00
 qtxxm
场景是这样子的:
日增 200W 用户操作记录相关的埋点数据(带 ip 、经纬度、时间等信息),目前存在单节点单分片的 mongodb 中,业务方有一个需求,查询 某经纬度坐标范围 X 米内的 近 1 个月发生的相关事件。
看了下 mongodb 对应的 collection 已经有 130+GB ,目前线上执行这个查询要 好几分钟,无法满足业务实时查询的需求。
求一个解决方案
1562 次点击
所在节点    程序员
25 条回复
guangming3055
2023-08-23 10:44:00 +08:00
@winglight2016 三亿主文档,数十亿的嵌套子文档,阿里云 6 节点 8 核 32G 服务器,查询非常迅速,地理位置什么的没有任何问题
qtxxm
2023-08-23 12:28:33 +08:00
@guangming3055 牛逼。不过这 6 节点 机器费用,我们这边估计批不下来
webszy
2023-08-24 22:29:07 +08:00
@winglight2016 咱都 1 亿数据量了,能不能加点服务器
winglight2016
2023-08-25 08:41:14 +08:00
@guangming3055 机器配置差不多,不过我们只有三节点,我都已经在琢磨用 clickhouse 或者 mongodb 来代替 es 存日志了
@webszy 因为不是业务数据库所以预算没那么高,凑合能查日志就行
qtxxm
2023-08-25 17:57:35 +08:00
@winglight2016 一个月前看到过某个厂用 CK 替换 ES 存储日志的文章,成本下降挺多的

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/967402

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX