mongodb 数据全量加载到 redis,怎样提升速度?

2022-03-07 16:53:07 +08:00
 leebs

假设 50w 数据,db 全量查询,再往 redis 里面塞,内存可能会爆。 db 分页查询,需要先 count ,是个耗时的操作,而且分批次插入,最终结果和数据库不一定一致(中间可能有其他删除修改的操作)。

比如布隆过滤器,一般是怎么导入亿级数据的?

4156 次点击
所在节点    MongoDB
22 条回复
leebs
2022-03-08 23:33:58 +08:00
@zmzeng12 另外主要性能影响不在 redis 写入这一边,在 db 数据读取这一边。
fov6363
2022-03-09 12:06:51 +08:00
update_time 建索引,用 update_time 来导数据,只导 update_time > last_sync_time 的数据

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/838648

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX