在一个 200GB 内存的机器上，处理上 TB 的数据，如何解决 OOM 问题？

2023-03-01 15:29:52 +08:00
 l01306

在一个 200GB 内存的机器上，处理上 TB 的数据，如何解决 OOM 问题？

这种情况下，OOM 问题怎么设计容易解决呢？

1014 次点击
所在节点    问与答
9 条回复
bjzhush
2023-03-01 15:33:50 +08:00
非常简单，很多方案
内存加到 2T ，2T 不够 4T ，以此类推
数据进行分区
找到 OOM 的原因，改进代码
l01306
2023-03-01 15:41:01 +08:00
@bjzhush 服务部署在云上，没有那么大内存的型号（机型已经固定了）
l01306
2023-03-01 15:41:55 +08:00
@bjzhush 可以新增几台机器，但无法更换机型
bjzhush
2023-03-01 15:52:11 +08:00
不开玩笑的说，200G 内存绝对是够了，TB 数据也并不多，最大的问题在程序本身，去看看 log 找下 OOM 的原因，改进代码吧，自己改不了就找个靠谱的人花点钱改
VYSE
2023-03-01 15:58:15 +08:00
MMAP
liprais
2023-03-01 16:12:50 +08:00
装个 duckdb ，跑个 sql 完事
darkengine
2023-03-01 16:19:15 +08:00
先把数据处理成可分区处理的，不然其他三点都没法实现
l01306
2023-03-01 16:30:32 +08:00
@bjzhush OOM 原因很明确了，现在遇到的核心问题是：在处理这么大数据的情况下，必然要将部分数据换出到硬盘，这个换出机制如何设计？涉及多个进程，如何实现统一的数据管理且保证性能？
l01306
2023-03-01 16:32:22 +08:00
@darkengine 没有办法预分区，只能根据需要，在数据载入内存后做分区了

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/920163

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX