[体系结构问题] 如何看待单机内存上限越来越大？

[allAboutDbmss]

单条三星 DDR5 DIMM 年底预期可以到到 1tb: https://news.mydrivers.com/1/932/932985.htm
那么单个顶级服务器 CPU 可以支持 12 DIMM,那么就是单机 12tb 内存
想问一下大家怎么看待这个对未来高性能系统的影响？

这其实我理解是机遇和调整并存:

• 机遇：

  • 首先就是内存更大 数据结构甚至一些依赖软件没必要用到 SSD,全部跑在内存上即可。
  • 对于未来的 RDMA+Memory Disaggregation: 这种巨大内存的单机可以提供给其他机器内存，就像现在云上面计算和存储的解耦，未来计算+内存+存储可能都可以解耦来做伸缩

• 挑战:

  • 在多核 CPU 下，这种大内存其实是一把双刃剑。相当于每个核分到的内存带宽并没有升高，这某种程度加重了冯诺依曼的 memory-bound 的问题
  • 最后一点是我不太了解的 因为未来很多因素会共同作用:CXL, PCIE, 甚至纯内计算。共同作用下，这个问题变的很复杂

[liprais]

你猜 tidb 为啥要用 128g 的节点跑 tpch 100g

[allAboutDbmss]

@liprais 可以说是为啥吗？ 128 生产里面算多吗

[msg7086]

消费端和生产端是同步升级的。有更大的内存就会有消耗更大内存的应用。有更快的显卡就有能吃更多显卡的游戏或者软件。十年前最大内存在 256/512/768GB 这个级别上，那时候感觉内存那么大根本花不完，现在却是已经在往 10TB+数量级发展了。

[allAboutDbmss]

@msg7086 我觉得服务器上跑的软件依然不会很大变化: 首先就是数据库后端。我其实想问的不再是普通个人电脑+个人需求

[agagega]

CPU 的缓存有机会也变大吗？

[allAboutDbmss]

@agagega L3 已经超过 1G 了 因为核太多了： https://www.bilibili.com/video/BV1yh4y137Qn/

[whileFalse]

计算和内存解耦不了，延迟跟不上。再说内存根本不值钱，想要多插几条不就完了

[allAboutDbmss]

@whileFalse 有 RDMA

[whileFalse]

@allAboutDbmss cpu 厂商为了降低延迟做了那么多努力被你一条网线全毁了

[allAboutDbmss]

@whileFalse https://techcommunity.microsoft.com/t5/storage-at-microsoft/to-rdma-or-not-to-rdma-8211-that-is-the-question/ba-p/425982
rdma 可以实现高性能多副本。你说的只是简单的单机情况