Telegram twitter 微博这类应用是如何面对无线增长的数据的啊?

2022-11-27 17:55:05 +08:00
 AncientLibrary

最近我加了不少 telegram 上面的图群(你懂得),发现是可以无限往回翻的,一直翻到群建立第一天的消息。甚至 twitter (推特需要高级搜索)和微博也是可以回溯到一个人最初发的消息的。

如果只是文本还好说,这类应用的用户很多都是发的图片和视频。这些企业是怎么面对这样增长的用户数据的啊?感觉过个若干年光是旧数据的保有成本就会扩张到一个无法接受的地步

工业上是如何解决这个问题的?

1948 次点击
所在节点    程序员
5 条回复
janus77
2022-11-27 18:01:53 +08:00
加机器呗,这又不是什么高端技术,难道国内没有吗?微博了解一下
me221
2022-11-27 19:41:52 +08:00
加机器. 硬盘不值钱
wolong
2022-11-27 19:43:33 +08:00
求分享图群
star7th
2022-11-27 22:54:13 +08:00
就是大硬盘集群扛着。无它。
成本肯定有,但是没有你想象的高。现在的硬盘还是比较便宜的。更大的支出在于流量。存数据没太多成本,读数据,流转数据,流量贵。
因为流量比存储更贵,所以我折腾出了另一种降低流量成本的法子。https://www.v2ex.com/t/877718?p=2
victorc
2022-11-28 17:49:21 +08:00
某个著名 im 的存储架构正好是我设计的,也是永久保留消息,方案就是 分级存储

1. im 消息的时效性特别强,95%的消息请求都是一周之内; 一周之内的消息用最贵的 nvme 磁盘,更早的可以使用机械盘
2. 产品层面可以对消息存储时间设计一个计费点

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/898296

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX