V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
mingtdlb
V2EX  ›  问与答

企业分布式存储冗余都是副本模式?

  •  
  •   mingtdlb · 2 天前 · 542 次点击

    分布式存储池为什么都是搞副本的,从使用空间来说 最少直接减半,那不是很浪费吗?

    为啥不用纠删码的,是计算开销太大,还是怎样?

    8 条回复    2025-01-03 11:53:37 +08:00
    min
        1
    min  
       2 天前
    不是都搞副本的
    lsylsy2
        2
    lsylsy2  
       2 天前
    >为啥不用纠删码
    用纠删码。
    dayanshenjun
        3
    dayanshenjun  
       2 天前
    我们是分布式用副本,集中式用纠删码;一方面分布式是用混闪,成本低,另一方面是分布式在容量快到上限( 80%)之后,磁盘一旦故障会很难处理,均衡数据太久了,HDD 遭不住长时间高流量 IO 会出问题;
    lsylsy2
        4
    lsylsy2  
       2 天前
    @dayanshenjun OP 的分布式和你的可能还不一样,他说的分布式可能是你的“集中式”,只不过一个机柜里面很多台服务器,对 OP 来说属于“分布式”
    dayanshenjun
        5
    dayanshenjun  
       2 天前
    @lsylsy2 #4 那就纯粹是成本问题了,对于大公司来说,多买几个盘柜洒洒水啦
    ttkanni
        6
    ttkanni  
       2 天前   ❤️ 1
    副本比较流行是因为分布式本身的特性上,空间换时间的综合代价要小很多,SSD 现在都很便宜,配满一盘框 NVME SSD 也不贵。副本的一致性选择可以很灵活,实时、准实时甚至异步。对于实际业务场景(多读少写),读可以从多个节点并发读,写可以实时并行写也能异步写,灵活高效。

    纠删码就不一样,计算成本高,写入/更新一组数据可能要更新所有数据块+校验块,尤其是编码解码这样高计算成本会直接占用分布式节点的 CPU 内存等资源。对于单一的分布式存储(只做存储不承担其他压力)还好,但对于融合存储(比如超融合,计算资源还要给虚拟化)影响就很大,纠删码实现如果优化不好,在大型密集 IO 的并行场景直接翻车。
    纠删码在集中式存储应用的多,集中存储的机头那配置高且只做存储,内部存储网络基本大带宽大吞吐,能发挥纠删码的空间效率高、容错强、灵活扩展的优势。

    扩容节点磁盘可以在线动态扩容,但扩节点 CPU 不能在线、不能动态~
    通俗来讲,副本----空间换时间,成本低。纠删码---计算换性能,吃资源。
    adoal
        7
    adoal  
       2 天前
    Ceph 刚热起来那些些年,用 EC 对性能影响还是挺明显的,要做块存储还是老老实实副本为妙。

    这几年的服务器 CPU 提升还是挺明显,用 EC 的逐渐多起来了。
    mingtdlb
        8
    mingtdlb  
    OP
       1 天前
    @lsylsy2 你是不是没分清集中式和分布式,分布式跟冗余方式是两个东西。虽然冗余 ec 和 raid5 相似之处

    @dayanshenjun 集中式虽然理论也能纠删码?没见过有人这么用,之前我都是 raid ,用过 emc 、华为,华为集中式没支持纠删码,emc 不知道。你们用纠删码,自己公司的还是哪家的?

    @adoal 我接触的 ceph ,都是副本,比如 xsky ,挺浪费空间的。现在没怎么接触传统的存储厂商,我看华为分布式存储的 cpu 还是鲲鹏的,被制裁应该是 920 ,都好几年前的产物了,不懂客户用不用 ec
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1125 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 23:54 · PVG 07:54 · LAX 15:54 · JFK 18:54
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.