分布式存储池为什么都是搞副本的,从使用空间来说 最少直接减半,那不是很浪费吗?
为啥不用纠删码的,是计算开销太大,还是怎样?
1
min 2 天前
不是都搞副本的
|
2
lsylsy2 2 天前
>为啥不用纠删码
用纠删码。 |
3
dayanshenjun 2 天前
我们是分布式用副本,集中式用纠删码;一方面分布式是用混闪,成本低,另一方面是分布式在容量快到上限( 80%)之后,磁盘一旦故障会很难处理,均衡数据太久了,HDD 遭不住长时间高流量 IO 会出问题;
|
4
lsylsy2 2 天前
@dayanshenjun OP 的分布式和你的可能还不一样,他说的分布式可能是你的“集中式”,只不过一个机柜里面很多台服务器,对 OP 来说属于“分布式”
|
5
dayanshenjun 2 天前
@lsylsy2 #4 那就纯粹是成本问题了,对于大公司来说,多买几个盘柜洒洒水啦
|
6
ttkanni 2 天前 1
副本比较流行是因为分布式本身的特性上,空间换时间的综合代价要小很多,SSD 现在都很便宜,配满一盘框 NVME SSD 也不贵。副本的一致性选择可以很灵活,实时、准实时甚至异步。对于实际业务场景(多读少写),读可以从多个节点并发读,写可以实时并行写也能异步写,灵活高效。
纠删码就不一样,计算成本高,写入/更新一组数据可能要更新所有数据块+校验块,尤其是编码解码这样高计算成本会直接占用分布式节点的 CPU 内存等资源。对于单一的分布式存储(只做存储不承担其他压力)还好,但对于融合存储(比如超融合,计算资源还要给虚拟化)影响就很大,纠删码实现如果优化不好,在大型密集 IO 的并行场景直接翻车。 纠删码在集中式存储应用的多,集中存储的机头那配置高且只做存储,内部存储网络基本大带宽大吞吐,能发挥纠删码的空间效率高、容错强、灵活扩展的优势。 扩容节点磁盘可以在线动态扩容,但扩节点 CPU 不能在线、不能动态~ 通俗来讲,副本----空间换时间,成本低。纠删码---计算换性能,吃资源。 |
7
adoal 2 天前
Ceph 刚热起来那些些年,用 EC 对性能影响还是挺明显的,要做块存储还是老老实实副本为妙。
这几年的服务器 CPU 提升还是挺明显,用 EC 的逐渐多起来了。 |
8
mingtdlb OP @lsylsy2 你是不是没分清集中式和分布式,分布式跟冗余方式是两个东西。虽然冗余 ec 和 raid5 相似之处
@dayanshenjun 集中式虽然理论也能纠删码?没见过有人这么用,之前我都是 raid ,用过 emc 、华为,华为集中式没支持纠删码,emc 不知道。你们用纠删码,自己公司的还是哪家的? @adoal 我接触的 ceph ,都是副本,比如 xsky ,挺浪费空间的。现在没怎么接触传统的存储厂商,我看华为分布式存储的 cpu 还是鲲鹏的,被制裁应该是 920 ,都好几年前的产物了,不懂客户用不用 ec |