集群式存储 NAS 的一种可能性?求大佬解惑

292 天前
sinORcos  sinORcos
家里的 NAS 可用空间越来越少了,现在使用的是一个 8 盘位的 DIY 机器,可用容量 64T ,剩余容量不足 8T ,目前在考虑扩容方案

首先我不想换硬盘,也许我可以买一个洋垃圾来做 2 号 NAS ,但是考虑到日后继续扩容的需求,我现在就想搞一个可无痛扩容的集群。

因为 Truenas 使用的 Cluster 是基于 Gluster 的,而 Gluster 已经几乎不进行任何维护,Truenas 已经在最新的版本中移除了其集群功能,虽然官方说正在尽力解决集群功能的问题,但是不知道要等多久。

所以我想了一个歪招,就是勇 PVE 做底层,在 PVE 中搭建 Ceph 存储集群,然后以 block 的形式将 Ceph 存储挂载给 unraid 或者 Truenas 来建设存储,基础的数据保护做在 Ceph 层级,但是因为目前没有设备进行测试,不清楚这样的架构是否会带来较大的性能损失,我甚至不清楚这种架构能否实现,还请大佬指点。
2890 次点击
所在节点   NAS  NAS
23 条回复
lzxz1234
lzxz1234
292 天前
可以 iscsi 套娃?
rojer12
rojer12
292 天前
用外置的硬盘供电笼子?有多的 pcie 插槽的话加个 raid 卡之类的,数据线直接连过去,供电由笼子负责
mayli
mayli
292 天前
是的,对于优化不好的场景,会有较大的性能损失。
能实现。
你并不需要真的机器,你可以用 vm 起 pve ,然后 vm 里搭建 ceph 集群。
sinORcos
sinORcos
292 天前
@rojer12 如果考虑外置硬盘的方案的话,我可能会直接上 jbod 设备了,整个洋垃圾服务器,用 hba 卡外接 jbod 设备,扩容的上限也可以增加很多,确实也考虑过这个方案
sinORcos
sinORcos
292 天前
@mayli Ceph 的调优大概看了一些资料,感觉非常复杂,好像也不是一个很好的办法,不是专门搞 Ceph 运维的我来弄这种架构,感觉最后只能是“能用”的水平,达不到“好用”
zx900930
zx900930
292 天前
可以多几台 vm 起 ceph
性能损失肯定有,毕竟套 3 层娃。
所以一般拿来练习 ceph 的,即使是自己用,拿几台旧机器整个真的集群比这个靠谱多了。
因为你这个虽然逻辑上是集群,实际计算和存储都在一台机器上,是个单点。。。所以还不如普通的 raid 。
Navee
Navee
292 天前
司波图最近更了一期 pve 集群+ceph 的视频,可靠性看上去还可以,磁盘容量和和性能会有损失
njzhx
njzhx
292 天前
家用搞啥的这么多存储需求。。
podel
podel
292 天前
我也想到了。Ceph 磁盘的性能不行。而且还要求集群之间互联带宽很高。
Ceph 配置复杂。可靠性也是存疑。
sinORcos
sinORcos
292 天前
@zx900930 真集群的话,推荐什么方案呢? GlusterFS 上次更新好像是 2020 年的事了……
libook
libook
292 天前
有 PCIe 槽吗?有的话几十块钱一张 HBA 卡,浪潮拆机的硬盘笼,直接就有 12 盘位,级联还能再扩 12 盘位。

数据中心的分布式方案是建立在强大的运维部门的基础上的。
min
min
292 天前
硬盘也是有寿命的,不如另外搭一套,方案也简单不折腾
zx900930
zx900930
292 天前
@sinORcos #10 个人使用,建议存储单独弄个 NAS 出来,这边试过全闪 ceph 的 rbd 用 csi 接入 k8s(预生产环境)后套娃 glusterfs 满足部分服务 RWX 的需求。IOPS 损失( 4k 小文件 70%Read 30%Write )对比直接 csi 接入 block storage 平均在 60%以上,瓶颈在网络上,测试时网络是 25G x2 捆绑.

对网络的要求非常非常高,网络抖动可能造成 glusterfs 脑裂-节点损坏,这时候的 file-healing 根据数据量经常是以天为时间单位计算的。


所以先弄清楚自己的需求,大文件还是小文件,读写比例,以及你是否有足够的精力来维护你的存储架构。

小建议:公司里管这些已经够累了,家用真的放过自己吧。
一个 NAS 盒+单副本 TrueNAS 能满足 99.999%家庭使用了。
要扩容,买同样数量的硬盘新建一个 vdev raidz 加入池子吧,这是标准 zfs 扩容的方式。
wangbin11
wangbin11
292 天前
能用即可,你那些需求用 nvme 全都可以解决,剩下的 hdd 做数据落地,有兴趣可以留个联系方式我加你,我可以帮忙
wangbin11
wangbin11
292 天前
我失业了很无聊,可以留个联系方式我和你一起折腾
sinORcos
sinORcos
292 天前
@zx900930 我也觉得家庭搞 Ceph 太复杂了,就是想搞个可以完全无痛扩容的方案出来,看各位大佬的建议,最后可能还是选择 TrueNAS 的方案,高于服务器硬盘位的扩容就用 jbod 解决,之前 linus 搞过一个 Mother Vault ,可能就使用类似那种的方式才最适合家庭或微型公司,虽然 B 站上很多人说 Mother Vault 这种类型是数据灵车
sinORcos
292 天前
@wangbin11 全闪的成本太高了,非我辈能承受啊
wangbin11
292 天前
@sinORcos nvme 用来加速不是全闪,你留个联系方式我加你
xinmans
292 天前
楼主不考虑 zfs 吗? 我目前用 zfs 堆了快 100T 的存储。16T*8 ,打算组两组,全部 smb 挂载使用。
phrack
292 天前
上集群感觉就很复杂啊,单机几十块硬盘也没问题啊,你这个 8 块硬盘还能翻几倍呢,到时候再考虑集群呗

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1037913

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX