家里的 NAS 可用空间越来越少了，现在使用的是一个 8 盘位的 DIY 机器，可用容量 64T ，剩余容量不足 8T ，目前在考虑扩容方案
首先我不想换硬盘，也许我可以买一个洋垃圾来做 2 号 NAS ，但是考虑到日后继续扩容的需求，我现在就想搞一个可无痛扩容的集群。
因为 Truenas 使用的 Cluster 是基于 Gluster 的，而 Gluster 已经几乎不进行任何维护，Truenas 已经在最新的版本中移除了其集群功能，虽然官方说正在尽力解决集群功能的问题，但是不知道要等多久。
所以我想了一个歪招，就是勇 PVE 做底层，在 PVE 中搭建 Ceph 存储集群，然后以 block 的形式将 Ceph 存储挂载给 unraid 或者 Truenas 来建设存储，基础的数据保护做在 Ceph 层级，但是因为目前没有设备进行测试，不清楚这样的架构是否会带来较大的性能损失，我甚至不清楚这种架构能否实现，还请大佬指点。
首先我不想换硬盘，也许我可以买一个洋垃圾来做 2 号 NAS ，但是考虑到日后继续扩容的需求，我现在就想搞一个可无痛扩容的集群。
因为 Truenas 使用的 Cluster 是基于 Gluster 的，而 Gluster 已经几乎不进行任何维护，Truenas 已经在最新的版本中移除了其集群功能，虽然官方说正在尽力解决集群功能的问题，但是不知道要等多久。
所以我想了一个歪招，就是勇 PVE 做底层，在 PVE 中搭建 Ceph 存储集群，然后以 block 的形式将 Ceph 存储挂载给 unraid 或者 Truenas 来建设存储，基础的数据保护做在 Ceph 层级，但是因为目前没有设备进行测试，不清楚这样的架构是否会带来较大的性能损失，我甚至不清楚这种架构能否实现，还请大佬指点。
23 条回复 • 2024-05-09 13:22:46 +08:00
 |
1
lzxz1234 13 天前
可以 iscsi 套娃？
|
 |
2
rojer12 13 天前
用外置的硬盘供电笼子？有多的 pcie 插槽的话加个 raid 卡之类的，数据线直接连过去，供电由笼子负责
|
 |
3
mayli 13 天前  1
是的，对于优化不好的场景，会有较大的性能损失。
能实现。 你并不需要真的机器，你可以用 vm 起 pve ，然后 vm 里搭建 ceph 集群。 |
 |
4
sinORcos OP @rojer12 如果考虑外置硬盘的方案的话，我可能会直接上 jbod 设备了，整个洋垃圾服务器，用 hba 卡外接 jbod 设备，扩容的上限也可以增加很多，确实也考虑过这个方案
|
|
5
sinORcos OP @mayli Ceph 的调优大概看了一些资料，感觉非常复杂，好像也不是一个很好的办法，不是专门搞 Ceph 运维的我来弄这种架构，感觉最后只能是“能用”的水平，达不到“好用”
|
 |
6
zx900930 13 天前 1
可以多几台 vm 起 ceph
性能损失肯定有，毕竟套 3 层娃。 所以一般拿来练习 ceph 的，即使是自己用，拿几台旧机器整个真的集群比这个靠谱多了。 因为你这个虽然逻辑上是集群，实际计算和存储都在一台机器上，是个单点。。。所以还不如普通的 raid 。 |
 |
7
Navee 13 天前
司波图最近更了一期 pve 集群+ceph 的视频，可靠性看上去还可以，磁盘容量和和性能会有损失
|
 |
8
njzhx 13 天前
家用搞啥的这么多存储需求。。
|
 |
9
podel 13 天前
我也想到了。Ceph 磁盘的性能不行。而且还要求集群之间互联带宽很高。
Ceph 配置复杂。可靠性也是存疑。 |
 |
11
libook 13 天前 1
有 PCIe 槽吗？有的话几十块钱一张 HBA 卡，浪潮拆机的硬盘笼，直接就有 12 盘位，级联还能再扩 12 盘位。
数据中心的分布式方案是建立在强大的运维部门的基础上的。 |
 |
12
min 13 天前
硬盘也是有寿命的，不如另外搭一套，方案也简单不折腾
|
|
13
zx900930 13 天前 1
@sinORcos #10 个人使用，建议存储单独弄个 NAS 出来，这边试过全闪 ceph 的 rbd 用 csi 接入 k8s(预生产环境)后套娃 glusterfs 满足部分服务 RWX 的需求。IOPS 损失（ 4k 小文件 70%Read 30%Write ）对比直接 csi 接入 block storage 平均在 60%以上，瓶颈在网络上，测试时网络是 25G x2 捆绑.
对网络的要求非常非常高，网络抖动可能造成 glusterfs 脑裂-节点损坏，这时候的 file-healing 根据数据量经常是以天为时间单位计算的。 所以先弄清楚自己的需求，大文件还是小文件，读写比例，以及你是否有足够的精力来维护你的存储架构。 小建议：公司里管这些已经够累了，家用真的放过自己吧。 一个 NAS 盒+单副本 TrueNAS 能满足 99.999%家庭使用了。 要扩容，买同样数量的硬盘新建一个 vdev raidz 加入池子吧，这是标准 zfs 扩容的方式。 |
 |
14
wangbin11 13 天前 1
能用即可，你那些需求用 nvme 全都可以解决，剩下的 hdd 做数据落地，有兴趣可以留个联系方式我加你，我可以帮忙
|
|
15
wangbin11 13 天前
我失业了很无聊，可以留个联系方式我和你一起折腾
|
|
16
sinORcos OP @zx900930 我也觉得家庭搞 Ceph 太复杂了，就是想搞个可以完全无痛扩容的方案出来，看各位大佬的建议，最后可能还是选择 TrueNAS 的方案，高于服务器硬盘位的扩容就用 jbod 解决，之前 linus 搞过一个 Mother Vault ，可能就使用类似那种的方式才最适合家庭或微型公司，虽然 B 站上很多人说 Mother Vault 这种类型是数据灵车
|
 |
19
xinmans 13 天前
楼主不考虑 zfs 吗？ 我目前用 zfs 堆了快 100T 的存储。16T*8 ，打算组两组，全部 smb 挂载使用。
|
 |
20
phrack 13 天前 via iPhone
上集群感觉就很复杂啊，单机几十块硬盘也没问题啊，你这个 8 块硬盘还能翻几倍呢，到时候再考虑集群呗
|
 |
21
NoOneNoBody 13 天前
好奇是什么场景要全部数据在线？
我硬盘已超过 200T ，但从没想过要全部挂上，没必要啊，每天数一遍全部文件个数么？ |
 |
22
AS4694lAS4808 12 天前 via Android
真要有多个节点，不如搞个 minio ，当 s3 桶外挂，水平随意扩展。
|
 |
23
xiaoyuesanshui 10 天前
我真的研究过这个方案，底层用 esxi ，然后上几个 CEPH 节点
且不说三层套娃 印象里每 TB 推荐 1GB RAM,感觉不是服务器主板真的带不起这么多内存插槽 且不说家里有没有地方和噪音，电费都吃不消了 后来我认真研究了一下工作站方案，消费级 CPU ，多带几个 PCI 接口，用 PCI 转 sata 扩展出来，其实也挺香的 如果是一般家用存个剧、照片、备份啥的，有个 100T 肯定足够的 |
Select Language