NAS 存储的安全+便捷+成本的最优平衡思路探讨，及单盘位最高容量疑问

先给 V 站大佬们汇报一下所谓"最优平衡"的思路，纯粹从个人的"穷+我全都要"的立场出发。若不合理还望指正并轻拍。要点如下：

安全+便捷角度

1 ）不用 RAID5 ，大容量单盘失效后重建失败概率过高（Ref1），不展开。

进一步地，不用任何奇偶校验的 RAID （包含群晖的 SHR ），避免重建伤盘。（阵列的核心诉求是保证实时性，而不是数据安全性）

2 ）通用数据采用不同存储池下的 1+1 备份实现。工具拟用文件级备份的 Snapraid ，可以实时同步，也可以定期冷备。

（题外话：核心数据额外有 3 地 4 中心机制，即工作机、公司服务器、云、NAS （待增），保证安全性和实时性）。

引入成本角度后

3 ）无需一次性配满磁盘，而是根据数据增量分步按需配置，第一次采购 2 块磁盘（假设为 14T ）组 1+1 ，之后每隔若干年采购 1 块容量翻倍的磁盘，并基于 Mergerfs 实现存储池的平滑扩容。步骤略见下图：

4 ）更进一步地，计算、存储分离（解耦）：算力的提升&降本的速度明显快于存储，因此不想采用一体式 NAS 的方式，更倾向于小主机（ Homelab/算力）+磁盘柜的方式。

小结一下以上思路，即

1 ） Mergerfs+Snapraid+磁盘逐步翻倍扩容策略，优点：

低成本（对标 raid5 ）
数据 1+1 备份（对标 raid5 ）
文件级备份，无重建失败 or 伤盘概率（对标 raid/shr 等校验恢复机制）
可用 ext4 ，读写性能和稳定性更优（对标 shr 等 btrfs 文件系统）

2 ）算存分离，优点：低成本、高性能等。

疑问

要实现图示的存储逐步翻倍扩容，就要确保磁盘柜（或者一体化 NAS 机）的单盘位可识别容量要>50~60T 。但好像目前市面上的产品宣传口径都是跟着主流 HDD 的最大容量走的（一般是 16T-20T 左右）。

我的疑问是，撇开厂家的宣传策略不谈，从技术上看，

磁盘柜/一体式 NAS 的最大单盘容量的受限条件实际是什么？是主板？是 XX 接口的类型？是总线的带宽？还是系统里的默认设置？

或，有没有简易+便宜地提升可识别单盘容量的方法？

谢谢大家~~

libook

347 天前

用过很多年的 MergerFS+SnapRAID 方案，分享几个坑。

1. SnapRAID 进行奇偶校验同步的时候要求文件不能正在被写入，所以只适用于冷数据。
2. SnapRAID 的原理是每块盘上的数据块进行奇偶校验，所以在 1 块校验盘的情况下，当一块盘坏了的时候，想要恢复数据，就要确保其他盘上的数据仍然是上一次奇偶校验同步的版本，但如果在上一次奇偶校验同步之后其他盘的数据发生了变化，那么这些变化的数据块就无法恢复了（可能仍然可以恢复其他未变化的数据块的数据）。也就是说发生多盘修改文件的情况下，被修改的这些文件可能就会随着硬盘损坏而丢失了。需要对硬盘组的使用方式进行规划，比如每两次校验同步之间确保只在一块硬盘上修改数据，需要在其他盘上修改数据之前先进行奇偶校验同步。
3. MergerFS 是基于 FUSE ，所以要关注 FUSE 本身的短板，以及你目前系统上的 FUSE 是否存在 bug 。
4. 我遇到过两段时间 MergerFS 频繁挂掉的情况，MergerFS 的挂载点会提示 input/output error ，需要重启或重新挂载才能解决。跟 MergerFS 开发者交流过，很难 debug 定位到问题。根据我的观察是当打开状态的文件数量超过 3000 之后就很容易挂掉，不知道是我硬盘 IOPS 跟不上，还是 FUSE 有 Bug 。

建议数据分冷热；假设你的热数据是小部分，那么可以热数据用 RAID-1 等镜像方案；冷数据用 MergerFS+SnapRAID 备份方案，如你画的图写满一块硬盘再写下一块。

单盘容量限制理论上是文件系统方面的限制，不过现代文件系统基本都很难达到这种限制。如果厂商对单盘容量进行了限制，可能是因为对设备系统进行测试后认为系统在单盘大于某个容量后会导致产品使用体验下降，又或是显著加大了售后服务的难度。

不过话说回来我并不推荐用超大容量的硬盘，一旦硬盘故障了，恢复数据需要很长的时间，如果采用奇偶校验备份的方式，在超长时间的恢复过程中会有较大概率再坏盘，导致奇偶校验失效。

如果主板有 PCIe x8/x16 槽可以考虑 HBA 卡+硬盘笼，我用了浪潮服务器上拆下来的 HBA 卡和 12 盘位硬盘笼，很便宜。

P.S. 我在后来评估认为 SnapRAID 不是很符合我个人的需求，转而去使用实时奇偶校验的 unRAID 方案了，当然 unRAID 也有它自己的短板。