有 unraid 或 snapraid 实战经验的吗

[redsonic]

看起来很简单但和存储相关的我都觉得没底。这两种类似的方案有什么坑没有？ 比如什么操作组合把数据搞丢了之类的。我是打算作为个人基础存储系统来用的，所以成本、稳定、可维护性哪个都不敢马虎。

本来只想把话题范围限制在基于目录的冗余存储方案，看看有什么坑没有，但发现回复的内容好像扩展了不少。那就说说我的基本环境与需求：
个人用，数据 20TB，从几 KB 的源码文件到几百 GB 的单文件都有，存储设施两台 X86 软路由带 HBA 卡，位于两地不同运营商，传输带宽 50-100Mbps。需要 linux 上开源的稳定可靠的存储方案，版本更新不要太频繁。组建方案时最好不要有格式化这类操作，能够从 2-3 块盘失效的情况下完全恢复数据，恢复速度没要求，恢复等维护操作简单，不易把情况搞的更糟（这个很重要）。正常访问速度 20-100Mbps 都可以。能耗没要求。

[zn]

既然那么担心数据安全，那就上 raidz 啊

[redsonic]

@zn 说实在的对面向块的方案没信心，主要是不出问题的时候一切大好，出了问题或抛出一堆调试信息就懵了，正常反应是立刻导到备份库上然后这边再 fix 但个人用可就没这个备份库了，比如我这边就有 20T。再或者遇到严重错误，不是降级的那种，目录都找不到了。
如果是 unraid 或 snapraid 至少这类目录级的应对的方式很多。

[zn]

@redsonic raidz 还不放心的话，那真的没得选了。感觉这是唯一一个能在价格、安全性、性能方面都能满足普通消费者的产品了。

[keramist]

最普通方案 raid1 然后 rsync 但其他机器或者硬盘 数据量小 syncthing

[redsonic]

@keramist 现在就是 raid1，部分数据 rsync 到其他存储。但这个实在成本有点高，而且盘多了以后噪音会增加。

[keramist]

顺便提一句 你要告诉别人你对存储的需求 才能告诉你合适的方案 靠猜 也就告诉你个大概 如果机器多 三到四台机器 proxmox 集群 装 ceph 然后随便折腾 也方便管理机器 公司内网 家里测试存储都适合 不管要啥服务行 中小公司 建站也合适 说到底也就是三四台独立 debian 服务器 随便折腾

[redsonic]

@keramist 谢谢提醒，已更新

[msg7086]

基于目录和文件的方案没什么大坑，不过……
你的要求是「完全恢复数据」，而文件 RAID 的最大卖点则是「即使不能完全恢复数据，也保留尽可能多的残余」，和你的要求其实是不一样的。

如果成本允许的话，可以比如说 10-12 块企业级硬盘做 ZFS RAID Z3，至少要 4 块硬盘一起损坏才会丢失数据。ZFS，或者 ZFS on Linux，日常使用环境中已经很稳定了。我司的 NAS 上前后已经坏过 3 块硬盘，每次只要拔出坏盘，插入替身，然后用一个命令把新硬盘加入阵列即可。你可以看看我以前发的帖子 /t/280177。

可靠的存储，其实还是要用硬件（=钱）来保证的。

[redsonic]

@msg7086 snapraid 是用 N 个存储器用来存储数据，同时用 P 个存储器用来存放校验数据（ P ≤ 6, P ≤ N ），在总数 P + N 的存储器中，任意坏掉 X 个，只要 X ≤ P，就能用剩下存储器里的数据计算出坏掉的存储器里的数据。

“ ZFS RAID Z3 阵列，12 盘里 9 盘数据 3 盘校验” 是容错 3+1 块同时挂掉吗？ 包括其中有校验盘？

[msg7086]

@redsonic 是的，12 盘 Z3 里，P=9 N=3，不过数据和校验是均匀分布的，不像 snapraid 那样是独立功能的硬盘。