特殊行业小企业的大文件存储、共享和永久备份的一些问题

[ipengxh]

前情概要

1. 公司性质特殊，存储的数据是刑事案件的手机、电脑、服务器镜像，数据需要保留至少 30 年；
2. 公司起步阶段，对成本比较敏感，目前公司规模约 10 人，一般 1~5 个人参与一个项目；
3. 每年 50~100 个项目，每个项目所需的存储从 10G 到 30T 不等，平均在 1T 左右；
4. 存储的数据以 zip 压缩文件为主，也可能临时存储大量服务器镜像的原始文件（ raw 、qcow2 等格式），文件大小从 10G 到 1T 不等，每个项目还包含数十个文档文件。

当前方案

1. Dell 730XD + TrueNAS Scale + 12x16T ；
2. 2 个 ZFS 存储池，每个 6 块盘，一个冗余 1 块盘（ Z1 ），一个冗余 2 块（ Z2 ）；
3. 开启 zstd-9 ，对于服务器镜像的原始文件有极佳的压缩率（ 1T 的镜像文件实际占用空间可能会小到 1G ）
4. 仅开 samba 协议挂载形式访问数据；
5. ZFS 离线备份往年数据。

当前存在的问题

1. 权限管理的问题。每个项目的数据不允许项目外的人访问（也不允许列举目录），不知道是不是使用 TrueNAS 的姿势不对，没找到可以配置的入口。TrueNAS 是否可以方便的实现该需求？如不可以，有无更好的选择？

潜在的风险

1. 氦气盘不稳定因素。据网上的资料，氦气盘存在漏气的风险，考虑到成本因素，离线备份只有一份备份，备份损坏可能导致灾难性问题。是否应当考虑其他存储介质？
2. TrueNAS 稳定性问题。目前已经挂过一次 TrueNAS 系统盘了（ Intel 傲腾），用新盘装新系统添加池就恢复了。TrueNAS 是否存在其他可能导致数据丢失的潜在风险？

[XiLingHost]

建议冷数据丢磁带机里保存，反正这种需求超过 5 年的旧数据平时应该不经常访问，真的要访问了等一两个小时也不是问题
数据完整性就靠多备份，规划一下每隔一段时间重新验证数据就行了，反正磁带便宜
可以直接存储加密的数据到磁带上防止介质丢失的问题

[kaf]

既然性质特殊，存硬盘后直接分门别类丢保险柜呗

[bnx]

我只说我熟悉的部分。
建议冷数据存到磁带，Dell 最便宜的磁带库 TL1000 大概在 6 万。一盘磁带 6T 我记得几百元。

[ipengxh]

@XiLingHost 考虑过磁带机，但是磁带的成本其实和硬盘相差不大，尤其是磁带机的成本非常高。如果可能的话还是希望选择机械硬盘。

[kzfile]

起步阶段的公司，就能让用户确信可以维持 30 年运营吗？

[liuhan907]

两个存储池冗余不同目的是什么，节约成本？
权限控制的话每个项目单独开共享是最简单的，zfs 可以随意分共享。

[min]

建议不要使用同品牌同型号同批次的硬盘

[min]

也可以搭配光盘作为备份的冷存储

[kenneth104]

1 ，离线备份不应该用储存池等奇怪的方式，防止一些逻辑灾难，应该用简单的导出单个镜像存放，建立索引
2 ，TrueNAS 还算值得信赖

[luckyrayyy]

TrueNAS 的权限管理不是挺完善的吗，现有的能力不满足还是说你们没使用过。

[abersheeran]

@kzfile #5 这种敏感行业，不是什么人都能做的。老板背后肯定有人，信的不是公司，是背后的大佬。

[eroko]

热数据存在 NAS 里面没什么问题，但是为什么冷数据也要存在 NAS 里呢，对硬盘的可靠性这么有信心么。
OP 你这种要保存 30 年数据的，用磁带就是最佳的方案。
只要不是保存环境过于恶劣，磁带的寿命是远超过 30 年的。
我们是用数据永久保存需求的，带库早就塞满了，现在完全是靠人工来管理磁带。

[linzyjx]

TrueNAS 不太熟悉不展开讲，权限问题用 Samba 应该好解决啊，配 ACL 呢？

其它热存储的东西就不说了，200T 的商业级 NAS 方案都挺成熟了的。但是这种需求最终还是会落到冷存储上的。最终归档还是推荐磁带机。
从成本角度考虑的话。
前两年可以先用存储服务器凑合着，每年 100T 的开销，对数据完整性有要求的话建议再买几块大硬盘定期冷备。
后期规模上去了还是建议上磁带，反正过个两三年设备换代了正好倒腾一遍数据。这时候公司还在也就起起来了，那时四五百个 T 的存储需求也能把磁带机的费用摊下来。
之后就 NAS （含硬盘存储服务器）存近 1 年的项目，定期用磁带归档一次。每两三年校验一遍磁带，七八年把磁带更换了就可以。对备份有要求就磁带双副本。

[null2error]

如果压缩这块能抽出来，也就是最后实际落盘的数据量没那么大，其实可以考虑光盘存储，BD 光盘单盘存 50G 按淘宝上的零售价也可以控制在每 GB 成本几毛钱，而且光盘的稳定性比机械硬盘好太多了，20 年前的盗版光盘，只要存放环境不是太恶劣拿出来大概率都是可用的~

等效于把字刻在石头上~

[vopsoft]

冗余不是备份
个人认为 TrueNAS 的稳定性小于 dell 自带的 raid
这些数据如何不是实时调用，尽量采取冷备 ，例如做好校验，拷贝到硬盘，贴好标签，备份多份

[bxb100]

@bnx 写磁带价格挺贵的吧, 同学有没有做过价格分析啊

[mengzhuo]

30 年，就这需求，必须磁带了。
光盘比磁盘还不靠谱。

[ytmsdy]

磁带存储主要是磁带机贵！磁带反而不贵！
前期在 1Pb 一下，建议直接 raid1 的 1:1 备份，及时巡检硬盘，以及硬盘诊断。
直接热备，硬盘连续加电跑出问题的概率要远远小于断电存储的概率。

[markchen88]

30 年难搞

[NevadaLi]

对于权限问题，全部用 acl 控制，默认权限都是 000 ，acl 给需要的用户，每个项目有一个项目负责的系统用户，公司的每个人都有可能负责多个项目，即 一个自然人有多个项目的系统用户。

之后项目多了应该可以总结出一套内部的用户模版，比如
manager_proj_a:rwx
view_proj_a:r-x
saver_proj_a:-rx