特殊行业小企业的大文件存储、共享和永久备份的一些问题

[ipengxh]

前情概要

1. 公司性质特殊，存储的数据是刑事案件的手机、电脑、服务器镜像，数据需要保留至少 30 年；
2. 公司起步阶段，对成本比较敏感，目前公司规模约 10 人，一般 1~5 个人参与一个项目；
3. 每年 50~100 个项目，每个项目所需的存储从 10G 到 30T 不等，平均在 1T 左右；
4. 存储的数据以 zip 压缩文件为主，也可能临时存储大量服务器镜像的原始文件（ raw 、qcow2 等格式），文件大小从 10G 到 1T 不等，每个项目还包含数十个文档文件。

当前方案

1. Dell 730XD + TrueNAS Scale + 12x16T ；
2. 2 个 ZFS 存储池，每个 6 块盘，一个冗余 1 块盘（ Z1 ），一个冗余 2 块（ Z2 ）；
3. 开启 zstd-9 ，对于服务器镜像的原始文件有极佳的压缩率（ 1T 的镜像文件实际占用空间可能会小到 1G ）
4. 仅开 samba 协议挂载形式访问数据；
5. ZFS 离线备份往年数据。

当前存在的问题

1. 权限管理的问题。每个项目的数据不允许项目外的人访问（也不允许列举目录），不知道是不是使用 TrueNAS 的姿势不对，没找到可以配置的入口。TrueNAS 是否可以方便的实现该需求？如不可以，有无更好的选择？

潜在的风险

1. 氦气盘不稳定因素。据网上的资料，氦气盘存在漏气的风险，考虑到成本因素，离线备份只有一份备份，备份损坏可能导致灾难性问题。是否应当考虑其他存储介质？
2. TrueNAS 稳定性问题。目前已经挂过一次 TrueNAS 系统盘了（ Intel 傲腾），用新盘装新系统添加池就恢复了。TrueNAS 是否存在其他可能导致数据丢失的潜在风险？

[liuzhiyong]

https://news.microsoft.com/zh-cn/features/%E5%BE%AE%E8%BD%AF%E7%A0%94%E7%A9%B6%E9%99%A2%E5%AE%9E%E7%8E%B0%E7%8E%BB%E7%92%83%E5%AD%98%E5%82%A8/

Project Silica: 微软研究院实现“玻璃存储”，把电影《超人》写入石英玻璃
坚实、耐用、低功耗，存储 1000 年，下一代云存储技术最新探索

仅供参考哈。

[ipengxh]

@liuhan907 两个存储池的来历说来惭愧，开始的时候不确定 TrueNAS 是否适用我们的需求，所以就建了一个 6x16T 的 Z2 池，后来用起来觉得不错，就又加了一个 6x16T 的 Z1 池。
每个项目单独开共享听起来好像很不靠谱的样子，这样会让员工挂载无数个网络盘。

[ipengxh]

@min 有道理，现在用的是同批次做的池。后期会避免这个问题。感谢！

[ipengxh]

@min 光盘很麻烦，有时候一个镜像就需要几十张蓝光盘存储，坏掉一块盘就完犊子了。

[ipengxh]

@kenneth104 离线备份目前用的是单盘 ZFS ，一个盘里面存储若干案件的数据。

[ipengxh]

@eroko 案件结束半年后没有新的需求之后，会将数据拷贝至冷盘然后从 NAS 中删除。除非懒，一般不会把太冷的数据长期丢在 NAS 中占空间。

[ipengxh]

@luckyrayyy 应该是用的姿势不对，配置始终有问题。说白了就是现有的能力不达标): 回头再研究一下

[ipengxh]

@linzyjx 都说 ACL 可以实现，应当是我姿势不对。感谢！
磁盘应该是终极备份解决方案了。

[ipengxh]

@null2error 有时候单个服务器镜像可能需要几十张光盘存储，坏掉一张就完犊子了。所以没考虑蓝光备份。

[ipengxh]

@NevadaLi OK ，我查查看。感谢！

[yolee599]

公司做取证的？

[PrinceofInj]

歪个楼，假设一个人卖片儿，自己有上千 T 的片源，被抓后你们是不是也得把这些都存下来？

[pota]

长期还是磁带靠谱些。坏的概率还是比硬盘低，而且磁带主要是磁带机贵，拓展存储池大小反而不贵了

[bthulu]

谷歌网盘存储试试? 这样根本就不用担心存储的问题了. 再做个账号系统对接谷歌账号查询下载文件就行了

[wheat0r]

是不是可以试试用 M-DISC 进行归档

[yuyanggongzi]

@bthulu 中国的刑事案件数据，存谷歌云盘。好吗？甲方可能同意吗？

[janus77]

先不要考虑 30 年。基于成本因素，先考虑 10 年，如果 10 年你们公司不倒，那自然是做大做强，有钱可以采购更好的方案，再转移过去就是了。

[min]

腾讯 100tb 冷存储，5 年才 5 万多

[ipengxh]

@min 性质特殊，我们不考虑公有云，可能存在泄密的风险。

[ipengxh]

@janus77 是的，其实我现在的方案也没考虑 30 年，所以也没上磁带机。