[日经] 关于数据备份

[Explorare]

虽然最近在 V2EX 和 Slashdot 上都有相关讨论，本地存储和云存储的选择，备份方案的选择。

我的主硬盘 167GB 容量，实际已用 147GB ，用来存放系统和工作目录，副硬盘 698GB 剩下 200GB ，用来存放下载内容、常用资料、每日备份、音乐专辑、本子，外置硬盘 4TB 剩下 1TB ，用来放每日备份的备份，不常用的资料、数据、本子。看起来够用，但问题是很多数据都只有一份，比如外置硬盘有部分已经转码放到 WALKMAN 的专辑，一些不常用的资料、照片。每日备份中完整备份占 100GB ，增量备份一般是 2GB 左右，七天一个循环，每周光备份文件就有 120GB ，备份文件我至少会保存一个月。

所以问题来了，虽然我也经常推荐别人 Amazon Glacier ，但今天实际算了一下价格还是有点心疼，就算 3TB 数据， 0.004 USB/GB,mon ，一个月就要 12.29 刀，一年下来大约 150 刀，足够买一块 4TB 的 backup plus 了。但和 Glacier 相比，本地软件镜像和 RAID 的稳定性明显不行，比如突然断电、碰开数据线、怕是会掉数据，而且最怕坏道、比特翻转的问题，不容易发现。（虽然概率很低就是了）。

如果买 Gen8 组 ZFS ，本体 2k CNY ， HGST 4TB HDD *4 大约 5k CNY ，然后还要算上两条 8GB 的 ECC 内存，最少也要一千二，才能组一个完整的 ZFS 存储伺服器，成本高出很多了。

看起来 Glacier 确实挺便宜的，但有个问题，上传带宽不够。一个月前我办宽带买的 50Mbps 联通，当时测速双向 50Mbps ，很稳定。上周再测发现上行已经被限制到了 10Mbps ，实际速度 1.25MBps ，我这 3TB 的数据得用 700hr 才能完成上传，大约一个月，如果日常生成 100GB 备份得话得 23hr 才能完成上传，一整天啊，第二天的备份都要出来了。 Gen8 则自带两个千兆口，带宽是广域网的 100 倍，同步能瞬间完成。

结果这样算下来就进入两难境地，本地 NAS 的购入、维护成本高，稳定性不及 Glacier ，毕竟没有异地容灾，没有 UPS ，但数据交换速度更快是个优点。

---

想到这个问题是因为今天用 VeraCrypt 备份 4TB 的外置硬盘时遇到错误，报错部分扇区读取失败，最后选择了用 0 覆盖，后来报告说覆盖了 4KB 的数据。整个备份过程耗时 45hr ，期间不能断开连接，否则所有数据无法找回。现在提心吊胆中，不知道还会有多少数据会读取失败然后用 0 覆盖。

至于为什么要加密外置硬盘？我怕我硬盘被别人发现全是大姐姐和本子你能信？

[Explorare]

@mhycy 所以你的建议也是自建文件伺服器？ ReFS 需要 Server 2016 ，授权怎么解决？ KMS ？而且 ReFS 和 ZFS 相比似乎还是差一点？明天再详细做对比。你整套系统花了多少钱，主要用了哪些硬件？我感觉要是买果然还是 Gen8 了，主板支持 ECC ，不知道什么时候能出 Gen8 的下一代啊。

[Explorare]

查了查当年为了买 Gen8 做得笔记发现这个坑还是挺大的， JD 上正品 8GB ECC 内存一条五六百， X 宝的所谓兼容条两百多，但我选择正品。

CPU 都推荐 1265Lv2 ，然而价格虚高， 1230v2 TDP 略高怕压不住。

硬盘上我还是选择 HGST 的企业级 4T 盘， ZFS 扩容困难所以必须一次性买齐四块组 Z2 。 ZFS 吃 ECC 内存所以 至少 8GB ECC RAM 也是必须的，另外光驱位也能拆掉换个 SSD 当快取，和 RAM 组成双层缓存。

然后 Gen8 还得配个 UPS ， APC 有几个支持智能联网管理的 UPS 还挺不错的，又是一千多。然后散热方面还得考虑增加低速风扇或者上精密空调（并不需要）。

如果再有闲工夫还能增加一块半高 M20 跑深度学习（并不会），或者增加一块 Intel 的 4 端口万兆光纤网卡（并没必要，也没兼容设备，纯粹闲得蛋疼）。

[loading]

删音乐，在线听。

[lhbc]

@Explorare 1230v2 无压力，其实单纯跑 ZFS 用原装的 CPU 就行了
话说，你这解决方案，就是：我要买张桌子放电脑，结果是建了套房子。

[kn007]

@lhbc 哈哈，即视感。没办法，毕竟人不自觉总想追求完美。。

[mhycy]

@Explorare
2012 R2 足矣，虽说有些小 bug ，但用起来没问题
我现在一共有两套存储，一套组装机接 LSI 9286CV-8eCC ，另一套 ML10V2 升级 32G 内存跑了 ReFS 和虚拟机。
CPU 一个 E3 ，一个 I3 ，这点存储 CPU 不是啥瓶颈

内存条看看海淘报价，不过现在应该都涨价了，我那时候 32G ECC 买了 1100 ，美亚

至于硬盘，既然都用上 ZFS 了当然最便宜的盘搞起
一次性插多点以后还能替换扩容，说回来， ZFS 不一次性满 12 盘就是浪费，机头成本摊不下来

总体说方案没啥问题，钱总是要花的，一次性投入吧。
要是对噪声没啥意见，搞个 DL180 G6 也是可以的。

[mooncakejs]

自建 raid 用云盘？隔壁帖子 1t 的数据得下一个月。你的 3t ？

[Quaintjade]

考虑标称的可靠性的话， Glacier 存储价格不贵，但是数据取回超贵啊。乍看流量费一般般，但请求数收费很容易被忽视（和取回速度有关）。建议用那个非官方估算器，不要用官方的。

云端可以作为备份用，但本地存放是不可省的。

[honeycomb]

如果数据可以更冷一些(仅需要时才开机)的话，找台机器运行 2012R2/2016 ，开存储池就可以了，根据数据安全要求选择合适的容错等级：
http://blog.sina.com.cn/s/blog_6a975f1d0102woe1.html

数据加密也有 bitlocker

[helloccav]

@Quaintjade 请问 Glacier 非官方估算器在哪里?

[keramist]

nas4free zfs 加密硬盘 系统装优盘 类似于路由器固件 升级方便 比 freenas ovm 使用管理方便 数据 tb 级 synching 有点耗内存 日常工作机 8g 以上无压力 atom 330 2gb 老机器用作备份 也无压力 同时 nas4free 支持开虚拟机 绝对好用

[Explorare]

@loading 朋友， 44.1kHz 1141kbps 和 2.8MHz 5645kbps 差距不小的。

[Explorare]

@lhbc 哈哈，差不多，房地产商的阴谋。毕竟如果买个 Gen8 只拿来跑个 NAS 也是感觉有点亏的，再搞个虚拟化岂不美哉。

[Explorare]

@mhycy ZFS 的 pool 一旦分配就没法扩容了，只能新增 pool ，如果已经插了三块硬盘组了 Z2 ，下次扩容还想用 Z2 得话必须再加三块开个新 pool ，不能扩容已有 pool 的。
那个塔式机略贵了，而且占地方， Gen8 挤一挤还放得下，也许我该考虑换套房了。
讲道理伺服器用硬盘当然就是 HGST 4T 了，难道你敢用西数 2T ？
噪音的话还是有点意见的，毕竟放在我卧室。

[Explorare]

@mooncakejs 百度云限速太厉害了。 BackBlaze 不限速然而线路原因上行 10Mbps 下行 1Mbps ，基本属于有去无回了。

[loading]

@Explorare 敢问声卡和耳机，我是听不出来。我这边核电的。

[mhycy]

@Explorare
ML10V2 我是在打折的时候德淘的，到手 1800 不到， 4 代平台，换了个 I3
ZFS 就是因为不能扩容所以才建议一次满柜 12 盘，替换扩容是 1:1 换盘重建， 3T 单盘换成 5T 单盘，全换一次扩容
硬盘直接东芝 DT01ACA300 ，便宜才是王道，除非你这 HGST 能做到 600-700 块，不然没性价比。
组阵列的优点就是同等预算能用更便宜的硬盘换更大的容量。

于是你现在打算用啥？有多少预算？在我看来配个 PC 挂满 14 盘也是不错的（恩杰 H2 机箱）
另：大概你可以翻翻我的老帖子，以前有讨论过这个问题

[Explorare]

@mhycy 文件备份是首要任务，虚拟化得话，既然买了 Gen8 当然要顺便做一个咯。机械硬盘的震动是个大问题，很吵， 12 块的功耗、噪音怕是不行了。毕竟放在我卧室。那个硬盘倒是挺便宜的，多谢推荐。预算得话五千吧，刚好能买四块东芝一个 Gen8 ，再升级下内存。谢谢指点。

[pubby]

@Explorare zfs 可以扩容啊，你找容量大的硬盘按个换一遍就行。就是换一个等同步完成再换下一个

[Explorare]

@pubby 谢谢纠错。查了一下当时看过的分析，确实是这样，可以把 VDEV 的所有磁盘逐个更换来完成扩容，而增加新磁盘来扩容是不可行的。
http://louwrentius.com/the-hidden-cost-of-using-zfs-for-your-home-nas.html
这篇分析写的很清楚了，推荐感兴趣的朋友看看。