[日经] 关于数据备份

[Explorare]

虽然最近在 V2EX 和 Slashdot 上都有相关讨论，本地存储和云存储的选择，备份方案的选择。

我的主硬盘 167GB 容量，实际已用 147GB ，用来存放系统和工作目录，副硬盘 698GB 剩下 200GB ，用来存放下载内容、常用资料、每日备份、音乐专辑、本子，外置硬盘 4TB 剩下 1TB ，用来放每日备份的备份，不常用的资料、数据、本子。看起来够用，但问题是很多数据都只有一份，比如外置硬盘有部分已经转码放到 WALKMAN 的专辑，一些不常用的资料、照片。每日备份中完整备份占 100GB ，增量备份一般是 2GB 左右，七天一个循环，每周光备份文件就有 120GB ，备份文件我至少会保存一个月。

所以问题来了，虽然我也经常推荐别人 Amazon Glacier ，但今天实际算了一下价格还是有点心疼，就算 3TB 数据， 0.004 USB/GB,mon ，一个月就要 12.29 刀，一年下来大约 150 刀，足够买一块 4TB 的 backup plus 了。但和 Glacier 相比，本地软件镜像和 RAID 的稳定性明显不行，比如突然断电、碰开数据线、怕是会掉数据，而且最怕坏道、比特翻转的问题，不容易发现。（虽然概率很低就是了）。

如果买 Gen8 组 ZFS ，本体 2k CNY ， HGST 4TB HDD *4 大约 5k CNY ，然后还要算上两条 8GB 的 ECC 内存，最少也要一千二，才能组一个完整的 ZFS 存储伺服器，成本高出很多了。

看起来 Glacier 确实挺便宜的，但有个问题，上传带宽不够。一个月前我办宽带买的 50Mbps 联通，当时测速双向 50Mbps ，很稳定。上周再测发现上行已经被限制到了 10Mbps ，实际速度 1.25MBps ，我这 3TB 的数据得用 700hr 才能完成上传，大约一个月，如果日常生成 100GB 备份得话得 23hr 才能完成上传，一整天啊，第二天的备份都要出来了。 Gen8 则自带两个千兆口，带宽是广域网的 100 倍，同步能瞬间完成。

结果这样算下来就进入两难境地，本地 NAS 的购入、维护成本高，稳定性不及 Glacier ，毕竟没有异地容灾，没有 UPS ，但数据交换速度更快是个优点。

---

想到这个问题是因为今天用 VeraCrypt 备份 4TB 的外置硬盘时遇到错误，报错部分扇区读取失败，最后选择了用 0 覆盖，后来报告说覆盖了 4KB 的数据。整个备份过程耗时 45hr ，期间不能断开连接，否则所有数据无法找回。现在提心吊胆中，不知道还会有多少数据会读取失败然后用 0 覆盖。

至于为什么要加密外置硬盘？我怕我硬盘被别人发现全是大姐姐和本子你能信？

[mhycy]

@Explorare 家中内网，加密不加密也没啥了，难道还怕人找到小黄图么

[Explorare]

@mhycy 虽然没有什么关乎世界和平的机密文件，但有个人隐私啊。实际上加密硬盘主要是为了避免未经授权加载硬盘读取数据，如果机器已经启动了，那就不是加密系统的事了，是防火墙的事。

[mhycy]

@Explorare 所以我说这类文件用得着那么折腾么，不加密拆硬盘当然是能读取的

[Explorare]

@mhycy 就算我闲得蛋疼想试试好了。在笔电上试了试发现对性能影响不明显。如果有富余的性能开个加密也没什么损失。

[imydou]

家里 群晖 cloud sync 同步 google drive
公司 gen8 同步 google drive
离线 定期移动硬盘备份

[Explorare]

@imydou 哎。要是上行能到 100M 就没这么多问题了，直接掏钱 BackBlaze 。可惜现在这 10Mb 的上行实在可怜。

[zckevin]

我的想法是：

把文件打上标签，类似于 QoS 的 tag ，存在本地 NAS 。然后本地 NAS 作为一个 buffer ，后台 7x24h 负责按照 tag 的优先级加密、上传到国内外的云存储，细水长流。

[Explorare]

@zckevin 可我懒得造这个轮子啊。后台云同步得话，群晖的系统就可以做到，可以直接接入很多国外云服务商，但上传带宽一直是问题。细水长流也得看多细多长了。上传速度跟不上数据产生速度就麻烦了。比如每日备份。

[minamike]

OneDrive 1T 够我用了
要倒了的话巨硬药丸

[shijingshijing]

存储为什么不分级？那些很长时间看不到一两回的，用一个普通的 PC 就能做存储啊，又不是 24 小时开机，即使放那里坏了京东随便也能买到配件啊；经常使用的比如 iTunes 备份什么的，需要更稳定的系统，其实 CPU 没必要上至强，内存也没必要上 ECC ，民用与稳定性关系最大的是主板和电源，如果是常开的电源大牌的固态电容主板+80plus 的电源是王道，最好是 HP ， Dell 的准系统。

我是在是不明白为什么要把东西放在云端～

[Explorare]

@shijingshijing 不管怎么分级，你的文件伺服器本身得有完整性校验和容灾吧，至少得是 RAID 5 才能同时提供容灾和校验。
就算是不常用得数据，你放在那里也有比特翻转的问题，没有校验最后放上几年有的文件莫名其妙的就损坏了，还没法修复。
而且我现在是有分级的，\Dev 有 git ，\Doc 有 5min 一次的不间断增量备份，系统盘有每天一次的混合备份，备份盘还有个备份盘。不常用的数据在外置备份盘中。
我的意图是用一个文件伺服器取代这个不安全的外置硬盘，至少四块组个 Z1/Z2 比单独一块安全得多吧。我这块外置硬盘还是不经常用，现在已经出现两个 4k 扇区读取失败了。
我怕的不是硬盘坏了没得用，是怕数据丢了。
文件伺服器当然要 24hr 开机啊，大不了不用的时候自动进低功耗状态嘛。
ECC 对于 ZFS 是必须的，不是可选。
能推荐一个 2k~3k 、带阵列卡支持 ECC 的准系统么？

如果带宽允许我当然选择云存储了，价钱便宜还省心， BackBlaze 一月 5 刀便宜的不行，就可惜带宽不够。

[mhycy]

@Explorare GEN8, 现在内存涨价， 3K 有点难度。。。囧

[Explorare]

@mhycy 哎，只能继续等了。不过昨天查了一下发现希捷的 Backup Plus 4TB 的挺便宜啊，而且尺寸好小。我这个 4T 的是 3.5 吋桌面硬盘，重的不行。然后就和上面朋友说的一样，虚拟机跑个 Server2016 ，把数据盘直通给虚拟机跑个 ReFS ，可以同时拥有冗余和校验，但整套系统不够稳，一个蓝屏怕是会 GG

[mhycy]

@Explorare 不折腾自然没事， ReFS 是日志型系统，没那么糟，我在用 2012 R2 一直稳稳当当

[Explorare]

@mhycy 问题在于开发机就是拿来折腾的，一言不合就蓝屏或者内存溢出，所以才考虑买个 Gen8 或者同等功能的东西。

[shijingshijing]

@Explorare 重要的东西，放到云端不安全，隐私容易泄露；不重要的大文件放到云端，你上传下载不耗时间？码农最珍贵的资源就是时间。 RAID5 也花不了多少钱，还有那个比特翻转，你确定你碰到的是比特翻转而不是硬盘坏道或者失磁？ SEU 事件在地面上很难碰到，到电离层外再说。我们的系统都是 Radio Hardened 的，高等级的甚至部分要考虑 EMP-proof ，比特翻转我做了这么长时间还没碰到过。

大姐姐纪录片这种真心不如做个 JBOD ，然后定期冷备，自己做一个千兆以太网，然后设为 Wake-On-Lan ，要使用的时候，开机即可。关键系统，比如 Gitlab 做仓库管理项目文件，想做 24×7 又不想太高功耗，有钱就上 SSD 当主仓库，笔记本热备，没钱老老实实 HDD 做 RAID ，这种文件也不会太多的。

话说 RAID 挂了恢复也很麻烦的好么？远不如定期直接硬盘拷贝做备份。

[mhycy]

@Explorare 我说的就是用 Gen8, 底层 Windows 2012 R2 配合 VMware Workstation 问题不大。
内存溢出蓝屏。。遇上重启就完了

[shijingshijing]

#r76 笔记本热备 -> 笔记本硬盘热备

[Explorare]

@shijingshijing 唔，谁知道呢，也许就是坏道。这类错误只有读取数据的时候才会发现，很头疼。

按我现在备份流程来说，如果有个 NAS 得话，每日备份就可以直接丢到 NAS 上而不用占用副硬盘的空间了，还原的时候也可以直接在 PE 中联网读取恢复。岂不美哉？现在总数据量大概不到 4T ，搞个 JBOD 那不就是再买块 4T 的外置硬盘么。倒是挺便宜就是了，感觉也不错，至少假装自己有冗余了。

ZFS 的恢复确实挺麻烦的。

[Explorare]

@mhycy 前两天疯狂内存溢出，最后也没找到是谁干的，现在只能每天重启一次凑合了。