[日经] 关于数据备份

2017-03-08 23:11:14 +08:00
 Explorare

虽然最近在 V2EX 和 Slashdot 上都有相关讨论,本地存储和云存储的选择,备份方案的选择。

我的主硬盘 167GB 容量,实际已用 147GB ,用来存放系统和工作目录,副硬盘 698GB 剩下 200GB ,用来存放下载内容、常用资料、每日备份、音乐专辑、本子,外置硬盘 4TB 剩下 1TB ,用来放每日备份的备份,不常用的资料、数据、本子。看起来够用,但问题是很多数据都只有一份,比如外置硬盘有部分已经转码放到 WALKMAN 的专辑,一些不常用的资料、照片。每日备份中完整备份占 100GB ,增量备份一般是 2GB 左右,七天一个循环,每周光备份文件就有 120GB ,备份文件我至少会保存一个月。

所以问题来了,虽然我也经常推荐别人 Amazon Glacier ,但今天实际算了一下价格还是有点心疼,就算 3TB 数据, 0.004 USB/GB,mon ,一个月就要 12.29 刀,一年下来大约 150 刀,足够买一块 4TB 的 backup plus 了。但和 Glacier 相比,本地软件镜像和 RAID 的稳定性明显不行,比如突然断电、碰开数据线、怕是会掉数据,而且最怕坏道、比特翻转的问题,不容易发现。(虽然概率很低就是了)。

如果买 Gen8 组 ZFS ,本体 2k CNY , HGST 4TB HDD *4 大约 5k CNY ,然后还要算上两条 8GB 的 ECC 内存,最少也要一千二,才能组一个完整的 ZFS 存储伺服器,成本高出很多了。

看起来 Glacier 确实挺便宜的,但有个问题,上传带宽不够。一个月前我办宽带买的 50Mbps 联通,当时测速双向 50Mbps ,很稳定。上周再测发现上行已经被限制到了 10Mbps ,实际速度 1.25MBps ,我这 3TB 的数据得用 700hr 才能完成上传,大约一个月,如果日常生成 100GB 备份得话得 23hr 才能完成上传,一整天啊,第二天的备份都要出来了。 Gen8 则自带两个千兆口,带宽是广域网的 100 倍,同步能瞬间完成。

结果这样算下来就进入两难境地,本地 NAS 的购入、维护成本高,稳定性不及 Glacier ,毕竟没有异地容灾,没有 UPS ,但数据交换速度更快是个优点。


想到这个问题是因为今天用 VeraCrypt 备份 4TB 的外置硬盘时遇到错误,报错部分扇区读取失败,最后选择了用 0 覆盖,后来报告说覆盖了 4KB 的数据。整个备份过程耗时 45hr ,期间不能断开连接,否则所有数据无法找回。现在提心吊胆中,不知道还会有多少数据会读取失败然后用 0 覆盖。

至于为什么要加密外置硬盘?我怕我硬盘被别人发现全是大姐姐和本子你能信?

5306 次点击
所在节点    问与答
99 条回复
pubby
2017-03-09 12:31:37 +08:00
@Explorare 四盘位的话,可以先两个硬盘组 mirror 。以后扩容再往 pool 里加入一组 mirror 就行。再不够就换更大硬盘一个个替换。

四盘位一步到位的话读写性能会提高
Explorare
2017-03-09 12:37:04 +08:00
@pubby 我是考虑没那么大地方放 2U 或者塔式, MicroServer 大小就合适, 4 盘位用 3T*4 或 4T*4 组 Z2 就不用折腾了, 2 盘位容错性一般。
Sh888
2017-03-09 12:42:56 +08:00
国内网络这个上传速度用不了云备份吧?纯备份用移动硬盘和 windows 备份工具就好了。既想备份,又像直接看个电影什么的,买个 arm 架构的 nas 也可以,直接备份到网络路径。
pubby
2017-03-09 12:43:48 +08:00
@Explorare 不建议 z2 ,读性能貌似不理想

3x 4TB, raidz1 (raid5), 7.5 TB, w=225MB/s , rw=56MB/s , r=619MB/s
4x 4TB, 2 striped mirrors, 7.5 TB, w=226MB/s , rw=53MB/s , r=644MB/s
4x 4TB, raidz2 (raid6), 7.5 TB, w=204MB/s , rw=54MB/s , r=183MB/s

https://calomel.org/zfs_raid_speed_capacity.html
Sh888
2017-03-09 12:44:44 +08:00
移动硬盘加密备份用 bitlock 和 windows 自带的备份工具不就可以么?
Explorare
2017-03-09 12:53:44 +08:00
@Sh888 比如群晖?那玩意性价比还不如 Gen8 。
Explorare
2017-03-09 12:54:51 +08:00
@Sh888 Bitlocker 跨平台性不行,手上没有可以解 Bitlocker 的 PE , Linux 就更不用说了。 VeraCrypt 可以免安装运行在 PE 中。
Explorare
2017-03-09 12:55:43 +08:00
@pubby 唔,看来得好好权衡一下了。多谢指点。
Sh888
2017-03-09 13:04:30 +08:00
@Explorare 性价比要根据你的需求来,你说的是不是 HP Gen8 ?这个好像是 x86 架构的,功耗竟然要 150W......我是觉得 arm 架构的 nas 就可以了。反正只有存储和下载需求,看片解码都是在客户端完成的。双盘位 arm 架构的 1000 元都不到,我用着感觉挺好。
Explorare
2017-03-09 13:07:28 +08:00
@Sh888 有道理。你用的哪个型号?
Sh888
2017-03-09 13:08:26 +08:00
@Explorare qnap ts-212p
mhycy
2017-03-09 13:09:40 +08:00
@Sh888
那是电源的额定功率,实际上大概 50W 吧,满载就不清楚了
ARM 性能不行,做文件存储数据都走 CPU ,对性能还是有要求的
cnZary
2017-03-09 13:40:12 +08:00
@Explorare 数据完整性是文件系统干的事情和 raid 无关
d4rkb1ue
2017-03-09 14:09:33 +08:00
我觉得这么高的需求(又要性能,又追求性价比),不如自己配一台 itx 主机好了,我不懂大家默认都选择 gen8 为啥。双系统 黑裙 win server 随便搞, 1/2 块 pci-e ssd ,用来做虚拟机也是爽爽的。内存没那么贵, CPU 机箱显卡( AI/ML )随需求随意定制(赢在兼容性啊),任何部件随意升级,数据稳定性靠 RAID 0 呗。这样成本很低。最后余下来的钱还能买了一块外置 4TB/8TB 移动硬盘,日常按周按月备份(异地容灾了哈哈)。觉得不够专业,就买很贵的机箱,一下子就专业起来了。
honeycomb
2017-03-09 14:32:06 +08:00
@Sh888
150w/200w 是 gen8 micro 的电源适配器的额定功率。

运行功耗视 CPU ,内存,硬盘数量, pci-e 卡的配置与实际负载有关。

如果需要更低功耗的 x86 ,就要考虑 Apollo lake 的 atom 了。华擎有一个搭载了 j4205 的 itx 板子( 4 个 sata , 1 个 m.2 ,不支持 ecc 内存)。

@d4rkb1ue
是的,如果要 ecc 还可以用 c23x 芯片组
Sh888
2017-03-09 14:57:34 +08:00
@Explorare 对了,如果 nas 硬盘加密是硬需求,那么就只能用 x86 架构的型号了, qnap arm 架构的都不支持。

@mhycy 如果是个人使用的话,性能应该不是问题吧。我备份的时候能达到 65MB/s 左右的速度,基本上就是我这个机械硬盘的最快的速度了。

@honeycomb 我用的这个型号的功耗为:休眠模式: 6W 運行中: 13W (含 2 顆 500GB 硬碟)
mhycy
2017-03-09 15:34:12 +08:00
@Sh888 我还没试过,感觉 ARM 跑 BTRFS/ZFS 速度会不行,毕竟运算量巨大,裸 RAID 应该没啥,跑满 CPU 只做转发
Explorare
2017-03-09 16:24:34 +08:00
@d4rkb1ue RAID 0 不但不能增加容错率,反而会降低。 Gen8 主板支持 ECC ,有阵列卡,自带 iLO ,有千兆网口,求问如果要求同样功能配一台兼容 itx 主机需要多少成本呢?纯粹好奇,嘲讽意思。不玩串流和直通得话不需要显卡的, Gen8 自带亮机 iLo 。
Explorare
2017-03-09 16:27:39 +08:00
@Sh888 我是希望能够支持加密的,这样就能放心的把一些重要文件的扫描件保存进去了。备份的话我希望能压榨出 SSD 的读取、备份速度,目前受 副硬盘 70MBps 的写入上限,不清楚如果走千兆网,能否跑满千兆带宽 125MBps ,个人估计没啥问题。
Quaintjade
2017-03-09 16:29:38 +08:00
@helloccav
http://liangzan.net/aws-glacier-calculator/
你可以算算看 1TB 数据在 72 小时、 24 小时、 4 小时内取回的价格

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/345996

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX