准备存储 10 年以上的 NAS 硬盘方案?

158 天前
 paidahai

需求:

  1. 家庭 NAS ,主要存储摄像机的视频(占大头),想把孩子成长记录保存下来。还有就是手机相册、视频的备份等需求(小头)。
  2. 摄像头目前是小米 C700 ,只录制动态画面,平均每天产生 3.5G 视频数据,按照这个算一年 1277.5G ,就按照 1.5-2T 算吧。10 年大概需要 15-20T 的存储空间。
  3. 摄像头视频可以便捷同步到 NAS ,最好方便管理和在线查看。

做了一些调研,初步想法:

  1. 整体预算不超过 1w 。综合考虑群晖 923+,4 盘位,AMD 的 X86 也可以支持虚拟机和 docker (偶尔用)
  2. 硬盘还没想好,两个方案
  1. 硬盘价格就真看不懂,同样是 16T ,某东和某宝差距好大,差了一倍都不止,有啥猫腻吗……

大家觉得存储哪个存储方案合适?

12312 次点击
所在节点    NAS
112 条回复
paidahai
157 天前
@bs10081 感谢分享。考虑群晖主要也是套件比较丰富。Surveillance Station 还没用过,好像得摄像设备支持 RTSP 协议,ONVFI 协议才行。小米系列目前好像都不支持这两个协议。
paidahai
157 天前
@ohmyself 是的,摄像头视频每天同步一次 NAS ,其实对硬盘写频率很低。家庭场景,非工业视频监控。
Jokesy
157 天前
作为技术人员,可以考虑一下 阿里云和腾讯云的 oss 和 nas 。非推广,根据自己需求来定。
1 、归纳各个方案,列出优缺点
2 、根据实际情况三思而后行 ,选择最适合的方案
3 、开始实施
完美收工(能打的一个都没有
ruohai
157 天前
监控视频存储,没有高频 io 需求,没有必要用 raid ,不管是 raid5/raid6/raid10 ,无非是坏盘数量多少的问题,都存在一定数量的盘坏了以后数据全部 gg 的可能。

个人建议方案是用 unraid ,或者动手能力强的话自己搓 mergerfs + snapraid ,都是单盘存储据,可以每盘存一年的数据进行分类归档。坏盘数量可控时有校验盘可以恢复数据,坏盘数量不可控时至少好盘的数据还在。

另外就是老生常谈的 raid 不是备份,做不到 321 ,至少在云盘也做个备份。
fairytale
157 天前
@starinmars 不用 pb ,tb 就可以。2.5t 的磁带 40 元
Rendex
157 天前
@starinmars #11 LTO6 的磁带机是 1600 左右了,不过磁带需要每半年倒带一次,要是没有带库的话会比较麻烦。带库就要万把块了
valord577
157 天前
图片使用 heif 或者 avif 编码 视频用 hevc 或者 av1 编码 存储空间立省好几倍 反正是自建 格式兼容的 app 也是可以找得到的
saranz
157 天前
如果只是冷存储,那么有一个叫作光盘的东西应该很适合你的。

别看光盘被淘汰了,但是作为冷存储绝对是最优秀的介质。

所需要的是现在至少购入两套光盘读写设备(现在淘宝上还有得卖,也不贵。所以应该提前购买一套作为备用。)
光盘的购买,这个其实也不用购买太多。毕竟光盘这东西现在还是有一些商用的,比如医院的 CT 现在都是给光盘。所以先购入 3~5 盘就好。

外围设备就是一台电脑,随时将硬盘上的数据转入光盘。

缺点:需要时间整理以及不方便随时网络查看。
rainbowtrash2333
157 天前
可以考虑一下矿盘,小黄鱼 16T 矿盘 900 元,买 4 个,每两个组 raid1 ,问题也不大
lulugtxy
157 天前
敢赌一手 115 不倒闭,5800 左右的永 v+5pb 性价比还不错的
maizero
157 天前
刚好玩 NAS 超过 10 年,我的几个建议:
maizero
157 天前
习惯性 cmd+回车发送了,抱歉,接#31:
1. 用发展的眼光看问题,不要按照现在的需求和成本、可选技术路线进行方案定型,方案是会迭代的;
2. 这点需求,PC+U.2+HDD 过渡性存储+多副本备份,是王道。

理由:
1. 13 年玩 NAS ,第一台 DS412+,4 盘位,入的 WD 红盘,4TB*4 ,raid5 ( JD 入手);
2. 后来 18 年换 DS1817+,年底加了 DX517 做盘位扩充,升级到 8T 红盘。
发现的问题:
1. 所谓 WD 红盘,NAS 盘,属于智商税,以上这些 4T 、8T 的红盘,在白群晖+UPS+杭州很少断电的情况下,故障率很高;
2. 一劳永逸不现实,一开始 4 盘位,后来到 8 盘位,再到盘位扩展,其实需求是会增加的,可扩展性很重要。

到这时候,我还是 raid5 的忠实粉丝,但是有坑,虽然我没被 WD 红盘的故障+raid5 rebuild 害过,但是每次降级后的 rebuild 过程,我都胆战心惊,原因:

1. 盘几乎是同一批的,4 盘 raid5 、8 盘 raid5 ,在 rebuild 过程很有可能再挂一个;
2. 软 raid 的 rebuild 很漫长……因为是重新校验+读+写+软 raid 依赖 CPU 性能。

后来因为群晖性能一般,可扩展性的性价比不高,而且家里开始用万兆网络,威联通在做 2 个千兆链路聚合也效果不佳,局域网的同步速度非常差,原因:
1. HDD 本身读写就不快,8 盘 8T raid5 在 DS1817+之下,吃满千兆网络后,做链路聚合也没实现 X2 ;
2. 缺乏 SSD 做缓存,读写都是 8 个盘在咔咔转,很吵,虽然我那时候有书房。

我放弃了群晖入了威联通,原因:
1. QNAP 在功能上更专业,相对性价比更高,虽然软件 ui 很烂,和 dsm 不能比;
2. 我一步到位的买了当时最贵的 872XT ,价格 2w ,10 盘位( 8 个 3.5 sata ,2 个 m2 ),支持 pcie 、万兆、雷电 3 ,i5 的 u ;
3. QNAP 扩展很方便,USB-C 的 TL D800C ,或者 pcie+8088 线的 TL D800S ,随便就可以再加 16 个 3.5 sata 盘位。

这个时候我开始用 10T 及以上的企业盘,放弃 WD 红盘。
这时候我也知道希捷的酷狼是智商税。
于是希捷银河 10T 开始,到 16T 。
西数的 HC 系列,从 14T 、16T 、18T 、20T 、22T 。
东芝的 MG09 、MG10 系列,从 MG09 的 18T ,到 20T 。

但是同时为了解决噪音问题、内网万兆后的访问速度问题,我开始考虑 SSD ,一开始 872XT 的 M2 只是用来做读写缓存,后来我开始用 M.2 转 U.2 ,开始上 U.2 ,于是打开新世界大门。

U.2 是垃圾佬最爱,入坑后就回不了头,于是我入了 QNAP 的 9 盘位,其中 4 个 2.5 盘位分别支持 2 个 U.2 和 SATA 。
这时候软 raid5 的弊端开始浮现,我终于遇到 8 盘 raid5 出现 2 盘故障的 Case ,就发生在 872XT 上。

这是一个 16T*8 的 raid5 ,110 多 T 的数据,其中就包含了 OP 提到的:家庭监控小孩的视频数据。

这些数据的特点:
1. 持续,且量大;
2. 需要一个系统持续的写入,我用的是 QNAP 自带的软件+支持通用协议的摄像头。

这里我犯了个很大的错,就是数据没有做分类分级,并进行分卷管理,而是统一的用一个 8 盘 raid5 保存。
监控视频、个人照片、电影等全在这个阵列上。
我比较庆幸的是个人照片因为体积小,也就几个 T ,我做了额外的备份。
但是家庭视频因为量大,持续写入,我没做备份。

这一组 8 盘 raid5 出故障后,我请 QNAP 的工程师修复,无果,我只能无奈的把 8 个 18T dd 备份成镜像后,开始自学阵列的数据修复技术……
maizero
157 天前
这时候,我就意识到,白群晖、威联通的软 raid5 性能差,如果 7x24 小时,企业级的解决方案才是比较靠谱。
硬盘存储介质我 HDD 换成企业级的银河、HC 系列了,但是我的方案,还是一个家庭 NAS 方案,修复依赖官方方案,太被动了。
例如这一组 8 盘 raid5 ,其实有办法修复的,只不过 qnap 工程师只是在工具级别的范围内就放弃了。

于是我开始放弃群晖、QNAP ,考虑单盘模式+通用系统+多副本备份。

并且我吸取数据未分类分级的教训,我只有电影等可以接受丢失的数据,才考虑用 raid5 。

于是我采用了企业的硬盘柜+硬件阵列卡+普通 PC+Windows/Exsi ,作为我的方案。

这个方案的特点:
1. 硬件容易找,低功耗或高性能,都方便,属于 DIY 方案;
2. 对 HDD 、SSD ,以及企业级的 U.2 、硬件阵列卡,都很友好。

所以我现在就是一个低功耗的 PC+Windows+U.2 单盘模式存储 online +HDD 单盘备份重要数据 + HDD 阵列存储大容量非重要数据。

如果万一介质出现问题,HDD 的单盘模式+标准 NTFS/exfat/ext4 ,做数据恢复,都相对简单。
U.2 是数据中心级 SSD ,只要做好散热,是性价比只选,不过最近涨价了,但也比 M.2 好很多,寿命、速度都很牛,用来 online 最好不过,一般搞一个 7.68t 的就可以,很少人 online 超过 8t 吧?
esee
157 天前
家用存视频,真心不建议你用 raid5 ,万一坏 2 块等于全盘损毁,你应该没试过,坏了一块盘后重建修复过程四五天整个过程胆战心惊的体验,你可以了解下 unraid 的 冗余阵列,后期加盘扩容也比 raid5 方便,整个阵列风险也比 raid5 低,你是视频文件,就算最坏最坏的情况,损失一小部分视频保证大部分数据的完整,也是可以接受的。
maizero
157 天前
关于 HDD ,我不建议买 12 14T ,故障率相对高。
建议 10T 起步,不要考虑 8T ,因为我入坑企业级 HDD ,就是银河的 10T ,8T 的企业级 HDD 应该没新的了。
现在新的企业级 HDD ,一般 18T 起步,但是最近涨价了,行情看看 TB 。
银河、WD ,都差不多,HC550 比较普及。

我前年已经把 16T 淘汰完毕,去年 18T 淘汰完毕,今年在淘汰 20T ,数据都是持续的在倒腾到新的介质里,就回到我开始说的: 用持续发展的眼光,看你的解决方案。

如果你不希望折腾,有一个我也在用的方案:磁带机。

我搞了个别人做好的成品解决方案,LTO6 的淘汰磁带机+自己 3D 打印的盒子+卡+自己开发的支持 Mac 下雷电 3 的方案,好像是 4000 左右。

如果你爱折腾,LTO6+sas 卡的方案一套下来也就 1000 左右。

LTO6 2.5T 的磁带,一盘 40 左右。

磁带做好防高温、防尘防磁、防发霉,比 HDD 做冷备靠谱。——相机用的防尘、防霉的防潮箱就很好。

说光盘的……那是机压盘,自己刻录的,几年就读不出了,我大学用的最好的日产的光盘,包括三菱、索尼等,刻录的 CD-R ,DVD-R ,有很多都有问题了。
maizero
157 天前
@esee 没错,经过胆战心惊都知道这个过程。
maizero
157 天前
以上就是我作为一个玩 NAS 10 年,最后选择了 DAS 的个人玩家的心得啦,作为家里 PB 级数据的,都是血的教训:)
zzutmebwd
157 天前
nas 的未来是全闪,虽然目前固态硬盘价格在高位,但不出两年,必大跌,建议购买 nas 时提前考虑兼容 pcie 固态硬盘,同时,购买 2.5g 网口甚至全万兆网口,至少 5-10 年不落后。
至于 raid ,看储存内容的价值,目前我自己的内容是 raid1 ,文件、照片等,迅雷等下载内容是单盘。
zzutmebwd
157 天前
@zzutmebwd 如购买全闪 nas ,可分期部署,先上 2*4t ,待固态价格降低后再上 2*8t 。
SOSdanOffical
157 天前
前两个月有个大哥也想干这事,不知道干了没有。

不说孩子成长记录这种天天拍不剪辑跟流水账一样的东西,哪怕婚礼跟拍,有几个回头还把 dvd 拿出来看的,往柜子里一丢完事

所以“方便在线观看和管理”大概率是个伪需求,如果你一周或者一个月一剪辑还好,光拍不剪,最后就会沦为弃之可惜的数字垃圾

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1057086

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX