服务器是不是只要做了 RAID1 或者 RAID10,就不需要备份数据了?

2018-12-14 10:31:55 +08:00
 alwayshere

现在选择数据存储的独立服务器,数据大概有 15TB,文件夹有数百万个,有两种选择:

  1. 服务器多少块硬盘不重要,做 raid0 或者不做 raid,为了备份数据,rsync 时时同步到另外一台服务器上,这样做的话,感觉时时性满足不了需求,况且 rsync 遍历几百万个文件夹效率如何??我没试过
  2. 选择偶数块硬盘的独服,这样的话可以做 RAID1 或者 RAID10,即使其中一块盘坏了,也可以热插拔,数据和运营不会受到任何影响,这样做是不是更好?有什么风险和弊端?

上面这两种哪种方式最好?当然两者结合的话是最安全的,就是价钱有点不好看

8692 次点击
所在节点    程序员
53 条回复
qiyuey
2018-12-14 10:48:31 +08:00
可以考虑一下异地容灾
coreos
2018-12-14 10:51:09 +08:00
1.异地容灾是很有必要的
2.R1 R10 要么机房有人天天看灯,要么自己做报警,其它你见过在同步的时候另外一块硬盘也挂了么?哈哈哈
opengps
2018-12-14 10:52:01 +08:00
备份依然需要,raid 仅仅是对于硬盘损坏时候对数据的保障,万一你中毒被勒索加密,你多份硬盘上的文件也就是加密后的了。依然没法还原回滚。
定时快照是针对操作失误类“数据救援”的方案
huaxing0211
2018-12-14 10:52:41 +08:00
灾备啊!!!!
mhycy
2018-12-14 10:53:09 +08:00
服务器必须上 RAID,为的是不让磁盘损坏引起业务中断,R1 低配,R5 中配,最优 R6
备份的作用是防止逻辑意外(病毒 /程序 BUG/单比特错误等原因)导致数据不可用

意义不同,建议二者都上
另,rsync + inotify 可以触发式同步,实时性与资源消耗都还行,然而这并不是备份
(病毒 /bug 写入的异常数据会覆盖正常数据)
dot2017
2018-12-14 10:53:51 +08:00
RAID 只是能保证在硬件损坏时数据还能正常读取,以便最小化对业务影响及方便硬件更换,并不是备份的解决方案
xzc19970719
2018-12-14 10:55:56 +08:00
RAID 是用来备份硬件。。不是数据啊
lingll
2018-12-14 10:57:31 +08:00
备份是多维度的
1. 预防磁盘损坏, 做 raid, 楼主为什么不用 raid5,6? 然后多加一个热备盘
2. 预防机房天灾人祸, 异地容灾
3. 预防人为误操作,病毒删数据, 定时同步到别的存储
liprais
2018-12-14 10:57:40 +08:00
两码事
备份是备份,raid 是 raid
exonuclease
2018-12-14 10:58:46 +08:00
没用 删库两个一起删
CallMeReznov
2018-12-14 11:00:56 +08:00
看了标题,当年我也是那么像的,直到有一次阵列卡爆炸,阵列降级,然后向拉稀一样往我硬盘里提交根本不正确的数据.

类似的情况可以看 linus 他那自信的全 SSD R0 数据恢复实录,惊心动魄啊!
boris1993
2018-12-14 11:08:04 +08:00
不需要备份?老哥你胆大
推荐去看看#11 说的那个视频,给你压压惊
gy911201
2018-12-14 11:11:11 +08:00
raid 是高可用方案,不是备份方案,两者应当同时进行…………
备份得有,raid 也得有。
没有 raid,一旦硬盘出问题服务直接不可用了。
没有备份,数据有丢失风险……
likuku
2018-12-14 11:20:15 +08:00
存储不是备份!存储不是备份!存储不是备份!

重要的事情说 N 遍都不嫌多!

"备份设备应该比对线上生产设备更高的要求和重视,因为灾难发生,很可能备份就是你唯一的救命稻草"

即便你用上千万一套的 NetApp 存储也会遇到磁盘坏掉的状况(我遇到过),
更别说只是普通廉价的 RAID1 了(普通常见 RAID 只能保证底层 I/O 正确,才不管你存取的信息是否正确)。

可靠,经受定期备份恢复演习 的备份 才能称之为 “有效备份”,

君不见 最近两年 有国际大厂 分别有因为备份无效(Gitlib 事故) 和 有效备份 (Github 最近的事故) 事故时的不同嘛?!
CallMeReznov
2018-12-14 11:22:09 +08:00
@likuku 远的 GOOGLE 音乐出过一次比较大的事物,是业务 BUG 导致,最近的话就是腾讯云
annielong
2018-12-14 11:24:01 +08:00
一定是要有效备份,曾经遇到过,以为天天备份没问题,结果发现有问题恢复数据的时候发现备份是错误的,无法恢复
mchong
2018-12-14 11:33:00 +08:00
如果你遇到过 raid1 两块盘同时坏的情况就不会这么做了。而且大容量的硬盘在阵列同步过程中有很大几率损坏。我们公司的服务器 5*600G raid6,外加一块热备。上次坏了一块盘,更换后重建,重建过程中又坏了一块。再换。再次重建过程中又坏了一块。真是个悲伤的故事。。
likuku
2018-12-14 11:33:32 +08:00
另外:

“服务器多少块硬盘不重要,做 raid0 或者不做 raid,为了备份数据,rsync 时时同步到另外一台服务器上,这样做的话,感觉时时性满足不了需求,况且 rsync 遍历几百万个文件夹效率如何??我没试过”

# 你知道有种技术叫 快照 嘛?公有云端弹性存储基本都有这功能 。
高级的 FS (ZFS,Btrfs)有 snapshot 功能,生成 snapshot 指令瞬间执行完毕,就是瞬间凝固成一个独立平行宇宙,
之后就可以(异步 /后台)把 snapshot 发送到备份存储(至少 ZFS 可以,当然是差异化发送,并可压缩传输)
或者(异步 /后台)原始点让备份程序 /rsync 把 snapshot 版本的 FS 同步到你备份存储上

存储 和 应用 分离是更好作法,早年我们传统作法是:
多个应用服务器 /web 通过 NFS 去存取 专用的 存储服务器 or NetApp 这种专业存储设备(原生有 NFS,iSCSI 服务),
存储服务器自己有快照 /透明压缩 /重复数据删除 等功能。

最后,几百万文件夹又能怎样? rsync 也就初次会因为全部文件传输一遍会慢,再之后都是超高效差异化比对传输。
likuku
2018-12-14 11:38:41 +08:00
@CallMeReznov 想起秋天也在 twitter 上讨论数据备份策略,提到有钱 /必须时,还得作 跨洋备份,
甚至希望能在 太空 /月球 /火星 上建立备份数据中心,结果有某国际一线大厂推油立即回复,说他们一直是有跨大洋备份。(星际备份?暂时是个梦)

想想能记得的最近一些新闻:强烈地震大规模海啸,核灾,大范围山林大火,跨洋备份必要,尤其是全球性企业。
likuku
2018-12-14 11:46:50 +08:00
"就是价钱有点不好看"...

LZ 记得你们是作商业图片业务的,想想你们的生意命脉核心:图片存储的可靠性

要是数据丢了,卖什么去?还做什么生意?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/517442

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX