网站内容备份, 7T 大小的文件,怎样时时同步到 4 台 2T 的服务器中?

2018-08-07 13:36:35 +08:00
 alwayshere

这两天因为某云的事情吓着了,而且我是三块硬盘做 RAID0 (笑哭脸~),现在准备把网站 7 个 T 大小的文件,想时时同步到 4 台 2T 的服务器中,几十万个文件夹三级嵌套在一个超大文件夹中,路径如 static/123/345/456/blahblah.jpg ,想实现主服务器删除一个文件,备份服务器也马上自动删除该文件,主服务器新增一个文件,备份服务器也马上同步增加该文件,这样即使主服务器挂了,备份服务器可以第一时间被调度冲上前线扛起任务。因为还没有 8T 大小的服务器,只能同步到 4 台 2T 大小的服务器,怎么实现最好?

4430 次点击
所在节点    程序员
34 条回复
huangzxx
2018-08-07 15:53:08 +08:00
试试 lsync 可以满足你功能,但性能得测一下。
用最新版本: https://github.com/axkibe/lsyncd
zwy100e72
2018-08-07 18:13:50 +08:00
网上一个 YouTube 主播说,企业资料你至少有 3 个独立备份才能保证一定的可靠性,要想保证高可靠性至少要备份 5 份。楼主扩容吧,单台机器扩容到 10T 就好了😅

如果你当前文件分布还算均匀的话,可以考虑在 2T 的备份服务器上设置 rsync ;不过热数据还是建议分开备份
likuku
2018-08-07 21:03:17 +08:00
这...不是备份啊,兄弟。

你这只算是增加了一个备用节点,根本不算是“备份”。
likuku
2018-08-07 21:09:59 +08:00
实时完全同步这么玩,即便是当作不用上线的”备份“,也是很危险。

在线机器误操作删除了呢?所谓 备份机 也同步删除了,你怎么办?

在一定周期内给独立备份只增不删,这样你才更有机会找回你意外丢失的数据,定期清理陈旧备份(合理备份策略:比如备份机上每天一个增量快照 /版本,保留最近 7 天的每日备份,7 天以上,30 天以内的,保留每周日的备份,30 天以上,180 天以内,保留每月第一个周日的备份)
likuku
2018-08-07 21:11:16 +08:00
“三块硬盘做 RAID0 ” ... 很罕见的自杀行为...
ndd200
2018-08-07 21:32:30 +08:00
硬要做实时,开销可能比较大,实现也麻烦,24 楼的想法其实挺好的。
如果不考虑费用,可以同时往阿里 /腾讯的云存储丢一份,我记得他们有一种存储方案是低访问模式(具体名称记不清了,只存不取费用便宜),两家同时挂掉怕是要互联网地震了。
opengps
2018-08-07 22:14:12 +08:00
raid0 存在的目的:
1,拼凑最大存储量
2,大块读写速度提升
3,让不做备份的后悔到死
tetsai
2018-08-07 22:31:36 +08:00
服务器删除,备份也删除,这个做法并不是很好,删除后应该继续转移到冷备份服务器保留 XX 份
wangking
2018-08-07 22:40:56 +08:00
@my3157 s3 貌似存储不要钱,流量要钱吧
my3157
2018-08-08 01:05:15 +08:00
@wangking #29 收费的, 对象存储一般上传流量不收费, 下载和存储都收费,
bryant183
2018-08-08 06:28:54 +08:00
楼主网站是“王”网? 2333
msg7086
2018-08-08 07:58:13 +08:00
1. 随时同步不算备份,算冗余。请另外做备份方案。
2. 多台服务器合并空间可以考虑 GlusterFS 之类的方案。
aiseo
2018-08-08 08:48:55 +08:00
我是定期备份回本地群晖,同时备份到其他机房
群晖是 raid5+本版资源管理,本地定期冷备
realpg
2018-08-08 08:50:05 +08:00
RAID0 看哭了……

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/477587

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX