对于接近百万数量的零碎小文件的多机备份和单/双向同步有啥好方案没

2015-04-06 17:42:43 +08:00
 wangluowangwang

环境是Windows Server,要求如下:

1 服务器多硬盘 主备 不同硬盘间双向实时同步备份
2 与其他备份服务器定时或者实时数据同步
3 不能占用大量IO资源

目前遇到问题如下:
1.大多数备份软件对于此数量级别的,要么吃满所有IO资源,要么根本无法对这些级别的文件进行备份(包括遗漏/同名文件修改后还是当成旧文件)。
2.不支持多机备份。

有什么好的方案没

8893 次点击
所在节点    DevOps
21 条回复
Admstor
2015-04-08 09:24:20 +08:00
@msg7086
第一条只是针对楼主要求而言,你对我说这些没有意义
第二条楼主已经文件量大了,这种情况下零碎文件传输造成的损耗远大于打包损耗
第三条如果要求不严格确实不用全部读取,只对比文件时间和大小,但是百万级别依旧是非常消耗io的,这个则取决于业务情况,例如是重要数据,不hansh就同步那是不可能接受的
==============
块级优势在于业务无关性,备份同步异地等等全部丢给存储来解决,线上业务无需关注这些
这对有钱,同样不擅长自己做方案的公司很适合

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/181915

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX