几百万个文件,如何压缩备份?(此前备份的历史文件解压各种出错)

2017-12-19 10:03:51 +08:00
 kingmo888

RT,

历史上(1 年前)压缩为 7Z 格式,然后把源文件(当时已无用)删掉了。

后来有了一些增量数据,同时发现历史数据里有些文件是缺失的,已经将缺失的文件补充好。

同时,把历史 7Z 压缩包解压时,各种提示错误,出错导致文件数大约 24 万个,废了好多天的时间导出找朋友帮忙重新补充好,

现在,我想把这几百万个整理好的文件打包备份一下,有无比较好的方式?谢谢。

补充:单个文件几 K 到一二百 K,总体压缩前体积大小 800G 左右。 目录深度:4 层

2362 次点击
所在节点    问与答
10 条回复
kingmo888
2017-12-19 10:04:36 +08:00
补充:单个文件几 K 到一二百 K,总体压缩前体积大小 800G 左右。
nfroot
2017-12-19 11:10:36 +08:00
WINRAR 可以添加“恢复记录”,提高文件损坏后恢复的可能。

建议:分开打包,定时存到其他机器或者大网盘,几百 G 的单个文件也太难维护了。
goodryb
2017-12-19 11:34:36 +08:00
如果是服务器,一般是用 tar 打包然后再压缩,
1、本地备份,找台服务器做 raid,然后复制过去保存即可
2、云备份,现在云厂商基本都提供云存储服务,而且都有冷备份更便宜,800G 要不了多少钱


如果是个人的一些文件,建议直接移动硬盘备份,800G 就 1 块硬盘的事情,不放心了再加一块
压缩参考 2 楼,或者就不要压缩,以免出问题
firefox12
2017-12-19 13:26:05 +08:00
7z 文件出错? 没有遇到过,应该检查你的磁盘,以及是不是其他程序修改过 7z 文件
FFLY
2017-12-19 13:29:26 +08:00
这种大压缩包,WinRAR+RR 吧,RAR5 压缩率现在也不低,7Z 功能性上还是不如 RAR 的。
chinni
2017-12-19 14:08:40 +08:00
www.hasbackup.com 这个可以考虑
jingniao
2017-12-19 14:13:18 +08:00
磁盘出问题的概率更大……
greatbody
2017-12-20 00:15:22 +08:00
备份后生产的文件都不检查下是不是 ok 的么

gitlab 备份失效的教训不要太远。
kingmo888
2017-12-21 09:03:26 +08:00
感谢楼上各位。

@greatbody 请问,压缩为 rar 之后,打开 rar 做一下测试,如果没有问题,是不是就没有问题了?
greatbody
2017-12-21 09:38:24 +08:00
@kingmo888 copy to a hard disk and try to unzip see if the result is expected. If so,you can at lease make sure that your rar file is built successfully.

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/415879

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX