请问如何方便地避免:大文件夹拷贝后,部分文件损坏

2022-09-24 12:30:36 +08:00
 lingaolc

问题:通过 Microsoft Remote Desktop 传输大文件夹( 1TB 至 10TB 量级),或者电脑外接硬盘盒、经过电脑复制粘贴大文件夹,都分别试过文件夹里的部分文件损坏,想请教(1)如何避免这种情况发生?(2)为什么会发生这种情况?

背景:单纯家用,暂时数据量 20TB 左右,现有设备均是普通 DIY 台式机,存在异地数据同步的需求。我个人遇到这种文件损坏情况的频率大概是 5 年内 1 至 2 次,虽然频率低,但是因为刚开始没发现,导致备份副本也只保存了损坏后的数据,部分家庭旅游照片找不回来了,觉得挺可惜,因此想彻底解决这个问题。

暂时考虑的解决方法:

  1. 先压缩再传输、解压,这样可以第一时间发现压缩包损坏,不至于一两年后才发现文件夹中的部分文件出现问题(对于定期增量备份而言略麻烦);
  2. 每次传输完,手动与源文件夹做一次文件一致性比较(也稍稍有点麻烦);
  3. 用 ECC 内存(不知道能不能彻底解决以上问题,如果可以的话,相对前两种方法更简便一些)。
2011 次点击
所在节点    问与答
14 条回复
processzzp
2022-09-24 12:48:18 +08:00
使用 FastCopy 复制,勾选“校验”
(最好去设置里把校验算法改成 xxHash ,速度更快)

https://mapaler.github.io/FastCopy-M/
https://fastcopy.jp/
7zlid
2022-09-24 12:48:33 +08:00
用 resilio sync 和 good sync 这种软件同步?

硬件方面 Ecc 有很小的作用吧,比较重要的硬盘得有好几个,避免相互污染
wxf666
2022-09-24 12:52:24 +08:00
感觉 WinRAR 的恢复记录功能,会对你有帮助(如果不想压缩一遍再添加恢复记录,可用类似的独立功能软件,如 MultiPar )

如,设定生成 3% 的恢复记录,允许你出错最多不超过 3% 的情况下,恢复原文件

既能帮你验证文件,又能修补你说的复制出错,还能一定程度预防存储出错(当然,肯定多份备份更好)
lingaolc
2022-09-24 12:59:29 +08:00
@processzzp 谢谢!自带校验确实方便一些,我看看有没有跨平台的类似软件
lingaolc
2022-09-24 13:02:52 +08:00
@7zlid 谢谢!同步软件主要担心出 bug 把原始文件也干掉了,我看看单向同步会不会安全些
lingaolc
2022-09-24 13:04:02 +08:00
@wxf666 谢谢!我才知道 WinRAR 有这样的功能!!我试试
szzhiyang
2022-09-24 14:50:07 +08:00
rclone sync
systemcall
2022-09-24 15:03:06 +08:00
rsync 之类的方法
要是不怕运营商偷隐私,并且至少一边 nat1 或者都有 ipv6 ,可以用 bt 软件来传输文件
选择要传输的文件,选择生成 torrent ,再在另一边下载这个 torrent 。传输过程中间遇到来嗅探数据的用户直接屏蔽掉
makelove
2022-09-24 15:25:32 +08:00
防止备份文件因为硬件原因坏了些字节不能用的方法就是加恢复记录,上面说的 rar 当然可以,也有些开源软件可以干,比如 https://www.thanassis.space/rsbep.html
610915518
2022-09-24 15:41:15 +08:00
rsync ,不仅可以 copy ,还可以增量同步。

windows 安装教程 https://acbetter.com/posts/use-rsync-by-git-bash-on-windows/
Xusually
2022-09-24 17:14:32 +08:00
rsync 简单好用
totoro625
2022-09-24 17:23:03 +08:00
推荐用 TeraCopy ,免费软件: https://codesector.com/downloads

可以快捷生成选中文件的 md5 值,并自动生成一个 checksum.md5 文件,需要校验的时候双击这个文件就会自动校验上次生成 md5 的文件有没有更改 /删除
flynaj
2022-09-25 01:16:06 +08:00
我用的 totalcmd,直接生成校验文件,也可以用同步软件 syncthing 这类的, 还有避开 USB 传输可以大幅降低出差概率
lingaolc
2022-09-25 09:33:57 +08:00
@szzhiyang
@systemcall
@makelove
@610915518
@Xusually
@totoro625
@flynaj

谢谢各位~我逐个试试,我才知道原来有这么多种方法

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/882604

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX