V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
MakeItGreat
V2EX  ›  问与答

如何确保自己网盘的文件是没有损坏的?

  •  
  •   MakeItGreat · 2021-07-29 14:19:07 +08:00 via Android · 2532 次点击
    这是一个创建于 1242 天前的主题,其中的信息可能已经有所发展或是发生改变。
    背景:Dropbox 付费,一万到十万个文件
    如何确保一个文件在很久之后没有损坏或者丢失
    损坏的可能来源:某个软件或者脚本修改了某个文件,物理损坏
    损坏的后果:在 Dropbox 提供的回滚过期之后,文件彻底损坏
    目前的思路?
    1.定时备份,扔到不同 oss 保存一年以及更久
    2.定期对全部文件 hash 计算,进行核对

    虚心请教各位还有没有更好的办法?
    如果这个问题是杞人忧天,也请大家指出
    谢谢各位!
    21 条回复    2021-07-31 16:03:54 +08:00
    delectate
        1
    delectate  
       2021-07-29 20:24:36 +08:00   ❤️ 1
    文件列表核查+md5 定期抽检+重点文件异地容灾多重备份
    akira
        2
    akira  
       2021-07-29 21:38:13 +08:00
    你不动他也是有概率损坏的。
    找另外一家存储服务也备份一份 基本上就没问题了
    ynyounuo
        3
    ynyounuo  
       2021-07-30 07:20:52 +08:00 via iPhone
    买一个远古 Dropbox 付费账号,享受无限文件回滚
    ruixue
        4
    ruixue  
       2021-07-30 08:55:08 +08:00   ❤️ 1
    愿意牺牲方便性(如在线预览、同步修改)的话,WinRAR 打包并添加恢复记录

    压缩包自带所有文件的 hash,解压时会校验,不一致会报错

    恢复记录使用 Reed-Solomon 纠错码,可以在损坏不严重的情况下重建数据

    https://documentation.help/WinRAR-zh/HELPArcRecovery.htm
    MaverickLee
        5
    MaverickLee  
       2021-07-30 09:07:16 +08:00
    用 MlutiPar 创建 Par2 恢复档
    Kagari
        6
    Kagari  
       2021-07-30 09:27:05 +08:00 via Android
    用 rclone 的 hash 校验
    sagaxu
        7
    sagaxu  
       2021-07-30 09:27:39 +08:00 via Android
    阿里云 OSS 三副本,加上跨区域备份,除非自己误操作,损坏的概率极低
    3dwelcome
        8
    3dwelcome  
       2021-07-30 09:36:45 +08:00
    @ruixue WinRar 加恢复卷打包,是国内特色,早期百度网盘有下载错误搞起来的。

    但是国外的网盘,正常都不存 SSD,都是存大容量机械硬盘,要坏就是一大片资料丢失,很少会存在只损坏个别字节的现象。

    加 hash 完全够了,加 RS 纠错码就是心理安慰。
    matrix67
        9
    matrix67  
       2021-07-30 09:37:41 +08:00
    备份的时候记录 hash
    存 2 份(或者 3 份)
    SuperMild
        10
    SuperMild  
       2021-07-30 09:40:05 +08:00
    如果文件不多,定期备份到 OSS 就蛮好的,OSS 有多副本。我自己不信任云服务商,所以自己做本地备份,备份到另一个硬盘,定期校验 hash 。
    745839
        11
    745839  
       2021-07-30 09:48:52 +08:00
    你们都备份些啥这么多文件
    yinxiangbiji
        12
    yinxiangbiji  
       2021-07-30 09:53:03 +08:00
    损坏就坏了呗
    efaun
        13
    efaun  
       2021-07-30 10:43:36 +08:00
    @yinxiangbiji #11 +1,传到网上坏了就坏了,真要保险自己组 RAID
    learningman
        14
    learningman  
       2021-07-30 10:45:55 +08:00 via Android   ❤️ 1
    @745839 node_modules (不是)
    koor
        15
    koor  
       2021-07-30 11:22:13 +08:00   ❤️ 1
    几年前传到百度网盘的照片,已经有好几张打不开了
    zxCoder
        16
    zxCoder  
       2021-07-30 11:26:38 +08:00
    备份
    msg7086
        17
    msg7086  
       2021-07-30 11:27:14 +08:00
    RAR 5% 恢复记录。
    neteroster
        18
    neteroster  
       2021-07-30 11:29:11 +08:00
    你方法没啥问题,就是备份 + hash
    Kagari
        19
    Kagari  
       2021-07-31 10:20:09 +08:00
    重新看了主楼,原来还没到这一步
    但是系统该如何判断这个操作是否为正常操作呢?就像加密勒索软件那样
    lz 可以用额外带增量备份的软件来备份,比如 restic 、duplicati
    然后才会遇到下一个问题:文件在上传的过程中损坏了怎么办
    wanguorui123
        20
    wanguorui123  
       2021-07-31 14:15:48 +08:00 via iPhone
    定期 HASH
    Ariver
        21
    Ariver  
       2021-07-31 16:03:54 +08:00 via iPhone
    goodsync ?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   948 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 22:47 · PVG 06:47 · LAX 14:47 · JFK 17:47
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.