V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
FenixVu
V2EX  ›  Linux

百万数量级小文件迁移怎么做?

  •  
  •   FenixVu · 143 天前 · 2848 次点击
    这是一个创建于 143 天前的主题,其中的信息可能已经有所发展或是发生改变。
    服务器上有 3 个 t 的数据大概由百万级别数量的小文件构成,现在挂了一个 5 个 t 的硬盘想把 3 个 t 的数据备份到硬盘上有啥好方法么 cp mv rsync tar 都试过了 不太好使
    29 条回复    2021-06-10 09:25:51 +08:00
    wtfcworld
        1
    wtfcworld   143 天前
    dd ?
    AoEiuV020
        2
    AoEiuV020   143 天前
    ghost?
    或者整个硬盘 dd 过去再 resize 分区,
    liprais
        3
    liprais   143 天前
    tar
    doyel
        4
    doyel   143 天前
    dd 最快
    hulala1021
        5
    hulala1021   143 天前
    rsync 应该没问题诶,我现在同步上百万的文件,没啥问题
    不过我是从无到有增量同步的,不是一下字有上百万文件
    westoy
        6
    westoy   143 天前
    dd 到新硬盘, 再 resize2fs 扩容
    lerry
        7
    lerry   143 天前
    硬盘快照,具体要看是什么文件系统
    mingl0280
        8
    mingl0280   143 天前 via Android
    partclone 好。
    liuguangxuan
        9
    liuguangxuan   143 天前 via Android
    rsync 会碰到什么问题?
    kokutou
        10
    kokutou   142 天前 via Android
    先看看你的 5t 硬盘是不是叠瓦。。。

    挂着不管放机房拷几天也就拷完了。
    FenixVu
        11
    FenixVu   142 天前
    @kokutou 是个希捷的移动硬盘
    我刚才才想到 需不需要 重新格式化成 ext4 在挂载拷贝
    默认的应该是 ntfs
    kokutou
        12
    kokutou   142 天前
    @FenixVu #11
    十有八九是叠瓦
    aloxaf
        13
    aloxaf   142 天前
    @FenixVu #11
    建议格式化,ntfs-3g 是基于 fuse 的,性能不是很高,而你这有 3T 数据……、
    虽然有公司开源了一个 ntfs 的内核模块,但没有刚需的话还是建议格式化省事儿
    heguangyu5
        14
    heguangyu5   142 天前
    机械硬盘的话试试这个 https://github.com/heguangyu5/qtar

    原理就是先给要 copy 的文件排序,让接下来 tar 读取文件时尽可能少地移动磁头什么的,时间有点久记不清楚了.

    我们用这个工具迁移了千万数量级小文件,比简单的 cp 什么地快很多.
    Variazioni
        15
    Variazioni   142 天前
    @wtfcworld 不懂就问。。dd 是什么。。。
    MarkLeeyun
        17
    MarkLeeyun   142 天前
    rm -rf .* 最快,哈哈。
    wangkun025
        18
    wangkun025   142 天前
    dd: Copy and convert (called dd because cc is already in use by C compiler)
    wangkun025
        19
    wangkun025   142 天前
    @MarkLeeyun 差评
    iphoneXr
        20
    iphoneXr   142 天前
    只要是涉及到大量文件迁移备份和同步的 统一推荐使用开源软件 rclone 自带校验比对和状态输出。
    上面很多人回复都是没实践过,瞎扯淡。
    AoEiuV020
        21
    AoEiuV020   142 天前
    @iphoneXr 本来就很慢了,再校验一下岂不是更慢了,一般硬盘对拷也不会出错,不需要这种东西吧,
    而且看了下官网也没提 dd 之类的,竞品只是 rsync, cp,怎么到你这里好像都能吊打 dd 了似的,
    X0ray
        22
    X0ray   142 天前
    请问下楼主 cp / mv 哪里不好了
    wzq001
        23
    wzq001   142 天前
    wzq001
        24
    wzq001   142 天前
    [sudo] password for root:

    @MarkLeeyun
    newmlp
        25
    newmlp   142 天前
    当然是硬盘对拷最快
    msg7086
        26
    msg7086   141 天前
    叠瓦盘拷 3T 小文件可以拷一年……
    FenixVu
        27
    FenixVu   141 天前
    @X0ray 我预估了下我这边估计 3000w 左右的文件个数 刚开始还好后面就夯死了,考一会歇半天
    maxbon
        28
    maxbon   141 天前
    试试 unison,之前百万级别的文件用这个效率还行
    FenixVu
        29
    FenixVu   135 天前
    @heguangyu5 谢谢老哥用你推荐的方法 成功了
    关于   ·   帮助文档   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1700 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 19ms · UTC 16:57 · PVG 00:57 · LAX 09:57 · JFK 12:57
    ♥ Do have faith in what you're doing.