接近 1.8T 的含有大量小文件的数据备份方案

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 687 天前的主题，其中的信息可能已经有所发展或是发生改变。

现在有个 2T 盘，接近有 1.8T 的数据，里面有大量小文件。现在想备份到一个 4T 的盘上去。因为是小文件，所以我倾向于直接使用 dd 命令克隆整个分区到 4T 。后续可能要使用工具或者命令增大这个分区。因为克隆上去，可能分区信息是 2T 盘的信息.将来使用 rsync 同步后面 2T 盘的数据变化。但问题是现在 4T 的盘上也有接近１.5T 的数据。现在只能先把这 4T 盘里面的 1.5T 数据搬运到别处吗？等备份完 2T 盘里面的数据再搬回来吗？

1.8t

备份

数据

克隆

6 条回复 • 2023-01-11 07:26:40 +08:00

ZRS

2023-01-10 13:50:14 +08:00 via iPhone

用 zfs send / recv

novolunt

2023-01-10 14:53:06 +08:00

小文件要用谷歌的 cdc-rsync 服务去同步，比 rsync 快很多
https://github.com/google/cdc-file-transfer

如果不在乎速度，还打算备份成一个压缩包，可以使用
zstd -14 -T4 -r /opt -o a.zst
如果是远程备份
slave=1.1.1.1 #做好免密登陆
zstd -14 -T0 -r /opt -c | ssh $slave "cat > pkg_file. tgz "

youzi0516

2023-01-10 14:55:18 +08:00

这点数据 rsync 足以

kokutou

2023-01-10 15:38:34 +08:00 via Android

4t 分区缩小，搞个 2t 的出来再 dd 。。。

不过有的分区格式缩小就炸了。。。

huangya

2023-01-10 18:44:45 +08:00

@novolunt cdc-rsync 只支持 windows to linux.　我现在是 linux to linux. 或者 linux 本地 copy 也行（也就是把这款 4T 硬盘和 2T 硬盘连在同一台机器上)

Showfom

2023-01-11 07:26:40 +08:00

@youzi0516 #3 rsync 1.5T 小文件，如果是机械硬盘的话，没个一两天基本搞不定