百万数量级小文件迁移怎么做?

[FenixVu]

服务器上有 3 个 t 的数据大概由百万级别数量的小文件构成,现在挂了一个 5 个 t 的硬盘想把 3 个 t 的数据备份到硬盘上有啥好方法么 cp mv rsync tar 都试过了 不太好使

[wtfcworld]

dd ?

[AoEiuV020]

ghost?
或者整个硬盘 dd 过去再 resize 分区,

[liprais]

tar

[doyel]

dd 最快

[hulala1021]

rsync 应该没问题诶，我现在同步上百万的文件，没啥问题
不过我是从无到有增量同步的，不是一下字有上百万文件

[westoy]

dd 到新硬盘， 再 resize2fs 扩容

[lerry]

硬盘快照，具体要看是什么文件系统

[mingl0280]

partclone 好。

[liuguangxuan]

rsync 会碰到什么问题？

[kokutou]

先看看你的 5t 硬盘是不是叠瓦。。。

挂着不管放机房拷几天也就拷完了。

[FenixVu]

@kokutou 是个希捷的移动硬盘
我刚才才想到 需不需要 重新格式化成 ext4 在挂载拷贝
默认的应该是 ntfs

[kokutou]

@FenixVu #11
十有八九是叠瓦

[aloxaf]

@FenixVu #11
建议格式化，ntfs-3g 是基于 fuse 的，性能不是很高，而你这有 3T 数据……、
虽然有公司开源了一个 ntfs 的内核模块，但没有刚需的话还是建议格式化省事儿

[heguangyu5]

机械硬盘的话试试这个 https://github.com/heguangyu5/qtar

原理就是先给要 copy 的文件排序,让接下来 tar 读取文件时尽可能少地移动磁头什么的,时间有点久记不清楚了.

我们用这个工具迁移了千万数量级小文件,比简单的 cp 什么地快很多.

[Variazioni]

@wtfcworld 不懂就问。。dd 是什么。。。

[Pythondr]

@Variazioni https://en.wikipedia.org/wiki/Dd_(Unix)

[MarkLeeyun]

rm -rf .* 最快，哈哈。

[wangkun025]

dd: Copy and convert (called dd because cc is already in use by C compiler)

[wangkun025]

@MarkLeeyun 差评

[iphoneXr]

只要是涉及到大量文件迁移备份和同步的 统一推荐使用开源软件 rclone 自带校验比对和状态输出。
上面很多人回复都是没实践过，瞎扯淡。