13T 的文件：近千万个几兆的小文件，在两台服务器之间备份同步，最好的方法是？

[kisshere]

近千万个几百 K~几兆的小文件，目录存放是以 MD5 分割出来的四级目录，形如：/static/ac/bd/ef/blahblah.zip ，并且每天文件数量以几百个的增加，目前想要实时备份此服务器的数据：

1. 看中了一台 4x12T 的服务器，想把生产环境和数据全部转移到这上面去，做 RAID10，我都不用考虑两台服务器同步备份的软件了，有硬盘坏了直接替换上去是不是就 OK 了，美滋滋
2. rsync+inotify 对这种海量数据备份效果如何，新增一个文件，可不可以做到不扫描全部的“ static ”文件夹？立马将主服务器的该文件传输至备份服务器。有没有更好的专门针对这种海量数据备份软件？

先谢为敬

[EPr2hh6LADQWqRVH]

无脑 ceph

[vincel]

TFS 集群

[AlohaV2]

rsync

[kisshere]

@jamblues 楼上的 lsyncd 可不可以解决此问题

[pyder]

貌似是做 CV 的呀，应该全是图片，用来训练的。

[zelin44913]

rsync+inotify 只适合少量文件(十万以内)

[zelin44913]

既然有考虑采购服务器,不如采购一台群晖 nas, 然后配置 Cloud Sync 套件做实时同步增量备份至阿里云 OSS

[okjb]

今年 18 岁，申请上车😂

[mdjxyz]

上 minio 吧

[loading]

minio

[cy97cool]

seaweedfs

[jamblues]

@kisshere 文件多了都会在 I/O 上有瓶颈 无论是 rsync 还是 lsync 底层是绕不过的

[iwannarun2]

疑车无据

[qile1]

文件如果放那里只读取，为啥不按年月日存放，这样同步起来只同步每天的数据不是简单了？

[Livid]

试试这个？

https://juicefs.com/

[cdlixucd]

@jamblues 哦 所以说呢 没办法了吗

[jamblues]

@cdlixucd 解决方案就是多个小文件合成大文件 降维 减少 I/O 开销，推荐可以试试 pika 或者 ssdb，优势是支撑几 kw 问题不大 内置分布式 也不用自己维护同步 弱点是性能只有在 ssd 下才能体现 如果要求不高 普通硬盘也可以试试

[cdlixucd]

@jamblues 我们现在就遇到这个问题 都是在云平台上面 之前放在 google 对象存储里，也是有很多小的文件，然后要传到 AWS 对象存储 直接用的 rsync 来做的，先做一部分 后面切换平台再做增量的 你说的这种其实也还好 ，合成大文件后到目的端还是得拆开，一样的效果 真正的提升还是要对比吧

[xiaogui]

tar 分包

[ps1aniuge]

8 楼=唯一正解。
本地 mirror，远程 mirror。
任何方案都打不过 8 楼方案。