四台 debian 服务器下如何优雅地保持某个超大文件夹下的文件同步？

[spediacn]

有四台 debian11 服务器，在其上保持四台服务器都能读写某一个文件夹并在其他服务器上实时同步，看看各位有什么脑洞？

注意：

1. 这个文件夹下文件和子文件夹数量很庞大，可以达到百万；
2. 可以用共享文件夹协议，也可以用文件同步协议，也可以用各种高速缓存组件，不考虑磁盘占用的空间浪费，可以冗余最高 4 份；服务器配置相同，内存均为 512G ，硬盘数量相同，CPU 也相同；写入频次和增量大约每秒 100 个文件或每秒 100M 数据量，读的频次很高，大约每秒读 500 个文件或者 300M 数据量
3. 只有一个目的：该文件夹的读写是四台服务器高速共用的，网卡都是多个万兆口，不论同步预读还是共享，希望实际环境中不要长时间把带宽拉满哦。

[serafin]

好像这 4 台服务器没有主从关系。试试 类似 Resilio Sync 这类 P2P 同步。

[sNullp]

ceph

[dcsuibian]

做成 NAS 呢，只存在一份就不用同步了

[serafin]

万兆口应该用基于 iSCSI 的 SAN 而不是 NAS

[liangkang1436]

试试 nfs

[neroxps]

ceph

[Jirajine]

只能用共享存储协议，任何同步方式都无法保证足够的实时性和一致性。

[hawhaw]

syncthing 了解一下

[PerFectTime]

Resilio Sync 在本地会有一个超大的索引 db 文件，百万级文件应该会超大吧。之前同步 200g 文件，索引 db 有 10g

[liuguangxuan]

rsync

[lerry]

minio

[mokiki]

关键是四台机器怎么写的。会同时写一个文件吗？还是服务器之间有锁机制？
这个不讲清楚，贸然行动，会导致文件混乱。

[ice2016]

fastdfs 也可以实现

[everyx]

在用 juicefs ，你可以试试

[litguy]

glusterfs 试试呢，感觉和你场景是匹配的

[litguy]

@ice2016 fastdfs 不是 posix 兼容的，他需要 fastdfs 的儿子: fastcfs

[fiht]

nfs 应该是正解，参见现在云厂商的方案。

楼主应该是想要一个 https://cloud.tencent.com/product/cfs 的方案。

[dusu]

看什么数据了 除开日志之类的普通文件
先存 s3
从四台机器上做反代访问 s3 数据 同时缓存热数据
既能低成本 还能提高可靠性
啥？ s3 怕单点问题 就异步存多个 s3

[ice2016]

@litguy 第一次听说 FastCFS ，看着很强大的样子

[hefish]

oracle 的 ocfs2 好像也行的。