大佬们，有 2T 数据需要在多台服务器之间共享

[jakezh]

目前在做一个小玩意儿，有一个下载器每天下载 1T 数据到硬盘里面. 需要保留两天的数据， 一共 2T， 这些数据要共享给另外 10 台服务器。 以前一直在用 aws EFS(NFSv4)做的， 在每台服务器上 mount

但是前两天发现 EFS 读取大文件的时候特别慢 各位大佬有什么解决方案吗

mount -t nfs4 -o nfsvers=4.2,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2

用的参数如上，是我参数选的不对吗

[jakezh]

为了暂时解决，开了另外 3 台服务器，做了一个分布式网络硬盘
成本稍微有点贵啊， 需要用到 3*2T 的硬盘 加三台服务器， 一个月快$1000 了
一月少一台 iPhone。。。。不开心

[greatdancing]

小一个级别用的 btsync

[jakezh]

@greatdancing #2
不能用 sync 类的。。。10 台服务器每台上加一个 2T 硬盘贵死了

[jakezh]

等一下 我好像算错了，EFS 的价格是 EBS 的三倍，实际上我只多付了三台服务器的钱

[chinuno]

ipfs ？

[icekingcy]

歪楼 问个 内网 高速共享文件的方案 NAS 似乎速度并不高啊 上不了 500MB/S

[binux]

EFS 默认是 burst 模式，会根据你使用的容量生成 credit。速度慢应该是你的 burst credit 用完了。

[greatdancing]

@jakezh 你的共享指的是？

[jakezh]

@binux #7
感谢大佬，我去查一下 log

[jakezh]

@greatdancing #8
其实只需要公用读，不需要公用写

[lynnX]

https://juicefs.com/ 这个应该可以解决你的问题

[johnniang]

https://min.io/ 不知道这个是否可行

[snw]

@greatdancing
BTSync 之类的双向实时同步不靠谱的，被坑过。

[greatdancing]

@snw 请问现在的解决方案是？

[openbsd]

10 台都要写还是只读 ？
NFS 问题不大啊，试试只读挂载 ？

[openbsd]

.....我好像偏题了.......[狗头保命]

[ungrown]

@icekingcy 存在瓶颈的地方很多的，软件本身，系统调度，硬件方面 CPU、网卡、硬盘，这些都有可能造成瓶颈，多个瓶颈一起来，速度就被掐死了。

[flynaj]

syncthing 同步一下 。

[yuyuko]

10 台，每台吞吐多少？到底是多慢讲一下啊

[jakezh]

@yuyuko #19
每天每台平均读 1.5T 左右吧