网络文件系统的选择

2022-03-13 01:21:49 +08:00
 RatioPattern

鉴于目前局势,打算备份下海外的数据回国内

因为海外小机硬盘不够了,所以想远程挂载国内服务器的硬盘过去,数据有 3T 。

手头资源:

3T 的数据需要海外机器 A 用 wget 下载回来,但是海外机器 A 本地硬盘只有 200G 缓存不下,而且不好拆分太多碎文件,打算挂着慢慢下
国内机器 B 有 5T 硬盘挂载在本地 /DATA 目录

额外限制条件:

国内机器 B 硬盘大但是上行(向外发送)只有 12M ,下行(下载接收)倒是 100M 够用
海外机器上下行都 1Gbps
两台机器间日常有丢包现象但不是特别严重
暂时不考虑用代理的方式下载,用的是类似 wget 的下载方式但是实际上比较复杂

初步打算:

1.用 NFS 把国内机器 B 的 /DATA 目录挂载到海外机器 A 的 /DATA 目录下
2.在海外机器 A 的 /DATA 目录下 wget 挂在后台慢慢下

问题是:

1.海外线路一定会丢包,经验 NFS 一般是局域网用,NFS 用在公网而且是跨国际线路会有哪些问题?
2.听说 NFS 是 UDP 协议,NFS 是否有自己处理类似 TCP 的数据包重发和验证?
3.安全性上打算直接限制公网 IP ,然后账号密码,是否够用?
4.如果 NFS 不是好选择,还有哪些替代?

1896 次点击
所在节点    问与答
7 条回复
shanmin
2022-03-13 01:33:37 +08:00
先上传至 backblaze b2 然后国内下载? b2 国内速度感觉也不错
plko345
2022-03-13 01:36:17 +08:00
有明显丢包就不要用这方案了,1 楼建议可以参考,或类似的
RatioPattern
2022-03-13 01:44:18 +08:00
@shanmin @plko345 感谢,看了下 backblaze 似乎也是类似 S3 的存储,还是希望能够远程挂载分区到海外机上
shanmin
2022-03-13 01:58:01 +08:00
@RatioPattern 我是觉得你两台机器之间的网络连接不够稳定,我自己也有几个 t 的数据放 b2 上,你海外 3 个 t 上传到 b2 两天就可以传完了,这种方式我也得效率还高点。
另外如果你有 vultr 的机器,那下载流量都不用钱
ysc3839
2022-03-13 02:50:15 +08:00
建议用 Bittorrent 或者 Resilio Sync 等支持分块传输的协议
orangie
2022-03-13 10:26:41 +08:00
直接 python3 -m http.server 临时开一下,下载,然后关掉。如果怕数据泄漏,打包加密一下。
nonduality
2022-03-13 11:12:28 +08:00
传输大量数据建议用 rsync ,走 ssh 很安全,wget 不可靠。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/839962

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX