求问 有什么好办法可以下载大量境外数据吗?

2022-12-08 17:35:11 +08:00
 fantasyjm

在美国的实验室( A )有 100TB~的实验数据 想要下载到在大陆的主机( C )上 目前正在用 Syncthing 上传和下载( A )<->( B ),速度只有 1MB/s 左右

但是从( A )上传数据到 Google Cloud Storage 的速度可以达到 200~300MB/s

从 Google Cloud 下载到大陆的主机( C )好像比较复杂

求问各位,有没有更好的方法

2770 次点击
所在节点    问与答
26 条回复
systemcall
2022-12-09 17:13:48 +08:00
100tb 最好还是邮寄硬盘或者磁带
不知道你这 2 个机器直连的速度怎么样,要是速度还可以的话,可以考虑 zerotier ,有可能需要 moon
如果走 moon 中转估计就很贵了。100TB 的流量,并且国内连接性好,这种机器不便宜吧。那些开机场的可能有这种大盘鸡
lin559671
2022-12-09 23:21:35 +08:00
套个 warp 解千愁,电信联通直连 warp 下载速度 500m/s
,加速访问 Google cloud
kice
2022-12-10 04:33:01 +08:00
100Mbps 的速度传都要传差不多 100 天。100T 最好还是肉身带回来,如果不是涉及美国国家安全,出境并不难,主要是入国内海关比较悬。至少说把数据拿到物理距离比较近的地方。

其次的话,就是找个中间代理。优先考虑上传国内云盘,前提是做好加密,即使是简单的 xor 也能防止被炸。大体上准备多个账号,多线程上传,下载倒是还说,毕竟服务器在国内。
kice
2022-12-10 04:39:16 +08:00
其实我觉得这个问题问出来是想要开机场。

如果真的只是传数据,那么可以和国内机房或者开机场的进行合作,价格相对来说比商业用的加速服务便宜一些。

syncthing 想要加速的话,多买些服务器进行“做种”。文档里面也写了,节点越多,同步速度越快。

其实如果时间不是问题,慢慢传得了。
natsji
2022-12-10 21:32:29 +08:00
100tb 慢慢传 1mb/s 要传三年吧
ShineyWang
2022-12-11 00:15:50 +08:00
NGA 上有人问了一个类似的问题,你可以参考一下
https://ngabbs.com/read.php?tid=33011578

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/901139

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX