如何将加拿大服务器上总计 200T 的文件传输到国内?

2022-06-08 14:03:16 +08:00
 j0ck1e

网络环境

加拿大服务器公网 10G 带宽 国内服务器公网 5G 带宽

遇到的问题

由于链路距离过长,直接下载速度只能达到 100Mbps

以了解过的解决方法

  1. 购买阿里云 OSS ,通过闪电立方将数据传输到阿里云 OSS 美国节点上,然后数据内部同步到国内的 OSS 节点,最后用国内服务器下国内 OSS 节点上的数据,这个方案价格太高,需要支付存储包流量包费用近 20W
  2. 购买阿里云 CDN 服务,这个方案能否实现还不清楚
17746 次点击
所在节点    宽带症候群
174 条回复
Xusually
2022-06-08 18:42:46 +08:00
@infuse 怎么可能?我手里海淘的硬盘是怎么来的呢?
每年美亚、德亚大容量硬盘都算镇店之宝了
zeusho871
2022-06-08 18:45:09 +08:00
@louisxxx 不至于,买深圳或者香港的速度跑满没问题。。。主要没国外机器给我测,现在手里就有几十台。。。。
NoahNye
2022-06-08 18:46:17 +08:00
ipfs 可以试试
huaes
2022-06-08 18:50:09 +08:00
@zeusho871 不提香港大口子机器贵的要死, 走不走港深还是个问题,绕上海还是被 QOS 的死死的,哪怕移动这种直连的跑到 1G 也不错了,说真的不如直接找运营商在他们机房下
teasick
2022-06-08 18:59:31 +08:00
每个 G 10 块钱众包给网友帮忙下载,也就 200 万块钱
msaionyc
2022-06-08 19:04:10 +08:00
两百个 one drive 账号应该就可以了
kxjhlele
2022-06-08 19:23:57 +08:00
私聊我,给你开个国内 ftp ,你测试一下速度。感觉合适在继续讨论
ToBeHacker
2022-06-08 19:25:37 +08:00
优化 TCP 的参数 5g 的带宽多跑跑就可以了
winglight2016
2022-06-08 19:58:29 +08:00
lz 去 tb 搜一下代下载服务就知道这事儿多简单了
spacezip
2022-06-08 20:07:12 +08:00
踏实找个物流公司 正经报关进来
12101111
2022-06-08 20:14:40 +08:00
硬盘不抗震, 买磁带, LTO8 不压缩能存 12T, 压缩之后更大, 十几卷磁带就能带回来.
不过海关如果知道这是存储设备可能会检查内容
acupnocup
2022-06-08 20:40:35 +08:00
磁带机,飞机或者海运带回来。
xuchenkai
2022-06-08 20:58:10 +08:00
200T ,大也不算大,几个网盘帐号即可
aru
2022-06-08 21:03:15 +08:00
申请几条联通宽带,直接下载就行了
服务器记得开启 bbr
bullfrog
2022-06-08 21:04:41 +08:00
两个服务器直接连,用 lftp , 开几十个线程,就跑满了
Buges
2022-06-08 21:06:48 +08:00
1. 很多存储提供提供商提供邮寄硬盘服务,你可以把硬盘寄到他们的数据中心然后从他们服务器上拉下来。
2. (两边在线存储都够的情况下)直接开个支持分片、校验、多线程传输的协议慢慢拉回来就是了,bt 、bt sync 等都可以。你还可以在其他有更多出国口宽带的服务器上辅种加速。
cxytz01
2022-06-08 21:13:11 +08:00
如果你愿意花时间研究的话,推荐你看看 filecoin ,目前有免费的存储提供商: https://plus.fil.org/

这只是我的小小建议,价格可能会便宜过中心化的存储服务商,但是速度嘛,可能你得找存储提供商聊聊。
wsycqyz
2022-06-08 21:17:14 +08:00
欢迎使用 Azure 导入 /导出服务
可将磁盘驱动器寄送到 Azure 数据中心,从而安全地将大量数据导出到 Azure Blob 存储和 Azure 文件。 此外,还可以使用此服务将数据从 Azure Blob 存储传输到磁盘驱动器,然后再寄送到本地站点。
存储价格参考: https://azure.microsoft.com/en-us/pricing/details/storage/blobs/,目测 200T 不到 500$
另,一块磁盘收取 80$处理费。
cxytz01
2022-06-08 21:17:31 +08:00
目前还不清楚你文中提到:由于链路距离过长,直接下载速度只能达到 100Mbps 。这个所谓的直接下载是使用什么方式进行直接下载?如果是 ftp ,http 这种,都是单线程的,不知道是否可以吃满本地亦或者 server 二者中最小的那个 IO ,如果吃不满,需要考虑多线程下载。
fs418082760
2022-06-08 21:23:18 +08:00
做成种子发到 P 站,然后通过 P2P 回传...

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/858171

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX