如何将 S3 上 1TB 的压缩文件下载到本地?

2023-08-24 11:03:42 +08:00
 liupengpeng
我尝试了下,下载速度在 1MB/s ,这个速度下要好几天,还不能断点续传...
3138 次点击
所在节点    Amazon Web Services
17 条回复
qweruiop
2023-08-24 11:07:28 +08:00
你配置个 cloudfront ,然后多线程下,会快很多。
richangfan
2023-08-24 11:15:10 +08:00
找个网盘中转
Kinnice
2023-08-24 11:17:12 +08:00
换个好一点的梯子
tmtstudio
2023-08-24 11:20:10 +08:00
用鹅厂的对象存储,文档里有 linux 的上传命令,上传到存储桶再下载
lidongyx
2023-08-24 11:21:14 +08:00
可以用 aws 的 cli 工具,这个是支持并行下载的;也可以用 S3 Transfer Acceleration 的服务
lidongyx
2023-08-24 11:24:17 +08:00
一般的 FTP 工具也都有断点续传的功能吧,你肯定不能用 HTTP 这种方式来下载啊
wph95
2023-08-24 11:38:15 +08:00
Maboroshii
2023-08-24 11:39:10 +08:00
让他们拷出来快递给你。。。
nuII
2023-08-24 12:23:20 +08:00
用 awscli 来下,配置 token 就行,和 scp 用法差不多,aws s3 cp s3://xxx ./
vfs
2023-08-24 12:26:57 +08:00
s3 协议层面是支持断点续传的,而且也可以多线程下载。这种需求多吗? 多的话,个人可以快速写一个:)
qwerthhusn
2023-08-24 12:31:02 +08:00
用迅雷就行
先 presign 一个时间长一点的带签名的下载链接,然后交给迅雷就行了
oxromantic
2023-08-24 14:03:49 +08:00
不差钱的话地址发出来,让大伙帮你迅雷加速 [Doge]
dann73580
2023-08-24 14:56:39 +08:00
配个 rclone ,开个多线程拉就完事了……
java253738191
2023-08-24 15:30:19 +08:00
2MO
2023-08-25 00:27:57 +08:00
https://www.multcloud.com/cn/
之前我用的方案,用他们的服务转存到百度云,也试过开阿里的服务器按量使用挂载 webdav 转存到阿里云盘
clouddd
2023-08-25 09:30:24 +08:00
我去年也有类似需求,需要将 eu-west-1 上的 1T 多数据库备份下载到本地,隔离酒店的网络慢到不行。最后是用了阿里云的欧洲节点先拉完 S3 ,再转到阿里云杭州节点,什么加速之类的全开满,最后再下载,一阵折腾最后花掉差不多人民币 7-800 ,耗时两三天🥹
lff0305
2023-08-25 10:44:50 +08:00
开个 EC2 ,mount S3 到 EC2 的文件, 然后办法就多了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/967888

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX