某些海外资源的正确下载姿势是?

2016-11-16 09:22:33 +08:00
 tchekai704

事情是这个样子的: 我需要下载一个资源,这个资源并不直接提供 URL 下载,而是需要注册后获取一个一次性的下载连接,然而及时获取下载连接后,下载速度很慢。

https://network.pivotal.io/products/pivotal-gpdb#/releases/1683/file_groups/411

我现在想到的几个方法

  1. 直接下载
  2. 通过 SS 代理下载
  3. 直接在 vps 上使用 wget 下载,然后 ftp 拖回来

方法 1,2 失败概率太高,不支持断点续传的情况下几乎 100%失败。 我目前倾向 3 ,但是 URL 是一次性的,我没办法获取一个未使用过并且是授权可下载的 url 。

https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729&Signature=bWXwHinm-DqMerQjQS4lImKpAUOcj6jcJxLI9Etux9oOSghadorM0S1j70Eubgi9MUn4gYYAJKVDYNeqk4-ag9C9kxHn77QU-DQJW0bV-kRPw9pNmmWQTsu-muYHrgZvzWDqbRESb8RfSIvfSmvgqn1PE4vz683IP8TSvdE84jk_&Key-Pair-Id=APKAJLAM6FL65BYZP7UQ&filename=PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip

PS :诡异的是这个连接 wget 后会自动退出我的 xshell 的 session

kai@localhost:~$ wget https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729&Signature=bWXwHinm-DqMerQjQS4lImKpAUOcj6jcJxLI9Etux9oOSghadorM0S1j70Eubgi9MUn4gYYAJKVDYNeqk4-ag9C9kxHn77QU-DQJW0bV-kRPw9pNmmWQTsu-muYHrgZvzWDqbRESb8RfSIvfSmvgqn1PE4vz683IP8TSvdE84jk_&Key-Pair-Id=APKAJLAM6FL65BYZP7UQ&filename=PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip
[1] 4485
[2] 4486
[3] 4487
kai@localhost:~$ --2016-11-16 01:12:05--  https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729
Resolving dtb5pzswcit1e.cloudfront.net (dtb5pzswcit1e.cloudfront.net)... 52.84.246.239, 52.84.246.28, 52.84.246.68, ...
Connecting to dtb5pzswcit1e.cloudfront.net (dtb5pzswcit1e.cloudfront.net)|52.84.246.239|:443... connected.
HTTP request sent, awaiting response... 403 Forbidden
2016-11-16 01:12:05 ERROR 403: Forbidden.

logout
[1]   Exit 8                  wget https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729
[2]-  Done                    Signature=bWXwHinm-DqMerQjQS4lImKpAUOcj6jcJxLI9Etux9oOSghadorM0S1j70Eubgi9MUn4gYYAJKVDYNeqk4-ag9C9kxHn77QU-DQJW0bV-kRPw9pNmmWQTsu-muYHrgZvzWDqbRESb8RfSIvfSmvgqn1PE4vz683IP8TSvdE84jk_

Connection closed.

Type `help' to learn how to use Xshell prompt.
8010 次点击
所在节点    宽带症候群
23 条回复
langmoe
2016-11-16 09:33:53 +08:00
jarry777
2016-11-16 09:38:17 +08:00
我直接下载 400 KB/s
爬梯子跑满了带宽
所以你似乎需要换个梯子

(至于你说的断点续传的情况我没试~
cocochan
2016-11-16 09:40:45 +08:00
转义
schezukNewTos
2016-11-16 09:51:27 +08:00
为什么你的 wget 链接不加引号?
tchekai704
2016-11-16 09:56:31 +08:00
@schezukNewTos 谢谢提醒,就是没找到为什么 ssh 会自动退出的与 ROOT CAUSE 。
kmahyyg
2016-11-16 10:09:35 +08:00
考虑使用 curl -O-
LGA1150
2016-11-16 10:11:22 +08:00
aria2c -c
xiaoz
2016-11-16 10:12:56 +08:00
试试 axel 多线程下载呢? https://faq.xiaoz.me/archives/95.html
suantong
2016-11-16 10:43:35 +08:00
我这都下好了。 1 , 2 分钟的事,你太纠结了。
newworld
2016-11-16 10:46:55 +08:00
@suantong 楼主下载的什么沙盒??
suantong
2016-11-16 10:52:55 +08:00
@newworld ,我都不知道这啥玩意,数据库?我只是下载玩玩。
newworld
2016-11-16 10:54:51 +08:00
@suantong 可以看看是啥呀 楼主敢不打码 说明应该没啥隐私 Google 相关名字 域名瞅瞅呗 好奇😆😆
ryd994
2016-11-16 11:50:44 +08:00
你这里 forbidden 的原因多半是 URL 不全 试试单引号括起来
楼上很多你这是个 AB 问题,其实正解楼上有很多
我单说一下如果问题不变,强行走偏门解:
Nginx HTTP 代理 proxy_store 配合 proxy_ignore_client_abort
保存所有请求的内容
事后 VPS 上慢慢翻
squid 的缓存应该也可以实现,不过需要把文件头部的 header 之类去掉
jiangyang123
2016-11-16 12:36:04 +08:00
建议换个好用的 ss
tchekai704
2016-11-16 13:58:29 +08:00
@newworld 没什么隐私,数据仓库 GreenPlum
grayon
2016-11-16 14:04:20 +08:00
SS 不好用的话你可以试试 SSR
clino
2016-11-16 14:05:15 +08:00
wget 后面 url 加引号就行了
shizhouren
2016-11-16 14:27:17 +08:00
gapps 下载就超级慢,你们的是这样吗?
komugi
2016-11-16 17:02:42 +08:00
@shizhouren opengapps 很慢
Vicer
2016-11-16 17:17:47 +08:00
楼主发一次性链接吧,我帮你。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/320828

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX