急求往 AWS 的 S3 上传东西的经验

[northisland]

公司的某个集群因为欠费被回收了。因为我之前玩过 AWS ，老板就让我在 AWS 上折腾集群 ToT ， 20 多 G 的数据要上传。

用的是 ap-northeast-1 区域的 S3 ，建立的存储

aws configure 没问题
挂上 VPN 的时候，发现$ aws s3 ls 没问题， cp 也没问题

不挂 VPN ，就虾米了，直接什么都不出来～～

请问有办法上传到 S3 上么？ 多谢多谢！

[northisland]

楼主测试 s3cmd 还能用=_=速度比较慢

$ s3cmd put gpu s3://s3-bucket-1-mm --recursive
WARNING: Module python-magic is not available. Guessing MIME types based on file extensions.
gpu/gpu.pdf-aa -> s3://s3-bucket-1-mm/gpu/gpu.pdf-aa [1 of 45]
1048576 of 1048576 100% in 35s 29.00 kB/s done
gpu/gpu.pdf-ab -> s3://s3-bucket-1-mm/gpu/gpu.pdf-ab [2 of 45]
1048576 of 1048576 100% in 25s 40.38 kB/s done
gpu/gpu.pdf-ac -> s3://s3-bucket-1-mm/gpu/gpu.pdf-ac [3 of 45]

[fwrq41251]

现在 aws 有北京区域啊，我们也用的 S3 ，都是直传的，没问题

[northisland]

@fwrq41251
多谢多谢，我用的是老板国外信用卡绑定的账户，只有如下的区域

US East (N. Virginia)
US West (Oregon)
US West (N. California)
EU (Ireland)
EU (Frankfurt)
Asia Pacific (Singapore)
Asia Pacific (Tokyo)
Asia Pacific (Sydney)
South America (São Paulo)


你们用的是什么渠道的 aws 呢？

[northisland]

@fwrq41251
看明白了，中国特色啊，
Customers who wish to use AWS resources in China is required to create a AWS (China) Account, a set of credentials that are distinct and separate from other global AWS Accounts.

[fwrq41251]

@northisland
那你们可能要新开个账户了,http://www.amazonaws.cn/
cn 下面有注册中国账号的

[wkdhf233]

可以用 vxtrans 中转下 AWS 的端口，也可以开一台 Vultr 一类按需的把数据传上去再从 AWS 拖。。

[northisland]

@wkdhf233 多谢～还有公司做这个服务的，真不错

[saharabear]

中国特色累死程序员

[aec4d]

写个脚本上传到到 CDN 然后用美国 VPS 下载 再写个脚本上传到 aws
这是我写的阿里云 OSS 上传脚本 https://gist.github.com/Ficapy/25960a11472ad4cde359
P.S upyun 搞这个不错 不过官方 SDK 还没有写大文件分段上传需要自己写
阿里云 API 设计非常好 不过 OSS 不是 CDN ，杭州的 OSS 在美国下载是龟速
七牛 SDK 应该写的不错 支持大文件分段上传 可是文档&界面渣的要死

[diligentpig]

aws cn 与美国的 aws 是完全隔离的，虽然 aws cn 在国内访问速度很快。。。除非你的用户都在国内，除非你能忍受 aws cn 那被严重阉割的功能服务。。。
回答楼主的问题，建议找一台国外主机，用 ftp 工具将所要传输的文件拷贝到该机器上，然后在 aws 实例里下载该文件，最后 aws s3 cp 到 s3 上去。国外主机和 aws 实例，实例和 s3 的传输时间基本都可以忽略不计的。或者直接在实例上开 ftp ，起码 ftp 是支持断点续传的。

[imxieke]

下载 S3 文件（大部分为 Github ）速度无法忍受，安徽合肥电信 10k 以内。

[heaventear]

天路加速器上有命令行加速教程，https://91tianlu.cn

[explore8989]

上面的链接挂了， 看这里 91tianlu.agency