这里有用 amazon S3 的朋友吗？ 上传 25g 的文件到 S3 老是出错

[gdtv]

从阿里云 VPS 上传到 S3 ，单个压缩包 25g ，试了几次都出错：

aws s3 cp backup-file.tar.gz s3://myname/backup/aliyun/
upload failed: ./backup-file.tar.gz to s3://myname/backup/aliyun/backup-file.tar.gz
hostname 'myname.s3.amazonaws.com' doesn't match either of '*.com.com', 'com.com'
Completed 763 of 3240 part(s) with -1 file(s) remaining

是不是文件太大了？ 不知是阿里云的限制，还是 S3 的限制，还是“你懂的”限制

[paulw54jrn]

Multipart upload:
https://aws.amazon.com/blogs/aws/amazon-s3-multipart-upload/

[notgod]

你这种上传方式明显有问题 文件太大
以中国到美国的网络连通性.. 根本不用考虑的
楼上分卷可以

不过还是建议打包为 1G 每个的压缩文件得了
这么大 传输起来很容易出错 网络原因

[fredcc]

显然某 wall 问题

[jhaohai]

楼主用的中国区的 aws 吗，中国区的是 amazonaws.cn 吧

[BFDZ]

3 楼+1 ， s3 有些地方会解析成神奇的阿塞拜疆

[gdtv]

@paulw54jrn
我是使用命令行上传的，官方文档说 cp 命令会自动执行分段上传

[gdtv]

@jhaohai 我用的不是中国区

[vacker]

别说 25G ，我几百兆的文件从中国区到 S3 都是老出错，想其它办法吧

[gdtv]

@jhaohai 中国区的 aws 好像不对外开放

[paulw54jrn]

要不手动分页一直 s3 sync 重试?

[gdtv]

@paulw54jrn 试了一下用 sync ，结果：
'Connection aborted.', error(104, 'Connection reset by peer')

[jhaohai]

@gdtv 嗯，得收到邀请才能用

[paulw54jrn]

迷のGFW

[esile]

去国外开个 vps 拖过去在上传

[fcicq]

试试非官方的 s3cmd?

[leafin]

@gdtv python 版 aws cli 在处理某些特殊的文件时会有 BUG 。在我的测试中，用固定的两堆图片，一堆总是上传成功，另一堆总是上传失败。你试试用 java sdk 传

[leafin]

不过报错跟你的不一样，我测试中报错是第 0 行语法错误

[leafin]

你的这个错误不排除是网络原因引起的

[aec4d]

25G 这个量级有点尴尬啊 我觉得想办法先传到国外主机在上传 S3 就好办了
我刚测试了一下国外下载 upyun 速度有 3M/s
你可以这样子 找一台国外主机测试下连接到 upyun/oss/七牛等的速度
先临时将阿里云 VPS 宽带提升到 100MB 将文件上传到以上平台，或者直接对 VPS 使用 aria2c -x15 -s15 -c 开 15 个线程断点续传下载 主要是看哪个快
如果你长期有这样的需求可以写一个脚本 比如每 100MB 分为一个文件上传到 upyun 等 就可以阿里云上传同时国外 VPS 下载了
正常传到国外 VPS 上一切就好办了