如何解决从美国下载数 TB 的数据的难题?

[qiuai]

前提:
1.服务器是 windows 系统.而且不能重装 linux.
2.文件总量以 TB 级,单文件最大 50GB.
3.服务器在美国.
问题(主要集中在怎么提供稳定的下载服务):
1.HFS 不知道是为什么,下载一段时间,32G 内存就占满了,服务器就死机了.
2.APACHE 和 NGINX 我都装过,不知道为什么,在 windows 下,并发不是很好.如果有优化方案也可以.
3.文件名里有中文.nginx 搞了好久都没解决中文文件名的文件,在下载时自动转义了中文的问题.
4.有什么其他的方案能以 10MB/s 左右的速度来同步文件么?目前 HTTP 半小时重启一次服务器,可以达到 10MB/s 的速度.

[lyhiving]

主要的还是网络问题，首先化大为小，将文件用 rar 压缩分块，每块 1G。传阿里米西 OSS，然后再批量拉回，解压。

[nciyuan]

@qiuai 如果有钱的话，开几台 HK 或者 EU 的跳板机然后多台一起工作，最后一起回传
当然因为 ss 倒闭的那家子的锐速也可以试试
当然美国到中国由于一个伟大的东西和地理原因，还有硬盘 IO 性能，直连一定不会有国内网那么快
考虑好速度和提升和钱再决定把

[chocolatesir]

rsync+挂阿里云 hk 的代理

[qiuai]

@nciyuan 我不需要代理...这台机器如果不是因为软件方案的问题的话,早就传完了..
机器是 10MB 的口子,家里是 20MB 的口子...只要能跑多线程,是可以跑满的..

[qiuai]

@lyhiving 费用呢...

[uptime]

IIS 也死？
为什么不开个国外网盘的会员？挑个国内速度不错的，你服务器打包，再上传到网盘，你这边一边拖回来就是。
用 zip 分包就是。别是用 rar，这样的数量级的，解压会很痛苦的事，zip 足够了

[yexm0]

@nciyuan 锐速那只是人家公司不做你个人的生意而已(要求多多还不给肯钱)

[lyhiving]

@qiuai 用云就按量来，一个 T 大概要 300 这样

[RangerWolf]

aws 呢?

看你的出口带宽了~

[yulitian888]

这个瓶颈在于出口带宽和伟大的墙吧？
硬盘发快递是唯一的选择，既然机房不提供这种服务，那么，找个美国本土(同一网络运营商)的电脑，下载过去再快递硬盘不就好了吗？难道还有更快的解决方案？

[20has]

Windows 的 rsync 方案是 cwrsync 吧 我只通不过小文件 这种大文件不知道怎么样

[Felldeadbird]

楼主应该先 找一台 美国的服务器（允许硬盘对拷）。将现有数据拷过去后，再写入硬盘空运快递回来。
毕竟如果你直接将服务器数据用各种方法折腾，成本和时间都很漫长。

[qiuai]

@yulitian888 我现在最大的问题不是说怎么传回来...是怎么提供稳定的下载服务,让我有机会去拖...

[shixinyu]

给 Windows 安装 AWS CMD Tool，然后使用 aws s3 sync 传到 AWS S3 上，再从 S3 上 sync 到本地来。

[cnkuner]

加密打包分割传网盘，开会员取回，校验 md5

[yulitian888]

@qiuai 下载的话，FileZilla Server + FileZilla Client ？我试过最大的是单个 300G 的文件，貌似只是挂则就好，没遇到特别的麻烦啊

[qiuai]

@shixinyu 这样倒一下...500 块钱就没了.

[fenglangjuxu]

上传到 aws 的 s3 上,然后下载下来,还是很快的.

[shixinyu]

@qiuai 花钱解决难题嘛

[tees]

那就买个 vps 一个月,先上传到 vps 再从 vps 拖回来.
vps 开 1T 的硬盘贵的话,就先开个 80G,分批传.