如何解决从美国下载数 TB 的数据的难题?

2018-02-01 19:29:41 +08:00
 qiuai
前提:
1.服务器是 windows 系统.而且不能重装 linux.
2.文件总量以 TB 级,单文件最大 50GB.
3.服务器在美国.
问题(主要集中在怎么提供稳定的下载服务):
1.HFS 不知道是为什么,下载一段时间,32G 内存就占满了,服务器就死机了.
2.APACHE 和 NGINX 我都装过,不知道为什么,在 windows 下,并发不是很好.如果有优化方案也可以.
3.文件名里有中文.nginx 搞了好久都没解决中文文件名的文件,在下载时自动转义了中文的问题.
4.有什么其他的方案能以 10MB/s 左右的速度来同步文件么?目前 HTTP 半小时重启一次服务器,可以达到 10MB/s 的速度.
10027 次点击
所在节点    问与答
101 条回复
01802
2018-02-02 10:27:37 +08:00
多台机开 btsync
discrete
2018-02-02 10:32:16 +08:00
Windows 上开个 Linux 虚拟机?
bullettrain1433
2018-02-02 10:46:03 +08:00
装个 dropbox 备份呢?然后从 dropbox 上下应该快很多吧
pingsheng
2018-02-02 10:47:07 +08:00
@yulitian888 同方案,前些天从杜甫拉几 T 电影回本地,就是遇到了带宽瓶颈,拉了差不多 3 天
qiuai
2018-02-02 10:48:58 +08:00
@pingsheng 你是怎么拖的.介绍下...
kimqcn
2018-02-02 10:49:29 +08:00
对头,用压缩软件拆包成 10000 个,慢慢下。
yanze0613
2018-02-02 10:57:54 +08:00
如果信任阿里云,可以用 oss 同步回来,速度不好嗦,但稳定应该还可以
建一个国外地区的 oss,你把数据推进去
然后使用 oss 的跨区同步,拉回来
同步回来,然后在考虑怎么拉下来,链路是阿里云的
不过这个方案我没试过,但是应该有一定可行性
pingsheng
2018-02-02 10:59:44 +08:00
@qiuai 单文件可能只有 20G,在 filezilla client 设置同时下载 10 文件,占满本地 100m 带宽了
warcraft1236
2018-02-02 11:19:55 +08:00
@pq 这个方案赞啊,国内开个 Linux 的服务器,美国的 Win 作为客户端上传数据到服务器上。如果楼主解决了,可以搞个教程之类的讲讲,学习一下
Tink
2018-02-02 11:24:48 +08:00
rsync 慢慢传不行吗
qiuai
2018-02-02 11:25:38 +08:00
@warcraft1236 速度不行.
@Tink 新服务器准备就这么做.
harker
2018-02-02 11:33:50 +08:00
网盘中转
exuxu
2018-02-02 12:01:15 +08:00
收费的 aspera 考虑下,
我司在做类似的产品,但是贵。。。
Rorysky
2018-02-02 12:36:32 +08:00
先同步到阿里云,再从阿里云拉回本地
lycc
2018-02-02 13:07:26 +08:00
主机上存到阿里云 OSS,再下载
tees
2018-02-02 15:05:12 +08:00
突然想到,你用 putty 的 pscp 往回传
bullfrog
2018-02-02 15:13:50 +08:00
网络蚂蚁 网际快车。。
omph
2018-02-02 15:22:31 +08:00
国内开服务器,美国作客户端我感觉是可行的。
但不要用常规软件,要使用大文件传输软件。
https://www.zhihu.com/question/22354402
rrfeng
2018-02-02 15:23:51 +08:00
rsync 应该比 http 好的多。不要用 ssh 模式,多开几个进程并发,因为可能打满单核 cpu
laxenade
2018-02-02 15:24:16 +08:00
土办法 传到 onedrive 吧 onedrive 连国内的速度还可以

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/427807

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX