如何解决从美国下载数 TB 的数据的难题?

2018-02-01 19:29:41 +08:00
 qiuai
前提:
1.服务器是 windows 系统.而且不能重装 linux.
2.文件总量以 TB 级,单文件最大 50GB.
3.服务器在美国.
问题(主要集中在怎么提供稳定的下载服务):
1.HFS 不知道是为什么,下载一段时间,32G 内存就占满了,服务器就死机了.
2.APACHE 和 NGINX 我都装过,不知道为什么,在 windows 下,并发不是很好.如果有优化方案也可以.
3.文件名里有中文.nginx 搞了好久都没解决中文文件名的文件,在下载时自动转义了中文的问题.
4.有什么其他的方案能以 10MB/s 左右的速度来同步文件么?目前 HTTP 半小时重启一次服务器,可以达到 10MB/s 的速度.
10332 次点击
所在节点    问与答
101 条回复
kmahyyg
2018-02-01 19:31:25 +08:00
硬盘对拷,快递回来更快
qiuai
2018-02-01 19:32:50 +08:00
@kmahyyg 这个方案很早就考虑过了.不行啊.服务器是租用的.他们不提供这个服务.花钱也不行.
Showfom
2018-02-01 19:33:39 +08:00
@kmahyyg 还得看数据量,要是就一两个 T,那慢慢传也没事,要是有几十个 T,那肯定是快递快了
maemual
2018-02-01 19:34:33 +08:00
当地找个人去机房拿硬盘拷,然后寄给你?
kmahyyg
2018-02-01 19:34:59 +08:00
@qiuai 那就备案开企业国际专线。Nginx 因为 WIN API 实现的原因,性能不好。个人建议可以考虑试试 resilo sync 或者看看之前 V2 有个朋友写的那个 1.76 倍 Nginx 性能的 http server
xmoiduts
2018-02-01 19:35:11 +08:00
在美国下载好带回来?
qiuai
2018-02-01 19:37:39 +08:00
@xmoiduts @maemual 都是些冷备数据,非必要的话,不想让第二个人接触.
@Showfom 慢慢传是没事..但是他不能稳定的提供下载啊...下半小时就死机了..
@kmahyyg sync 国内墙了咋用...还有其他这种软件么?
hadoop
2018-02-01 19:38:16 +08:00
开 ftp 呢? win 上 ftp 还挺稳定吧
shakoon
2018-02-01 19:39:39 +08:00
找个在美国的家伙下载到硬盘后再快递回国
qiuai
2018-02-01 19:39:53 +08:00
@hadoop 也存在死机的问题...windows 2012,用 IIS 和 filezilla 都开过 server..都会死机...我都苦恼死了...
kmahyyg
2018-02-01 19:40:24 +08:00
Rheinmetal
2018-02-01 19:40:29 +08:00
拷贝到支持硬盘快递的美国云服务?
或者试试 cygwin rsync
kmahyyg
2018-02-01 19:41:04 +08:00
@qiuai 还有个叫微力同步的国内版,爱好者们自己改的
loginv2
2018-02-01 19:44:28 +08:00
做成种子 慢慢挂回来
l1093178
2018-02-01 19:47:20 +08:00
Syncthing / Rsync
ovear
2018-02-01 19:47:38 +08:00
上 synctrayzor,断点续传,实时同步,增量同步,要啥有啥。
闲速度慢还可以挂代理啊。
ynyounuo
2018-02-01 19:47:49 +08:00
@qiuai 如果只有个位数 TB 的话可以试试用 lftp 多线程分段传输。
l1093178
2018-02-01 19:47:52 +08:00
@l1093178 哦,Windows 好像没有 Rsync 实现?那就 Syncthing 吧
qiuai
2018-02-01 19:52:43 +08:00
@ynyounuo lftp 有 windows 版本?
rssf
2018-02-01 19:52:44 +08:00
你自己飞去美国硬盘拷贝,或者在他机房租个网线端口,再飞回来

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/427807

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX