从日本一个 ftp 拉 3T 的数据过来，速度很慢

[zhuzhe1983]

尝试走美国或者日本的主机建立代理，但是带宽还是不是很理想，不知道大家之前有处理过类似的问题，有可能走哪个国家主机借道快一点？

代理速度峰值 200k 。

迅雷本地直接下最快 1M ，但是之后要走定义同步（估计每 10 分钟 300M 这样），所以不大可能一直用迅雷搞。

[mcfog]

永远不要低估满载硬盘的卡车的带宽

[zhuzhe1983]

@firefox12 首先多谢提醒。多文件一共 3T ，单文件本身有做压缩，而且文件格式比较特殊，破坏了估计是打不开的。

[zhuzhe1983]

@mcfog 哈哈，这个新闻我也看到了

[debiann]

300M/10minute 的话速度是 4Mbps ，用阿里云开固定带宽可以胜任，长期用也没问题。


问题是初始的 3T 。
用美国慢，忽略。
用日本，有快的，但短时间内 3T 流量，容易被停机。


所以还是赶阿里云国际版的末班车下载一波。

[sfree2005]

虽然不知道你的应用场景 但是不是这 3T 一定要拉到本地？如果要做各种分析 能不能直接就在外面另外弄个服务器在上面处理？

[zxy]

你开个 kcp ，我来帮你试试

[d7101120120]

如果条件允许，办一个移动宽带，便宜方便快速专门用来做数据隧道。

[DesignerSkyline]

基因数据吗？这么大。。

[ctj]

移动宽带+1
wget 单线程下载 Linode 东京节点测速文件
2016-12-09 11:42:01 (3.83 MB/s) - ‘ 100MB-tokyo.bin ’ saved [104857600/104857600]
axel 4 线程的话是这个速度
Downloaded 100.0 megabytes in 19 seconds. (5170.48 KB/s)

基本上跑满 50M 带宽

[zhuzhe1983]

@DesignerSkyline netcdf 格式的，多维度气象数据

[goodbest]

科研数据走 cernet ipv6 嘛，速度会很快的。

[jeocat]

找个日本朋友下载这个数据装进硬盘再寄过来～

[goodbest]

各位可能还忽略了一个问题：
既然这么大的数据，难道那个 FTP 自身就不限速么？

[cedared]

微林

[techmoe]

在不考虑数据安全性的情况下，可以尝试使用 PCS API 上传到百度云试试

[zzutmebwd]

遇到这类问题全部无脑推荐 btsync 极快

[yulgang]

要是用 Amazon S3 中转呢

[chousb]

这种数据量，请考虑使用顺丰协议。

[jyf007]

@chousb 高

[cat9life]

这么大数据想不到好办法...太快首先源服务器别拖垮了 ：）