如何解决从美国下载数 TB 的数据的难题?

[qiuai]

前提:
1.服务器是 windows 系统.而且不能重装 linux.
2.文件总量以 TB 级,单文件最大 50GB.
3.服务器在美国.
问题(主要集中在怎么提供稳定的下载服务):
1.HFS 不知道是为什么,下载一段时间,32G 内存就占满了,服务器就死机了.
2.APACHE 和 NGINX 我都装过,不知道为什么,在 windows 下,并发不是很好.如果有优化方案也可以.
3.文件名里有中文.nginx 搞了好久都没解决中文文件名的文件,在下载时自动转义了中文的问题.
4.有什么其他的方案能以 10MB/s 左右的速度来同步文件么?目前 HTTP 半小时重启一次服务器,可以达到 10MB/s 的速度.

[qiuai]

@kmahyyg 正在测试.
@loginv2 几个 T 的文件做成种子...会不会爆种啊...没试过.
@ovear 我先试试微力同步,不行的话再试试这个.
@l1093178 我先试试微力同步,不行的话再试试这个.

[qiuai]

@rssf 带宽不缺.

[loginv2]

@qiuai BT 不会爆 但是做种子需要校验一次数据 估计要等很久 而且你得有个能用的 tacker 虽然可以自己搭 但是也不一定能保证效率 扯远了，一个建设性的意见，如果能压缩的话 压缩一下 顺便分卷打包 加上恢复记录 然后多文件 多线程 小体积 HTTP 下回来，但是服务器需要临时增加硬盘容量。除此之外还真没什么好的想法，同步的方案估计也要校验数据 效率不一定真的就更好。

[ynyounuo]

@qiuai 貌似有，没试过不过

[loginv2]

@qiuai 还有 服务器虽然不能重装系统 但是你可以在美国临时再买个 linux 服务器啊， 然后该干嘛干嘛

[webjin1]

单文件最大 50GB，我猜是母鸡开出来的小鸡 vm 文件。

[qiuai]

@loginv2 最大的问题就是服务器之间的传输..我国内拖也可以用服务器拖...只要有靠谱的 windows 到 linux 的超大量数据同步解决方案...其他的倒都是小事了.

[pq]

你为何不反向思考一下呢？既然你的 windows 做服务极不稳定，那就把它当客户端用算逑，然后在你国内的机器上开服务，ftp 或 rsync 之类的均可，再从国外的 windows 服务器上主动上传到国内，这对你国内的机器来说，只要下行带宽足够即可，普通家用光纤即可，只不过得搞到公网 ip。

[qiuai]

@pq 你这个思路很不错啊...我现在在测试上面的方案..晚点我试试这个方案怎么样...

[alcarl]

ftp 多线程断点续传不行吗？

[CEBBCAT]

@webjin1 #26 嗯哼？拿 Windows 做母鸡？

[liyvhg]

那就买下那台服务器

[hadoop]

怎么感觉你系统硬件有问题导致的死机呢

[function007]

跑个 Linux 虚拟机把文件目录挂进去，外头开个端口映射看行不

[fiht]

TB 级别的数据其实并不算大难题。
当时在 DigitalOcean 的机器上下载了 500GB 的小视频，用 rsync+ipv6 拖回来的，速度大概 7-8MB/s，反正能在很可观的速度。
另：感觉 HTTP 不如 rsync，感觉 HTTP 不如 rsync，感觉 HTTP 不如 rsync

[qiuai]

@pq 测试了下..只能跑 100KB 的速度.白天我再测试下看看

[h4lbhg1G]

加密，打包，保持一定冗余。然后校验码。最后用 bypy 来搞吧。多开两个会员账户。 又看了下 Windows 系统。好吧，Winrar 带冗余打包，传度盘。看你的网了，好的情况下，可能数 MB。

[azh7138m]

@loginv2 tacker 不是必须的，A 做种，B 直接手动加 peer，输 A 的地址和端口就成。我用 BT 同步过数据，不过只有几十 G 的数据量。

[clino]

syncthing 试试,多加几个节点应该能够加速吧
另外开 bbr 速度应该也能快不少

[yech1990]

为什么纠结于 Windows 啊，拿个笔记本或是树莓派安个 Linux，然后 samba 挂载 Windows 目录，这不就要啥有啥了么？