从服务器下载大文件的最好方法是？

[htfy96]

之前在 aliyun 租了个 vps 做爬虫，现在爬虫完成后大概获得了 15G 的数据（已压缩）

这边网络最多 1MBps ，估计要下载很长时间，网上有人提到了 scp ，但是好像不能断点续传。现在服务器上什么也没有(ftp/http 服务器)。请问有什么比较好的方法把数据拖下来呢？

[zhuangzhuang1988]

配置个 Nginx 然后用迅雷下载.

[realpg]

apt-get install nginx
cp xxx.tar.gz /var/www/html

[odirus]

@bozong 百度云盘离线下载 http://pan.baidu.com/

[odirus]

@letitbesqzr 为什么你们不直接开个 http 端口给百度云下载呢?怕被别人下载了？

[NovemberEleven]

我比较好奇爬什么数据，啊哈哈。

[bozong]

@hicdn windows 下面

[ultimate010]

限制出口带宽，什么工具都没用。

[dididada]

开迅雷 VIP ，秒下，速度很快， VIP 也不贵， TB 也可以买到，只要几块而已。

[wizardoz]

压缩成多个文件不靠谱，中间一个文件错误了全部都解不开。还是搭建一个ｗｅｂ服务，然后再爬回来本地。顺便把地址告诉大家分享一下。

[paw]

aria2 +1

[y1993bbz]

上传到 oss 在下载吧

[Andy1999]

@a1058021348 然后变 SYN Flood 了

[nocheater]

1m 是阿里云的外网速度吧？
如果是这样，你临时开一个阿里云的按流量计费的 100m 带宽的 vps ，从内网把数据先传过去（这个应该是千兆的），然后用任何下载工具都可以在半小时内搞定

[htfy96]

@JasonQ 因为要爬京东的书籍，所以国外的 vps 延时太大只能用国内的

[a1058021348]

@Andy1999 反正没人看我博客，占满带宽也没啥。。。😂

[Andy1999]

@a1058021348 我是指多线程下载可能会造成 SYN Flood 攻击

[murusu]

安装 nginx ，临时开个 http 服务就得了
数据想保密的话压缩时加密一下
不要作死直接用 ssh 传大文件，高几率会被封端口

[guotie]

rsync.

[congeec]

不要用 python http.server, 用这俩
https://github.com/sebsto/tsunami-udp
https://github.com/GangZhuo/BaiduPCS
nginx ， ftpd 啥的也行总之要有断点续传，不要加密（墙干扰），数据不需要那么精确的话用 UDP

[Izual]

迅雷离线，从美国那边拉回将近 100G 的网站备份……
然后我才想起来忘了分卷压缩……