从服务器下载大文件的最好方法是?

2015-09-23 20:08:21 +08:00
 htfy96
之前在 aliyun 租了个 vps 做爬虫,现在爬虫完成后大概获得了 15G 的数据(已压缩)

这边网络最多 1MBps ,估计要下载很长时间,网上有人提到了 scp ,但是好像不能断点续传。现在服务器上什么也没有(ftp/http 服务器)。请问有什么比较好的方法把数据拖下来呢?
29795 次点击
所在节点    Linux
84 条回复
shoaly
2015-09-24 08:11:13 +08:00
曾经下过 10 多个 G 的数据库, 由于服务器在国外非常的悲催 各种断, winscp 不靠谱, 因为文件大了之后, 断线之后他会找不到北,
最后的解决办法是搭建一个 http 服务器, 然后 挂迅雷
leyle
2015-09-24 08:45:18 +08:00
搭个 http 服务器,然后用 aria2c axel 这些支持多线程,支持断点续传的工具下载,我从 linode 下载大文件,都可以跑满我本地带宽。
Huntsman
2015-09-24 09:01:35 +08:00
@leyle 嗯 这个靠谱! aria2 才是神器!
oott123
2015-09-24 09:25:20 +08:00
@ryd994 bpcs_uploader 也可以直接用啊,还不用一个月更新一次
popok
2015-09-24 09:29:59 +08:00
开 http ,随便一款可断点续传的下载工具拖吧,私有数据,反正迅雷也加不了多少速度。
bozong
2015-09-24 09:33:52 +08:00
@ryd994 有没有比较给力的 bypy
ryd994
2015-09-24 09:54:30 +08:00
@bozong pip install bypy ,一直都是直接用的
bozong
2015-09-24 09:55:27 +08:00
@ryd994 恩恩
bozong
2015-09-24 10:04:19 +08:00
@ryd994 速度的话 还行吧 我 10M 企业带宽、上传一个 110M 的文件 花了 50s
PandaSaury
2015-09-24 10:06:28 +08:00
rsync 或者 scp
bozong
2015-09-24 10:07:50 +08:00
@ryd994 这个会不会有影响
martifact
2015-09-24 10:40:01 +08:00
搭个 http/ftp server, wget -c
liyvhg
2015-09-24 11:05:24 +08:00
@a1058021348 我怎么想到了[丧心病狂]这个词... 32 个线程, 郭佳也不管管么
R09PR0xF
2015-09-24 11:10:48 +08:00
wget -c
hicdn
2015-09-24 11:57:18 +08:00
@bozong syncy 支持多线程
qq446015875
2015-09-24 12:23:34 +08:00
@htfy96 和学校似乎没关系,百度云开始限速了
odirus
2015-09-24 12:26:44 +08:00
就像楼上说的,搭建简单 HTTP ,用百度云去下载,然后你再从百度云下载回来,既可以断点续传,也永久保留了,何乐而不为。
HarveyTvT
2015-09-24 12:29:07 +08:00
axel -n 100 "url"!!!100 个妥妥的
bozong
2015-09-24 12:47:00 +08:00
@hicdn 恩恩 我试试
bozong
2015-09-24 12:48:04 +08:00
@odirus 什么叫用百度云去下载

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/223183

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX