如何用多线程快速的下载一个软件仓库?

[dyxLike]

最近做服务部署需要把一个软件仓库的文件夹整个下载下来, 部署文档里给的下载命令是这样的:

wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/cdh6/6.1.0/redhat7/ -P /var/www/html/cloudera-repos

然而 wget 是单线程的, 下载着实在是太慢了, 只有 30 多 kB/s, 我用迅雷试了下也不支持把文件夹整个下载下来, 只能一个一个文件的下载

所以想请教一下各位, 有什么好的下载办法或者工具吗?

[xunco]

aria2 ?

[dyxLike]

@xunco 没用过 aria2, 我研究研究

[goodryb]

可以试试 Axel 和 wget 类似，支持多线程

[Stoulla]

Aria 2,直接默认配置都可以挺快的了。当然你这个只有 30k 不如考虑 export http_proxy?

[dyxLike]

@Stoulla 标题没说明白, 我是想要向 wget 那样递归下载文件夹的同时又支持多线程的效果, 但是 aria2 好像不支持递归下载

[jiezhi]

这是国外服务器，下载慢也没办法。

所以我曲线救国了，把要下载的内容封装进 docker 服务，然后通过国内 docker 代理下载回来。

https://hub.docker.com/r/lencent/cdh/tags

[dyxLike]

@jiezhi 是个好思路, 回头我试一下效果怎么样😂