wget 怎么多进程下载列表文件

[zwzmzd]

是这样的，爬了一堆图片的url，存在了一个列表list.txt里

直接使用wget -i list.txt，可以顺序地下载图片。可是我希望wget能够启动10个worker来完成这个列表的下载任务（每个图片不需要多线程），查了man没找到相关的选项，大家有什么解决方案吗?

[jackysc]

用curl

[line]

之前，我都是分割文件，然后再下的。等更优方案

[mogging]

果断Axel啊

[imn1]

我是自写 python 多开 wget 进程
aria2c支持多线程，你可以改用aria2c下载

[ToughGuy]

ariac -c -sNUM -xNUM -jNUM -i url.txt

-j 参数是设置并发下载数量

[ToughGuy]

@ToughGuy

ariac 打错， 应该是aria2c。
aria2c 绝对好用哦。

[zwzmzd]

@line
@imn1
@ToughGuy
aria2c满足要求，aria2c -i list.txt -j2，不过man中-j选项的解释有点模糊


@jackysc
@mogging
这两个软件我看了下好像不行

[ToughGuy]

@zwzmzd

Set maximum number of parallel downloads for every static (HTTP/FTP) URL

注意到 every static ... URL 就够明显了。

[imn1]

aria2c很强大，可以http/ftp/webservice/bittorrent
控制线程有两个参数，一个控制并发任务数，另一个控制每任务拆分的线程数（-j）
http://aria2.sourceforge.net/ 官网上有手册，应该比man容易理解些
aria2c可以写多个conf，用命令指定一个载入