如何更高效的下载百万张图片

[InsaneX]

如题~

[May725]

压缩，分割，多请求？
给的描述信息太少了

[qwertyegg]

我的一个笨办法

#!/bin/bash
grab(){
for ((i=$1+1; i<= $1+1000; i++))
do
wget img_url -O ./img/$i.png
done
}


grab_task(){
grab $1 &
grab $1+1000 &
grab $1+2000 &
grab $1+3000 &
grab $1+4000 &
grab $1+5000 &
grab $1+6000 &
grab $1+7000 &
grab $1+8000 &
grab $1+9000
}

grab_task_level3(){
grab_task $1 &
grab_task $1+10000 &
grab_task $1+20000 &
grab_task $1+30000 &
grab_task $1+40000 &
grab_task $1+50000 &
grab_task $1+60000 &
grab_task $1+70000 &
grab_task $1+80000 &
grab_task $1+90000
}

grab_task_level3 100000 &
grab_task_level3 200000 &
grab_task_level3 300000

[delectate]

生成列表，交给 aria2 即可。

[XxxxD]

额，我说一个偏的，获取图片 url 链接，然后 subprocess call IDM 成队列下载，比 requests, with open, write 快，wget 试了下，window 下报错，无解……

[sola97]

交给 aria2

[lihongjie0209]

先换一个固态硬盘, 我怕你硬盘是瓶颈