用 Python 抓取图片，用 wget 下载，那速度，让你怀疑人生

[cr4fun]

1、clone

git clone https://github.com/pmthink/get_pic_for_4chan.git

2、install

cd get_pic_for_4chan

pip3 install -r install.txt

3、download

python3 get2.py

demo

说明，本来想用多线程的，但是搞来稿去，觉得还是 wget 简单粗暴有效。

后续，打算做成 sqlite 的，把每个图片存进去，以便日后更新时不重复下载。

当然，为了追溯，最好能用区块链把图片的指纹给上链，哈哈哈。

声明，本程序默认下载 diy 频道的手工制作方面的图片，你们若用这个爬虫下载其他频道的东西，毁了三观可和我无关。

[qsnow6]

迅雷了解下

[Mogugugugu]

搞出一堆下载链接，然后扔在迅雷里面不就好了么 - -

[OpenJerry]

楼上+1，把下载链接整理好，批量导入专门的下载工具

[imn1]

1.下载工具
2.多个 wget 一起来，我以前就是这样

[imn1]

@imn1
3.pip install wget
import wget
……

[annielong]

以前懒省事，也用 python 采集图床，直到下载到两三百兆大小的 GIF 文件，把 python 拖崩溃

[tomfs]

python 调用迅雷的 SDKServer 了解下?

[29EtwXn6t5wgM3fD]

RPC 调用 aria2 怎么样

[cr4fun]

@shengyu 这个比较好，至少可以丢到服务器上去下载。

[longyutao444]

还好有最后一句，要不谁知道是 hm 还是 hc …

[RqPS6rhmP3Nyn3Tm]

switch fork()
case 0: execl(blah blah)

[msg7086]

aria2 的链接文件批量下载了解一下，还能重用 HTTP 连接。

[xiaqi]

调用 wget，还不如调用 axel，多线程，而且还不怕网络中断

[cz5424]

系统命令调用 wget &😉

[jimmyczm]

我用 requests。。感觉还可以

[cr4fun]

@jimmyczm requests 很慢啊