昨天晚上写了个 Python 程序，下载了一个福利网站 5000 来张妹子图片

[liuxu]

github:
https://github.com/liuxu0315/download_nvshen_so

执行：$ python nvshen_so.py

用了多线程， 8 条线程，在 /tmp 下生成 nvshen_so/01 等文件夹并下载到相应的目录。
里面有 2 行代码被注释掉了，它们是配套的，用来下载 2014/12/下的图片，有几百张。

现在有个问题，我的程序无法一次全部下载完，总是漏一点，要么是执行一段时间后就卡死不动了不知道是什么原因。。
当然下载图片前有判断是否有该文件，可以重复执行下载程序，不过这个治标没治本。。

[aalska]

@liuxu 没 难道是下载的问题？ wget 下的


下载 @Dongdong36 分享的两个也都是这样的报错

[liuxu]

@aalska 你下载的啥，我给的连接用 git clone 下载下来

[Dongdong36]

@aalska

wget https://raw.githubusercontent.com/sincerefly/Learning/master/py/getMeezin.py
chmod +x getMeezin.py
./getMeezin.py 0 1080

你下的是网页，不是代码

[aalska]

@Dongdong36 我是下代码的 非网页

不过搞明白了 原因是系统问题

[aalska]

@Dongdong36 我发现爬豆瓣妹子那个是没用的 豆瓣现在用的 dbmeinv 域名.....页面样式也不一样..

[bingoAI]

再挖一下。

[5ipapa]

cloudscraper 爬虫神器

[5ipapa]

5ipapa 点 com 建议收藏