少年来一发，分享一个抓取豆瓣妹子的代码

[wengang285]

之前看到有很多抓取豆瓣害羞组图片的帖子，我也凑凑热闹，发一个PHP版本的

1、支持自动代理，无视豆瓣屏蔽
2、记录上次下载的页数
3、多进程下载

只支持linux系统

送上地址：
https://github.com/wengang285/HotGirlClaw

准备好你们的硬盘吧，骚年
http://gavinwen-topic.qiniudn.com/douban.jpg

[spacewander]

@x86 没有女朋友就不用担心了

[binux]

看到你还专门写一个爬虫。。于是：
demo.pyspider.org + 多说做数据库 + 一个html = 豆瓣害羞组读图版

https://f.binux.me/haixiuzu.html

[wengang285]

@binux 赞~

[laotaitai]

豆瓣的防爬虫机制做的很烂的, 把header里的bid换掉即可, 比如每次请求都把bid的值给换掉,用不着代理.

不信? 看我的:https://github.com/laomayi/doubanspiders

可直达:https://github.com/laomayi/doubanspiders/blob/master/douban/album/misc/middlewares.py 这文件看我写的bid

搞代码多麻烦, 速度又慢.

[wengang285]

@laotaitai 哈哈，我以为是对ip进行限制呢

[laotaitai]

@wengang285 要是豆瓣防爬虫的机制还没变的话, 记得给我点那doubanspiders的star哈.

[jacob]

php新手，请问lz，如果想看懂你的代码，需要哪些知识，希望指点

[wengang285]

@laotaitai 已点

[wengang285]

@jacob 懂php就行

[ywencn]

补充两个代理 IP 的网站
http://www.ip84.com
http://www.mimiip.com