宅男福利 - 一个图片爬虫，基于 Tornado 协程

[wangleineo]

写了一个基于 Tornado 的图片爬虫： [https://github.com/RealHacker/python-gems/tree/master/image_crawler]( https://github.com/RealHacker/python-gems/tree/master/image_crawler)

成果展示：

只需要两步：
- 在 ini 文件中设置几个选项：

; start url for crawler
starturl = http://pic.kdslife.com/

; regexes for links and image urls
linkregex=http://pic.kdslife.com/content_.*.html
imgregex=http://img.club.pchome.net/.*.jpg

; integer>=1, larger politeness means slower crawling
; but also less likely to be denied service
politeness=3

; the directory to store the downloaded images
imgdir=E:/kds/

; the min size of images that you want to download
minwidth=200
minheight=200

- 执行`python crawler.py http://start-url-to-crawl`

然后就等着收获吧！

欢迎报 bug ，提需求。

[Tink]

原来大家都好这口

[wangleineo]

@Tink 人家只是研究爬虫，图片看也不看全删掉的 ：）

[Tink]

@wangleineo 大家都懂 233

[kchum]

先收藏 😁

[veau]

原来大家都好这口

[vietor]

加数据库支持，关键字搜索， Web 预览，才行

[radio777]

硬盘不够大啊

[alohathomas]

小白表示不知道怎么用。

[nisnaker]

新手表示也想练手，请各位不吝推荐图片站~~
@all

[nisnaker]

我靠， v2 真有人叫 all

[jamesfuxk]

请问下，你是针对什么网站爬的？

[zkzipoo]

1.登陆模块？
2.命名规则？

[zhajming]

http://pic.kdslife.com/ ？？

[onlyxuyang]

@zhajming 有水印 非高清 …… 差评…… 不抓……

[wangleineo]

@vietor 额 scrapy 好像都没有这么多功能吧
@jamesfuxk 图片站
@zkzipoo 命名规则现在就是简单的 4 位数字
@zhajming @onlyxuyang 只是拿这个站做个例子，改配置就可以爬别的网站。

[scenix]

哈哈 你这是把全站都爬下来的节奏啊。

我闲着没事写过一个从 1024 指定帖子页爬图转成 PDF 的，众所周知的原因还支持 socks5 代理。

https://github.com/scenix007/1024toPDF

[gaocegege]

咋不用 scrapy 啥的呢~