Scrapy: 爬取豆瓣书籍 //以及几个简单实例

[alexapollo]

源码： https://github.com/geekan/scrapy-examples
这个工程是为了 http://www.oschina.net/code/snippet_1026739_25291 的改写而试手的作品，依赖Scrapy爬虫框架。
现在有几个基本的爬虫：douban书籍爬取，linkedin的公共资料爬取，以及几个很有用的入门tutorial。
截图： https://raw2.github.com/geekan/resource_collection/master/image/doubanbook.jpg

[faceair]

要做图书馆数据整合，刚巧用得上，谢～

[alexapollo]

@faceair 哈哈~ 大恩不言谢，红包呢！

[alexapollo]

更新了hrtencent的爬取~

[lincanbin]

上个月写过一个爬豆瓣读书的，为了整合一个图书馆系统。
豆瓣读书有一个现成的API，Response是JSON格式，非常方便。

[alexapollo]

@lincanbin 多谢回复。有看过API，但这个工程也仅是为了练Scrapy :)

[bearcat001]

你用递归了吗？scrapy如何做递归比较舒服...?
我一直再用yield Request，可控性不高

[alexapollo]

@bearcat001 递归的目的是？爬整站吗？我原来写了一套递归系统，但感觉Rule还挺好用，就都废弃了

[funcman]

豆瓣的数据根本不值得爬。

[alexapollo]

@funcman Example而已。。

[funcman]

@alexapollo 是对想弄图书馆数据的一楼说的。

[robertlyc]

豆瓣有api提供