请教使用 scrapy 爬取豆瓣读书的时候，无法多页面爬取的解决办法

[anguslg]

初学 Python ，在用 scrapy 来爬取豆瓣读书练习。目前爬取单页面的书籍没有问题

在用 scrapy 提供的 Rule 和 LinkExtractor 模块练习爬取多页面的时候，始终无法获取的到下一页的结果，折腾一天无解
爬虫主要代码在下面，请各位给看看问题所在，感谢！

https://gist.github.com/loricheung/b51503a835aa8b8af238b99a4104fb21

[bazingaterry]

return book --> yield book

[freestyle]

LinkExtractor 的正则写错了 r'/tag/小说\?start=\d+'

[freestyle]

@bazingaterry return 也可以

[freestyle]

不知道你这是不是 Python2 可能要加 u ur'/tag/小说\?start=\d+'

[congminghaoxue92]

你没有加翻页功能吧，加上翻页判断。

[anguslg]

@freestyle 使用的 Python3 ，正则表达式我测试过，可正确检测到对应的链接文本

[anguslg]

@congminghaoxue92 scrapy 框架已经帮做了这个事情

[nicevar]

问题出在 rules 上， callback 随便重新写个函数，不用覆盖 parse 就行了

[anguslg]

@nicevar 确实是这个问题。很奇怪，我在开始使用 Rule 来爬取多页的时候，就把 callback 函数重写了，但是当时也是只能只能爬取单个页面……