如何用 beatuful soup 做一个抓取小说分页阅读，然后整合在一起？

[byfsdhr]

我是想用查找下一页，然后 request 下一页地址然后循环直到没有下一页了。 将标题和文章输出成 text ，但是 find_all 找不到下一页 string ，求解

[shoaly]

给你一个建议, 抛弃 beautiful soup, 转战 pyquery, 一个 python 下面的 Jquery, 专治各种 dom 的 处理

[byfsdhr]

我去

[byfsdhr]

@shoaly 你看 scrapy 怎么样？

[29488503878]

采集还是用 scrapy 框架比较好，解析 html 用 xpath 很省力

[shoaly]

@byfsdhr scrapy 是负责采集 本身, 但是我个人不是太喜欢 xpath 的定位方式, 更喜欢 pyQuery, 因为 jquery 用太熟悉了哈

[bbking]

你看看页面是怎么生成的，有可能页面 url 就是 page=1,2...，如果是 js 生成的，那就用 js 的方法处理咯

[beviniy]

一直用 lxml 模块的 xpath 解析 很好用