想请问下如何递归的从新闻站点当前日页面抓取历史页面呢？

[shierji]

我之前用的scrapy 如果抓比如凤凰网 从主页出发大概只能抓到近几个月的东西而且不全……

看到今天讨论爬虫的比较多 所以来问一下
@binux
@Feiox

[binux]

前提是对方站点提供了历史页面

[shierji]

@binux 历史页面是存在的 但是似乎是孤岛 没法从现在的网页爬过去

之前构思过通过搜索引擎获取历史页面链接 但是感觉限制很多而且很复杂

[binux]

@shierji 历史页面的列表页呢？

[Feiox]

我查了一下，凤凰的 url 规律性很强。例如 http://news.ifeng.com/a/20150527/43846414_0.shtml，起一个代表时间，第二个表示编号，而且编号都是相连的。所以呢。。。。
曾经抓过一个页面，面对散列值我也好无奈啊。

[shierji]

@Feiox 我回去研究下～～

[shierji]

@Feiox
@binux 找到入口了。谢谢！