如何优雅的用 scrapy 去抓取连续页面？

[Shazoo]

举个例子，某个社区的 member 的 profile 页。 url 形如：

http://abc.com/profile/show?id=1

id 大概是 1~2000

这个用 curl 都可以比较轻松的连续抓下来。但是在 scrapy 的框架里面，有点糊涂。

难道就是修改里面的 start_urls ，弄一个 url 列表吗？


优雅，给点优雅的方法哈。

[Jackhuang]

看见楼主题目其实有点想问一个问题， scrapy 是异步的，但是有时候任务好像是同步阻塞的，应该怎么优雅？比如前几天抓知乎是这么设计的，列表得到问题 url ，然后放到池子里，具体一个问题下面有很多答案，我觉得这个时候应该同步把这个问题下面的所有答案得到。然后 yield 一个问题 item 。不知道对不对？