scrapy 问题请教！

[xnile]

要爬的网站的评论是由服务端直接一次生成正文内容和评论，非 ajax 调接口获取。这种情况 scrapy 怎样能做到评论即能分页抓取还能和正文内容关联起来。想到的办法是写两个 spider 分别抓取正文和评论，然后再通过程序，根据贴子 id 关联起来。有没有办法一个 spider 直接搞定，item['content'],item['content']，请教下大家！

[ioiogoo]

可以通过 scrapy 的 meta 将信息传递给下一个 callback 处理函数，相当于是多个导航分类下多篇文章，多个评论，网上搜下，很多例子

[xnile]

@ioiogoo 好的，我试试，谢谢！

[congeec]

def parse_article(self, response):
____item = Item()
____yield scrapy.Request(url, meta={'item': item}, callback=self.parse_reviews)

def parse_reviews(self, response):
____item = response.meta['item'] # here be the magic

[xnile]

@congeec 好的，谢谢