关于用 Scrapy 框架开发爬虫时保存图片操作的咨询

[saximi]

用 Scrapy 框架开发爬虫，按照一般的规范，对图片进行下载并保存的操作是不是应当放在 pipelines.py 中实现呢？
谢谢

[misaka19000]

是的

[saximi]

@misaka19000 谢谢！

[sunwei0325]

有现成的啊 http://scrapy.readthedocs.io/en/latest/topics/media-pipeline.html

[saximi]

@misaka19000 爬虫下载图片的做法，是不是最好用的还是 urllib 模块和以下的步骤？
req=urllib.request.Request(imageURL)
response=urllib.request.urlopen(req)
data=response.read()

[saximi]

@sunwei0325 谢谢，我去学习学习

[saximi]

@sunwei0325 请教，这个例子中的 get_media_requests(self,item,info)方法，info 参数是怎么个用法呢？谢谢

[sunwei0325]

@saximi 没什么用, 兼容旧版本的