scrapy 的下载的图片文件不完整

[wangxiaoer]

基于 scrapy 的爬虫，通过 filepipeline 下载网页中的图片文件，但是发现大小不对，大多时候下载的图片不完整，比如只有一般。

但是我在服务器上直接 wget 或者 curl 下载又没有问题。

有可能是什么情况？

我考虑过是不是 ip 被对方识别了，但是 wget 为何么事？而且我更换了 ua，header 等，好像还是不行。