爬虫并发下载文件（求助）

[BryceBu]

我需要下载某个网站上的多个文件，本来用 requests，但是下载速度非常慢，而且是同步的

查了一些资料后发现这个库：grequests

人家基本是这么用：

urls = ['http://letiantian.me/'] * 10

req = (grequests.get(u) for u in urls)

resp = grequests.map(req, size=10) # 10 个并发

但是我仿照这样写了以后，得到的结果 with open 后不是正确的文件，哪位大佬知道如何异步爬取文件并保存？

[gwy15]

用 aiohttp

[BryceBu]

@gwy15 试过了，爬下来是 1kb。。。

<a href="https://sm.ms/image/JAXNikaO5GgCpEs" target="_blank"><img src="https://i.loli.net/2019/12/25/JAXNikaO5GgCpEs.png" ></a>

[1462326016]

1 楼正解

[1462326016]

如果爬取的文件不正常的话那么就是你发送的请求有问题。requests 和 aiohttp 基本用法是一致的

[rimutuyuan]

爬取成功后加到队列，依次保存

[BryceBu]

@1462326016
返回码是 [200 OK]

[1462326016]

@BryceBu 不能光看状态码，还有下载下来的文件是不是正常的，如果请求一样的话，只是异步发送的，那么同样的 URL 下载的内容应该是一样的。如果可以的话贴个网址大家看下

[gwy15]

如果不是文件大到内存装不下，不需要按 stream 读。直接
data = await resp.read()
with open(): write
就可以了。

你只传了 cookie 和 params，很大概率是因为 UA、host、referer 之类的被挡下来了，自己检查下就知道了。

[ixuuux]

#2 写入文件的方式有误，改为 ab 试下

[whoops]

不是解答你 问题的答案，但是可以参考一下
python 爬虫把要下载的文件丢给 aria2 去下载