scrapy 的速度真的很不给力呀？

[xiaoyu9527]

我抓一个妹子图。 最大带宽只能跑到 3M。

感觉并发还是有点少。 能不能加到 50 个并发。

不是异步的么？

[dsg001]

```python
# Configure maximum concurrent requests performed by Scrapy (default: 16)
# CONCURRENT_REQUESTS = 32
```
可以修改配置，但采集的瓶颈从来都不是并发，如果图片下载建议采集网址，之后调用 wget 下载，速度更好

[chendajun]

个人建议：先把 Scrapy 吃透再说性能问题

[xiaoyu9527]

@dsg001 我修改了感觉好像是腾讯云的性能的太渣。 并不是 scrapy 的锅。

因为我国外抓国外开到 32 线程可以跑 100M