Python 爬虫并发极限是多少呢?

模块介绍: 爬取网上很多公开的代理 IP 网址, HTTP HTTPS Sock5 , 去重后, 访问自己域名(返回 Json, 小于 300 字节), 用来测试匿名程度后保存

  不使用代理,仅本地网络测试
  设备:  联通光纤宽带(我一个人用) 下行 300M 上行 30    CPU: I7 7700HQ 4 核 8 逻辑处理器 内存: 16G 
  国内的服务器: 阿里云  1 核 2 内  1M

  单进程 + 异步: 
      URL 500 个
      asyncio.Semaphore(500)   
      aiohttp 设置超时时间为 1 秒

  结果: 并发 500 的成功率为 97%左右(偶尔抽风)
      每秒并发个数: 485

  多进程 + 异步:
      URL 500 个
      5 个进程 (每个进程平均 100 个 URL)
      asyncio.Semaphore(100)   
      aiohttp 设置超时时间为 1 秒

  结果:并发 500 的成功率为 99%左右(偶尔抽风)
      每秒并发个数: 495

  多进程 + 异步:
      URL 1600 个
      8 个进程 (每个进程平均 200 个 URL)
      asyncio.Semaphore(200)   
      aiohttp 设置超时时间为 1 秒

  结果:并发 1600 的成功率为 4% ~ 75%左右(大概率低于 30%)
      每秒并发个数: 64 ~ 1200

当前遇到的问题: 超过 500 并发后极其不稳定

  目前猜测之所以 500 是临界点, 可能联通限制连接数 1000 导致 或是  Windows 平台 select 限制

当前策略每三秒对所有代理 IP 访问自己服务器进行测试测试代理 IP 超时时间为 3 秒通过超时次数,和响应时间(使用) 对每个 IP 分配权重来筛选,排序, 所以要很大程度上减少自身网络或程序的错误, 才尽可能保证代理 IP 的准确性于可用性, 毕竟能用的 IP 太少, 误封就太可惜了

  电脑性能和上行带宽没跑满, 多加几个服务器太浪费了

请问各位, 有什么方式能提高并发量, 或容错(误封可用 IP)的策略呢,

black11black

2020-03-17 00:11:22 +08:00

@lithbitren 我一直不支持用猴子补丁，我不知道 grequests 的具体实现方式。但是你应该知道多线程是多线程，IO 复用是 IO 复用，你用线程的思考方式考虑 IO 复用是风马牛不相及的两码事。windows 下线程切换的默认时间片是十毫秒还是多少记不住了，linux 应该是几十微秒，基于线程模型理所当然是浪费大部分 IO 性能的，无所谓什么解析数据占用线程资源，就像 select 有监控上限，他不是 py 的并发极限，只是单纯你用了错误的方式而已

lithbitren

2020-03-17 01:17:10 +08:00

@black11black 不是，不推荐归不推荐，grequests 就是单纯的 gevent+request 的封装，并发爬虫几行写完了就是图个方便，协程是原理，但用 grequests 根本不需要懂协程，而且印象中是 3.5 之前就有了。单独 request 发送回收数据是需要解析时间解析的，从数据返回到数据解析成 request 对象也是需要时间的，是需要占用 GIL 资源的，切协程这个时间在解析数据这里是可以忽略不计的，但最后接收数据的时候阻塞的，如果任意一个请求的响应变慢或超时，整体的统计时间也会大幅增加。
我这里 win10 开线程的应该是不到 1ms 左右，协程应该也是几十微妙。
grequests 的核心代码就是一行 grequests.map(request_list)，计时函数只能放在这行代码的前后，实质统计到的是所有请求完整生命周期的时间。