一个关于爬虫效率的问题,碰到瓶颈速度死活无法再提升.

[xiaocsl]

分别在三个网络环境中测试
网络环境 带宽上行 带宽下行
联通无路由 8Mbps 0.8Mbps
长城有路由 15Mbps 15Mbps
阿里云 10Mbps 10Mpbs

全部 Windows 系统

三种环境下,不管是多线程,还是开多份软件.
速度都无法突破每秒钟 110 左右的 HTTP 请求.(带宽还很富余)

问一下,是什么瓶颈卡住了速度.

[xiaocsl]

突然感觉好可怜,完全没人看啊.

[fishioon]

你是如何确认带宽还有富余？单线程无法跑满带宽可以理解，但是如果多个进程肯定会跑满带宽的，当然进程之间是独立的

[wy315700]

秒钟 110 次请求，如果每次请求 10KB 的话，那就是 1.1MB ，已经到了带宽上限了

[xiaocsl]

@fishioon
联通的,是跑满了.
长城宽带不稳定另说.
但阿里云我确定没跑满.


@wy315700
流量上行每秒 150kb 左右,离 10Mbps 还很远.

[wy315700]

@xiaocsl
下行呢

[xiaocsl]

@wy315700
下行每秒 500kb 左右.