[爬虫与 5G] 5G 的到来会对爬虫速度有质的改变吗？？

[WaJueJiPrince]

最近的 5G 技术，炒的是非常火热，大家都在畅想着，5G 的到来会对什么行业有影响，会在哪个地方有爆发？

我是写爬虫的，所以就联想到 5G 的到来，会对爬虫有质的提升吗？又会改变爬虫哪些地方呢？ 经常写爬虫的朋友应该知道，爬虫的速度慢，关键在于爬虫是 I/O 密集型的。也就是当我们发出一个请求以后，需要等待响应的回归。所以对于 CPU 的利用不是太好，我指的是用 Python 来编写爬虫。由于 Python 的 GIL 全局解释器锁。所以，我们为了提高效率，可以采用多进程的方式，也可以采用多线程的方式，甚至采用协程的方式来实现爬虫。 听说 5G 的到来。网速有相当大的改善，据说一秒钟可以下载一个电影。

• 那么这么快的速度，对于爬虫来说以后是不是意味着我们不需要编写“太好的”，异步代码或者是多线程代码。对于代码的要求，是不是就降低了呢。

• 以后我们写的爬虫，问题是不是又集中在了 CPU 密集型了呢？以及验证码，IP 这些反爬措施上。

[WaJueJiPrince]

@HuLiY 是的 我的意思就是 [高带宽低延迟] ，可能有些描述不清吧 有些人就断章取义了 目前的方式绝对是线程 协程 分布式 反爬 验证码 IP 。。。。 其实爬虫要解决的问题还有很多呢

[lanternxx]

先不说 5G 到底能不能实现比有线延迟低速度快 然后再假设你的电脑也使用 5G 来上网 但是你要爬的服务器不还是有线接入？

[wc951]

5g 只是影响端到端，你服务器不走光纤走 5g ？

[WaJueJiPrince]

@lanternxx @wc951 可能我想的太完美了

[good1uck]

5g 的到来会提高人的学习速度吗

一定程度上吧

[mumbler]

除非对方服务器无限带宽，爬虫才用得上 5G

[lang1pal]

万兆网线也带不起硬盘的 io 吧 硬盘的 4k 性能有限

[boom7]

你的爬虫部署在服务器上的话，是走的有线网络，与 5G 无关。再之，一般来讲爬虫应用单次请求的响应体都不大[视频爬虫之类的除外]，你的爬虫的 io 等待时间主要取决于对方服务器的响应时间，相比之下带宽就显得不那么重要。

[gamexg]

@lang1pal #27 既然用万兆网了，那就上 ssd 吧。
消费级 970 ssd 的读写速度已经能达到 3G/s 了。

[gamexg]

@lang1pal #27 4k 性能记不清了，但是印象也很高。

[kera0a]

5g 再快也快不过有线啊，咋回事啊

[luozic]

无线 和你有线的云主机有关系？ 有线的 100GE 网卡便宜了？！

[botian]

怎么不问问，爬虫技术什么时候被法律约束？

[changz]

要明白 5G 只是一种接入网技术而已。

[changz]

5G 的低延迟目前来说只是个伪命题，你并不能忽略网路中间节点的影响。

[pxw2002]

我感觉我的智商受到了侮辱

[gunjianpan]

hhh 你爬虫 不就是对人家带宽上限吗 对方服务器还是 1M 带宽你有什么办法

[thua]

5g 的网络，对于百度云的下载速度限制是不起作用的，爬虫也是，都是看服务端响应时间，而不是在互联网上的传输时间。

[WaJueJiPrince]

@gunjianpan 对方的宽带就 1M 确实没办法 不知道长远的未来会不会还是 1M

[WaJueJiPrince]

@thua 。。。黑的好！！！！！！！