[爬虫与 5G] 5G 的到来会对爬虫速度有质的改变吗？？

[WaJueJiPrince]

最近的 5G 技术，炒的是非常火热，大家都在畅想着，5G 的到来会对什么行业有影响，会在哪个地方有爆发？

我是写爬虫的，所以就联想到 5G 的到来，会对爬虫有质的提升吗？又会改变爬虫哪些地方呢？ 经常写爬虫的朋友应该知道，爬虫的速度慢，关键在于爬虫是 I/O 密集型的。也就是当我们发出一个请求以后，需要等待响应的回归。所以对于 CPU 的利用不是太好，我指的是用 Python 来编写爬虫。由于 Python 的 GIL 全局解释器锁。所以，我们为了提高效率，可以采用多进程的方式，也可以采用多线程的方式，甚至采用协程的方式来实现爬虫。 听说 5G 的到来。网速有相当大的改善，据说一秒钟可以下载一个电影。

• 那么这么快的速度，对于爬虫来说以后是不是意味着我们不需要编写“太好的”，异步代码或者是多线程代码。对于代码的要求，是不是就降低了呢。

• 以后我们写的爬虫，问题是不是又集中在了 CPU 密集型了呢？以及验证码，IP 这些反爬措施上。

[jseed]

@qinxi 你赢了

[zwh2698]

@lupo 第一我没说忽略 5G 发展，千万不能曲解，千万！我只是想说 5G 能干啥，估计炒作的人都没想清楚，所以让子弹飞一会儿。第二微软的失败不是因为网络吧。你去找找吴军的分析。

[glfpes]

LZ 就像个真信了亩产万斤的农民。

[WaJueJiPrince]

@676529483 仔细看看我之前的回复就知道了 我的意思是低延迟 而且你们可能认为有线技术一直是在服务器那端 这辈子都不会改变 我认为的任何事情都会改变

[zwh2698]

再次强调，5G 网络延迟改善，带宽增加和有线毛关系都没，这个只能提升无线接入到设备之间网络质量。如果要主干网路，除非有什么比光纤更快的。但是目前物理定律是不可能有超过光速的。那么就是光纤优化，让光子在内部尽量减少反射次数，最好做到直接到，这样应该就是理论上的光速了。现在光纤的传输速度小于光速。

[killerv]

我怀疑楼主根本没写过爬虫

[jeasonzuo]

我怀疑楼主根本不懂网络

[sobigfish]

我怀疑楼主根本不懂木桶

[msg7086]

一秒钟就能下一部电影的移动网络价格，你拿去买固定有线网络，可以买到一秒钟就能下十部电影的。

我们假设你跑出了 5G 应有的带宽的十分之一，也就是 100mbps，一个月下来跑了 32.4TB ，那 32.4TB 的手机流量是多少钱呢？好像有点超出我的知识量了。如果我们按照现在一元一 GB 的价格来算的话，是 32400 元。

那么每月 32400 元能申请到什么样的有线网络呢？

我陷入了沉思。

[gscoder]

5G 是移动网络，和固定网络木有关系，除非你的爬虫是跑在手机上

[locoz]

@locoz #53 补一下昨天说的这个，有兴趣的可以了解一下
https://www.v2ex.com/t/572939