[爬虫与 5G] 5G 的到来会对爬虫速度有质的改变吗？？

[WaJueJiPrince]

最近的 5G 技术，炒的是非常火热，大家都在畅想着，5G 的到来会对什么行业有影响，会在哪个地方有爆发？

我是写爬虫的，所以就联想到 5G 的到来，会对爬虫有质的提升吗？又会改变爬虫哪些地方呢？ 经常写爬虫的朋友应该知道，爬虫的速度慢，关键在于爬虫是 I/O 密集型的。也就是当我们发出一个请求以后，需要等待响应的回归。所以对于 CPU 的利用不是太好，我指的是用 Python 来编写爬虫。由于 Python 的 GIL 全局解释器锁。所以，我们为了提高效率，可以采用多进程的方式，也可以采用多线程的方式，甚至采用协程的方式来实现爬虫。 听说 5G 的到来。网速有相当大的改善，据说一秒钟可以下载一个电影。

• 那么这么快的速度，对于爬虫来说以后是不是意味着我们不需要编写“太好的”，异步代码或者是多线程代码。对于代码的要求，是不是就降低了呢。

• 以后我们写的爬虫，问题是不是又集中在了 CPU 密集型了呢？以及验证码，IP 这些反爬措施上。

[lupo]

@zwh2698 目前有很多项目可能受限于当前的网速发展不起来，如果 5G 发展起来了。这些项目就能搞起来了。这个潜能是无限的，谁也不能承担忽视 5G 而导致的后果，所以美国疯狂打压华为。。。微软很早之前就做智能手机，做平板，但一直没有发展起来，感觉和网络速度有一定的关系。。

[shuizhengqi]

程序员的门槛真是越来越低了

[rootww21]

所以程序员并不是技术相关的都懂
就和不是所有的程序员都会修电脑一样
过分嘲笑就没意思了

[402124773]

@shuizhengqi
低的有点可怕了，两个完全没有任何关系的技术，连基本原理都不懂一点的。
看来有时候，很多人鄙视纯爬虫工程师是有点道理的。

[zephyru]

到现在，该回答的都有人回答了.我也不重复了...
我看到题目的第一反应是在钓鱼...往后面看发现居然是认真的..
还真别怪一开始几个人冷嘲热讽.不回答问题.也不是你想的太完美了..
而是你书读太少了..但凡对网络组成有一丝丝的了解也不会问出这种问题...

[soulmine]

对速度没有 对数据量有质的改变

[karllynn]

楼主你这技术底子也太薄了吧，讨论个啥=。=

[676529483]

lz 是爬虫新人吧，爬虫难点不在于 IO，写异步的或者线程池都可以缓解，瓶颈在于反爬，甚至需要主动降低爬取频率；再说一般中小企业网站都 4M 带宽出口，你最高也就这速度了

[skSK09]

"由于 Python 的 GIL 全局解释器锁。所以，我们为了提高效率，可以采用多进程的方式，也可以采用多线程的方式，甚至采用协程的方式来实现爬虫。"
IO 密集型的操作你可以认为和 GIL 没关系。

[zjyl1994]

等等，你的爬虫服务器不是放在机房里通过万兆光纤接入的吧？
难道说你们现在的瓶颈在爬虫手机 4G 速度不够？所以期待 5G 带来质变？
那这边建议你买个 G 口的 VPS 体验一下，绝对比手机上跑爬虫烧 4G 流量便宜，而且还快

[zephyru]

@rootww21
修电脑和这种基础知识不是一类的...
修电脑是技能..
而网络组成是基础知识，但凡是写和网络有关程序的人都会接触到，他还是写爬虫的，这些不懂有些说不过去....

[rootww21]

@zephyru 说明初入行业，我一个运维也知道和 5G 没关系，虽然专业是通信

[pkoukk]

你不会在用 4G 流了来爬数据吧？？？
5G 再快，最终也得汇到光纤主网上面去

[wunonglin]

@zwh2698 所以说现在都是政治吹捧，但是捧也要有点底线，现在这样好像在看傻子

[unco020511]

为什么 5G 会影响服务器?

[dobelee]

现在服务器千兆的大把，加钱也有万兆。
哦不对，楼主用的是移动网络。

[itskingname]

速度从来都不是爬虫最关键的地方。

[jseed]

5G 到来，会影响我单手开保时捷吗！#手动滑稽

[qinxi]

@jseed #78 会啊.毕竟 5G 会带来无人驾驶

[crawl3r]

现在的爬虫瓶颈不就是在反爬对抗么？