[爬虫与 5G] 5G 的到来会对爬虫速度有质的改变吗？？

[WaJueJiPrince]

最近的 5G 技术，炒的是非常火热，大家都在畅想着，5G 的到来会对什么行业有影响，会在哪个地方有爆发？

我是写爬虫的，所以就联想到 5G 的到来，会对爬虫有质的提升吗？又会改变爬虫哪些地方呢？ 经常写爬虫的朋友应该知道，爬虫的速度慢，关键在于爬虫是 I/O 密集型的。也就是当我们发出一个请求以后，需要等待响应的回归。所以对于 CPU 的利用不是太好，我指的是用 Python 来编写爬虫。由于 Python 的 GIL 全局解释器锁。所以，我们为了提高效率，可以采用多进程的方式，也可以采用多线程的方式，甚至采用协程的方式来实现爬虫。 听说 5G 的到来。网速有相当大的改善，据说一秒钟可以下载一个电影。

• 那么这么快的速度，对于爬虫来说以后是不是意味着我们不需要编写“太好的”，异步代码或者是多线程代码。对于代码的要求，是不是就降低了呢。

• 以后我们写的爬虫，问题是不是又集中在了 CPU 密集型了呢？以及验证码，IP 这些反爬措施上。

[WaJueJiPrince]

@botian 爬虫触犯法律目前已经有一个案例了 盗取别人家的视频获刑 似乎是中国首例 还有一个什么公司 靠采集别人的简历 好像融资 1.5 亿 最后被一锅端 30 多人坐牢了

[cz5424]

越快越容易被 block

[FrankHB]

@chinvo
螳螂会爬
螳螂是虫
螳螂也是爬虫
（论证有力）

[Northxw]

（简单论述） IO 密集，多线程，5G，岂不是更加利用 CPU 资源，更加美滋滋？

[Caan07]

家族群我堂弟说：哇，5G 快来了。5G 速度好快啊。

我二姑爷说：5G 不用钱么？

全群安静。

[masker]

？？？网速影响实现代码？

[lostberryzz]

别问，问就是速度是 5G 最无聊的应用

[binux]

@WaJueJiPrince #10 你写的爬虫框架连 IO 都解决不了？

[zwh2698]

科普，通信网络是由核心网，接入网，用户设备, 简单说明。接入分有线和无线，核心网 10 多年没有变化了，变化比较多是接入网中的无线部分

[zwh2698]

所以大家觉得 5G 是通信网络中那部分呢？？

[zwh2698]

1.5g 说会出现大量网联设备，这说明没有 5G 的情况也有物联，不是大量对吧？
2.大量会不会是伪需求？比如汽车连接电饭锅，你在路上的时候可以煮饭？请问锅里米谁洗？水谁放？电谁插？保姆呀，都有保姆，还要这个有用吗？
3 让子弹飞一会儿。

[wunonglin]

@zwh2698 他们肯定会说 5G 来了肯定就会有具备自动放米、自动洗米功能的电饭煲，而且还能通过大数据精准放置多少米量 emmmmm，你信不信

我要笑死了哈哈哈哈哈哈哈哈哈

[locoz]

这个问题挺有意思的，不过我认为对速度的影响并不大，等下到公司细说一下。

[alamaya]

写爬虫不是该跟人家反扒策略斗智斗勇？就现在的带宽你能跑满？

[icharm]

异步爬虫了解哈？

[zwh2698]

@wunonglin 其实我不是嘲笑 5G,我只是客观说明，这东西被包装过度，无非有人想要摸鱼，华为的任老大不是也说内部没有外面那么夸大，这是华为任老大说的，有视频的，都不要找我哈。我引用。 回到题主，题主这是有线接入，和 5G 一毛关系都没有。通讯延迟减小只是说明以前无线设备和无线接入这块有改善。和核心网速度一点关系都没，大油管如果很小，分支油管还能上天？ 核心网将近 20 年都没变了，什么光纤改善，CPU 提升，内存速度快，理论上只是运营商节约了一点成本，其实也没节省。就像现在运营商都是 nfv,结构，nfv 的目的是为了省钱，但是现在其实比原来黑盒子更多 10-30%, 移动或者电信的朋友出来说说看。

[abcbuzhiming]

楼主，你说你是写爬虫的？你难道没有被别人家的反爬虫措施整的欲仙欲死的经历？你居然认为阻碍爬虫的问题是网速和响应时间？你真的是写爬虫的？你不是在逗我？

[lihongjie0209]

哪怕没有网速的限制, 你觉得对方的服务器资源可以让你随意占用?

[whwq2012]

你说 ipv6 能提升爬虫的效率都比说 5g 好

[kisshere]

好多写爬虫的还主动降频，就是为了怕对方发现，你这思路清奇，即使对方毫无反爬措施，爬虫的进程数、解析 DOM 速度才是最大瓶颈，网速高有毛用