大家如何看待爬虫和爬虫教程近日被推到风口浪尖这种现象？

[Miksztowi]

最近发现关于爬虫的教程和实战如雨后春笋一样疯狂涌现。但据我了解，首先爬虫这个技术是几年前甚至更早以前就已经出现了，而且爬虫本身的技术天花板并没有多高把，但是为何最近开始这么热门？ 同时又有一些技术大 V 的回答和专栏中对爬虫的评价并不友好，是厌恶爬虫还是厌恶这种技术被捧到风口浪尖？ 题主也有过一些简单操作爬虫的经验，看到爬虫在风口浪尖上，想到这样的行为会不会使互联网公司开始加大反爬虫的力度，有没有可能做到彻底的禁止爬虫行为呢？ 希望大家可以不吝赐教，非常感谢。

[renyijiu]

个人觉得教程是一件好事，对于我这种新手是一个吸引和引导，
但是这个好多都是什么爬妹子图教程就很尴尬， 23333

[est]

所以现在市面上有 websockets/SSE/http2 的爬虫了吗？

[murmur]

@Miksztowi 不让用 headless 用真的浏览器+selenium 能搞定不。。

[yanzixuan]

@gouchaoer 请教一下，遇到变态验证码你们是用打码平台还是自己搞智能识别。
如果自己搞智能识别，爬虫还要涵盖机器学习和人工神经网络了。

[yohole]

爬虫是一个技术工具，关键是爬虫背后的业务是否畸形，包括盗版、版权、知识、道德等一系列问题

[yanzixuan]

@murmur 效率不行。你爬少量数据还行，要是要求高并发高速爬就堪忧了。

[dsg001]

爬虫门槛低，又能扯上大数据，有有噱头，各种自媒体都可以快速上手忽悠

[chenwen]

大部分只是个入门，真的没啥

[gamecreating]

python 唯一优势 是它开发快......遁

[shiina]

以前有人说, 他们写的根本不是爬虫, 顶多就是个网页下载器

[usenix]

@binux 说的在理，其实我也做过配模版的活（逃

[linzhi]

感觉每年都有很多教程 这块适合学习 最近也在写着玩

[nomemo]

爬虫后面的数据处理与应用更有意思..

[brucedone]

===足够的吸引力===
拿别人的代码跑一下，就可以拿到种子，妹子图，或者生成标准的 excel ，你说对于一个从来没有接触过编程语言的人，够不够吸引力呢？我想大多数刚接触语言的人应该都不会拒绝吧，特别是非科班出身的人

===数据时代的兴起===
目前的噱头，都天天喊着大数据，有些公司或者企业，本身不生产数据，那怎么办呢？买数据，或者爬数据，这点对于“爬虫”这个行业的兴起是密不可分的

===入门容易深入难===
懂一般的 http 请求，了解 xpath ，正则，玩一两个框架，就可以定制一些数据了，那真这么简单吗？当然不是，你玩爬虫你得知道别人反爬虫的常用技巧吧， js 渲染， api 加密，封 IP ，出验证码，还有你的数据层面的存储，清洗，爬虫的整体执行效率，每一个细节都可以延伸的技术细节，所以你入门是容易的，但是想要精进，是需要花时间的

===乱象===
现在网上对于爬虫的需求是饱和或者上升的，但是舆论风气很不好，贴一两段代码，然后取个什么标题，他们从来不会跟你讲 html dom 元素， javascript ,http 请求这些基本的理论知识，更别谈数据库，语言的基础知识了，只要你会用，这点我看来不怎么好

[Tunar]

搞得现在小学生那样的都能写个爬虫然后给自己贴上一个 py 工程师的标签。。这东西还得结合数据挖掘神马的才能上一个台阶，和自我感觉良好的小学生拉开距离

[oyosc]

不好意思说话了，前不久我领导就让我去爬豆瓣所有的电影跟微博的数据，用来进行机器学习...

[exoticknight]

三四月爬虫，哈哈
不过又是圈粉圈钱的又一个手段罢了

[Miksztowi]

@actto 大数据分析所用的数据爬虫爬来的可以用吗？我觉得爬虫爬到的有价值的数据很少啊

[Miksztowi]

@oyosc 爬虫爬到的数据可以机器学习吗？

[duan602728596]

反正最近写了个工具，主要是爬某团体的网站，获取地址，下载视频流.......