互联网大厂里面都有爬虫团队吗，主要负责爬什么样的数据啊

[snappyone]

好像这样的团队都很神秘，于是想了解下

[matsuz]

互联网大厂一般不需要爬虫，他们自己的系统里面有数据，不需要从外面爬

需要爬数据一般有互联网小厂、传统行业公司。

其中传统行业大厂一般会把数据需求外包出去，传统行业小厂请不起爬虫（就算请得起也不会专门养一个爬虫）。所以真正需要爬虫的多是互联网小厂

所以说现在爬虫其实没啥前途的。

（当然，有一个例外是搞搜索引擎爬虫的）

[lincanbin]

爬虫有法务风险，现在上规模的厂都很少搞这个了

[chengxiao]

@lincanbin 越大的厂 越需要爬虫的
爬虫可做的事情很多 大厂对于舆情这块儿重视程度比小厂多了去了 是肯定有部门负责这部分的

[andylsr]

天眼查~~算互联网么

[luoleng]

一些搞大数据的公司会需要爬虫

[hoythan]

@matsuz 你视界太小了，爬虫团队很重要。

[monkey110]

还行吧 我们这个厂是生产汽车的厂 有个舆论管控小组 专门爬取互联网上的关于厂区产品的负面言论 明面上是收集故障意见等 其实也就是删删贴 发表些正面的帖子

[xmtudgzy]

别说公网，在 PT 站也见到过，还是国内大厂！

[lynskylate]

美团做 12306 抢票的算爬虫吗，头条部分新闻是官方授权然后去抓取的算吗？不过大厂做爬虫的确实少，而且爬虫也只是一个小部分，所以说爬虫没前途大部分情况都是对的

[lavawong]

大厂绝对有只是你不知道而已，据我所知国内大厂都有专门的团队搞这事

[gabon]

@matsuz 竞对的数据你不爬等着别人爬你吗

[envylee]

看完上面的回复我甚至怀疑是不是巴基斯坦或者印度新过来了一些会中文的从业者，，，

[julyclyde]

@matsuz 你眼界太小了
爬竞争对手是个很重要的事