看到一大波 Java 在转大数据，唯有我倒着走?

[comsweetcs]

前言

越来越多的 Java 后端转来搞大数据了，只有我倒着走，要回去搞后端嘛？ 个人感觉大数据开发真的没啥意思，最有意思和有价值的工作在于机器学习，奈何能力有限。 说下对于大数据开发我的看法，首先说下这个类别岗位的主要意义，然后谈下工种分类。

大数据开发的价值

大数据开发的价值个人认为主要是为了给机器学习提供数据服务支撑，通俗点说就是让搞机器学习的同学 能更好的利用数据，保证数据的丰富性、准确性。

大数据开发的工种

大数据开发在我看来主要分为两个工种，一个是搞平台化开发、一个是面向业务的数据仓库开发。

• 平台化开发岗 主要负责数据的采集、数据的治理、保证数据落到数仓过程中数据质量、保证数据的易用、易查。 主要工作内容就是运维、搭建 Hadoop 这些大数据程序、编写少量的代码。
• 数仓开发岗位 主要负责数据仓库的构建，像运营、产品、机器学习人员提供数据。主要工作内容就是写 SQL 、写脚本跑 SQL 。

我的一些感悟

• 可能我做得不够深，感觉前者和业务没多少关系，很容易陷入尴尬的局面，像个运维小哥。后者整天在撤 SQL，真是心累。
• 大数据类的大多数工作对编码要求比较低，而且真有些代码也特别少。
• 现在觉得还是后端开发有意思，却有一大波人要转来搞大数据。

[agriphar]

说得好
那就转去搞机器学习嘛

[comsweetcs]

@agriphar 能力有限，还是回去搞后端吧。

[agriphar]

@comsweetcs
也不见得，各有各的难点
一大堆搞所谓机器学习的，写代码水平其实很一般，主要强在数学基础好（考研的时候猛刷一波题），通过考研等把学历刷上去光鲜一点
对着吴恩达的课一顿猛干，也就慢慢上手了

[comsweetcs]

@agriphar 我司搞机器学习的，都是 985，211.好几个北大，清华。感觉我们大数据就是给他们擦屁股的。我个人比较喜欢写代码。整天运维，搞 SQL 真是心累。

[FireFoxAhri]

后端其实大多数也是 crud 吧

[OysterQAQ]

大部分大数据开发=分布式计算引擎的搭建和使用+SQL
但是实际上高大上的都在你说的数据处理侧那边，用数据来做机器学习之类的

[OysterQAQ]

后端无非是业务牵扯更多一些，也就是熟悉库 不过范围比 Hadoop 那些东西小一些

[liprais]

你猜猜算法工程师们用的数据从哪里来

[comsweetcs]

@OysterQAQ 是啊

[comsweetcs]

@liprais 我之前搞数仓的，就是我们给的。。。给他们提供一个脚本工具，抽过去就是了。。。

[silentt]

现在搞大数据得已经沦落为 SQL boy 了，只有做机器学习的还听着高大上点，不过也有向 API boy 发展的趋势

[agriphar]

@comsweetcs
嗯，算法这一块儿，公司都特别看重学历，一般人你想搞也不给机会
V 站经常讨论为啥要考研，这就是为啥考研的原因之一
你考上了可以去搞算法，其他人只能帮你 CRUD 擦屁股

[liprais]

@comsweetcs 那还是果断劝退吧，反正也做不出来啥东西

[comsweetcs]

@liprais 哈哈哈哈，唉。

[leafre]

围城

[Jooooooooo]

机器学习 - 调参 boy

大数据 - SQL boy

后端 - crud boy

前端 - 切图 boy

你自己选吧

[MinQ]

说实话哪有那么多项目需要机器学习和算法的，大部分项目不都是 CRUD，最多量上来了考虑一下数据库读写扛不扛得住，加上 Redis 啥的。现在算法内卷的比后端严重多了，不是名校研究生+顶会论文人家都不一定看你一眼。

[wysnylc]

@silentt #11 大数据一个给机器学习打杂的之前被捧太高了,之后可能会被归并到机器学习
机器学习就是纯粹的 API Boy 了,真能做到核心开发的我们接触不到

[ren2881971]

当 SQL boy 真的很烦。。。

[yeqizhang]

大数据如果是去做中台 数仓之类的，没有好的机会就是 sql boyer，让我去处理那些杂乱的数据的话，我觉得极其无趣