做大数据方向的 Java 开发，什么水平可以胜任？

[cirton]

不涉及 java web 的话，java 掌握到什么程度可以胜任呢？

[xiaoidea]

关注

[notfound09]

同关注

[y547679519]

大部分情况下会写 sql 就行了

[zhangneww]

大数据有那么多方向，你说的也太笼统了，做 Spark ？ Hive ？ ETL ？实时计算？底层开发？。

[yangzhezjgs]

/t/465884

[luozic]

是做算法 还是底层+优化 还是做 dsl ？

[Navee]

同#3 楼，大多数情况你要知道数据如何处理，代码都不复杂

[DragonPost]

我觉得，首先重点是，你得看得到真实数据。
一直看不到真实数据要我们搭平台，实时同步，然后遇到特殊数据根本不知道哪里出错了。

[xhinliang]

为啥要往后端方向发展呢，我一个做 Java 后端的还想往大数据方向发展呢

[scalaer]

运维 + sql

[funky]

服务端

[zjsxwc]

没有什么是精通 sql 搞不定的，我同学在电信还在是写 sql 与存储过程。。。

[cirton]

算法需要用到 java 吗？用 scala 或者 python 的比较多吧。

就身边的例子来说，java 主要还是用于 web 方向开发，java 在大数据项目中一般就是做接口开发(kafka,flume, es 等)。
不知道大家接触到的是什么情况？

[cirton]

@luozic dsl 是什么？

[xiaoshenke]

不建议转。我已经往回转了

[funky]

java,scala，N 多大数据组件

[cirton]

@xiaoshenke 为什么不建议转呢？往回转是指做 java web 开发吗？

[xiaoshenke]

@cirton java 的方向太多了 我建议你可以往中间件方向靠。不建议转的原因是大数据很难作出成绩，组件都比较成熟或稳定，你真过去会发现你要么是写 sql 的，要么是做运维的，都没什么前景。

[Wisho]

只有巨头有能力在大数据这块做底层、框架和系统的开发，例如百度早年硬是用 c++重写 hadoop，阿里现在的 MaxCompute 和 Blink。
中厂都是把开源的那一堆组件拼在一起，做成 pipeline，封装一下对内服务，本质上还是普通后端开发。
小厂无论是数据量，还是人才，都不会去做“大数据”的东西，即使做也都是 sql 一把梭出报表，spark sql 工程师和 hql 工程师了解一下。

[janxin]

会写 SQL 的就可以用了