大数据当下都流行哪些技术栈?

2022-04-06 23:41:54 +08:00
 wloverine

在公司干了三年多的大数据,平时工作中接触到的基本就 hadoop 、spark 、hive 等框架,工作内容基本是 spark 离线处理,现在想去外面看看新的工作,但是由于自己平时没好好学习更新自己技术,所以请教各位 v 站老哥,我该学点什么新的大数据技术栈?

2471 次点击
所在节点    程序员
3 条回复
vincent7245
2022-04-07 11:00:16 +08:00
大数据现在也很卷了,坐标北京

传统技术
hadoop 3.0/spark 3.0/hive 3.0/kafka 3.0 /zookeeper/hbase 新特性 /原理 /源码

新技术
pulsar
flink 开发 /原理 /源码
OLAP 技术栈 : impala+kudu /presto / doris /clickhouse
数据湖 hudi

架构方面
数据中台 /大数据云原生 /全域数仓 /onedata/指标平台 等等吧,看你侧重哪个方向了
wloverine
2022-04-07 11:32:40 +08:00
@vincent7245 谢谢!
sadhen
2022-04-07 13:08:40 +08:00
把 Spark 研究透彻!
目前的趋势是 Spark SQL ---> PySpark 。Data+AI 的结合是当下的热门。

感兴趣找我内推: https://github.com/da-tubi

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/845364

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX