大数据入门还需要学习 hadoop 吗?

2022-03-06 17:29:40 +08:00
 0xljh
2590 次点击
所在节点    程序员
7 条回复
staticor
2022-03-06 18:34:42 +08:00
只学 SQL 也算“大数据入门”。

只是不知道楼主对入门的定义是指什么。
zhaoyeye
2022-03-06 18:35:52 +08:00
大数据不是 Hadoop 为基础吗?
sadhen
2022-03-06 23:18:22 +08:00
Hadoop 了解一下就可以了,实际上现在都是云上数仓,需要了解的是像 S3 这样的对象存储
gosansam
2022-03-07 09:49:02 +08:00
现在大数据需要学什么呀 以前搞过 hadoop mapreduce spark 现在忘完了
Camuscode
2022-03-07 14:18:47 +08:00
学习一下吧 了解一些 hadoop 还是好的
vincent7245
2022-03-07 15:17:52 +08:00
就好比程序员入门需要学习 c++吗

大数据开发 5 年的老鸟告诉你,必须学。虽然企业总已经不再适用 MR 了,但是 HDFS 作为大数据集群最基础的文件系统,Yarn 作为基础的任务调度系统,其他的比如 spark/flink 等都是跑在 yarn 上的 ,而且至今都没有替代品。

其次,理解了 hadoop 的设计思想你才真的理解了大数据处理的基本思路。把 hdfs 和 yarn 的源码研究一遍,其他的框架你就能平趟了。
0xljh
2022-03-07 21:58:49 +08:00
@vincent7245 谢谢老铁

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/838393

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX