这是一个创建于 51 天前的主题，其中的信息可能已经有所发展或是发生改变。
现在大数据有前途吗？
目前学了 Hadoop 全家桶，但是我发现数据存储现在不是都放在云端了吗，不论是 google 的 bucket 还是国内的一些云产品，对于数据存储，作为开发者我们直接可以把数据丢进去，不需要考虑如何让数据更有保证，除了一些超级大厂还有人在多个服务器搭建集群来存放数据吗？
Spark 进行数据计算，我觉还是有点用的，主要用来从存储中的数据进行汇总整理成为结构化数据，放到数据库中，方便开发进行数据分析和整理。
那么目前的所谓大数据技术，其实主要方向是在数据计算、数据整理、对于服务器搭 Hadoop 全家桶这些，是不是就不管了？
 |
1
risan 51 天前
?si=qMyfNUolhkRUgjpB
|
 |
2
danbai PRO 用大数据分析下大数据还行不行
|
 |
3
Meld 51 天前
数仓我看还行，面试难度比程序员低太多了，工资 30 ～ 50
|
 |
4
ixoy 51 天前
[大数据已死]，https://www.ruanyifeng.com/blog/2023/03/weekly-issue-244.html
如果非要有，当前只能是 Al 大模型下的“大数据”。（并行计算高吞吐数据） |
 |
5
xxxccc 50 天前
没啥前途了，基建都做完了。我知道的一些大牛都转 ai 了
|
 |
6
liyangdal 39 天前
大数据当然还有前途，不过方向确实变了。
早期大家自己搭 Hadoop 集群跑存储，现在都倾向于用云厂商的对象存储（ S3 、OSS 、COS ）+ 云原生数仓（ BigQuery 、ClickHouse 、Doris 、Athena ）+ Spark/Flink 做实时数仓。核心不再是“搭机器”，而是怎么把数据搞进来、搞得动、搞得清楚。 对普通开发者来说，不如把时间花在： 数据采集 + 清洗流程； SQL+Python 结合分析； 学会用现成的云产品解决问题（比如云函数、云存储、云数仓）； 如果你个人想练手，现在很多云都有入门款对象存储 + 轻量云数据库方案，像我们 NiceCloud 喜云 提供多云账号（阿里云国际、腾讯云国际、AWS 等）自助注册，按量付费、按月包年都能搞，适合边学边练不烧钱。 |
Select Language