关于大数据开发的工作方向,求大佬解惑

2022-04-30 09:30:11 +08:00
 ranxi
先说下个人情况,20 届普通本科,第一份工作写了一年的 hive sql ,觉得学不到东西,选择跳槽到现在的公司,招的时候说是大数据岗,进来一直在写 springboot ,跟大数据的关系大概就是会调用一下 hdfs 、hive 的接口。现在觉得有些迷茫,个人是希望往大数据方向发展,但是像现在流行的 flink 、机器学习都没接触过,网上搜学习方向,罗列一大堆,不知道现在应该学哪个,求大佬解惑
3032 次点击
所在节点    问与答
15 条回复
ilovekobe1314
2022-04-30 09:37:32 +08:00
尚硅谷有个大数据教程,从 hive spark flink 讲的,推荐
Suddoo
2022-04-30 09:43:01 +08:00
都差不多啊,老板给钱、不加班、离家近,就行了,做什么方向,本质上都是另一种形式的 crud 啊
Suddoo
2022-04-30 09:45:34 +08:00
机器学习,深度学习,迁移学习,卷积神经网络...... 一堆高大上的名词,结果进了公司,就整天 load model, train network, predict......
pengtdyd
2022-04-30 10:24:22 +08:00
学啥不重要,能挣到钱就行
ccjy778899
2022-04-30 10:34:47 +08:00
同样困惑,做大数据好像也没用到啥技术,是平台问题吗?
liprais
2022-04-30 10:41:23 +08:00
hive sql 你都学会了?
levelworm
2022-04-30 10:56:26 +08:00
是不是大数据主要看频率和量吧?
disk
2022-04-30 11:33:16 +08:00
@ccjy778899 开发和研发的技术难度不一样,很多说是大数据,实际上数据量没有那么大,或者方向单一,很容易变成拧螺丝
SbloodyS
2022-04-30 11:54:38 +08:00
springboot 就是数据平台了,写 hive sql 的是数仓,两个都会的话在目前还是挺吃香的
imn1
2022-04-30 13:52:26 +08:00
很多人认为算法最宝贵,其实啊,在我看来,数据最宝贵,如果你能直接接触数据,在不违反规定(不盗取、不外泄及其他规定),如果能外带,自我修炼是最好的

理由:
1. 算法的价值确实最高,但只是对公司而言,这个算法你没什么用的,除非盗取给竞争对手,因为目前的大多数算法是业务算法,而不是通用算法,只能用在业务相近的场合
2. 数据为何对个人来说更有用?因为个人也能研究出算法,却凭一己之力搜集到真实数据,基本不可能

自学的东西,网上很多,也能自行摸索,但无法自学的东西,就是上述第一条:业务算法 /业务模型,因为这个东西去别的公司可能就不同了。
“拿走也没用”有两层含义:
1. 这东西就是这个公司产生的,去别的地方或者自我摸索学不到
2. 没用,那就不要把重点放在结果,而是过程,怎样把数据和业务结合建模,这也是自学不到的知识

至于工具怎么用,其实应该早有思想准备吧?哪个公司会花时间教你啊?除非那是该公司自创的工具,反正就一句,在公司学习重点放在业务流程上,其他自己摸索
xdwmxx
2022-04-30 16:35:44 +08:00
大数据就两个方向,一个仓库一个平台。仓库的就把模型搞会,不是只有写 sql ,优化,链路,资产,数据服务你都很懂了吗,还是有点学问的,给你个新公司让你构建数据中心,你能接下来嘛?一般也是先有仓库开发确定好如何构建数据再找人开发平台。平台开发的话现在银行的都买现成的了,互联网自研的多一些,平台数据地图这种一般就是 springboot ,比较算 java boy 的,还有就是 flink 这种,用现成的开源组件重构一个类似 ds 调度系统之类的。想写代码多一些就去平台组,想熟悉某个业务线,就去仓库组好好积累。
wangwei216
2022-04-30 23:33:36 +08:00
@SbloodyS 我现在差不多就是这种,外加写各种 Flink job ,但是感觉也一般般啊,也没啥更好的 机会
SbloodyS
2022-04-30 23:39:54 +08:00
@wangwei216 今年行情不好...
liugddx
2023-05-26 16:27:54 +08:00
@SbloodyS 大佬说的对啊。
SbloodyS
2023-05-26 17:18:10 +08:00
@liugddx 😂😂😂

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/850167

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX