最近正准备转型大数据方向,很好奇大数据码农们的日常工作都是干什么的?

2018-06-26 10:24:43 +08:00
 sunzhenyucn

不太了解,对大数据方向挺感兴趣的,
求各位在大数据领域进行讨生活的各位大佬给解解惑

8378 次点击
所在节点    程序员
37 条回复
dif
2018-06-26 10:39:59 +08:00
刷 v2ex,看知乎,出去吹牛皮。。
sunzhenyucn
2018-06-26 10:40:56 +08:00
@dif lol,不会吧,这么闲的吗??
loryyang
2018-06-26 10:43:47 +08:00
工程方向就是维护下一些框架,做些升级,然后偏业务的就是开发业务相关逻辑,出个报表,出个数据什么的
或者给机器学习跑点数据和特征
sunzhenyucn
2018-06-26 10:47:12 +08:00
@loryyang 万分感谢🙏
tingyunsay
2018-06-26 10:54:37 +08:00
写他么的 hql(;´༎ຶД༎ຶ`)
mkstring
2018-06-26 10:59:46 +08:00
写大量的 SQL,偶尔写 MR
VoidChen
2018-06-26 11:00:22 +08:00
我只说我做的。。。搞下集群,部署搭建和问题检查什么的,然后跟某重本合作拿来一些业务类型的算法去做实现,优化校准,还有就是偶尔遇到一些问题(内存不够或者计算不够快或者统计数量大),去看开源拆算法搞来用,杂七杂八的。其实跟写 java 差不多啦,可能是因为毕业半年多,学的用的还比较浅(不过用的全,常用的基本都用过了)
wwek
2018-06-26 11:08:52 +08:00
数据清洗 结构化 ETL 写 HQL
sunzhenyucn
2018-06-26 11:38:39 +08:00
@tingyunsay
@mkstring
@VoidChen
@wwek
谢谢各位大佬
liyer
2018-06-26 11:45:03 +08:00
爬数据,入库,去噪,打标签,分析
deepreader
2018-06-26 12:33:05 +08:00
数据清理,做 PPT。
wtf94666
2018-06-26 13:03:20 +08:00
我是设计 我感觉我公司的工程师们都在刷蔚蓝航线
sudoz
2018-06-26 13:05:46 +08:00
总而言之就是没什么意思
grewer
2018-06-26 13:48:47 +08:00
@wtf94666 舰 B 么
SuperMild
2018-06-26 13:53:34 +08:00
据说就是洗数据……不管哪个领域,都是站在高位置的人才有差别,底下全是搬砖,体力活。
zynlp
2018-06-26 13:53:45 +08:00
纳尼?只有我这么忙吗,只能蹲坑的时候刷下 v2😭
搞了一个礼拜的 cuda 了,整个人都粗大了
WXG999
2018-06-26 14:00:28 +08:00
@VoidChen 敢问大佬是本科还是硕士毕业?
VoidChen
2018-06-26 14:12:20 +08:00
@WXG999 不是大佬,二本毕业。。让你失望了😭
VoidChen
2018-06-26 14:25:17 +08:00
回复的时候看了下,怎么好像基本都是数据清洗?我主要做的是 storm 流处理,基础的数据清洗就只是在源头那里架一个 bolt 过滤掉就好了(包括一些修正),怎么好像不太一样?朋友里面没有做大数据的,所以不是很清楚情况,借个楼问下。。。万一以后跳槽别人一问不知道就不好了😭
WXG999
2018-06-26 14:25:33 +08:00
@VoidChen 好好工作以后都是大佬😭

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/465884

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX