最近正准备转型大数据方向,很好奇大数据码农们的日常工作都是干什么的?

2018-06-26 10:24:43 +08:00
 sunzhenyucn

不太了解,对大数据方向挺感兴趣的,
求各位在大数据领域进行讨生活的各位大佬给解解惑

8384 次点击
所在节点    程序员
37 条回复
chi1st
2018-06-26 14:27:44 +08:00
写后端。。。
lastpass
2018-06-26 14:29:19 +08:00
清洗数据,造轮子。
ren2881971
2018-06-26 14:29:23 +08:00
坐我旁边的就是搞数据的,各种 ETL 抽取、清洗 、转换 出报表。
自从有了他,报表错误的锅再也不是我背了。。。
jasonchen168
2018-06-26 14:33:30 +08:00
怎么转的啊?必备基本技能是什么
applehater
2018-06-26 15:54:22 +08:00
比一般业务少了“改”只有“增删查”。
zhusimaji
2018-06-26 15:56:53 +08:00
sql 清洗数据---构造模型---spark 计算
lius931115
2018-06-26 16:05:53 +08:00
写 spark SQL 和 spark Streaming 的多吗? 各位大佬们!
hackpro
2018-06-26 16:38:18 +08:00
60%以上的时间在 Data Cleaning 俗称 Data Augument
bk201
2018-06-26 17:06:05 +08:00
@applehater 你这理解有问题,和 CURD 无关,大多数都是统计计算,非要关联的话就是查
superbiger
2018-06-26 17:34:43 +08:00
大量 sql,很多正则,说是计算全是过滤
arctanx
2018-06-26 17:36:33 +08:00
爬虫->mongodb->elasticsearch->网站后端

...我都不知道我算不算大数据码农
defunct9
2018-06-26 17:41:53 +08:00
吃饭,睡觉,打豆豆
southsala
2018-06-26 18:03:46 +08:00
@wtf94666 你们什么公司啊 我在我们公司推广碧蓝航线推不出去
WinMain
2018-06-26 18:07:15 +08:00
我们组那位大数据童鞋用 spark 等工具处理 kafka 等地方的数据,出报表,比如 app 相关的点击率,转化率,时常统计等,还有给推荐算法搜索算法童鞋做点数据前期处理的工作。
renzongxian
2018-06-26 18:24:10 +08:00
用 HQL、MR 处理数据,ETL,找 bug,改 bug
fuyufjh
2018-06-26 21:49:39 +08:00
大部分是 ETL 工程师,少部分是写框架的
z3jjlzt
2018-06-27 08:56:22 +08:00
sql curd 只有 r。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/465884

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX