v 友们做大数据处理的多吗，想问下你们做大数据的无聊不？

[findbrick]

反正本人已经做了半年了，感觉挺枯燥的，主要是 java ＋ spark， 有时候也用 py 爬数据。

[Morriaty]

无聊不至于，就是真正懂算法的不多，公司里号称大数据部门，其实大部分人都是写 sql 的。

更多的时候，就是自己一个人在瞎摸，就像解一道数学题，从太阳上山到太阳下山，都没解出来，难受。

[xiaoshenke]

跑个题，写过 android，写过 java web，都写得差不多腻了。看来我不适合做程序员。

[jason2017]

顺便请假题主一个问题，java 写 spark 机器学习应用的时候，用 mllib 多还是 ml 多？哪一个方便点？

[deadEgg]

@jason2017 试试 BigDL

[zhangli199212]

@Morriaty 一看就是券商类似的

[findbrick]

@jason2017 mllib

[findbrick]

@zhangli199212 是金融行业 非券商

[findbrick]

@Morriaty 有道理 主要还是自己摸索 算法确实是硬伤

[sshpandas]

不无聊，因为经常换项目做，接触的行业不一样，问题也不一样。

[staticor]

不无聊, 自己喜欢和业务打交道, 现在一半时间做仓库一半时间做分析

[findbrick]

@sshpandas 羡慕经常换项目
@staticor 基本都是仓库＋分析 一起做

[sicongwang]

楼主大数据是不是不算忙, 待遇也比开发高, 想转, 求指教

[af463419014]

我这里所有的需求总结起来主要有以下 3 种:
sum(x)
count(id)
count(distinct id)

[lszv1]

@xiaoshenke 给钱就继续干下去咯

[airqj]

@jason2017 ml 基于 DataFrame
人家文档都说 mllib 进入维护状态了

[Delete]

2-3 年安卓转大数据开发，一本 hadoop 权威指南 看得很累了。。。

[sicongwang]

@af463419014 需求真的有这么简单吗, 那大数据的工作做起来岂不是没有什么业务的压力?

[badttt]

sql 写得想吐，你说呢

[jason2017]

@airqj 是的，但是网上现在关于 ml 的中文资料还是不多，不过，也是迟早要用 ml 的。

[liprais]

@sicongwang
这工作只是看起来很简单而已