@
vowers 我自己也是做大数据方面的工作,现在是一名数据工程师。我对未来的方向还是比较清晰的,我的目标就是深耕数据工程这个领域,不拘泥于技术(当然,主流技术是要学习的,只是不过分深究细节),把重点放在建立数据体系上,总的来说,就是让数据变得更易使用。
首先推荐你看一篇文章,《数据工程师的崛起》,Airflow 的开发者写的,大数据文摘翻译。流传比较广,随便搜一下就有了。这篇文章对数据工程师的工作做了比较全面的总结,可以帮助你梳理一下数据工程的整体概况,对未来的方向会有更清晰的认识。
然后如果找不到方向,建议学习一下数据仓库的相关知识。就我自己的经验来看,有数据仓库项目经验的工程师,在求职时真的非常有优势。很多公司都开始意识到数据仓库的重要性了,都想建数据仓库,但懂得怎么搞的人真的不多,能把大数据和传统数仓结合起来的人就更少了。这东西投入大,见效慢,风险高。我之前的公司,就有这种情况:大老板专门成立一个部门搞数据仓库,但搞了几个月都没什么产出,最后又解散掉了。
另外,可以去买一本阿里数据部出的《大数据之路》看一下。这本书讲的东西都比较浅,但内容全面,数据工程涉及的方方面面都有提及,你完全可以选其中比较感兴趣的部分深入研究。
如果打算在这个行业里继续发展,还是考虑到一线城市去,到有数据氛围的公司去。这些公司,一则对数据比较重视,使用的场景也多,相应地踩坑也多,有很多可以学习的相关经验。二则数据量大,种类丰富,需求多样,对你自己是挑战也是提升自我的机会。三则数据分析师比较优秀,你的工作的价值会得到体现(数据仓库建得再好,也得有人用才有意义)
就我自己了解的情况来看。国内有名的大公司里面,阿里和美团在这方面应该是做得最好的公司了,他们有非常强大的工程和分析团队,还有自己开发的各种系统,满足方方面面的数据需求。