[广州][数据开发]公司成立了数据部,让我来做技术负责人

2019-12-05 22:25:03 +08:00
 zhxjdwh

没有经验,主要是通过网上各种视频,看看书入门,了解了大致的开发流程和架构。

现阶段,主要是离线计算,需要把数仓以及数据分析平台搭起来,技术选型 hive spark impala kylin oozie,数据可视化是 superset

架子什么都搭起来了,就是,有很多问题? 1.有没有什么最佳实践?

2.数仓的表怎么设计? 之前我是这么做的,直接搞 大宽表,一个表 200-300+个字段,几乎包含的所有维度的数据了,现在发现,这个大表看着就头疼,维护起来也很麻烦。

3.如何把 MySQL/Oracle 的数据同步过来?每天同步一次? 现在用的工具是 oozie + sqoop,感觉 用起来 有点小麻烦

有没有小伙伴又类似的经验?能不能提供下咨询服务?有偿!!!

========================

另外 : 我们需要招一个 有经验的 数据开发工程师, 广州,简单面试,直接进,如果有兴趣话,可以联系我 wx:emh4amR3aHd4

小公司,200+人,英国 /新加坡 /全国各地城市都有分公司,业务范围:全球都能找到我们的身影,新 3 板上市,年营收 10+亿

我们团队成员:1 个数据分析师 + 我(数据开发)+ ?(招聘 /数据开发工程师)

4736 次点击
所在节点    酷工作
21 条回复
k1263
2023-10-29 23:05:58 +08:00
关于这方面的讨论挺少,最近也在做:
1. ETL 全量转换
2. sqoop|Datax 全量不转换
3. Debezium+Kafka 增量不转换
4. Flink 增量转换

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/626346

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX