工作职责:
1、负责大数据项目整体架构规划,包括应用架构、技术架构、物理架构和数据架构等;
2、负责带领工程师进行平台搭建,核心技术攻关,解决项目开发过程中的技术难题;
3、负责大数据基础组件的二次开发和性能优化;
4、负责项目对外技术沟通,具有较强的沟通,表达和文案能力;
5、负责研究相关大数据前沿技术,营造团队技术氛围,推动技术沉淀。
任职资格:
1、计算机相关专业本科以上学历,7 年以上相关研发经验经验,5 年以上大数据研发和架构经验;
2、熟悉大数据相关计算引擎,如 Spark,Mapreduce,Hive,Impala,Druid,kylin 等等,有相关引擎的优化;
3、熟悉存储组件,如 HDFS,HBase,Elasticsearch,Redis,Kafka 等;
4、拥有 5 年以上 Hadoop 开发设计和实施经验,精通 Hadoop 生态及高性能缓存相关的各种工具并有实战经验;
5、有 PB 级别大数据处理实战经验,熟悉整个大数据的完整处理流程工作者优先;
6、业界领先的大数据方案,对源码的深入研究和开发优化,丰富的业务场景和挑战,如实时 OLAP 数据分析等;
7、有优秀的业务理解能力,能理解清楚业务并进行合理的模块和架构设计。
职责描述:
1、负责数据模型体系构建及数据主题设计和开发,数据仓库的搭建;
2、负责数据集市架构设计、建模以及 ETL 开发,构建可扩展的数据仓库以及数据分析解决方案;
3、负责数据集市需求调研和需求分析;
4、完成业务模型抽象、项目数据梳理,设计数据模型,提供统计、分析服务。
任职要求:
1、5 年以上数据仓库开发经验,本科以上学历;
2、深入理解 DW,BI 相关的知识,包括:ETL、数据仓库、OLAP、多维数据模型等;
3、熟悉数据仓库建模理论,以及数据仓库数据层级关系,精通多维数据模型设计,具备大型数据仓库架构设计、模型设计和处理性能调优等相关经验;
4、精通 Hadoop 大数据生态圈,熟悉 Hadoop 各组件的原理,掌握但不限于大数据相关组件(Yarn,HDFS,Kafka,Sqoop,Kylin,HBase,Spark,Hive,Zookeeper 等);
5、精通 SQL,能够熟练使用 HiveQL 和 Spark SQL 进行数据开发,熟悉 Hive 数据模型优化;
6、掌握 shell、python 或者 JAVA 至少一种语言,编码能力优秀;
7、具有良好的团队协作精神和沟通能力,较强的逻辑思维,学习能力和解决问题的能力,可承担较大的工作压力。
WeChat:wangbin3108
QQ: 2451864907
E-mail: wangbin3108@126.com
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.