公司业务发展比较快,希望寻求一些有大数据开发相关经验的朋友加入。我本人是部门(内部叫 数据平台组)负责人,大家有问题、感兴趣都可以直接联系我(liyangliang <at> yimian.com.cn
)。
简单介绍一下公司,一面数据(官网)成立于 2014 年,主要通过数据分析和人工智能技术为消费行业提供商业洞察和决策指导。公司在 2019 年被跨国公司 Ascential (艾盛集团) 收购。我们在知乎上有个关注人数 26 万+ 的专栏 数据冰山。
回到正题,我们组目前使用的技术栈包括 Hadoop ( CDH 版)、Spark 、Kafka 、ClickHouse 、TiDB 、MySQL 、Airflow 等,开发语言主要使用 Python 和 SQL.
日常工作主要是做项目(我们是 ToB 公司),一个典型的流程是先把爬虫采集的数据(在 TiDB 或 HBase Phoenix ) 同步到 Hive,再用 SQL 或 Spark 做 ETL 搭建数仓。内部基于 Airflow 开发了一个 Web 的数据开发平台(内部叫 OneFlow ),实现了数据同步、运行 Spark/SQL/Python 脚本、任务编排和调度等功能,大多数工作都在这个平台上开发。
除了做 ETL,也有报表开发( Excel 和 CSV 报表,主要使用 Pandas + SQL + openpyxl )、工具研发(抽象和复用)、新技术调研的工作。
我想简单划分为硬技能和软技能两部分。
硬技能其实在前面写得比较清楚了,如果您有相关经验,就能很快上手;如果没有,但能快速学习掌握,也是可以的。
软技能看起来会比较虚,但其实在工作中非常重要。我们经常需要跟其他部门合作,所以需要有良好的沟通意愿和能力。ToB 业务对交付质量和时间都比较严格,所以需要有良好的质量意识、deadline 意识。另外,大家通常能看到的自我进化、主人翁意识、主动分享等能力和习惯也是我们所认同和鼓励的。
我 2013 年毕业,之后主要从事 Web 和 大数据开发。2017 年开始担任公司数据平台组的负责人,负责大数据团队的组建,团队从最初的 3 人发展到现在 13 人。前面提到的很多技术都是我选型和搭建的,OneFlow 也是我牵头开发。大家如果感兴趣,可以通过 我的知乎主页 和 我的个人博客 了解更多信息。
如果感兴趣,可以随时联系我,简历发到我的工作邮箱 liyangliang <at> yimian.com.cn
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.