一面数据成立于 2014 年,是国内领先的人工智能( AI )商业数据分析解决方案提供商,助力企业客户连接数据和商业场景。客户通过一面数据的企业级数据引擎产品,能够全面、精准、快速地了解市场动态,发现商业机会及规避经营风险。一面数据深耕消费行业,成功服务了包括宝洁、玛氏在内的国内外大型企业客户,产品现已打入海外市场。2019 年底,加入了全球专业化信息公司艾盛集团(伦敦证券交易代码 ASCLL ),以期在全球范围内服务更多的客户。
负责大数据平台的设计开发,包括平台组件选型及搭建、平台服务开发;
参与设计数据仓库模型、构建分层体系、元数据管理及核心应用开发;
-参与数据清洗、转换和加工( ETL );
-负责新技术的调研、选型、推广和应用。。
本科及以上学历,计算机相关专业,3 年以上大数据工作经验;
熟悉 Hadoop 生态,对 HDFS, Hive, MapReduce, Spark, HBase, Impala 中至少一个有深入理解和使用经验;
熟练使用 SQL,至少熟悉一种关系型数据库;
深入理解维度模型,有数据仓库设计和开发经验;
熟练使用 Python,有良好的编码习惯;
熟悉 Kafka, Spark Streaming, Flink,有实际使用经验者优先;
熟悉 ElasticSearch, Solr, ClickHouse, Redshift 等技术优先;
提供技术博客 / GitHub 账号,有开源贡献和优质技术文章优先。
负责数据模型设计和 ETL 设计、开发和文档编写;
负责离线 /实时数据同步和清洗;
根据业务需求,输出报表,给分析师提供数据提取服务。
本科及以上学历,计算机相关专业,1 年以上相关工作经验;
熟练使用 Python,有良好的编码习惯。熟悉 Pandas, 正则表达式、文件处理、并行编程;
掌握数据仓库基础理论知识和 ETL 设计技术;
熟练使用 SQL,至少熟悉一种常用数据库,包括但不限于 MySQL 、Postgres 、SQL Server 、Oracle ;
了解 HDFS, Hive, Impala, Presto 等 Hadoop 大数据技术,有 Spark 经验尤佳;
熟练使用 Linux 系统;
良好的沟通、理解能力,工作细致、耐心、负责;
提供技术博客 / GitHub 账号,有开源贡献和优质技术文章优先。
产品的需求调研、技术方案制定以及设计报告的撰写;
产品后端数据模型以及接口开发;
产品维护。
精通 Python,有良好的编码习惯;
有独立项目开发经验,开发过完整的产品;
熟练掌握至少一门 Python Web 开发框架( Flask 优先,Django 、Tornado 等);
熟悉 Redis 、MySQL 、MongoDB 等常用数据库,具备相关使用经验;
熟悉 Javascript,了解 HTML 、CSS,具备一定前端开发能力
熟练使用 Linux 操作系统;
有较强的学习能力、团队协作意识,有良好的沟通、需求理解能力,问题解决能力。
有优质技术博客、GitHub 积极贡献者优先;
具备大数据技术使用或开发经验者优先。
负责爬虫框架的搭建;
负责爬虫技术攻坚,丰富爬虫反爬手段。
在 Python 爬虫方面具有丰富的经验;
熟知爬虫框架,具备架构爬虫框架的能力;
熟知当前各类反爬手段,并具有应对这些反爬手段的实际经验;
爬虫相关工作经验两年以上。
负责抓取电商、社交、新闻媒体、论坛类的数据;
监控抓取数据的完整性;
参与爬虫框架的开发。
本科及以上学历;
熟悉 Linux 下的 Python 开发;
熟悉常用数据库,包括 MySQL 、Redis 、MongoDB 等;
熟悉 Web 开发技术、尤其是前端技术,有实际 Web 开发经验者优先;
熟悉爬虫开发,了解常用爬虫框架如 Scrapy 、Requests 、XPath 等, 了解常见的反爬手段及其应对措施;
计算机相关专业优先;
熟悉 Node.js 或者 Java 等其它语言者优先。
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.