28 日,在 2017 易观 A10 大数据应用峰会上,针对“有序漏斗”难题进行行业攻坚的“ 2017 易观 OLAP 算法大赛”公布了最终结果。PingCAP 参赛组以超过原始基准测试近 30 倍的成绩,获得了商业组的冠军,并作为优秀案例在大会进行了解题思路分享。
PingCAP 作为本次算法大赛商业组参赛队,借助 TiDB 的算法引擎,展现了强大的复杂 OLAP 处理能力。 作为 PingCAP 的核心产品 TiDB 受 Google/F1 启发,具备强大的水平扩展,强一致性的多副本数据安全,分布式事务,实时 OLAP 等特性。依托这些特性,TiDB 彻底改变以往数据库弹性扩容与事务处理不可兼具的境况,将在线事务处理和在线分析处理融为一体,完美适配大数据背景下各行业的数据存储、计算需求。
作为 TiDB 项目中针对解决用户复杂 OLAP 需求的重要组件,TiSpark 将 Spark SQL 直接运行在 TiDB 存储层上,同时融合 TiKV 分布式集群的优势,并融入大数据社区生态。至此,TiDB 可以通过一套系统,同时支持 OLTP 与 OLAP,免除用户数据同步烦恼。
本次 2017 易观 OLAP 算法大赛以攻坚“有序漏斗”为考题,TiDB 的算法引擎在处理时将性能作为首要目标,运用多种存储布局和索引手段,对数据进行快速扫描和有效过滤,大量使用 SIMD 技术的向量化计算,优化布局,极大减少编解码开销,并根据场景进行智能化存储和 IO 策略。最终以超过原始基准测试近 30 倍的成绩亮眼胜出,获得了专家评审的一致认可。
大数据环境给企业运营带来了新的挑战和机遇,精准捕捉和分析用户行为,以进一步帮助企业的用户增长及留存,成为互联网时代企业产品运营的核心价值。漏斗转化是帮助企业更快、更好的了解在哪一环节提升运营,实现精细化运营的重要手段。行业内已将实现“漏斗”升级作为当前数据应用领域的重要议题。其中,相较用户路径重合率极低的“无序漏斗”,“有序漏斗”的数据研究更有价值。
此次 PingCAP 作为商业组冠军提交的优异成绩,为业内攻坚“有序漏斗”计算效率的技术瓶颈提供了突破口。在会上,PingCAP 联合创始人兼 CEO 刘奇还进行了解题思路详解。他表示,在数据驱动的今天,通过对数据的分析,快速挖掘潜在的用户需求与市场机遇,这其中,高效是关键。TiDB 融合了 OLTP 与 OLAP 能力,将数据价值最大化,通过技术创新研发,为市场提供更好的技术解决方案,希望能够降低实时数据分析行业的门槛。
作为世界级分布式 HTAP 数据库厂商,PingCAP 的代表作 TiDB 现已发版至 1.0 GA 版。准生产测试用户 400 余家,其中摩拜单车、同程旅游、360 金融、游族网络,盖娅互娱、猿辅导,去哪儿等数十家不同行业的领先企业已经应用在实际生产环境,涉及互联网、游戏、金融、政府、电信、制造业等多个领域,帮助企业解决了海量数据存储、超大规模并发访问及交易问题。同时与腾讯云、UCloud 等国内外多家主流的大型公有云厂商深度集成,提供公有云数据库服务。