拥抱云原生,数据湖加速器 GooseFS 助力 Fluid 数据缓存实现

2021-08-19 10:00:33 +08:00
 CloudStorage

01 前言

数据湖加速器 GooseFS 是由腾讯云推出的高性能、高可用、弹性的分布式缓存方案。依靠对象存储( Cloud Object Storage,COS )作为数据湖存储底座的成本优势,为数据湖生态中的计算应用提供统一的数据湖入口,加速海量数据分析、机器学习、人工智能等业务访问存储的性能。

近年来,云原生概念的兴起进一步加速了计算资源的弹性化。腾讯云容器服务( Tencent Kubernetes Engine,TKE )基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,为容器化的应用提供高效部署、资源调度、服务发现和动态伸缩等一系列完整功能,解决用户开发、测试及运维过程的环境一致性问题,提高了大规模容器集群管理的便捷性。

越来越多的大数据业务架构中采用了容器服务,减少了集群的资源冗余情况,有效降低了大数据业务成本。

02 GooseFS 助力 Fluid 数据缓存实现

Fluid 是 CNCF 基金会旗下云原生环境中数据密集型应用的高效支撑平台。云原生环境下,计算存储分离架构提升系统弹性的同时,给大数据 /AI 等数据密集型应用带来了计算性能和管理效率方面的挑战。

现有云原生编排框架运行此类应用时,存在数据访问延时高、多数据源联合分析难、应用使用数据过程复杂等痛点。Fluid 正是为解决这些问题而生的。

近期 Fluid 0.6 版本正式发布,在该版本中,GooseFS 作为新增的缓存引擎正式亮相,同时支持缓存引擎高可用并新增公有云缓存引擎。

为了满足不同环境用户对缓存系统的需求,Fluid 提供了可插拔的分布式缓存 Runtime 接入框架。

在 Fluid v0.6 中,来自腾讯云的社区贡献者基于该框架开发了 GooseFS Runtime,新增了一种支撑 Fluid Dataset 数据管理和缓存的执行引擎实现。用户可以在 Fluid 中通过 GooseFS Runtime 使用 GooseFS 缓存能力访问和缓存腾讯云 COS 中的文件,可以实现数倍加速业务访问。

腾讯云容器服务 TKE 和 EKS 为快速部署 GooseFS 提供了便捷易用的途径,用户只需要在应用市场上选择 GooseFS 应用,为对应集群快速创建并部署应用即可在 Fluid 上使用和部署 GooseFS Runtime 。

GooseFS 作为分布式文件系统,采用了 Master-Worker 架构,提供了高可用的存储服务。在分布式文件系统中,高可用性包含两个方面:一是整个文件系统的可用性,二是数据的完整和一致性。

Master 作为全局元数据管理组件,通过 Master High-Availability 保证文件系统的高可用;通过 Raft 算法实现选主、状态机同步等操作保证日志和元数据的完整和一致性。

在 Fluid v0.6 中,来自腾讯云的社区贡献者设计实现高可用运行时功能,用户只需要指定期望 master 个数,如果个数为大于 1 的奇数,将自动使用高可用模式。

腾讯云对象存储和容器团队为用户提供了丰富的文档支持,您可以参照文档快速入门并在容器平台上运行 GooseFS,运行您的大数据或者 AI 等数据密集型业务。

03 结语

数据湖加速器 GooseFS 加速业务访问存储的性能。腾讯云容器服务为容器化的应用提供一系列完整功能,解决用户开发、测试及运维过程的环境一致性问题,提高了大规模容器集群管理的便捷性。减少集群的资源冗余情况,有效降低了大数据业务成本。 将来我们也会不忘初心,为您提供更安全的云服务!关于了解更多请前往: https://cloud.tencent.com/document/product/436/59358

779 次点击
所在节点    推广
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/796686

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX