DKhadoop 大数据平台基础框架的简单介绍

[shuyun008]

DKhadoop 大数据平台基础框架的简单介绍 大数据作为当下最为热门的事件之一，其实已经不算是很新鲜的事情了。如果是三五年前在讨论大数据，那可能会给人一种很新鲜的感觉。大数据作为当下最为重要的一项战略资源，已经是越来越得到国家和企业的高度重视，我们从大数据被上升到国家战略层面就可窥见一二！ 现在关于大数据的知识分享可以说已经是铺天盖地了，作为新手入门想查询的信息基本都可以通过网络查询到一些。我对的大数据的了解其实也不是特别丰富，毕竟学习的时间也不是特别长。仅以我熟悉的 DKhadoop 为例给大家分享一些小知识，往对初学者有点小帮助就可以了。 大数据平台基础框架是很多初学者必然要掌握的内容，大数据太过抽象，有时候写分享的时候难免感觉写的很多困难。还是通过具体的案例来写会比较好理解。关于大数据平台基础框架我还是用自己熟悉的 DKhadoop 为例。 在此之前还是对 DKhadoop 做一个简单的说明：DKhadoop 大快大数据平台，由大快搜索开发的为了打通大数据生态系统与传统非大数据公司之间的通道而设计的一站式搜索引擎级大数据通用计算平台（写的这么专业，肯定是我从大快宣传册上搬运过来的啦）。对于有大量数据需要处理的传统型企业而言，通过 DKhadoop 这样的大数据处理平台可以很轻松的跨越大数据技术鸿沟，实现搜索引擎级的大数据平台性能。既然有如此大的优势，那么样的大数据平台的基础框架又是如何的呢？ 我们先来看一张图片：这张图是 DKH 标准平台技术架构图

DKhadoop 大数据平台基础框架设计方案概述： 1、如果你对原生 hadoop 较为熟悉的，你就会发现 dkhadoop 是集成了整个 hadoop 生态系统的全部组建，当然不仅仅是集成这么简单，而是做了深度的优化，重新编写成的一个完整的更高性能的大数据通过计算平台。这一点跟其他国产发行本大数据平台还是有着非常的区别的，DKH 是做的原生态开发，其他的国产发行版仅仅是简单的二次开发。 2、DKhadoop 通过中间件技术，将复杂的大数据集群配置简化至三种节点（主节点、管理节点、计算节点），很大程度上简化了集群的管理运维，增强了集群的高可用性、高可维护性、高稳定性。（数据中间件是大快 DKH 数据交换层的核心） 3、DKH 在原生态的基础上开发，并且保持了开源系统的全部优点，与开源系统 100%兼容。这样，那些基于开源平台开发的大数据应用就不要经过任何改动，就可以在 DKH 上高效运行了。