超详细 hadoop 集群服务器安装配置教程

[shuyun008]

超详细 hadoop 集群服务器安装配置教程 虚拟机以及 Linux 系统安装在之前的两篇分享中已经详细的介绍了方法，并且每一步的都配图了。如果有朋友还是看不懂，那我也爱莫能助了。本篇主要就 hadoop 服务器操作系统配置进行详细说明，hadoop 安装会在下一篇文章中详细的介绍。 hadoop 安装包用的是大快 DKHadoop 发行版，个人觉得 DKHadoop 的安装过程是比较简单，关于 dkhadoop 的安装在下一次的分享中再详细介绍吧。下面进入到本篇的主题——服务器操作系统配置教程

一、安装包准备 1、虚拟机分布式安装（三台及以上虚拟机） 若是个人电脑 Windows 系统或 Linux 系统，虚拟机上虚拟的三台服务器，则将安装包拷贝到服务器上，进行安装操作即可。 2、物理集群（三台及以上实体服务器） 1、 外网下载模式 2、 本地文件模式 将安装包文件直接拷贝到实体服务器 root 目录下，进行安装操作即可。 3、上传模式 当服务器在机房，且无显示和输入设备的情况下，应用该模式。 现将文件，安装在本地计算机上（默认为笔记本电脑，在机房现场），并将计算机与服务器连接，将安装包 install、DKHInstall 上传到服务器 root 目录下。

二、服务器操作系统配置教程 准备工作完成之后，就要进行服务器配置操作，首先必须三台服务器之间要互相 ping 通。所谓 ping 通，就是两台设备之间网络是通的。从一端发送一个数据包，另一端就能够收到，就代表两台设备是能够 ping 通了。 1、修改权限 目的：使 install、DKHInstall 两个安装包有可执行的权限。权限不足无法执行一些操作。install 里面是脚本和所有组件，DKHInstall 里面是安装界面。 步骤：在准备工作中拷贝安装包 install、DKHInstall 到主节点目录后，修改文件权限。首先进入 root 目录，安装目录 install、DKHInstall 的权限改为：文件所有者可读可写可执行，与文件所有者属于一个用户组的其他用户可读可执行，其他用户组可读可执行。 命令： cd /root/ unzip DKHPlantform.zip chmod -R 755 DKHPlantform

2、 搭建 Hadoop 集群设置 SSH 免密登录 目的：Hadoop 运行过程中需要管理远端 Hadoop 守护进程，在 Hadoop 启动以后，NameNode 是通过 SSH （ Secure Shell ）来启动和停止各个 DataNode 上的各种守护进程的。这就必须在节点之间执行指令的时候是不需要输入密码的形式，所以我们需要配置 SSH 运用无密码公钥认证的形式，这样 NameNode 使用 SSH 无密码登录并启动 DataName 进程，同样原理，DataNode 上也能使用 SSH 无密码登录到 NameNode。 步骤： （ 1 ）修改本机 hosts 文件，写入对应关系 为了区分局域网内的每台主机，都会给主机配一个主机名，每台主机之间又是通过 IP 进行通信，但 IP 地址不方便记忆，所以配置主机名和 IP 映射能够实现主机之间的快速方便的访问。 命令： vi /etc/hosts 通过按键盘上的 insert 或是 I 键进入编辑模式，编辑完成后按一下 Esc 键然后按一下按 Shift+: 键，输入 wq，后回车就可以保存。输入 q ！后回车则是放弃保存并退出. 进入编辑模式后，按照规则写入主机与 ip 的对应关系（主机名称 dk41 是自己命名的，如下图）例： 192.168.1.41 dk41 192.168.1.42 dk42 192.168.1.43 dk43

编辑完后，保存退出。把对应关系拷到其他两台或多台机器上。 命令： scp -r /etc/hosts 192.168.1.42:/etc scp -r /etc/hosts 192.168.1.43:/etc （ 2 ）执行集群之间免密前的准备工作
执行 sshpass.sh 的脚本的时候会去读 sshhosts 和 sshslaves 这两个文件，替换 修改文件 sshhosts，输入全部机器的主机名，每行一个主机名（如下图） 命令： vi /root/DKHPlantform/autossh/sshhosts 通过按键盘上的 insert 或是 I 键进入编辑模式，编辑完成后按一下 Esc 键然后按一下按 Shift+：键，输入 wq，后回车就可以保存。输入 q ！后回车则是放弃保存并退出.

修改文件 sshslaves，写入除主机名之外的所有机器名（如下图） 命令： vi /root/DKHPlantform/autossh/sshslaves 通过按键盘上的 insert 或是 I 键进入编辑模式，编辑完成后按一下 Esc 键然后按一下按 Shift+：键，输入 wq，后回车就可以保存。输入 q ！后回车则是放弃保存并退出.

（ 3 ）执行集群免密工作 命令： cd /root/DKHPlantform/autossh ./autossh 主节点主机名 集群密码 例： ./autossh dk41 123456 （ 4 ）关闭防火墙 防止访问服务器时某些服务被拦截,需关闭防火墙。 命令： cd /root/DKHPlantform/autossh ./offIptables.sh

3、 安装双机热备份的 MySQL 目的：存放 Hive 的元数据 步骤： （ 1 ）从主节点分发 mySQL 安装目录到第二节点 命令： scp -r /root/DKHPlantform/mysqlInst/ 192.168.1.42:/root/ （ 2 ）主节点执行： 命令：
cd /root/DKHPlantform/mysqlInst/ ./mysql.sh 1 从节点执行: 命令： cd /root/mysqlInst/ ./mysql.sh 2

（ 3 ）执行成功之后执行热备份（两台机器上都要执行，两个 ip 互换,41 上写 42,42 上写 41,密码是 MySQL 的密码为：123456。平台内已经设定好，请勿修改）： 命令： source /etc/profile ./sync.sh 192.168.1.xxx(另一台 mysql 地址) 4、 创建数据库 目的：MySQL 是一种关联数据库管理系统，关联数据库将数据保存在不同的表中，增加了速度并提高了灵活性。 步骤： （ 1 ）导入 MySQL 数据表，只在主节点执行： 命令： mysql -uroot -p123456 < { 此处为 sql 文件,主目录下文件：dkh.sql} 如：mysql -uroot -p123456 </root/DKHPlantform/dkh.sql （ 2 ）执行完后查看一下两台 mysql 的数据表是否存在,从主节点中查看执行： 命令： mySQL -uroot -p123456 show databases; use dkh; show tables;

5、启动安装 目的：服务器配置操作完成之后，启动 DKH。 步骤：执行以下命令。 命令： cd /root/DKHPlantform/dkh-tomcat*/bin/ ./startup.sh 6、本地时间服务器搭建步骤 没联网或者装系统时时间未同步，需要搭建本地时间服务器。 （ 1 ）搭建内网的 ntp 服务器 修改 /etc/ntp.conf 命令： Vim /etc/ntp.conf 通过按键盘上的 insert 或是 I 键进入编辑模式，编辑完成后按一下 Esc 键然后按一下按 Shift+：键，输入 wq 后回车就可以保存。输入 q ！后回车则是放弃保存并退出. 修改下列三行: #server 0.centos.pool.ntp.org
#server 1.centos.pool.ntp.org
#server 2.centos.pool.ntp.org
在文件最后添加下列两行: server 127.127.1.0
fudge 127.127.1.0 stratum 10 （ 2 ）启动 ntp 服务 service ntpd start （ 3 ）开机自动启动 chkconfig ntpd on （ 4 ）客户端同步时间 命令： Vim /etc/ntp.conf 通过按键盘上的 insert 或是 I 键进入编辑模式，编辑完成后按一下 Esc 键然后按一下按 Shift+：键，输入 wq，后回车就可以保存。输入 q ！后回车则是放弃保存并退出. 在文件最后添加一行： */15 * * * * root ntpdate 192.168.27.35;hwclock -w