[分享脚本] 这是一个可以一键在本地虚拟机中一键创建 Hadoop 集群的脚本

2023-09-18 20:15:31 +08:00
 BeiChuanAlex

标题:花了一天时间写了个 Hadoop 集群 构建脚本

痛点:在做大数据开发的时候需要在本地虚拟机中创建 Hadoop 集群测试环境,但是搭建一个 Hadoop 集群并不是很容易,需要配置很多东西,费时费力,有的时候还有可能出现配置错误等情况。

解决:采用 python 脚本在本地 pycharm 中一键运行脚本,在 3 分钟时间内就可以创建一个集群环境,免去了人工搭建的烦恼。

使用:

1.下载脚本

https://raw.githubusercontent.com/jackhawks/bigdata-dev-helper/main/hadoop_cluster_init_script.py

2.在脚本的同级目录,创建一个名为 packages 的目录

3.上传 jdk 和 hadoop 包到 packages 目录(因为包过大,所以不能上传到 github )

jdk-8u212-linux-x64.tar.gz
hadoop-3.1.3.tar.gz

4.根据自己的虚拟机 dhcp ip 配置 hosts 参数

5.一键运行

全自动构建集群环境,三分钟搞定!!!

2258 次点击
所在节点    分享创造
3 条回复
q11391
2023-09-19 10:17:10 +08:00
已 star
lqw3030
2023-10-14 09:13:37 +08:00
楼主,仓库不见了
BeiChuanAlex
2023-10-14 23:07:35 +08:00
@lqw3030

改了项目名字,用下面这个链接

https://github.com/jackhawks/dev-helper

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/974966

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX