V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
BeiChuanAlex
V2EX  ›  分享创造

[自制脚本分享] 写了一些大数据开发中经常用到的脚本分享给有需要的人。

  •  
  •   BeiChuanAlex · 2023-10-01 20:18:56 +08:00 · 2513 次点击
    这是一个创建于 421 天前的主题,其中的信息可能已经有所发展或是发生改变。

    脚本地址:

    https://github.com/jackhawks/dev-helper

    主要包含以下脚本:

    linux 基础环境构建脚本
    1. 安装基础软件 vim rsync lrzsz wget
    2. 关闭防火墙
    3. 修改主机名
    4. 添加 hosts 映射
    5. 配置静态 Ip
    6. 创建工作目录
    7. 创建普通用户
    8. 配置 SSH 免密登录
    
    
    java 集群构建脚本
    1. 为集群安装 java 环境
    
    
    hadoop 集群构建脚本
    1. 为集群安装 hadoop
    
    zookeeper 集群构建脚本
    1. 为集群安装 zookeeper
    
    jpsall
    查看集群所有机器的 jps 进程
    
    xcall
    一处命令,同步到集群所有机器上执行
    
    xsync
    集群文件分发
    
    hadoop_cluster.sh
    Hadoop 集群 启动/停止/重启 脚本
    
    zk_cluster.sh
    Zookeeper 集群 启动/停止/重启/查看状态 脚本
    
    6 条回复    2023-10-04 13:17:47 +08:00
    Bumon
        1
    Bumon  
       2023-10-02 21:26:41 +08:00
    数开来顶一顶,感谢分享!
    BeiChuanAlex
        2
    BeiChuanAlex  
    OP
       2023-10-02 22:32:17 +08:00
    @Bumon 感谢支持~~
    Scarletlens
        3
    Scarletlens  
       2023-10-02 23:01:47 +08:00 via iPhone
    感谢分享
    swim2sun
        4
    swim2sun  
       2023-10-03 11:54:28 +08:00 via iPhone   ❤️ 2
    大数据开发 = 运维?
    BeiChuanAlex
        5
    BeiChuanAlex  
    OP
       2023-10-03 13:51:56 +08:00
    @swim2sun 只是辅助本地开发,不是生产运维。
    vokins
        6
    vokins  
       2023-10-04 13:17:47 +08:00
    感谢分享,收藏一下
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4609 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 10:04 · PVG 18:04 · LAX 02:04 · JFK 05:04
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.