最简大数据组件单节点安装步骤

一、安装条件

  1. JDK1.8环境(非openJDK):

    • 已安装请忽略。
    • 未安装请使用以下介质安装:
      • 安装包路径:/nantian/JDK/jdk1.8.0_211.tgz
      • 脚本路径:installJdk.sh
      • root用户执行:sh installJdk.sh
  2. 机器主机名配置

    • 设置主机名:
      hostnamectl set-hostname 主机名
      
    • 修改/etc/hosts文件,添加:
      本机IP 本机主机名
      
  3. 脚本和安装包需要放在同一个目录下。

二、Elasticsearch 安装

  1. 介质拷贝

    • 安装包:
      • elasticsearch-7.17.6-linux-x86_64.tar.gz
      • kibana-7.17.6.tar.gz
    • 脚本:
      • installEs_V2.sh
      • es模板.txt
      • es汇算任务.txt
  2. 安装脚本执行

    • 脚本:sh installEs.sh 机器IP
    • 脚本执行用户:root
    • 程序启动用户:es
  3. 模板脚本执行

    • 先在命令行执行es模板.txt中的语句。
    • 再执行es汇算任务.txt中的语句。
  4. 验证安装是否成功

    • 浏览器登录http://es的IP:9200,成功返回信息。
    • 浏览器登录http://es的IP:5601,成功登录。

三、Hadoop 安装

  1. 介质拷贝

    • 安装包:
      • hadoop-2.10.2.tar.gz
      • ns.zip
      • spark-2.4.8-bin-hadoop2.7.tgz
      • livy.tar.gz
    • 脚本:
      • installHadoop_V2.sh
      • formatAndStartHadoop.sh
      • installSpark.sh
      • installLivy.sh
  2. 安装脚本执行(按顺序安装):

    • 安装Hadoop
      • root用户执行:sh installHadoop_V2.sh 机器IP <ssh端口号,默认22可以不加>
      • hadoop用户执行:sh formatAndStartHadoop.sh 机器IP <ssh端口号,默认22可以不加>
      • 程序启动用户:hadoop
    • 安装Spark
      • root用户执行:sh installSpark.sh
    • 安装Livy
      • root用户执行:sh installLivy.sh 机器IP
      • 程序启动用户:hadoop
  3. 验证安装是否成功

    • 网页登录:
      • http://hadoop的IP:50070/ 成功登录
      • http://hadoop的IP:8088/ 成功登录
      • http://hadoop的IP:8998/ 成功登录
  4. 手工启动命令

    • 重要提醒
      • Hadoop集群重启前,每个节点的Zookeeper需要启动。
      • Hadoop集群启动时如果有从节点启动失败,仍然需要在主节点启动,不能在从节点执行。
    • Zookeeper
      • 每个节点执行:
        ${ZOOKEEPER_HOME}/bin/zkServer.sh start
        
    • Hadoop-HDFS
      • 主节点(第一个节点):
        sh ${HADOOP_HOME}/sbin/start-dfs.sh
        
    • Hadoop-YARN
      • 主节点(第一个节点):
        sh ${HADOOP_HOME}/sbin/start-yarn.sh
        
      • 第二个节点:
        ${HADOOP_HOME}/sbin/yarn-daemon.sh start resourcemanager
        

四、Kafka 安装

  1. 介质拷贝

    • 安装包:kafka_2.12-2.5.1.tgz
    • 脚本:installKafka.sh
  2. 安装脚本执行

    • root用户执行:sh installKafka.sh 机器IP
    • 脚本执行用户:root
    • 程序启动用户:kafka
  3. 验证安装是否成功

    • 命令行执行jps,存在以下进程即成功:
      • QuorumPeerMain
      • Kafka
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Sayai

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值