OpenEuler部署单机Hadoop SingleNode模式

原创 已于 2023-04-15 09:07:12 修改 · 921 阅读 · 1
于 2023-04-15 09:00:06 首次发布
本文详细介绍了如何在OpenEuler操作系统上部署Hadoop的singleNode模式，包括升级系统、安装软件、修改主机名和IP地址、关闭防火墙、配置SSH免密登录以及初始化Hadoop等关键步骤。此外，还提供了相关配置文件的修改方法。

目录

文章目录

一、软件配置信息 

二、开机进行操作

在部署所有操作系统之前升级操作系统和软件

安装常用软件

三、单机部署Hadoop

修改主机名

修改IP地址

修改保存后重启网络服务

关闭防火墙

修改防火墙相关配置文件

保存后重启

将jdk和hadoop压缩包上传，并配置环境变量

修改域名映射

修改Hadoop配置文件

1.修改 hadoop-env.sh

2.修改 core-site.xml

3.修改 hdfs-site.xml

4.修改 workers

5.修改 mapred-site.xml

6.修改 yarn-site.xml

配置 ssh 免密钥登录

对Hadoop初始化

重点提示

也可以使用关闭全部服务

总结

本文着重介绍在OpenEuler上搭建Hadoop singleNode 模式，后续还会搭建zookeeper集群。

提示：以下是本篇文章正文内容，下面案例可供参考

一、软件配置信息 

Vmware 17 Pro

iso：openEuler

二、开机进行操作

在部署所有操作系统之前升级操作系统和软件

yum -y update

安装常用软件

yum -y install gcc gcc-c++ autoconf automake cmake make rsync openssh-server vim man zip unzip net-tools zlib zlib-devel openssl openssl-devel pcre-devel tcpdump lrzsz tar

三、单机部署Hadoop

修改主机名

#修改主机名为hadoop
hostnamectl set-hostname hadoop
#或者
vim /etc/hostname 
#向hostname中插入
hadoop
bash

修改IP地址

vim /etc/sysconfig/network-scripts/ifcfg-ens160

#网卡配置文件示例

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=none
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
NAME=ens160
UUID=943779e9-249c-44bb-b272-d49ea5831ed4
DEVICE=ens160
ONBOOT=yes
#注意从winodws的cmd命令中查看ipconfig。查找VMnet8的IPv4地址，根据其修改
IPADDR=192.168.177.10
PREFIX=24
#和上述IP地址相对应
GATEWAY=192.168.177.2
DNS1=192.168.177.2

修改保存后重启网络服务

nmcli con up ens160

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

修改防火墙相关配置文件

vim  /etc/selinux/config
#文中SELINUX=enforcing,SELINUXTYPE=targeted改为注释
#SELINUX=enforcing
#SELINUXTYPE=targeted
#在末尾处加入
SELINUX=disabled

保存后重启<

标签
#hadoop #linux #运维
最低0.47元/天 解锁文章
yhy_only
关注
hadoop-3.2.2环境搭建操作安装指南
06-02
hadoop搭建环境所需要的文档手册，步骤详细 包括相关的依赖包和jdk，适合初学者小白。 也可以通过私信联系我，半价安装
openEuler忘记密码(超详细)
热门推荐
程序源的博客
03-29 2万+
1.重启虚拟机，在内核选择界面输入英文字母e进入grub2配置页面2.输入字母e后可能会出现下图情况(未出现，直接跳过该步骤)，需要用户输入单用户用户名密码，系统默认用户名
基于OpenEuler搭建hadoop3.2.2开发环境
weixin_44940750的博客
06-17 5148
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、准备二、使用步骤1.引入库2.读入数据总结 前言 提示：尝试在华为OpenEuler操作系统上搭建hadoop3.2.2环境，并运行一个实例。 提示：以下是本篇文章正文内容，下面案例可供参考 一、准备 1，OpenEuler操作系统 2，Hadoop3.2.2安装包 （下载地址：https://hadoop.apache.org/release/3.2.2.html） 2，Java 1.8-jdk，要选择LINUX,A
openEuler修改root密码（自用）
m0_73939014的博客
04-30 4028
改之前改之后。
openeuler22.03进入单用户模式
wind_sss的博客
03-21 2504
按照网络上的经验贴尝试进入单用户模式失败，大致流程是在内核界面按e后在linux所在段末尾加上init=/bin/sh或init=/bin/bash，修改该段ro为rw（也可以不修改进入单用户模式后再改权限，非关键因素），然后按ctrl+X进入单用户模式，但尝试后一直卡在random：crng init done，各种搜索解决无果。1. 重启虚机并在内核界面按e后进入编辑界面（默认最新内核，不要选rescue），有的教程上说这一步需要输入账号密码，但是我的内核版本没有要求；
基于OpenEuler部署Hadoop完全分布式集群
shisjin的博客
03-07 7932
基于OpenEuler +jdk17部署Hadoop完全分布式集群
openEuler搭建hadoop Standalone 模式
桃李不言下自成蹊
06-20 1万+
1. 升级软件 2. 安装常用软件 3. 关闭防火墙 4. 修改主机名和IP地址 5. 修改hosts配置文件 6. 下载jdk和hadoop并配置环境变量 7. 配置ssh免密钥登录 8. 修改配置文件 9. 初始化集群 10. windows修改hosts文件 11. 测试
Zookeeper集群部署
yhy_only的博客
04-15 439
在上一篇部署了hadoop的SingleNode模式，本篇开始Zookeeper集群部署提示：以下是本篇文章正文内容，下面案例可供参考配置3台主机可以先配置1台主机，然后使用VMware的克隆的功能，但是要特别注意修改相关的配置文件。
从零开始在openEuler上构建Hadoop
weixin_45521613的博客
05-16 1325
申请环境可以从PCL上申请，申请流程如下：申请完环境后就可以通过terminal登录辣~(xshell, mobaXterm, putty, 选一个你喜欢的)配置yum源。
openEuler 搭建 hadoop 高可用完全分布式集群
桃李不言下自成蹊
06-21 1万+
openEuler搭建 zookeeper hadoop 高可用完全分布式集群
OpenEuler简易安装Hadoop集群（两台计算机)
weixin_67418984的博客
05-29 1570
本文介绍在OpenEuler系统下安装Hadoop集群的详细步骤。首先在VMware中配置网络适配器（主机模式和NAT模式），随后进行操作系统基础配置：包括设置静态IP、主机名、hosts文件映射、关闭防火墙/SELinux及更换华为云镜像源。接着安装常用工具并创建统一目录结构。完成JDK 1.8的安装和环境变量配置后，上传并解压Hadoop安装包，建立软链接。最后修改Hadoop配置文件，包括设置hadoop-env.sh中的JAVA_HOME路径和环境变量。该教程适用于双节点Hadoop集群部署。
4-openEuler破解开机密码
最新发布
xuebo1129927648的博客
07-23 1209
在 openEuler 系统中，可以通过进入单用户模式来重置开机密码，具体操作步骤如下：1、重启操作系统，一直按上下键，直到出现：2、选择第1行，进入 GRUB 编辑模式：按下 “e” 键进入 grub2 配置页面。若 GRUB 设置了密码，需输入默认用户名root和默认口令 “openEuler#12” 进行登录（不同版本可能有差异，以实际情况为准）。3、修改内核参数：找到以 “linux” 开头的行，将其中的 “ro” 修改为 “rw”，使内核可以读写硬盘，然后在这行配置的最后加上 “init=/bin
01.OpenEuler使用
weixin_46261560的博客
12-11 2785
镜像下载路径：https://www.openeuler.org/zh/download/镜像22.03-LTS-SP2：openEuler-22.03-LTS-SP2-everything-x86_64-dvd.iso镜像22.03-LTS-SP2 sha256码：8f00c6251c944330fc0bedbcc1085ab029cd1e49aadd14c236658fa7ac0a8b2c。
openEuler22.03启动提示错误：Failed to execute /sbin/init、Failed to execute /bin/sh，无法进入系统
weixin_44147924的博客
11-16 6842
openEuler服务器重启后，提示如下错误： 首先查看提示到的sh和init是否存在，如果存在，他们的权限是否跟正常机器一致？挂载光盘，进入救援模式 点击rescue的选1 之后提示报错： 救援模式无法进入换一种方法：进入单用户模式 进入后选择boot from local drive,然后按e编辑,下图中加上rw rd.break 之后按ctrl +x进入单用户模式输入密码后进入命令行 还是不行，没有命令可以执行。更换镜像，挂载专有镜像https://support.huawei.com/carrie
openEuler上安装Hadoop集群步骤详解
m0_74261826的博客
11-03 1328
总的来说，在openEuler上安装Hadoop集群并不困难，只是步骤比较繁琐，所以特意写了一篇博客进行整理，全文从0开始，一步步操作，步骤非常详细，跟着做应该就能复现。可能也存在有部分疏漏，欢迎大家指正交流。
如何进入Linux单用户模式修改root密码
DB_Bowl的博客
03-17 2644
Linux丢失root密码等关键口令，而无法使用root权限。这个时候就需要进入单用户模式来解决此类问题。
鲲鹏服务器+openEuler 搭建Hadoop完全分布式集群
czp15977719359的博客
07-01 1643
【基本流程】 下载并解压Hadoop、JDK安装包并配置好环境变量、节点域名解析、防火墙、端口 进入Hadoop的解压目录,编辑hadoop-env.sh文件 编辑Hadoop中配置文件core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml四个核心配置文件 配置ssh,生成密钥,用ssh免密在各节点间切换 格式化HDFS 并使用./start-all.sh启动Hadoop集群 【一】购买云服务器 首先准备三台华为ECS云服务器，配置如下： C
OpenEuler操作系统的安装
weixin_55824551的博客
07-19 774
5.配置完成后单击右下角“下一步”：“确认配置”，勾选同意协议，然后点击“立即购买”按钮；7.VPC创建成功后，单击左侧导航栏“访问控制”下的“安全组”，进入安全组后，单击右上角的“创建安全组”按钮。出现密码界面，选择密码登录，同时勾选“记住密码”，单击“确定”按钮，从而远程登录OpenEular操作系统。3.完成基础页面布置后，单击“下一步”：“网络配置”，进行网络配置，按照下图进行配置网络参数。3.出现登录界面，输入用户名“root”，同时勾选“记住用户名”，单击“确定”按钮。
openEuler系统重置root密码
u013007181的博客
02-23 1万+
openEuler系统重置root密码
“多重人格”的操作系统——openEuler
2201_75642955的博客
02-06 5308
看到标题你可能会好奇，一个操作系统，为什么会具有“多重人格”，“openEuler”又是一个什么样的操作系统，还有“多重人格”到底指的是什么。本文的目的就旨在解答以上你心中所想的三个问题，希望读者能从中得到一些知识，一些感悟。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值