实验1——Hadoop伪分布模式安装流程

最新推荐文章于 2025-05-12 20:26:42 发布

原创

最新推荐文章于 2025-05-12 20:26:42 发布 · 1.8k 阅读

系统环境
Linux Ubuntu 16.04

任务内容
在只安装Linux系统的服务器上，安装Hadoop2.6.0伪分布模式。

操作平台：章鱼大数据
实验平台：https://www.ipieuvre.com/e/43/311/9523
操作视频：https://www.ipieuvre.com/learn/916/1005/1825/311/9544
任务步骤：
1.创建一个新用户及用户组，（也可以直接在root用户下操作）

sudo useradd -d /home/zhangyu -m zhangyu

为用户设置密码

sudo passwd zhangyu

将用户的权限，提升到sudo超级用户级别

sudo usermod -G sudo zhangyu

切换到zhangyu用户下

su - zhangyu

2.配置SSH免密码登陆
执行以下命令，生成公钥和私钥对

ssh-keygen -t rsa

然后多次按回车键
切换到~/.ssh目录下

cd ~/.ssh

在~/.ssh目录下，创建一个空文本，名为authorized_keys

touch ~/.ssh/authorized_keys

将存储公钥文件的id_rsa.pub里的内容，追加到authorized_keys中

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

执行ssh localhost测试ssh配置是否正确

ssh localhost

输入yes继续
3.创建两个目录，用于存放安装程序及数据

sudo mkdir /apps  

sudo mkdir /data

为/apps和/data目录切换所属的用户为zhangyu及用户组为zhangyu

sudo chown -R zhangyu:zhangyu /apps  

sudo chown -R zhangyu:zhangyu /data

/apps目录用来存放安装的框架，/data目录用来存放临时数据、HDFS数据、程序代码或脚本
切换到根目录下，并查看目录所属用户及用户组

cd /  

ll

4.配置HDFS
创建/data/hadoop1目录，用来存放相关安装工具

mkdir -p /data/hadoop1

切换目录到/data/hadoop1目录，使用wget命令，下载所需的hadoop安装包jdk-7u75-linux-x64.tar.gz及hadoop-2.6.0-cdh5.4.5.tar.gz

cd /data/hadoop1  
wget http://192.168.1.100:60000/allfiles/hadoop1/jdk-7u75-linux-x64.tar.gz  
wget http://192.168.1.100:60000/allfiles/hadoop1/hadoop-2.6.0-cdh5.4.5.tar