🔥博客主页: A_SHOWY
🎥系列专栏:力扣刷题总结录 数据结构 云计算
第一部分 创建实例过程
首先,需要创建3台EC2,一台作主节点 (master node),两台作从节点 (slaves node)。
1.镜像选择
EC2(弹性计算云):是AWS提供的最基本的云计算产品:虚拟专用服务器。这些“实例”可以运行大多数操作系统。
2.选择实例类型
实例类型这里我选择的t2.medium,虽然选择t2.micro或者t2.small可能便宜一些,但是性能和CPU运行速率相差较大,运用Hadoop会显得比较吃力。
3.配置存储信息并设置实例数量
本次实验需要安装的文件大于8GiB,将默认的8GiB改成15GiB,由于需要创建3台EC2,一台作主节点 (master node),两台作从节点 (slaves node)。所以实例数量设置为3。
4.创建密钥对
密钥对名臣设置为hadoop,密钥对类型设置为RSA,私钥文件格式选择.pem(其实可以选择.ppk),由于面对EC2的操作我是用PuTTY来做的,所以将下载好的私钥还需通过PuTTYgen转换为.ppk格式。
成功创建SSH密钥对后:阿里云会保存SSH密钥对的公钥部分。自己需要下载并妥善保管私钥。当实例用公钥发送一段用于验证身份的密文,我们本地的SSH客户端便使用私钥将密文进行解密。

5.启动实例
实例创建成功

6.对三个实例进行重命名
一台作主节点 (master node),两台作从节点 (slaves node)。为了后续操作清晰进行,故三个实例分别命名为master、slave01、slave02。

第二部分 实例配置连接过程
1.配置PuTTY
启动实例后,需要对EC2实例进行环境配置,需要使用SSH软件来完成远程连接,可以使用tabby、Xshell、electerm,在这里我使用的是Putty,这款工具是款老牌工具,体积小,使用方便,功能强大。
下面我仅仅展示master的连接过程图,slave01和slave02的连接过程同master完全一致。
- 点击勾选master实例,从下方查看master实例的共有IPv4地址并复制。
- 打开PuTTY,在将复制的master的共有IPv4粘贴到Host Name一栏,并在Saved Sessions一栏中将名称改为master,点击load进行连接,然后点击save(这样可以保证在下次启动实例时可以点击名称直接连接相应的IPv4,当然重启实验,以及过了0点会让共有IPv4地址改变,此时需要从写在Host Name中重新粘贴新的IPv4地址并连接保存)
- 在PuTTYgen中将保存的.pem格式私密转为.ppk格式保存。
- 在Connection——SSH——Auth路径下,点击Browse,选择保存的私钥路径。


- 已经成功连接。
2.创建 hadoop 用户
- sudo useradd -m hadoop -s /bin/bash//创建hadoop用户

本文详细描述了在AWSEC2上创建Hadoop集群的过程,包括实例配置、SSH连接、JDK安装、网络设置、SSH安全和Hadoop组件的安装与配置,确保了主从节点间的有效通信和HDFS及YARN服务的启动。
2194

被折叠的 条评论
为什么被折叠?



