Linux的hadoop集群部署

1.hadoop是一个分布式系统基础架构,主要解决海量数据额度存储与海量数据的分析计算问题

   hdfs提供存储能力,yarn提供资源管理能力,MapReduce提供计算能力

2.安装

   一:调整虚拟机内存,4G即可

    二:下载安装包

网址:https://mirrors.aliyun.com/apache/hadoop/common/hadoop-3.4.0/hadoop-3.4.0.tar.gz

hadoop安装包

命令:    wget https://mirrors.aliyun.com/apache/hadoop/common/hadoop-3.4.0/hadoop-3.4.0.tar.gz

    三:解压:   命令:   tar -zxvf hadoop-3.4.0.tar.gz -C ./

    很遗憾,没有空间了,接下来解决这问题

查看磁盘文件,发现已经拉满了,接下来需要到VMware调整

删除快照后修改磁盘大小,我改了50G

再次解压,还是错误,df -h发现没变,应该是磁盘分区问题

   (1)查看挂载点/的文件系统,在/dev/mapper/centos-root下面

   (2)用mount命令查看挂载点的文件系统的文件类型也就是/dev/mapper/centos-root的文件类型

   (3)此时发现分区是xfs类型

   (4)命令:fdisk -l

   (5)操作:命令 fdisk /dev/sda

按操作依次进行

   (6)再次fdisk -l 发现有新分区,接下来格式化和挂载新分区,否则不能用

   (7)先重启虚拟机操作系统,reboot

   (8)先试用lvs命令,再创建物理卷   命令: pvcreate /dev/sda3

   (9)物理卷添加到卷组中  命令: vgextend centos /dev/sda3   (centos为组名)

   (10)查看可扩展的空间大小   命令:vgdisplay

找到这个free pe,这个是可扩充的大小(我弄完写的文章,所以这里是4mb)

    (11)扩充磁盘空间:  命令: lvextend -L+16G /dev/mapper/centos-root /dev/sda3

   (12).扩充生效   命令: xfs_growfs /dev/mapper/centos-root  (后面这个是文件系统)

    (13)再次df -h,发现容量扩充成功!

这时候解压没有问题

四:构建软连接

命令: ln -s /