hdfs的存储容量不足,需要放入新磁盘扩容 扩容有两种方式,一种是linux层面的,一种是hdfs层面的 hdfs的datanode存储的目录可以查看hdfs-site.xml的dfs.datanode.data.dir的值
linux层面
linux层面的就是将hdfs的datanode所挂载的分区或逻辑卷扩容
如果是直接挂在固定分区上,而磁盘还有余量可以进行分区扩容 参考:http://blog.51cto.com/wutou/1782931 这种直接挂载在分区上的磁盘空间管理方式十分不方便,扩容也很容易出错,而且扩容只有在磁盘还有余量的情况下, 无法将两块磁盘的空间结合使用,一块磁盘空间占满,即使加入一块新磁盘也无法对原来磁盘上的分区扩容。 所以才会有逻辑卷管理LVM的出现
如果是lvm对磁盘分区进行管理,那么可以方便的创建物理卷,扩容datanode所挂载的逻辑卷所属的卷组 接着扩容该逻辑卷,具体操作方式参考: https://linux.cn/article-3218-1.html
hdfs层面
这种不需要对原来的空间扩容,是修改hdfs-site.xml的dfs.datanode.data.dir的值添加新目录,如
<property>
<name>dfs.datanode.data.dir</name>
<value>
/hadoop/hdfs/data,
/data/hadoop/hdfs
</value>
</property
将多个目录用逗号隔开,所以只要将新磁盘分区挂载在新目录上(分区方式可以自己决定,最好永久挂载),将需要添加的新目录设置用户权限
chown -R hdfs:hadoop dirPath
修改dfs.datanode.data.dir,重启datanode即可
./bin/hdfs dfsadmin -report
可以查看各个datanode的存储容量
673

被折叠的 条评论
为什么被折叠?



