HDFS的Shell操作

（一）HDFS命令操作实战

1、启动Hadoop集群

2、创建单层目录，执行命令：hdfs dfs -mkdir /ied

 

 使用Hadoop WebUI查看创建的单层目录

3、创建多层目录

执行命令：hdfs dfs -mkdir -p /luzhou/lzy

 

 使用Hadoop WebUI查看创建的多层目录

4、查看目录

执行命令：hdfs dfs -ls /，查看根目录 

执行命令：hdfs dfs -ls /luzhou 

如果我们要查看根目录里全部的资源，那么要用到地柜参数-R，执行命令：hdfs dfs -ls -R /，递归查看/目录 

5、下载HDFS文件到本地

 先删除本地的test.txt文件

执行命令：hdfs dfs -get /ied/test.txt

 查看文件是否下载成功

 可以将HDFS上的文件下载到本地指定位置，并且可以更改文件名

 执行命令：hdfs dfs -get /ied/test.txt /home/exam.txt

检查文件是否下载成功 

 6、删除HDFS文件

执行命令：hdfs dfs -rm /ied/test.txt

检查是否删除成功

 

7、删除HDFS目录

执行命令：hdfs dfs -rmdir /luzhou，但是提示-rmdir命令删除不了非空目录。

所以要递归删除才能删除非空目录：hdfs dfs -rm -r /luzhou（-r：recursive）

 

删除空目录/BigData，执行命令：hdfs dfs -rmdir /BigData

8、移动目录或文件夹

将/ied目录更名为/ied01，执行命令：hdfs dfs -mv /ied /ied01 

利用Hadoop WebUI查看是否更名成功

 将/ied01/exam.txt更名为/ied/test.txt，执行命令：hdfs dfs -mv /ied01/exam.txt /ied01/test.txt

查看改名后的test.txt文件内容 

9、文件合并下载

现在/ied01里有一个test.txt，创建sport.txt和music.txt并上传 

合并/ied01目录的文件下载到本地当前目录的merger.txt，执行命令：hdfs dfs -getmerge /ied01/* merger.txt 

 查看本地的merger.txt，看是不是三个文件合并后的内容

 10、检查文件信息

检查test.txt文件，执行命令：hdfs fsck /ied01/test.txt -files -blocks -locations -racks

执行命令：hdfs dfs -put /opt/hadoop-3.3.4.tar.gz /ied01，将hadoop压缩包上传到HDFS的/ied01目录 

查看HDFS上hadoop-3.3.4.tar.gz文件信息，执行命令：hdfs fsck /ied01/hadoop-3.3.4.tar.gz -files -locations -racks 

 11、创建时间戳文件

创建的是一个空文件，大小为0字节

 这种空文件，一般用作标识文件，也可叫做时间戳文件，再次在/ied01目录下创建sunshine.txt同名文件

12、复制文件或目录

准备工作：创建/ied02目录 

 

1、同名复制文件

将/ied01/music.txt复制到/ied02里，执行命令：hdfs dfs -cp /ied01/music.txt /ied02

查看拷贝生成的文件

 

2、改名复制文件

将/ied01/test.txt复制到/ied02目录，改名为hello.txt，执行命令：hdfs dfs -cp /ied01/exam.txt /ied02/hello.txt 

 

查看拷贝后的文件内容

3、复制目录

将/ied01目录复制到/ied03目录，执行命令：hdfs dfs -cp /ied01 /ied03 

 

查看拷贝后的目录

13、查看文件大小

• 执行命令：hdfs dfs -du /ied01/test.txt

 

14、上传文件

-copyFromLocal类似于-put，执行命令：hdfs dfs -copyFromLocal merger.txt /ied02 

查看是否上传成功

 15、下载文件

-copyToLocal类似于-get，执行命令：hdfs dfs -copyToLocal /ied01/sunshine.txt sunlight.txt

检查文件是否下载成功

 

16、查看某目录下文件个数

执行命令：hdfs dfs -count /ied01 

17、检查Hadoop本地库

 -执行命令：hdfs checknative -a

查看hadoop本地库文件

 18、进入和退出安全模式

1、进入安全模式

执行命令：hdfs dfsadmin -safemode enter, 注意：进入安全模式之后，只能读不能写

2、退出安全模式