hadoop1.2.1基本操作整理

现阶段暂时不用hadoop了，为了怕自己忘记，对一些基本操作进行整理。

1.启动与退出

启动

首先刷新hadoop的配置文件：source    /etc/profile

然后启动hadoop的守护进程：start-all.sh

查看启动情况:jps

正常启动的话这时会看到datanode,  namenode,  jps,  secondary namenode,  jobTracker,  tasktracter  共6项，否则，格式化HDFS：hadoop   namenode   -format，然后重新执行上述操作

退出

任务进行完后，一定要记得关闭hadoop，否则下次启动时后出现一些问题

stop-all.sh

启动时还可能会遇到关于安全模式的问题，这时，查看namenode处于哪种状态:hadoop    dfsadmin    -safenode   get

hadoop 启动时是在安全模式，进入安全模式： hadoop    dfsadmin     -safemode    enter

进行插入删除操作时是在非安全模式，离开安全模式：hadoop    dfsadmin    -safemode    leave

2.文件操作

hadoop  的hdfs文件操作命令类似linux命令，所不同的是，HDFS命令的格式为

hadoop   fs    -cmd<args>

其中，cmd的命令名常与unix对应的命令名相同

HDFS工作目录建立：hadoop    fs   -mkdir   /user/$user  ,$user是可以自己命名的，这样就建立了其工作目录。

然后我们就可以在该目录下建立自己的输入输出文件夹

文件上传：hadoop   fs   -put  本地文件路径     HDFS中想要放置的位置

文件下载：hadoop   fs   -get   HDFS中想要下载的文件的路径   本地存储路径

如果不想下载，还可以查看HDFS上的文件：hadoop   fs   -cat   文件在HDFS中的路径

删除文件或空的文件夹： hadoop   fs   -rm   文件路径

删除文件夹：hadoop   fs   -rmr   文件夹路径

3.hadoop  streaming运行map,reduce程序

首先确保编译好map,reduce程序，map,reduce程序各自的源文件可以由多个，但编译之后必须让其生成一个map程序，一个reduce程序，已检验过，这样做是可以的。

其次，输入文件必须上传到HDFS，

运行命令如下：

hadoop   jar  jar包位置(hadoop 安装路径/hadoop/bin/contrib/streaming/hadoop1.2.1-streaming.jar)   

-input     input文件路径

-output  output文件夹路径

-mapper  map程序路径

-reducer  reduce程序路径

-jobconf  mapred.reduce.tasks=任务数    或     mapred.map.tasks=任务数

-jobconf这个参数是用来人为的控制程序运行的map和reduce的任务个数，但其实map的任务个数是不能被控制的，原因见上篇。而控制reduce的个数为0的时候是为了方便检验map程序是否正确。

这个参数已经算是被废弃的，现在都用-D命令，与-jobconf命令的功能类似，不过-D命令必须出现在输入输出命令之前，已验证过，出现在其之后会报错。

4.hadoop的集群用户界面

我们也可以在hafs的用户界面查看任务的执行情况，端口号是50070

http:\\localhost:50070

可以查看上传的文件，输出的文件等等。

暂时先写这么多。

----------------------------------------------------------------------------------------------Mark  here