这篇文章主要是给第一次自己安装hadoop的人看的,因为我想练习hive sql,所以想装个hadoop,由于是自己一个人装的,再加上对linux不是很熟悉,碰到了一些坑。所以把这些可能的坑告诉初学者,共同进步。
一、教程
这段没什么好说的,只要搜索“<hadoop version name> a single node /mapreduce tuturial”,这几个关键词,往往就能找到官方详细的hadoop教程,比如我这里是hadoop2.10.1,官方教程为:https://hadoop.apache.org/docs/r2.10.0/hadoop-project-dist/hadoop-common/SingleCluster.html
二、安装前的注意事项
我在安装过程中碰到最大的两个坑分别为:
1、对JDK版本有要求,其实在hadoop官方文档里有介绍:HadoopJavaVersions,这个我当时以为“最新的就是最好的”,选了jdk15,导致后边在格式化文件系统,执行命令:‘
bin/hdfs namenode -format
’时总是会出WARNING警告。后来将JDK修改为jdk8后,一切正常。
2、不要使用xrdp通过Windows远程桌面操控。
我一开始不知道这个雷电,总是在创造HDFS文件目录这个步骤时进行不下去,一直回复:
yarnhdoop@tcguoxing-QJC4:~/hadoop-2.10.1$ bin/hdfs dfs -mkd

本文分享了新手在Ubuntu上安装Hadoop时遇到的两个主要问题:JDK版本选择和使用xrdp远程桌面操控的影响。安装Hadoop需要特定版本的JDK,过高版本可能导致警告。同时,使用xrdp可能会导致权限问题,影响HDFS文件目录的创建和NameNode脱离安全模式。建议避免使用xrdp,直接在本地进行操作。

被折叠的 条评论
为什么被折叠?



