新手在Ubuntu上安装Hadoop时碰到的两个坑

本文分享了新手在Ubuntu上安装Hadoop时遇到的两个主要问题:JDK版本选择和使用xrdp远程桌面操控的影响。安装Hadoop需要特定版本的JDK,过高版本可能导致警告。同时,使用xrdp可能会导致权限问题,影响HDFS文件目录的创建和NameNode脱离安全模式。建议避免使用xrdp,直接在本地进行操作。

这篇文章主要是给第一次自己安装hadoop的人看的,因为我想练习hive sql,所以想装个hadoop,由于是自己一个人装的,再加上对linux不是很熟悉,碰到了一些坑。所以把这些可能的坑告诉初学者,共同进步。

一、教程

这段没什么好说的,只要搜索“<hadoop version name> a single node /mapreduce tuturial”,这几个关键词,往往就能找到官方详细的hadoop教程,比如我这里是hadoop2.10.1,官方教程为:https://hadoop.apache.org/docs/r2.10.0/hadoop-project-dist/hadoop-common/SingleCluster.html

二、安装前的注意事项

我在安装过程中碰到最大的两个坑分别为:

1、对JDK版本有要求,其实在hadoop官方文档里有介绍:HadoopJavaVersions,这个我当时以为“最新的就是最好的”,选了jdk15,导致后边在格式化文件系统,执行命令:‘

bin/hdfs namenode -format

’时总是会出WARNING警告。后来将JDK修改为jdk8后,一切正常。

2、不要使用xrdp通过Windows远程桌面操控。

我一开始不知道这个雷电,总是在创造HDFS文件目录这个步骤时进行不下去,一直回复:

yarnhdoop@tcguoxing-QJC4:~/hadoop-2.10.1$ bin/hdfs dfs -mkd
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值