Apache Bigtop –安装Hadoop-CSDN博客

本文详细介绍了如何在Ubuntu系统上使用Apache Bigtop安装Hadoop。首先，通过wget和编辑sources.list.d文件添加Bigtop源。接着，设置JAVA_HOME环境变量，并使用apt-get安装Hadoop及相关组件。然后，格式化namenode，启动Hadoop服务，包括Namenode、Datanode、Jobtracker和Tasktracker。进一步，创建HDFS目录，列出文件系统内容，并运行pi示例验证安装。文章结尾鼓励读者探索更多Hadoop的应用，如Hive和Hbase。

啊！！这个名字随处可见，随风而来。 Apache Hadoop ！！

大数据处理平台！

我们都知道一开始它也可能是多么陌生！ ew！：o

根据我的亲身经历，将近11个月之前，我试图安装HBase，但我遇到的问题很少！问题是版本兼容性。例如：“ HBase一些x.version”和“ Hadoop一些y.version”。

这是一个实际的问题，因为除非有人进行了测试，否则您将永远不知道哪个版本的软件包可以与另一个版本很好地融合在一起。再次进行此测试取决于他们设置的环境，这可能是另一个问题。

迫切需要对分发的管理，然后是一个开源项目，该项目试图创建一个完全集成并经过测试的大数据管理分发“ Apache Bigtop ”。

Apache Bigtop的目标 ：

-打包

-部署

-集成测试

Hadoop的所有子项目。该项目针对的是整个系统，而不是单个项目。

我喜欢Doug Cutting当时在主题演讲中提到的方式，他在其中表达了Hadoop与Linux内核之间的相似性，以及Hadoop的大堆栈（Hive，Hbase，Pig，Avro等）与完整的Hadoop之间的对应相似性。发行版（RedHat，Ubuntu，Fedora，Debian等）的操作系统。这真是一个比喻！ :)

Bigtop使生活变得轻松 ：

Bigtop Hadoop分发工件不会让您感到自己生活在异世界中！安装后，您将有机会以任何方式将Hadoop集群及其子项目混合在一起。接下来，所有这些都供您装饰！ :)

Bigtop的安装和Hadoop的安装 ：

现在是时候欢迎您所有的包裹回家了。 [我的意思是/ home / ..];）

我已经在Ubuntu 11.04上进行了测试，这里有一个快速简便的安装过程。

步骤1 ：安装GNU Privacy Guard密钥，这是一个用于访问所有公共密钥目录的密钥管理系统。

wget -O- http://www.apache.org/dist/incubator/bigtop/bigtop-0.3.0-incubating/repos/GPG-KEY-bigtop | sudo apt-key添加–

第2步 ：从链接http://www.apache.org/dist/incubator/bigtop/bigtop-0.3.0-incubating/repos/ubuntu/bigtop.list获取回购文件

须藤wget -O /etc/apt/sources.list.d/bigtop.list http://www.apache.org/dist/incubator/bigtop/bigtop-0.3.0-incubating/repos/ubuntu/bigtop.list

须藤gedit /etc/apt/sources.list.d/bigtop.list
取消注释附近的镜像链接。第一个链接对我有用。 deb http://apache.01link.hk/incubator/bigtop/stable/repos/ubuntu/ bigtop contrib

步骤3 ：更新apt缓存

sudo apt-get更新

步骤4 ：检入工件

sudo apt-cache搜索hadoop
图片：

在apt缓存中搜索

第5步 ：设置您的JAVA_HOME
导出JAVA_HOME = path_to_your_Java
在〜/ .bashrc中导出$ JAVA_HOME

第6步 ：安装完整的Hadoop堆栈
sudo apt-get install hadoop \ *
图片：（上方）
运行Hadoop ：

步骤1 ：格式化namendoe
须藤-u hdfs hadoop namenode -format
图片：

格式化名称节点

步骤2 ：启动Hadoop的Namenode，Datanode，Jobtracker，Tasktracker
因为我在hadoop-namenode hadoop-datanode hadoop-jobtracker hadoop-tasktracker中； 做sudo服务$ i start; 做完了 现在，群集已启动并正在运行。图片：

启动所有服务

步骤3 ：在hdfs中创建一个新目录
须藤-u hdfs hadoop fs -mkdir / user / bigtop
bigtop是用户$ USER中的目录名称 须藤-u hdfs hadoop fs -chown $ USER / user / bigtop 图片：

在HDFS中创建目录

步骤4 ：列出文件系统中的目录
hadoop fs -lsr /
图片：

HDFS目录

步骤5 ：运行示例pi示例
hadoop jar /usr/lib/hadoop/hadoop-examples.jar pi 10 1000
图片：

运行示例程序

工作完成！

享受您的集群！ :)我们将在下一篇文章中看到使用Hadoop（使用Hive，Hbase等）可以进行更多的混合！在此之前，祝您学习愉快！！ :) :)

参考： Hadoop宿醉：Apache Bigtop简介及其使用（安装Hadoop）！来自我们的JCG合作伙伴 Swathi V，网址为* Techie（S）pArK *博客。

翻译自: https://www.javacodegeeks.com/2012/06/apache-bigtop-installing-hadoop.html