Implementação da plataforma Hadoop

Apache Hadoop o que é? O Apache Hadoop é uma framework desenvolvida em Java, para computação distribuída, usada para processamento de grandes quantidades de informação. O Hadoop é, por exemplo, usado por grandes plataformas mundiais como é o caso do Facebook.

Para a criação desta app será necessário instalar o VirtualBox no link aqui e o Ubuntu 18.04 no link aqui. Após a instalação iremos ligar o VirtualBox e criar uma nova máquina virtual com o nome Ubuntu:

Basta clicar no botão (New) e escolher as configurações acima

Vamos escolher o tamanho 2048MB (Tenha em consideração a sua RAM)

E iremos com o clique direito do rato em cima da nossa máquina aos Settings da mesma e alterar a Video Memory para 128MB

Feito isto teremos de instalar o Ubuntu na nossa máquina e para isso vamos ligar a nossa máquina:

Clicamos no botão (Start) e a nossa máquina irá se ligar

Escolhemos um start-up disk que será o nosso ficheiro do Ubuntu instalado anteriormente

Escolhemos a linguagem que queremos e escolhemos a opção (Instalar o Ubuntu)

Clicamos em continuar nos passos seguintes e chegando aqui selecionamos estas opções

De seguida escolhemos a opção (Mais uma coisa)

E agora iremos criar uma nova tabela de partições

Clicamos na tabela criada e colocamos as configurações acima

Agora criamos outra partição no espaço livre e colocamos as configurações acima e depois clicamos em (Instalar agora)

Criamos o nosso utilizador

E depois de alguma espera a instalação estará completa

Agora que temos o Ubuntu corretamente instalado na nossa máquina virtual iremos aceder ao Terminal e usaremos alguns comandos:

sudo wget -P /home/elmano/Desktop https://mirrors.sonic.net/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz (no meu caso é /elmano/ uma vez que é o nome do meu utilizador)

sudo apt install ssh

sudo apt install pdsh

ssh-keygen -t rsa -P “”

sudo apt install openjdk-8-jdk

cd Desktop e tar xzf hadoop-3.2.1.tar.gz

mv hadoop-3.2.1 hadoop

nano hadoop/etc/hadoop/hadoop-env.sh

Ao entrar no ficheiro iremos à linha mostrada acima, retiramo-la de comentário e adicionaremos o código que falta export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ (para sair do ficheiro iremos clicar CTRL+O para Gravar e depois CTRL+X para sair)

sudo mv haddop /usr/local/hadoop

cd e sudo nano /etc/enviroment e ao entrar no ficheiro iremos adicionar em linhas diferentes $games:/usr/local/games:/uusr/local/hadoop/bin:/usr/local/hadoop/sbin” e
JAVA_HOME=”/usr/lib/jvm/java-8-openjdk-amd64/jre” (para sair do ficheiro iremos clicar CTRL+O para Gravar e depois CTRL+X para sair)

sudo adduser haddopuser

sudo usermod -aG haddopuser haddopuser haddopuser, sudo chown haddopuser:root -R /usr/local/hadoop e sudo chmod g+rwx -R /usr/local/hadoop

sudo adduser haddopuser sudo

ip addr e verificar o nosso ip que no meu caso é 10.0.2.15

sudo nano /etc/hosts

Ao entrar no ficheiro iremos adicionar em linhas diferentes 10.0.2.15 master, 10.0.2.16 slave1 e 10.0.2.17 slave2 (valores obtidos de acordo com o ip anteriormente verificado)(para sair do ficheiro iremos clicar CTRL+O para Gravar e depois CTRL+X para sair)

De seguida iremos criar os slaves para isso vamos desligar a nossa máquina virtual e vamos clona-la:

Clicamos no direito do rato na nossa máquina e depois clone e colocamos as configurações acima

Fazemos um Full clone, clicamos em (Clone) e esperamos

E agora faremos o mesmo para o slave 2

Finalmente iremos ligar as nossa três máquinas (Start), aceder ao Terminal das mesmas e usaremos mais alguns comandos:

sudo nano /etc/hostname

Ao entrar no ficheiro na máquina virtual master adicionamos Master (para sair do ficheiro iremos clicar CTRL+O para Gravar e depois CTRL+X para sair)

Ao entrar no ficheiro na máquina virtual slave 1 adicionamos Slave1 (para sair do ficheiro iremos clicar CTRL+O para Gravar e depois CTRL+X para sair)

Ao entrar no ficheiro na máquina virtual slave 2 adicionamos Slave2 (para sair do ficheiro iremos clicar CTRL+O para Gravar e depois CTRL+X para sair)

sudo reboot em todas as máquinas

Agora apenas na máquina virtual master:

su -hadoopuser

ssh-keygen -t rsa

ssh-copy-id haddopuser@master, ssh-copy-id haddopuser@slave1 e ssh-copy-id haddopuser@slave2

sudo nano /usr/local/hadoop/etc/hadoop/core-site.xml

Ao entrar no ficheiro adicionamos o código mostrado acima dentro do <configuration> (para sair do ficheiro iremos clicar CTRL+O para Gravar e depois CTRL+X para sair)

sudo nano /usr/local/hadoop/etc/hadoop/hdfs-site.xml

Ao entrar no ficheiro adicionamos o código mostrado acima dentro do <configuration> (para sair do ficheiro iremos clicar CTRL+O para Gravar e depois CTRL+X para sair)

sudo nano /usr/local/hadoop/etc/hadoop/workers

Ao entrar no ficheiro adicionamos em linhas diferentes slave1 e slave2 (para sair do ficheiro iremos clicar CTRL+O para Gravar e depois CTRL+X para sair)

scp /usr/local/hadoop/etc/hadoop/* slave1:/usr/local/hadoop/etc/hadoop/

scp /usr/local/hadoop/etc/hadoop/* slave2:/usr/local/hadoop/etc/hadoop/

nano.bashrc

Ao entrar no ficheiro iremos adicionar na última linha export PDSH_RCMD_TYPE=ssh (para sair do ficheiro iremos clicar CTRL+O para Gravar e depois CTRL+X para sair)

source /etc/environmet

hdfs namemode -format

start-dfs.sh

export HADOOP_HOME=”/usr/local/hadoop/”, export HADOOP_COMMON_HOME=$HADOOP_HOME, export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop e export HADOOP_HDFS_HOME=$HADOOP_HOME

export HADOOP_MAPRED_HOME=$HADOOP_HOME e export HADOOP_YARN_HOME=$HADOOP_HOME

Agora na máquina virtual slave 1:

sudo nano /usr/local/hadoop/etc/hadoop/yarn-site.xml e ao entrar no ficheiro adicionamos o código mostrado acima dentro do <configuration> (para sair do ficheiro iremos clicar CTRL+O para Gravar e depois CTRL+X para sair)

E faremos o mesmo para a máquina virtual slave 2

Get Elmano’s stories in your inbox

Join Medium for free to get updates from this writer.

Remember me for faster sign in

E voltaremos à máquina virtual master

start-yarn.sh

E assim basta abrir o browser e inserir o endereço URL pretendido (master:8088/cluster)

Deverá ficar algo deste género

Espero que tenha ajudado, alguma dúvida basta deixar um comentário.