Instalando o ecossistema hadoop pelo ambari

Neste post irei ensinar como instalar as ferramentas do ecossistema Hadoop pelo Ambari.

Primeiramente vamos entrar na tela de login do ambari, digitando no navegador http://192.168.0.15:8080 (IP do seu namenode na porta 8080[ambari]), o usuário e senha padrão do ambari é admin/admin:
Após logar no ambari vamos configurar o nosso cluster clicando no botão "Launch Install Wizard".
Após clicar em "Launch Install Wizard" vamos configurar um nome para o cluster.
Na parte de configuração de versão do HDP estou utilizando a versão 2.6.2.14 (última versão no momento), caso você deseje configurar algum repositório local basta marcar a opção "Use Local Repository"
Após selecionar a versão e o repositório basta clicar em "Next".
Agora na parte "Target Hosts" vamos configurar nossos hosts ou seja nossos nodes, nesta parte é obrigatório utilizar o hostname ao invés de colocar o IP:


Para configurar os hosts no windows basta ir em "C:\Windows\System32\drivers\etc" e editar o arquivo hosts, no Linux basta editar o arquivo em "/etc/hosts", adicionar os ips e hostname no seu hosts local conforme abaixo:

192.168.0.14 datanode1.hadoop.com.br 
192.168.0.15 namenode.hadoop.com.br
192.168.0.16 datanode2.hadoop.com.br 
192.168.0.17 databases.hadoop.com.br 
Agora vamos configurar a chave SSH para o ambari, no post anterior executamos um step onde executamos o comando ssh-copy-id em todas as máquinas inclusive na máquina namenode, agora iremos na máquina namenode pegar o arquivo que se encontra em:
~/.ssh/id_rsa

Após encontrar o arquivo clique em "Escolher Arquivo" e selecione o arquivo da sua chave. Ao importar a sua chave SSH o ambari deve ficar da seguinte forma:
Após selecionar a sua chave SSH clique em "Register and Confirm" e aguarde, se tudo ocorrer bem você obterá uma saída igual a imagem abaixo:
Na próxima tela vamos selecionar as ferramentas que desejamos instalar, no meu caso irei selecionar apenas HDFS, Yarn, ZooKeeper, HBase e Ambari Metrics:
Após selecionar as ferramentas que deseja, vamos configurar os master e slaves, minha recomendação é que o que for relacionado a banco de dados fique na máquina databases.hadoop.com.br, o que for relacionado a aplicação "Master" fique na máquina namenode.hadoop.com.br.
Na próxima tela vamos configurar os nossos slaves e clientes, no meu caso ao clicar em next as configurações já ficaram certas.

Na próxima telas vamos configurar as nossas ferramentas, no meu caso preciso configurar apenas Ambari Metric e SmartSense, caso o ambari reclame dos diretórios é por que você possui 2 diretórios em sua caixa basta retirar 1, como exemplo abaixo, :
2 Diretórios

Na parte do Ambari Metrics e do SmartSense, basta configurar uma senha.
Ambari Metrics



SmartSense

Na próxima tela temos a parte de revisão, onde temos as informações dos repositórios, das ferramentas instaladas e onde estão seus master.
Se tudo ocorrer conforme o esperado, você obterá a seguinte tela:
Após clicar me next seu cluster está instalado e configurado com as ferramentas que você escolheu.

Share:

0 comentários:

Postar um comentário