Artigo rápido sobre como utilizar cloud-init com proxmox

Quer criar VMs já setando o nome do servidor, IP, vlan, usuario, etc… sem nem se quer ter que liga-las? cloud-init é para você!

Home do projeto: https://cloud-init.io/

Documentação oficial: https://cloudinit.readthedocs.io/en/latest/

cloud-init é um recurso altamente utilizado quando falamos de servidores virtuais fornecido pelo grandes “players” das clouds.

Ele é interessante para clouds e VMs porque seu kernel personalizado não traz suporte a nada que uma VM não precisa para trabalhar. Ou seja, ele não vai trazer suporte a placa de som soundblaster =).

Foi criado pela Canonical que é a mesma empresa criadora do Ubuntu, e que tem uma gigante esmagadora parte dos Sistemas Operacionais no mercado de clouds.

Google e AWS (entre outros) são exemplos de empresas que utilizam cloud-init para disponibilizar as VMs para seus clientes.

Quando utilizamos kubernetes ou VMs na google, por exemplo, é possível visualizar o cloud-init config utilizado por eles, que cá entre nós, é um tremendo de um cloud-init config!

Alguns exemplos de porque utilizar cloud-init no Proxmox?

• Velocidade em criação de novas VMs
• Controle dos IPs das VMs como se fossem um container LXC
• Possibilidades de automatização
• Compatibilidades com Ansible e outras ferramentas de automações

Como este artigo esta sendo criado como uma simples documentação do processo, vamos direto ao assunto e assim podemos validar melhor o que esse tal cloud-init faz.

Deployando cloud-init em proxmox! Maos a obra!

O primeiro, leia a documentação oficial Proxmox + cloud-init: https://pve.proxmox.com/wiki/Cloud-Init_Support

O segundo, leia pelo menos a introdução do https://cloudinit.readthedocs.io/en/latest/

Atenção!! Atenção!!

Na documentação oficial do proxmox parte com um tópico: Preparing Cloud-Init Templates e isso confunde a galera!
As imagens de cloud-init já estão prontas e podemos utilizar sem ter que preparar nada. Isso é somente para as pessoas que necessitam criar seu cloud-init templates from scratch.

Download da imagem

Eu escolhi a imagem do ubuntu em homenagem a Canonical que disponibilizou o projeto, logo o mérito é deles:

Ubuntu 20.10 (Groovy Gorilla) Daily Build [20201027]

Perceba que tanto o formato “img” como a arquitetura “amd64” são compatíveis com Proxmox.

Agora escolha algum node do seu cluster proxmox para hospedar o template e acesse ele por ssh:

# wget https://cloud-images.ubuntu.com/groovy/current/groovy-server-cloudimg-amd64.img

# qm create 9002 --memory 2048 --net0 virtio,bridge=vmbr1

Agora veja em /etc/pve/storage.cfg qual é a storage que você deseja guardar essa imagem. Neste caso vou utilizar a storage local:

# qm importdisk 9002 groovy-server-cloudimg-amd64.img local
Successfully imported disk as ‘unused0:local:9002/vm-9002-disk-0.raw’

# qm set 9002 --scsihw virtio-scsi-pci --scsi0 local:9002/vm-9002-disk-0.raw
update VM 9002: -scsi0 local:9002/vm-9002-disk-0.raw -scsihw virtio-scsi-pci

Estamos quase prontos. Temos que adicionar agora um 2 disco que é onde vamos armazenar as configs personalizadas (a grosso modo falando).

No proxmox, esse disco é um cdrom ide virtual:

# qm set 9002 --ide2 local:cloudinit
update VM 9002: -ide2 local:cloudinit
Formatting ‘/var/lib/vz/images/9002/vm-9002-cloudinit.qcow2’, fmt=qcow2 cluster_size=65536 preallocation=metadata compression_type=zlib size=4194304 lazy_refcounts=off refcount_bits=16

Arrumando a ordem de boot:

# qm set 9002 --boot c --bootdisk scsi0

Algumas imagens de amd64 cloud-init são feitas pensadas em compatibilidades com openstack. Por isso temos que adicionar a serial0 para que ela inicie. Caso tenha curiosidade, remova a serial0 e tente o reinicio, se não bootar adicione novamente e tudo vai funcionar:

# qm set 9002 --serial0 socket --vga serial0
update VM 9002: -serial0 socket -vga serial0

Copie a sua chave ssh publica para o servidor do proxmox, para que possamos adicionar esta chave no template do cloud-init:

[user_machine ~$] scp ~/.ssh/id_rsa.pub root@PROXMOX_NODE:/tmp

Voltando ao proxmox server:

# qm set 9002 --sshkey /tmp/id_rsa.pub
update VM 9002: -sshkeys ssh-rsa%20AAAAB3NzaC1yc2EAAAADAQABAAABgQC4LX1HAmPWW4qzmqUBsIvgbdlfDS5MKEVK5cpXRxmUErezgVfvodbGlqqnO0T61Dry3KRg1owq62wpH1z8d%2Bh6vZCsJKoyoklC55xlbJgGDSxEB0%2FbUMiwqWkFdjRwQ1V2HOYNJKttoBUFIQvG8V3XSDtw%2Fw3W0aNOAfnheZX10zMJ%2BCuisMkvGGCBRDwnxxi%2BJoeTGrx85yLYfdD6Ca6yba6KeTMcu5PoI1BH5%2Bvt2Ta90BGjyHpLUOZpoqV0AurTEJIO3n5J0z2OH9WhC77Kwz6mG3MSNueA1BcgRUVvaXvJB65ce2azSVcKbXNkTbeBFlc7FhocEAhXrycRR0L6xgo3acvoCBOx4EijtF0itjzqfvNhH9tN9oLj8Qxiz6ttGivzucfWBsc30pUDopWGaJ0syNFE0Wyvs03cDMHb%2F5Vmb8ixE%2BK2nDJe3OXyn%2Bp4GzkWNyVZjYxutg%2FLAFP6bwe6Oe1jSob4I0bA4xT7guHLp93zEqWHRjDFGhXewhk%3D%20USER%40MACHINE%0A

Defina o usuário que vai ter permissão de sudo:

# qm set 9002 --ciuser gole
update VM 9002: -ciuser gole

Defina o tipo de maquina. Dica valiosa do Tomas 2w-consultoria.

# qm set 9002 --machine q35
update VM 9002: -machine q35

Por fim, transforme ela em um template:

# qm template 9002

Realizando um clone e utilizando a nova VM

Por fim clone o template para uma nova maquina:

# qm clone 9002 139 --name VMNAME --full

Configure o ip que ela vai utilizar:

# qm set 139 --ipconfig0 ip=172..xxx.xxx.5/24,gw=172.xxx.xxx.1

Redimensione o disco para um tamanho que vai ocupar nesta VM:

# qm resize 139 scsi0 +45G
Image resized.

Ligue a VM:

# qm start 139

Espere ela iniciar e execute o ssh desde a maquina que tinha a chave publica:

$ ssh -l gole 172.xxx.xxx.5

Bingo! Dentro do servidor sem fazer nenhuma instalação!

Você pode definir vlans, DNSs e tudo o que sua nova VM precisa para funcionar.
Pode também personalizar o cloud-init com os cicustom.
De uma olhada na documentação oficial.

Quando o cloud-init sobe pela primeira vez, ele vai instalar alguns pacotes, por isso o 1o boot é um pouco mais demorado para liberar o apt.

Sucesso!

Uma super ferramenta para gerencia de sua infraestrutura

Netbox é muito mais do que vamos comentar neste artigo.

Nossa ideia é indexar conteúdo em português sobre essa ferramenta maravilhosa que muito nos ajuda na organização tanto da parte lógica como da parte física da TI.

O que é um IPAM?

IP address management (IPAM) é a metodologia que nos permite gerenciar tudo que é relacionado a IP. Tudo que engloba o universo lógico do modelo TCP/IP.

Com uma IPAM você pode gerenciar IPv4, IPv6, VLANs, Sub-redes, IPs. E para cada uma destas opções, pode atribuir tags, roles, e muitas outras coisas.

Isso pode parecer desnecessário, mas quando se tem uma rede com mais de 512 hosts, realizar a administração e manter a segurança desta rede sem um IPAM pode ser uma tarefa bem complicada.

Neste link da Wikipedia, temos uma tabela bem completa de muitas ferramentas IPAM.

O que é um DCIM?

Data center-infrastructure management (DCIM) é a metodologia que tem como missão integrar os equipamentos da infraestrutura com o time que presta serviço a empresa. Facilitar para as pessoas da TI todas as informações dos equipamentos e hosts que representam sua infraestrutura.

A equipe de virtualização necessita saber qual é a porta da enclosure que esta conectado o switch SAN, e também precisa saber quais são os racks que dispõem de espaço disponível. Enquanto isso a equipe de redes precisa saber qual rack contem os routes MPLS, e quais os switchs que estão com a versão XPTO de firmware.

Essas informações são exemplos de casos onde o DCIM faz toda a diferença.

Quando chega o momento de montar o capacity plain, o DCIM também é uma ferramenta indispensável.

O que é Netbox?

Netbox é uma ferramenta de código aberto que utiliza a licença Apache 2.0. Sua documentação oficial esta disponível no portal Read the Docs, portal esse que contem documentações de diversos outros projetos de código aberto.

O projeto foi criado por Jeremy Stretch que trabalhava como desenvolvedor de redes (Network Developer) na Digital Ocean.

Com a evolução do Netbox, muitos pessoas começaram a colaborar com os códigos. Entre estas pessoas esta John Anderson, que participando em diversas validações e contribuições importantes no back-end, também ajudou a melhorar a interface web, que sempre foi construida com Django framework.

Passando alguns anos Jeremy Stretch e John Anderson, junto com outros engenheiros e desenvolvedores, criaram a empresa chamada Network to code.

Sobre a instalação

Existem basicamente duas formas de instalação do Netbox:

• Netbox em Docker
• Netbox instalado diretamente no S.O.

É possível mesclar parte da instalação no S.O. e outra parte com Docker, isso depende somente de conhecimento em docker.

O processo de instalação esta bem descrito, logo não é necessário que abordemos isso. Nossa intenção é somente apresentar a existência da ferramenta.

Uma vez que tenha Netbox correndo e já tenha criado o usuário em /admin, podemos acessar sua interface web.

Interface do usuário

Quando acessamos o Netbox pela interface web, podemos visualizar o menu que esta acima de todo o site.

Os tópicos organização, dispositivos, IPAM, virtualização, circuitos, Power, segredos e outros, esses tópicos representam o primeiro conceito que devemos nos atentar.

Cada tópico pode ser direcionado a um grupo diferente de pessoas. Ou seja, uma pessoa que cuida das estruturas físicas e dos racks podem não ter acesso a configuração dos dispositivos, e as pessoas que cuidam dos dispositivos, podem não ter acesso ao menu virtualização. E podemos ainda definir quais os níveis de perfil, ou seja, é possível que a equipe que tem acesso aos devices, tenha acesso somente leitura para todo o universo que esta dentro de IPAM, ou ainda mais, que possa criar IPs e não possa cadastrar sub-redes ou VLANs.

Isso são exemplos, uma vez que é possível personalizar os acessos como bem entendemos.

Também podemos autenticar o Netbox em LDAP, Active Directory e outras formas de autenticação.

Podemos ver a riqueza em detalhes e os cuidados que Netbox traz. Neste exemplo podemos visualizar o link entre o local físico, com o tenant, com o rack e com os devices.

Também podemos ver que é possível definir cores para cada tipo de device, além de muitas outras coisas.

Já no menu de prefixes, podemos ver a integração entre roles, VLANs, IPs, porcentagem de utilização das redes.

Podemos também observar na direita, que sempre temos a possibilidade de buscar com filtros, e diversas opções. É muito poderoso!

Nesse tela estamos dentro de um device.

Nesse exemplo, podemos ver que o device tem um primary_ipv4 associado, tem um status de planned, tem o role de network, uma vez que a imagem em anexo nos mostra que é um switch. Temo também a plataforma do switch, e suporte a comentários e tags.

Na parte de interfaces, podemos conectar estas interfaces com os outros dispositivos cadastrados.
Podemos definir se a interface utiliza LAG, se é uma bond, se é virtual, o MTU, o tipo da conexão, enfim, não

API

Quem já esta acostumado em trabalhar com API’s sabe como é bom quando encontramos uma API que esta documentada utilizando Swagger.

Netbox tem a API mais completa e lindamente documentada, evidentemente, ocupando swagger. É possível fazer toda a ação via Web ou via API, logo é possível automatizar toda a inserção e obtenção de informação!

É isso ai.

A verdade é que isso é uma micro pincelada sobre o que se pode fazer com Netbox.

Participamos de implementações em empresas multinacionais com mais de 3000 sites físicos, e mais de 5 Data Centers. A organização e a transparência, a integração entre as equipes internas, foi incrível visualizar os pontos positivos desta ferramenta.

Netbox também permite integração nativa com Ansible, Salt, Stack Storm, e muitas outras, não se limitando a essas ferramentas, é possível desenvolver as próprias integrações.

Vida longa ao Netbox!