<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by João Storarri on Medium]]></title>
        <description><![CDATA[Stories by João Storarri on Medium]]></description>
        <link>https://medium.com/@flpstrri?source=rss-dcc9f37a6f21------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*o8kdEZei78PSls7CW5hYlw.jpeg</url>
            <title>Stories by João Storarri on Medium</title>
            <link>https://medium.com/@flpstrri?source=rss-dcc9f37a6f21------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 13:31:39 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@flpstrri/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Criando um Cluster Elástico de PostgreSQL usando Amazon Aurora e pgpool-II]]></title>
            <link>https://medium.com/rez%C3%A9nha/criando-um-cluster-elastico-de-postgresql-usando-amazon-aurora-e-pgpool-ii-20c38db6a593?source=rss-dcc9f37a6f21------2</link>
            <guid isPermaLink="false">https://medium.com/p/20c38db6a593</guid>
            <category><![CDATA[platform]]></category>
            <category><![CDATA[engineering]]></category>
            <category><![CDATA[postgresql]]></category>
            <category><![CDATA[backend]]></category>
            <category><![CDATA[engenharia-de-software]]></category>
            <dc:creator><![CDATA[João Storarri]]></dc:creator>
            <pubDate>Thu, 11 Mar 2021 12:02:30 GMT</pubDate>
            <atom:updated>2023-01-18T12:28:09.733Z</atom:updated>
            <content:encoded><![CDATA[<h4>BACKEND | BANCO DE DADOS</h4><h4>Como nós do Zé Delivery substituímos nossa instância única de PostgreSQL por um cluster de Amazon Aurora.</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*pyxzlRRdsesnVeNb" /></figure><p>Discussões sobre a necessidade de aumentar as máquinas responsáveis pelo banco de dados de uma aplicação geralmente é um bom sinal, seu produto está sendo usado. Essa é a história de como nós do <a href="https://ze.delivery/">Zé Delivery</a> — depois de ver uma apresentação da MaxiMilhas (obrigado, pessoal!) no AWS Summit 2018 em São Paulo — substituímos nossa instância única de PostgreSQL por um cluster de Amazon Aurora atrás de um grupo de instâncias de pgpool-II para aumentar a crescente carga de requisições.</p><p>Para que as nossas decisões de arquitetura fiquem mais claras, essas são algumas informações sobre nosso negócio e situação da arquitetura que nortearam as discussões:</p><ul><li>Em uma descrição simplista, nosso negócio se parece bastante com um marketplace. Por causa disso, as requisições recebidas pela nossa API apresentam um viés para as leituras, e não para as escritas;</li><li>Nossa API é <a href="https://aws.amazon.com/serverless/">serverless</a> usando o AWS Lambda e tinham picos de mais de 500 execuções concorrentes;</li><li>O Aurora Serverless para PostgreSQL tinha acabado de ser lançado na época;</li></ul><p>Alem disso, é importante entender — ao menos de uma forma resumida — algumas das principais características do Amazon Aurora e do pgpool-II junto das recomendações da AWS de como solucionar problemas de grandes volumes de acesso a bancos de dados.</p><h3>Amazon Aurora</h3><p>Um cluster <a href="https://aws.amazon.com/pt/rds/aurora">Amazon Aurora</a> é um conjunto de banco de dados (desde que vimos <a href="https://youtu.be/6yqfmXiZTlM?t=3452">esta sessão do re:Invent com o Rick Houlihan</a> tentamos usar o termo “<em>relacional” </em>só para falar que ele não existe) compatível com PostgreSQL. Ele consiste em um grupo de uma a dezesseis instâncias ligado a um sistema de armazenamento distribuído — tolerante a falhas e com recuperação automática — que se estende por várias zonas de disponibilidade com uma cópia dos dados em cada.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/640/0*vAMp7Tz6rg9c5piw.png" /></figure><p>As características que vamos nos ater — sem desmerecer todas as outras de disponibilidade, performance e resiliência que são por si só suficientes para você querer usá-lo — são: a facilidade de criar novas réplicas de leitura no cluster e sincronização destas mesmas com a instância primária.</p><h3>Réplicas de leitura de baixa latência</h3><p>Aurora Replicas são endpoints de leitura independentes em um cluster de Amazon Aurora em que a AWS balanceia a carga — convenientemente — em um único <em>endpoint</em> de leitura. Você pode ter até 15 réplicas distribuídas entre as zonas de disponibilidade do cluster. O atraso entre a escrita e a disponibilidade nas réplicas de leitura é da escala de milissegundos — menos de 100ms no nosso caso.</p><blockquote><em>Aurora Replicas funcionam bem para escalar buscas em banco de dados porque elas são totalmente dedicadas para operações de leitura no seu cluster de armazenamento. O Banco de dados principal gerencia as operações de escrita. O cluster de armazenamento é compartilhado entre todas as instâncias em seu cluster de banco de dados. Portanto, nenhum trabalho adicional é necessário para replicar uma cópia dos dados para cada Aurora Replica. Em contraste, cada réplica de leitura do PostgreSQL precisa aplicar, em uma única thread, todas as operações de escritas da instancia principal do banco de dados em seu armazenamento local. Essa limitação pode afetar a capacidade de uma réplica de leitura PostgreSQL de suportar grandes volumes de tráfegos de escrita. — </em><a href="https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/CHAP_AuroraOverview.html"><em>Guia do usuário</em></a></blockquote><p>Alem disso tudo, você pode criar um <em>auto-scalling group</em> que controla o numero de réplicas de leitura do seu cluster Aurora baseado em utilização de CPU ou número de conexões. Com isso a sua capacidade de leitura de dados pode crescer até a — colossal escala, a qual a necessidade não deve ser um bom sinal, de — 720 núcleos de um processador Intel Xeon Platinum de 2,5 GHz, 5.376 GiB de memória RAM, 350 Gbps de performance de rede.</p><h3>Recomendações da AWS sobre aumentar a capacidade de bancos de dados</h3><p>Já tivemos que escalar verticalmente nossa instância de banco de dados durante uma crise de indisponibilidade algumas vezes. O RDS ficou por volta de cinco minutos sem responder — e isso é bastante tempo. Ficamos ansiosos, com medo de alguma coisa dar errado, de precisarmos restaurar os dados de algum backup. Por isso não gostamos de escalar o banco verticalmente — imagino que ninguem gosta.</p><p>Por mais que tenhamos nos saído bem dessas más experiências, não é algo que queremos ter de fazer todas as quartas, quintas e sextas-feiras, alem dos finais de semana caso nossos clientes resolvam combinar de pedir bebidas todos ao mesmo tempo. Por isso que optamos por uma estratégia de escala horizontal, onde podemos aumentar a capacidade do cluster de bancos de dados sem ficar um segundo desconectado.</p><p>O <a href="https://aws.amazon.com/blogs/database/">AWS Database Blog</a> é um bom lugar para responder perguntas sobre bancos de dados, mesmo não usando soluções de infraestrutura da Amazon.Foi lá que fomos buscar responder nossas perguntas após assistir a palestra de como a MaxiMilhas resolveu seu problema de escala de banco de dados.</p><h3>Escalando Horizontalmente</h3><p>No artigo <a href="https://aws.amazon.com/blogs/database/scaling-your-amazon-rds-instance-vertically-and-horizontally/">“Scaling Your Amazon RDS Instance Vertically and Horizontally”</a> confirmamos a ideia de usar o Amazon Aurora. A Amazon é bem clara quanto a maneira de escalar horizontalmente: <strong>use réplicas de leitura e divida suas consultas entre as de escrita e as de leitura.</strong></p><p>As opções para dividir as consultas entre escrita e leitura são duas: usar algum módulo na sua camada de persistência para fazer a divisão ou usar um balanceador de carga L7.</p><h3>Dividir as consultas na sua camada de persistência</h3><p>Dividir as consultas na camada de persistência resultaria em cada ambiente de execução (<em>execution environment)</em> do AWS Lambda abrir duas conexões com o banco de dados. Quando fizemos testes preliminares dessa implementação percebemos que continuávamos tendo problemas em picos de uso. A quantidade de conexões na instância principal (de escrita) crescia muito rápido gerando indisponibilidade. Então resolvemos analisar a segunda opção.</p><h3>Balanceador de carga L7</h3><p>Um balanceador de carga L7 ou <em>layer 7</em> opera na sétima camada do modelo <a href="https://pt.wikipedia.org/wiki/Modelo_OSI#7_-_Camada_de_Aplica%C3%A7%C3%A3o">OSI</a>, a camada de aplicação. É uma peça de infraestrutura que divide as requisições a um determinado IP baseado em seu conteúdo — no nosso caso no conteúdo da consulta SQL. O balanceador de carga L7 pode enviar todas as consultas iniciadas por SELECT para um determinado IP e as iniciadas por UPDATE, CREATE e DELETE para outro.</p><p>Isso nos ajudou a responder quase todas as dúvidas que tivemos ao voltar do <em>AWS Summit</em>. Precisávamos escalar nossa camada de persistência horizontalmente usando um balanceador de carga L7. Só nos restou uma dúvida, pois todos os exemplos e softwares apresentados no AWS Summit e no AWS Database Blog eram para MySQL: Não usamos MySQL.</p><h3>pgpool-II</h3><p>O <a href="https://github.com/pgpool/pgpool2">pgpool-II</a> é um middleware que funciona entre instâncias de PostgreSQL e seus clientes. Ele é um software bastante completo para a manutenção de clusters de PostgreSQL com alta disponibilidade, mas, como o Amazon Aurora já implementa várias de suas funções nativamente, vamos nos ater no enfileiramento (<em>queuing</em>), represamento (<em>pooling</em>) de conexões e no balanceamento de requisições.</p><h3>Enfileiramento de Conexões</h3><p>Existe um limite do número de conexões que podem ser feitas a um banco de dados simultaneamente e sua performance tem alta correlação com este número — para entender melhor recomendo <a href="https://github.com/brettwooldridge/HikariCP/wiki/About-Pool-Sizing">ler o que Brett Wooldridge escreveu sobre o assunto</a>. Para melhorar a performance da camada de persistência o pgpool-II mantém o número de conexões em um valor máximo, todas as conexões subsequentes devem esperar numa fila para conectar com o banco de dados.</p><h3>Represamento de Conexões</h3><p>O pgpool-II salva as conexões com as instâncias de PostgreSQL (<em>backend</em>) e as reusa toda vez que uma nova conexão com as mesmas propriedades (como usuário e nome do banco de dados) é feita. Com isso ela reduz o tempo de fazer essa nova conexão e aumenta a capacidade de tráfego de informações do <em>cluster</em>.</p><h3>Balanceamento de Requisições</h3><p>Se os dados do banco de dados são replicados com baixa latência, executar uma consulta de leitura (SELECT) em qualquer uma das instâncias, tanto na principal como nas réplicas, terá o mesmo resultado. Por causa disso o pgpool-II usa o <em>endpoint</em> de leitura para distribuir as consultas de leitura entre várias instâncias de replicação, aumentando — novamente — a capacidade de tráfego de informações do cluster.</p><p>Juntando a facilidade de gerenciamento do Amazon Aurora e o balanceamento de requisições do pgpool-II pudemos então montar nossa camada de persistência elástica.</p><h3>A Camada de Persistência Elástica do Zé Delivery</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*IgRbRU-p4Wf-GBa2.png" /></figure><p>A estrutura simplificada do que temos hoje em produção é a ilustrada acima. Ela consiste em um balanceador de carga L4 (<em>Network Load Balancer</em>) distribuindo as requisições em um grupo de <em>Auto Scaling</em> com as instâncias de pgpool-II. Estas se conectam aos endpoints padrões de escrita e leitura do <em>cluster</em> do Amazon Aurora. Configuramos o <em>cluster</em> para adicionar novas réplicas quando a CPU média das instâncias de leitura passa um determinado nível — subir uma instância a mais sem necessidade não é algo caro, desde que elas sejam removida rapidamente — e o <em>Auto Scaling</em> dos pgpool-II é baseado no tráfego de rede médio deles.</p><p>Um bom lugar para começar a construir isso é <a href="https://github.com/aws-samples/amazon-aurora-pgpool-example">clonando este repositório de exemplo da AWS</a> e não esquecer de seguir as <a href="https://www.pgpool.net/docs/latest/en/html/example-aurora.html">recomendações na documentação do pgpool-II para o uso com Amazon Aurora</a>.</p><p>O processo de amadurecimento desta estrutura levou alguns meses — ultrapassando o tempo que levamos para escrever este artigo — e creio que essas sejam as coisas mais importantes que aprendemos até então:</p><ul><li>A métrica a ser acompanhada para verificar o estado de uma instância de pgpool-II é o seu tráfego de rede. Está se mostrou muito mais crítica que a utilização de CPU nas nossas instâncias. Foi por esse motivo que optamos por instâncias do tipo <strong>m5</strong>. Esta apresenta uma performance de rede melhor que as <strong>t3</strong>;</li><li>Enviar consultas de leitura para a instância primária do cluster geralmente é uma má idéia, mesmo que você esteja pensando em economizar com réplicas de leitura. A instância primária não consegue escalar horizontalmente, então, colocar qualquer carga extra irá antecipar a necessidade de escala-la verticalmente;</li><li>Usar uma imagem de disco (AMI) ao invés de um código de inicialização torna o processo de escalada muito mais rápido. Clonar um AMI para um EBS e inicializar uma EC2 apontando para o disco é muito mais rápido que baixar todas as dependências da internet, mover os arquivos e só então inicializar o pgpool-II;</li><li>Os <em>endpoints</em> customizados do Amazon Aurora levam muito tempo para ficarem disponíveis depois de qualquer alteração no <em>cluster</em> e isso pode degradar a disponibilidade de toda a infraestrutura. Não os use;</li><li>Enviar os <em>logs</em> do pgpool-II para um agregador de <em>logs</em> — no caso do CloudWatch basta instalar o awslogs (yum -y install awslogs) — e então configurar a rotação de <em>logs</em> irá evitar indisponibilidades por discos cheios;</li><li>A não ser que seja necessário não tentar reconectar com um <em>endpoint</em> após reiniciar o serviço do pgpool-II — e ainda não sabemos em qual situação isso ocorre — inicie o pgpool com a opção --discard-status;</li><li>Colocar muita pressão de escrita na instância principal em um curto espaço de tempo pode fazer as instancias de leitura ficarem muito atrasadas na replicação e <a href="https://aws.amazon.com/pt/premiumsupport/knowledge-center/aurora-read-replica-restart/">reiniciarem</a>. Esteja preparado para isso caso seja tenha algum padrão de escrita muito irregular e com picos repentinos no seu domínio.</li></ul><p>Utilizamos esta estrutura no nosso ambiente produtivo desde 2019 e desde então suportamos picos de acesso bastante intensos. Estamos bastante satisfeitos com o que ela já fez para o Zé Delivery. 🍻</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=20c38db6a593" width="1" height="1" alt=""><hr><p><a href="https://medium.com/rez%C3%A9nha/criando-um-cluster-elastico-de-postgresql-usando-amazon-aurora-e-pgpool-ii-20c38db6a593">Criando um Cluster Elástico de PostgreSQL usando Amazon Aurora e pgpool-II</a> was originally published in <a href="https://medium.com/rez%C3%A9nha">ReZÉnha</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Ainda um Belíssimo Código de Conduta para Programadores Profissionais]]></title>
            <link>https://flpstrri.medium.com/ainda-um-belissimo-codigo-de-conduta-para-programadores-profissionais-283a50d09769?source=rss-dcc9f37a6f21------2</link>
            <guid isPermaLink="false">https://medium.com/p/283a50d09769</guid>
            <category><![CDATA[tolkien]]></category>
            <category><![CDATA[resenha]]></category>
            <category><![CDATA[programação]]></category>
            <category><![CDATA[software-development]]></category>
            <category><![CDATA[arte]]></category>
            <dc:creator><![CDATA[João Storarri]]></dc:creator>
            <pubDate>Mon, 21 Oct 2019 22:42:18 GMT</pubDate>
            <atom:updated>2020-03-06T11:07:43.617Z</atom:updated>
            <content:encoded><![CDATA[<h4>Em meio a esta volátil indústria a obra de Robert C. Martin continua sendo um chamado bastante atual à boa arte dos desenvolvedores de software.</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zWyZ8g-xL4zWarpcCZXvvw.png" /><figcaption>Ilustration by <a href="https://medium.com/u/7f9a3337184f">Elisa Hulshof</a></figcaption></figure><blockquote>— Cobro o que me parece justo<br>— Cobra pelo material. Não da valor ao teu trabalho.<br>— Também cobro pelo trabalho, mas eu não quero demasiado. O trabalho me causa alegria. Oh! Não sabia do melhor, que prazer é trabalhar com a madeira. Cada corte recorda a proximidade do Altíssimo…<br>— Tu és um excelente artesão, mas creio que serias um poeta ainda melhor. Alguns trabalham primeiro, depois cantam, depois rezam. <strong>Mas, para ti, o trabalho já é canto e oração…¹</strong></blockquote><p>Robert (carinhosamente chamado de Uncle Bob) apresenta em sua quinta obra — <a href="https://amzn.to/31nZfEI">The Clean Coder: A Code of Conduct for Professional Programmers</a>² — a sua visão de como um programador deve proceder para ser tratado como um profissional: como ser responsável pelo seu trabalho e pelo seu desenvolvimento; como ser levado a sério e dizer não quando essa é a resposta a ser dada; como fazer que confiem em suas decisões e dêem valor ao que você produz; como dominar a técnica e ensiná-la.</p><p>O livro mostra que o desenvolvedor de software deve buscar ser como um grande artesão — como Fronte Estrelada³, personagem de J.R.R. Tolkien ou São José, pai adotivo de Nosso Senhor — que trabalha rapidamente mas sem se apressar — ou seja, é ágil e assertivo. Que dá boas e claras estimativas para a resolução de seu trabalho — sincero e transparente. Cumpre seus compromissos — confiável — e tem um grande respeito pela sua arte — enamorado pelo que faz. Uma arte que é ensinada pelos mais velhos e experientes, reaprendida ao observar os mais jovens e espalhada simplesmente por sua beleza.</p><p>Assim como em seu quarto livro, <a href="https://amzn.to/33GmLOA">Clean Code: A Handbook of Agile Software Craftsmanship</a>, Bob reuniu problemas de como bem escrever software que aprendeu em sua carreira. Em Clean Coder ele nos leva a uma viagem de como ele mesmo amadureceu durante a sua carreira, e como esta vontade de ser considerado um profissional ocorreu a ele. Robert apresenta algumas situações que causam incômodo, como o diálogo de Mike e Paula onde Mike simplesmente ignora todas as vezes que Paula diz que não será possível entregar novas funções que não tinham sido combinadas:</p><blockquote>— Você disse que o faria funcionar para mim.<br>— Não, Mike, eu não disse. Eu disse que era impossível. Aqui está uma cópia do memorando que enviei após nossa conversa.<br>— Sim mas você ia tentar mesmo assim, certo?<br>— Já discutimos isso. (…)</blockquote><p>Ou o diálogo de Peter e Marge onde Marge realmente precisava do módulo de avaliação pronto para segunda feira e Peter encontra uma maneira de se comprometer:</p><blockquote>— Peter, realmente preciso de uma definição nisso aqui. Existe alguma maneira de você se comprometer a entregar isso até segunda-feira de manhã?<br>— Não Marge, não tenho como dar certeza de qualquer data que não seja terça-feira. Sinto muito se isso bagunça seu planejamento, mas trata-se apenas da realidade de que estamos encarando<br>— Peter, olha, sei que isso é uma imposição enorme, mas realmente preciso que você encontre uma forma de fazer isso até segunda-feira de manhã. É realmente crítico. Não há nada que possa fazer de verdade?<br>— Ok, Marge, vou dizer o seguinte. Vou ligar para casa e dizer para minha família que terei que abrir mão de um pouco de tempo com eles. Se para eles estiver tudo bem, então conseguirei que esta tarefa esteja pronta até segunda-feira de manhã. Inclusive, virei na segunda-feira para ver se tudo vai correr bem com Willy. Mas então vou para casa e só voltarei na quarta-feira. Fechado?</blockquote><p>Nos enroscamos nessas situações em nosso dia-a-dia e, se realmente queremos ser profissionais, temos de ser firmes. Manter nossa posição se ela é a certa. Dar as más noticias rápido. Nos comprometer com os prazos dados.</p><p>Mas mesmo frente a essas grandes lições de habilidades interpessoais que, ao lermos no livro podem parecem óbvias à primeira vista — mas são como um trovão que nos acorda — a que mais me pegou desprevenido é a de que devemos nos manter firmes às práticas aprendidas, principalmente nos momentos de crise. Se <a href="https://en.wikipedia.org/wiki/Test-driven_development">Desenvolvimento Guiado a Testes</a> (TDD) é importante para que o código fique mais limpo e correto, em momentos de crise temos que usá-lo mais ainda para nos ampararmos a esta segurança. Se <a href="https://en.wikipedia.org/wiki/Pair_programming">desenvolvimento em dupla</a> nos ajuda a manter o foco, porque não o fazer nos momentos mais difíceis? Se manter um código limpo com bons nomes de variáveis, injeção de dependência, e uma <a href="https://en.wikipedia.org/wiki/Hexagonal_architecture_(software)">arquitetura hexagonal</a> bem definida nos dá mais agilidade, qual o motivo para deixar as boas práticas quando estamos em apuros? Tudo isso deve ser seguido no dia-a-dia e principalmente nos momentos de crise.</p><p>O <a href="https://amzn.to/31nZfEI">The Clean Coder</a> foi escrito há 8 anos e, por ser um livro focado no comportamental do desenvolvedor de software que deseja se tornar um artesão, continua bastante atual. Certamente é um livro que, se você for um amante desta arte com alguma experiência, deve apresentar para seus aprendizes e, se você é um aprendiz, deve lê-lo.</p><blockquote>(…) Quando tinha tempo, ele fazia objetos por deleite. E eram belos, pois sabia trabalhar o ferro em formas maravilhosas, que pareciam tão leves e delicadas como uma ramagem de folhas e flores, mas retinha a inflexível resistência do ferro ou pareciam mais fortes ainda. Eram poucos os que passavam por um dos portões ou gradis que ele fazia sem parar para adimirá-lo. Ninguém conseguia atravessá-lo depois de fechado. Ferreiro cantava quando estava fazendo objetos desse tipo, e quando começava a cantar, os que estavam em torno interrompiam o trabalho e iam até a forja para escutar.³</blockquote><pre>1. A Sombra do Pai: História de José de Nazaré / Jan Dobraczyński — São Paulo: Cultor de Livros, 2017;</pre><pre>2. O Codificador Limpo: Um Código de Conduta para Programadores Profissionais / Robert C. Martin — Rio de Janeiro: Alta Books, 2012;</pre><pre>3. Ferreiro de Bosque Grande / J.R.R. Tolkien — São Paulo: Editora WMF Martins Fontes, 2015.</pre><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=283a50d09769" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>