<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Marcelo Flores on Medium]]></title>
        <description><![CDATA[Stories by Marcelo Flores on Medium]]></description>
        <link>https://medium.com/@marcelomaxaqp?source=rss-9ecf08bc1256------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*Ytoi8CP_4tUn4nx4.png</url>
            <title>Stories by Marcelo Flores on Medium</title>
            <link>https://medium.com/@marcelomaxaqp?source=rss-9ecf08bc1256------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sat, 21 Nov 2026 23:20:08 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@marcelomaxaqp/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Arquitetura de micro-serviços na prática: modelagem e rastreabilidade dos serviços]]></title>
            <link>https://medium.com/@marcelomaxaqp/arquitetura-de-micro-servi%C3%A7os-na-pr%C3%A1tica-modelagem-e-rastreabilidade-dos-servi%C3%A7os-21e0822a63fb?source=rss-9ecf08bc1256------2</link>
            <guid isPermaLink="false">https://medium.com/p/21e0822a63fb</guid>
            <dc:creator><![CDATA[Marcelo Flores]]></dc:creator>
            <pubDate>Fri, 17 Nov 2017 10:46:34 GMT</pubDate>
            <atom:updated>2017-11-17T10:46:34.567Z</atom:updated>
            <content:encoded><![CDATA[<h3>Abstract</h3><p>O padrão arquitetural de micro-serviços está sendo adotado cada dia mais por diversas empresas do mercado. Este padrão possui diversas vantagens, como: possibilitar escrever componentes de um único sistema utilizando linguagens diferentes se necessário, facilitar a escalabilidade do sistema, simplificar o deploy de componentes separados do sistema, entre outras. Porém, ele traz também uma série de desafios. Por exemplo, o espalhamento das informações de log e o acompanhamento de transações que representam um único contexto, mas são realizadas em diversos serviços.</p><p>Este artigo descreve como migrar uma arquitetura monolítica para uma arquitetura de micro-serviços do integrador de anúncios em massa da OLX Brasil, em conjunto com técnicas para melhorar o acompanhamento do funcionamento sistemas distribuídos e implementados em diversas linguagens de programação.</p><h3>O sistema</h3><p>As principais características do integrador são:</p><ul><li>Gerenciar 200 mil anúncios por dia.</li><li>Gerenciar um volume de imagens de até 20 vezes a quantidade de anúncios, ou seja até 2 milhões.</li><li>Inserção de novos anúncios.</li><li>Edição de anúncios publicados;</li><li>Remoção de anúncios definidos pelo cliente.</li><li>Geração de relatórios de carga.</li></ul><h3>Sistema legado</h3><p>A versão anterior do sistema está desenhada na figura 1. Este sistema possuía todas as funcionalidades dentro de uma única linguagem de programação, com um deploy para o sistema inteiro.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*apv27NEsNvYDALvo." /></figure><p><strong>Figura 1. Sistema legado de integração de anúncios</strong></p><h3>A nova arquitetura utilizando micro-serviços</h3><p>A partir da avaliação do sistema legado, escolhemos criar os micro-serviços (Figura 2) de:</p><ol><li>Importação/Edição</li><li>Remoção</li><li>Relatórios</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*bkjKYmvATDnoUdDr." /></figure><p><strong>Figura 2. Identificação de micro-serviços do sistema</strong></p><h3>Arquitetura do importador</h3><p>Por sua vez, o serviço de importação tinha muitas responsabilidades, então resolvemos separar ele em micro-serviços também (Figura 3).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*A_ac52TeH8CcGGuM." /></figure><p><strong>Figura 3. Micro-serviços de importação</strong></p><h3>Arquitetura do Mapeador de anúncios e da remoção de anúncios</h3><p>Como exemplo de um dos serviços, segue o diagrama do mapeador de anúncios (figura 5)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*w7NRUmAsLtOfr6Q8." /></figure><p><strong>Figura 5. Diagrama do mapeador de anúncios</strong></p><p>O serviço diminuiu o escopo de responsabilidades grandemente. O deploy ficou mais simples e, hoje em dia, é possível de ser realizado isoladamente, sem precisar realizar o deploy do sistema inteiro. Outra vantagem é que o pipeline de testes ficou focado apenas na funcionalidade de mapeamento.</p><p>Ainda dá para dividir mais o serviço, mas estamos incrementalmente separando as responsabilidades.</p><h3>Arquitetura da Remoção de anúncios</h3><p>A remoção de anúncios foi feita em Python (Figura 6). É possível realizar ajustes na remoção sem precisar alterar nada no mapeador ou inserção. Mudanças são focadas e mais diretas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*BCK9oUAmgD-XIr5B." /></figure><p><strong>Figura 6. Remoção de anúncios</strong></p><h3>Desafios dos micro-serviços</h3><p>Um dos grandes desafios que enfrentamos é o espalhamento da informação entre os serviços. Apesar deles serem independentes, é bom lembrar que eles compõem um único sistema. Isto significa que o suporte precisa ter visibilidade do que acontece com o anúncio de forma transparente. Os clientes também querem saber de forma consolidada o que acontece com seus anúncios, se foram removidos, se tem algum problema na carga, mapeamento, remoção, etc.</p><p>Para conseguir unificar as saídas dos logs de cada componente do sistema escolhemos o stack ELK. Nele inserimos as ações de cada um deles, para futuramente ter uma visão consolidada dos dados.</p><p>Uma estratégia que é muito útil nesse caso é a padronização de logs e posterior consolidação no ElasticSearch via post de cada evento de log.</p><p>Cada componente pode estar até em linguagens diferentes, mas qualquer linguagem de programação é capaz de gerar um formato padrão, que identifique as operações universalmente.</p><p>Escolhemos 2 chaves para identificar cada linha de log: Id do usuário e Id do anúncio. Por exemplo, podemos modelar os logs da seguinte forma:</p><p># Log da importação em Java</p><p>[INFO][2017/08/31 01:36:10][Ad] [main][<strong>alianca@aliancaimoveis.net</strong>][<strong>LOC32041</strong>] New ad imported</p><p># Log do mapeador em Perl</p><p>[INFO][2017/08/31 11:33:05][Mapper] [main][<strong>alianca@aliancaimoveis.net</strong>][<strong>LOC32041</strong>] Mapped Rooms = 3</p><p>Os campos em negrito representam a chave primária e secundária das operações. Isto permite que possamos ter campos em comum, que permitem realizar buscas de todas as operações em qualquer parte do sistema, independente da procedência</p><p>Consultas das transações transversalmente (Figura 7):</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*RNFutSms1gIvjMKa." /></figure><p><strong>Figura 7. Consultas realizadas no Kibana</strong></p><h3>O Stack ELK</h3><p>O stack (Figura 8) se compõe de: logstash (parseamento e envio dos registros de log), elastic search (indexador), kibana (visualizador).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*9jJbRbZmfsXmMHT3." /></figure><p><strong>Figura 8. Stack ELK</strong></p><p>O envio dos logs pode ser realizado diretamente da própria aplicação para o elastic search através das APIs internas dele. Porém, escolhemos enviar a informação de log parseando utilizando logstash, alimentado com filebeat (Figura 9).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*GuXIft8hVB_xuib1." /></figure><p><strong>Figura 9. Envio de logs utilizando filebeat</strong></p><h3>Conclusões</h3><p>Nossa experiência tem sido bem positiva com a migração de responsabilidades para diversos componentes ou micro-serviços. A divisão correta de cada serviço é muito importante para o sucesso. Por isso, identifique as responsabilidades muito bem antes de dividir.</p><p>Podemos citar as seguintes vantagens da arquitetura com micro-serviços:</p><ul><li>O deploy fica extremamente mais leve e simples.</li><li>A complexidade fica reduzida, pois cada serviço possui um escopo menor do que um monolito. O volume de log pode ser grande, escolha bem o que você quer consultar.</li><li>Não tudo precisa ser inserido no log.</li><li>Cada linha do log precisa identificar o escopo, independente da linguagem. Estamos trabalhando com processos em paralelo.</li><li>Ter um log padronizado entre serviços/linguagens diferentes permite gerar relatórios consolidados entre eles, traceability.</li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=21e0822a63fb" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>