<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Guilherme Lodi on Medium]]></title>
        <description><![CDATA[Stories by Guilherme Lodi on Medium]]></description>
        <link>https://medium.com/@guilhermelodi?source=rss-a1b510261f18------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/2*HttfaWYsiAeZxeNnfY8P9w.jpeg</url>
            <title>Stories by Guilherme Lodi on Medium</title>
            <link>https://medium.com/@guilhermelodi?source=rss-a1b510261f18------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 14:26:26 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@guilhermelodi/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Apache Kafka: Conceitos]]></title>
            <link>https://medium.com/@guilhermelodi/apache-kafka-parte-1-conceitos-74adbdb1327?source=rss-a1b510261f18------2</link>
            <guid isPermaLink="false">https://medium.com/p/74adbdb1327</guid>
            <category><![CDATA[apache-kafka]]></category>
            <category><![CDATA[streaming]]></category>
            <category><![CDATA[kafka]]></category>
            <dc:creator><![CDATA[Guilherme Lodi]]></dc:creator>
            <pubDate>Fri, 31 Jan 2020 00:00:02 GMT</pubDate>
            <atom:updated>2020-07-17T18:35:59.687Z</atom:updated>
            <content:encoded><![CDATA[<h3>Apache Kafka — Conceitos</h3><p>Neste texto comentarei sobre a teoria e os principais conceitos do Kafka. Pretendo compartilhar um pouco do conhecimento que estou adquirindo em um curso e nos projetos que trabalho atualmente.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/460/1*IF9iSbv94ll0n7yonXZGug.jpeg" /></figure><h3><strong>O que é Apache Kafka?</strong></h3><p>Segundo a própria Apache, Kafka é uma <strong>plataforma distribuída de streaming de dados</strong> que tem basicamente 3 capacidades:</p><ul><li><strong>Publicar e subscrever</strong> fluxos (stream) de dados semelhante a uma fila de mensagens;</li><li><strong>Armazenar</strong> stream de dados em um sistema tolerante a falhas;</li><li><strong>Processar</strong> esse stream de dados.</li></ul><p>Porém seguimos com a dúvida. Como o Kafka funciona? Simples, o produtor envia uma mensagem para um tópico, o tópico armazena essa mensagem e um consumidor lê essa mensagem. Na imagem a seguir temos um exemplo do fluxo mais básico do Kafka:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CWpe4g7GdoaRrwb1b1sZSA.jpeg" /><figcaption>Fluxo básico do Kafka</figcaption></figure><h3>Conceitos</h3><h4>Broker</h4><p>O Broker ou Kafka Node é uma instância de servidor que roda dentro do Kafka Cluster. O Kafka Cluster pode ser formado por um ou mais brokers. Além de atuar como um servidor, o broker tem a responsabilidade de armazenar partições dos tópicos (explicação item Tópico).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QqOclBbiGm1NJ4Bss1bX3w.jpeg" /><figcaption>Kafka Cluster com 3 brokers</figcaption></figure><p>A capacidade de um broker na escrita e leitura de dados pode chegar as centenas de megabytes por segundo. Justamente por essa alta performance no processamento de mensagens, o Kafka, que inicialmente era um sistema interno do <em>LinkedIn</em>, passou a ser utilizada por várias empresas com altíssimas transações de dados (<em>Uber</em>, <em>Netflix</em>, <em>Spotify, etc</em>).</p><p>Durante o artigo veremos mais algumas diferenças entre os servidores tradicionais e os Kafka Brokers.</p><h4>Mensagem</h4><p>A mensagem dentro do Kafka é o elemento que transita entre todos os pontos da arquitetura. Ela contém os dados preenchidos pelo produtor, é armazenada dentro do tópico aguardando a leitura por parte um ou mais consumidores, até finalmente, ser utilizada pelo consumidor.</p><p>Cada mensagem é composta, sobretudo, por estes 3 itens:</p><ul><li>Header</li><li>Key (opcional) [geralmente String]</li><li>Valor [array de bytes, por exemplo String, JSON, etc]</li></ul><h4>Tópico (Topic)</h4><p>O tópico é onde separamos as mensagens pelo seu objetivo, pela sua categoria.</p><p>Para ser criado, um tópico precisa de um <strong>nome</strong>, o número de <strong>partições</strong> (partitions) que ele terá e o <strong>fator de replicação</strong> (replication factory) que é o número de partições em sincronismo que esse tópico terá.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*H9LdPSCdhf832iTgxb2Jfw.jpeg" /><figcaption>Tópicos, partições e offsets</figcaption></figure><p>Temos alguns pontos importantes e fundamentais sobre tópicos:</p><ul><li>As mensagens publicadas dentro de uma partição são <strong>imutáveis</strong>.</li><li>Cada mensagem dentro de uma partição recebe um identificador: <strong>offset</strong>. Este offset é sequencial e nunca é repetido dentro da mesma partição.</li><li>Dentro de cada partição as mensagens estão <strong>ordenadas</strong>.</li></ul><p>Mensagens, uma vez envidas para um tópico têm por padrão 7 dias para serem apagadas tendo sido consumidas ou não. Este comportamento é bem específico, por exemplo no RabbitMQ quando uma mensagem é lida, ela é automaticamente removida da fila.</p><h4>Produtor (Producer)</h4><p>O produtor pode ser um comando no terminal ou qualquer aplicação responsável por enviar uma mensagem para um tópico do Kafka.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IiRlbBq3lm1uE5SxpThEuA.jpeg" /><figcaption>Producer envia mensagens para o tópico com 3 partições</figcaption></figure><p>Cabe ao produtor também definir o modo como a mensagem será armazenada dentro do tópico. Caso o produtor não envie nenhuma key junto com a mensagem, o load balancer enviará a mensagem para as partições de forma escalonável cíclica (round-robin). Já se o produtor enviar uma key junto com o valor da mensagem, é garantido que todas as mensagens para aquele tópico com aquela key irão sempre para a mesma partição. Esta regra somente se mantém válida enquanto o número de partições de um tópico se mantém igual.</p><p>Existem outras propriedades importantes dentro do producer como o <strong>acknowledgement</strong>, mas entraremos em detalhes no próximo post com a utilização de comandos em terminais.</p><h4>Consumidor (Consumer)</h4><p>O consumidor é responsável por ler uma mensagem de uma ou mais partições contidas em um tópico. Quando um consumidor está online e pronto para ler uma mensagem, ele solicita ao tópico a próxima mensagem para leitura.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nAWfQ1OyDae8HWz0kpKrag.jpeg" /><figcaption>Consumer</figcaption></figure><p>O Kafka tem uma garantia que mensagens enviadas pelo produtor para uma mesma partição sempre serão adicionadas em ordem. Complementando essa regra, outra garantia é que o consumidor sempre lerá as mensagens da mesma partição na ordem em que foram armazenadas na partição.</p><p>Uma vez que um consumer faz parte de um <strong>Consumer Group</strong>, o Kafka armazena o offset da última mensagem lida em cada partição. Este offset tem o nome de <strong>consumer offset</strong>. Desta forma, ele consegue saber exatamente onde parou, caso tenha ficado offline por algum momento.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1NXuu3QyMfZp034sOBm2sQ.jpeg" /><figcaption>Consumer offset</figcaption></figure><p>Na imagem anterior, o consumidor dentro de um consumer group leu até a mensagem de offset 4262, com isso, o Kafka sabe que assim que esse consumidor estiver ativo novamente, ele deve continuar da mensagem 4263 em diante.</p><p>Para finalizar, temos o último ponto a ser tratado neste post que é a vantagem de adicionar várias partições a um tópico. Um tópico separado em várias partições permite que consumers diferentes leiam cada partição separadamente, gerando assim maior performance de leitura e estabilidade do serviço. Cada consumer dentro de um grupo é responsável por ler partições exclusivas. Por exemplo, um tópico com 3 partições pode ser lido por até 3 consumidores diferentes.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Z3_rqvifo7SpmitgoY6pbw.jpeg" /><figcaption>Consumer Groups</figcaption></figure><p>Na imagem acima, vemos o <em>consumer-group-application-1</em> com 2 consumers sendo que o <em>Consumer 1</em> é responsável pelas partições 0 e 1 e o <em>Consumer 2</em> é responsável pela partição 2. Este cenário só se alterará no caso de um consumer cair. Se isso acontecer, o outro consumer assume a(s) partição(ões) enquanto o outro não retorna. Assim que estiver com os 2 consumidores em pé novamente, retorna para o cenário inicial.</p><p>No conceito de Consumer Offsets, falta comentar apenas sobre <strong>Delivery semantics </strong>(modos de entrega). Trataremos no próximo post.</p><h3>Conclusão</h3><p>Sei que foi um post com pura teoria, mas são conceitos importantes para prosseguirmos para a prática que colocará muitas destas regras a prova.</p><h4>Referências</h4><ul><li><a href="https://kafka.apache.org/">https://kafka.apache.org/</a></li><li><a href="https://www.mattkirwan.com/">https://www.mattkirwan.com/</a></li><li><a href="https://www.udemy.com/course/apache-kafka/">https://www.udemy.com/course/apache-kafka/</a></li><li><a href="https://www.confluent.io/what-is-apache-kafka/">https://www.confluent.io/what-is-apache-kafka/</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=74adbdb1327" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>