<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Gabriel Queiroz on Medium]]></title>
        <description><![CDATA[Stories by Gabriel Queiroz on Medium]]></description>
        <link>https://medium.com/@gabrielqueiroz?source=rss-4efe6124f30b------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*E9VgOIN_kbTmfKDkzXcIZQ.png</url>
            <title>Stories by Gabriel Queiroz on Medium</title>
            <link>https://medium.com/@gabrielqueiroz?source=rss-4efe6124f30b------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 09:36:54 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@gabrielqueiroz/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[IFMAN: Seu super-herói para Features e Testes A/B!]]></title>
            <link>https://medium.com/wirecardbrasil/ifman-seu-super-her%C3%B3i-para-features-e-testes-a-b-fb4da2b0c320?source=rss-4efe6124f30b------2</link>
            <guid isPermaLink="false">https://medium.com/p/fb4da2b0c320</guid>
            <category><![CDATA[backend]]></category>
            <category><![CDATA[open-source]]></category>
            <dc:creator><![CDATA[Gabriel Queiroz]]></dc:creator>
            <pubDate>Mon, 27 Mar 2017 19:49:57 GMT</pubDate>
            <atom:updated>2017-03-27T19:49:57.066Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rqvtcBhhmeVkSNcdHizxyg.jpeg" /></figure><p>Um dos super-heróis do Moip, o IFMAN, pode te ajudar quando o assunto é feature flag e testes A/B!</p><p>É um projeto OpenSource que foi desenvolvido durante o HackDay, um dia dedicado para projetos e desafios que fogem da rotina de trabalho. Procurava solucionar uma necessidade interna para um problema muito comum: Controlar o lançamento de novas features de maneira prática, rápida e segura.</p><p>O <a href="https://github.com/moip/ifman">IFMAN</a> é uma interface gráfica simples para gerenciar suas features e trabalha em conjunto com o <a href="https://github.com/moip/jcurtain">JCurtain</a> e <a href="https://github.com/moip/jcurtain">RCurtain</a>, bibliotecas para Java e Ruby respectivamente.</p><h3>Como funciona?</h3><p>O IFMAN funciona junto com o <a href="https://redis.io/">Redis</a>, um armazenamento de estrutura de dados de chave-valor na memória, que também é OpenSource. Tudo começou com a ideia do Curtain. A ideia era “Abra a cortina e veja se a sua feature está habilitada”.</p><p>Com o curtain, temos duas possíveis estruturas de dados que podem ser criados no Redis:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/783/1*Bt39PpXlAYGrLWRw8Ho4Mg.png" /><figcaption>Estrutura de dados usada pelo Curtain no Redis</figcaption></figure><p>Com base nessas estruturas, as bibliotecas possuem um método chamado <em>isOpen,</em> literalmente “está aberta?”. O método isOpen recebe dois parâmetros, a feature e o usuário. A partir dai com base na estrutura de dados toda vez que o parâmetro feature for consultada é verificado se o parâmetro usuário está habilitado para aquela chave (users) ou ela vai ter X% de chance de retornar habilitada (percentage).</p><p>Por exemplo, a feature login terá as duas estruturas de dados no Redis: “<strong>feature:login:percentage</strong>” e “<strong>feature:login:users”</strong>. Vamos dizer que a chave percentage tem o valor de 10%. Já a users tem o valor de “Maria, Joao”. Ao buscar a feature login, primeiro será verificado se o parâmetro passado esta dentro do users, caso esteja ele retornará true de imediato. Já caso não esteja, ele então terá 10% de chande de retornar true (Ou 90% de retornar false).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/768/1*92RyAXwQX8529QPKKEDwQw.png" /><figcaption>Exemplo de possíveis cenários no IFMAN</figcaption></figure><h3>Como usar?</h3><p>Como citado anteriormente o IFMAN trabalha em conjunto com o JCurtain e RCurtain. Para utilizar, basta incluir uma pequena configuração informando a URI e senha do Redis. Pronto, feito isso basta utiliza-lo livremente no projeto.</p><h4>Java</h4><p>Adicionar ao pom.xml:</p><pre>&lt;dependency&gt;<br>  &lt;groupId&gt;br.com.moip&lt;/groupId&gt;<br>  &lt;artifactId&gt;jcurtain&lt;/artifactId&gt;<br>  &lt;version&gt;0.1.0&lt;/version&gt;<br>&lt;/dependency&gt;</pre><p>Em seguida, voce pode criar uma classe de configuração informando a URI do Redis. Caso esteja familiarizado com Spring Annotation, recomendo utilizar esta classe como Configuration e o seu método como Bean, assim o Spring irá coordenar essa classe facilitando o uso do JCurtain no projeto.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/bfba99b2baa911d57c3349e27d6395c6/href">https://medium.com/media/bfba99b2baa911d57c3349e27d6395c6/href</a></iframe><p>Após configurado basta utilizar o método isOpen informando a feature e opcionalmente um parâmetro extra para validação da feature.</p><h4>Ruby</h4><p>Adicionar ao seu Gemfile:</p><pre>gem &#39;rcurtain&#39;</pre><p>Em seguida, voce pode incluir a configuração do RCurtain informando a URI do Redis em “config/initializers/rcurtain.rb”.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/14c0ded34f65207cdc85bef2f7dd41ab/href">https://medium.com/media/14c0ded34f65207cdc85bef2f7dd41ab/href</a></iframe><p>Assim como no Java, após configurado basta utilizar o método opened informando a feature e opcionalmente um parâmetro extra para validação da feature.</p><h4>IFMAN</h4><p>Acesse <a href="http://ifman.herokuapp.com/">http://ifman.herokuapp.com/</a> para criar, excluir e editar as configurações das suas features. O <em>user</em> é a URI do seu Redis (incluindo a porta) e o <em>password</em> é a senha do seu Redis.</p><h3>Casos de uso</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*K8sfgtHvWU2QQzzCktOCEQ.png" /><figcaption>IFMAN: Login e Dashboard.</figcaption></figure><h4>Feature Flag</h4><p>No Moip utilizamos o IFMAN com features flags, para auxiliar o lançamento de novas features provendo segurança e agilidade. Com ele podemos incluir features específicas e ir liberando aos poucos para um grupo de usuários, sendo possível colher feedbacks antes do lançamento oficial do produto.</p><p>Um exemplo foi o novo extrato financeiro do Moip. Durante o desenvolvimento foi utilizado o IFMAN para liberar um novo layout de extrato para um grupo específico de usuários, onde foi possível colher estatísticas e feedbacks de como o novo extrato se comportava. Tudo isso foi possível adicionando apenas uma linha de código junto com a implementação do novo extrato.</p><h4>Testes A/B</h4><p>Com a flexibilidade de controlar features por porcentagem, é possível atingir toda a sua base de usuários permitindo testes A/B de maneira prática e rápida.</p><p>Por exemplo, ao testar um novo fluxo de notificações de saldo foi utilizado o percentage para coordenar as mudanças de maneira segura e rápida. Começamos com a feature habilitada em 10%, e a cada dia era possível aumentar a feature minimizando os impactos e colhendo feedback dos usuários. Também tínhamos a flexibilidade de ao perceber qualquer comportamento anormal rapidamente desabilitar a feature alterando o valor percentage para 0%.</p><h3><strong>Conclusão</strong></h3><p>Atualmente temos mais de 15 features sendo controladas com o IFMAN em produção entre diversos projetos do Moip, além de features já removidas por terem sido liberadas para toda a base. O IFMAN se mostrou uma ferramenta versátil entre todos os times de engenharia e acreditamos que podemos ajudar a comunidade compartilhando e melhorando essa ferramenta.</p><p>Gostou do IFMAN e do Curtain e quer ajudar? Estamos abertos para sugestões, críticas, issues e forks! Fork us on Github e deixe uma star no projeto caso o IFMAN também tenha te ajudado!</p><h3>Referências</h3><ul><li>IFMAN Site - <a href="http://ifman.herokuapp.com/">http://ifman.herokuapp.com/</a></li><li>IFMAN Github - <a href="https://github.com/moip/ifman">https://github.com/moip/ifman</a></li><li>RCurtain - <a href="https://github.com/moip/jcurtain">https://github.com/moip/rcurtain</a></li><li>JCurtain - <a href="https://github.com/moip/jcurtain">https://github.com/moip/jcurtain</a></li><li>Redis - <a href="https://redis.io/">https://redis.io/</a></li><li>What is Redis? - <a href="https://aws.amazon.com/pt/elasticache/what-is-redis/">https://aws.amazon.com/pt/elasticache/what-is-redis/</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=fb4da2b0c320" width="1" height="1" alt=""><hr><p><a href="https://medium.com/wirecardbrasil/ifman-seu-super-her%C3%B3i-para-features-e-testes-a-b-fb4da2b0c320">IFMAN: Seu super-herói para Features e Testes A/B!</a> was originally published in <a href="https://medium.com/wirecardbrasil">Wirecard Brasil</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Como usar o Kafka JDBC Sink Connector]]></title>
            <link>https://medium.com/@gabrielqueiroz/como-usar-o-kafka-jdbc-sink-connector-391ded610f3?source=rss-4efe6124f30b------2</link>
            <guid isPermaLink="false">https://medium.com/p/391ded610f3</guid>
            <category><![CDATA[kafka-connect]]></category>
            <category><![CDATA[kafka-sink-connect]]></category>
            <category><![CDATA[apache-kafka]]></category>
            <category><![CDATA[event-sourcing]]></category>
            <category><![CDATA[jdbc]]></category>
            <dc:creator><![CDATA[Gabriel Queiroz]]></dc:creator>
            <pubDate>Thu, 16 Mar 2017 19:51:52 GMT</pubDate>
            <atom:updated>2017-03-17T16:31:30.611Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*BIHMoEnvq3GZn5wv.jpg" /></figure><p>O Kafka é uma plataforma de Stream de Eventos que conta com Kafka Connects, dentre outras ferramentas, para auxiliar o input e output de dados. Um output comum pode ser consumir as mensagens de um tópico para um banco de dados e é sobre isso que vamos falar.</p><h3>Kakfa JDBC Sink Connector</h3><p>O Kafka JDBC Sink Connector permite você exportar dados apartir de um tópico do Kafka diretamente para qualquer banco de dados relacional com um driver JDBC. É possível configurar multiplos JDBC Sink Connector e exportar dados para mais de um banco de dados relacional ao mesmo tempo, com apenas um serviço de Kafka Connect rodando. Outras features como auto-creation e até mesmo auto-evolution de tabelas também são possíveis.</p><h3>How it works?</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/669/1*b4BKirX_6DVPmiTr8-sg9w.png" /><figcaption><a href="https://www.confluent.io/blog/announcing-kafka-connect-building-large-scale-low-latency-data-pipelines/">Kafka Connect, Neha Narkhede. February 18, 2016.</a></figcaption></figure><p>O JDBC Sink Connector funciona como um Kafka Consumer, consumindo as mensagens de um Tópico existente do Kafka e exportando diretamente para o banco de dados. Para isso, ele utiliza o <a href="http://docs.confluent.io/2.0.0/connect/intro.html#quickstart">Kafka Connect</a>, uma ferramenta que permite de forma escalável e confiável o stream de dados entre o Apache Kafka e outras aplicações.</p><h3>Talk is cheap. Show me the code!</h3><p>Para estes exemplos vamos utilizar o Kafka mantido pela Confluent, que já possui suporte ao Kafka Sink Connect. Nosso objetivo é consumir as mensagens de tópico em AVRO e exportar para um banco de dados MySQL.</p><h4>Criando o tópico no Kafka.</h4><p>Nesta etapa presumo que o Zookeeper-server, Kafka-server e Schema-registry já estejam rodando. Você pode conferir como fazer isso em <a href="http://docs.confluent.io/3.0.1/quickstart.html#quickstart">Confluent Platform Quickstart</a>.</p><p>Vamos criar um tópico “<strong>balance</strong>” onde receberemos o saldo de uma conta.</p><pre>bin/kafka-topics --create --zookeeper localhost:2181 -topic balance</pre><h4>Subindo o serviço do Connector.</h4><p>Como comentei, o JDBC Sink Connector funciona com a grande maioria dos bancos de dados relacionais, mas para isso é necessário possuir o JDBC driver do banco que deseja gravar. Vamos usar o MySQL e você pode achar o <a href="http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.6/mysql-connector-java-5.1.6.jar">driver aqui</a>.</p><p>Como boa prática costumo mover o driver para uma pasta “drivers” na raiz do Kafka.</p><pre>confluent-3.1.1/drivers</pre><p>Em seguida faça o download do Java MySQL Connector e export do driver para usar junto com o JDBC Sink Connector.</p><pre>$ wget <a href="http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.6/mysql-connector-java-5.1.6.jar">http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.6/mysql-connector-java-5.1.6.jar</a></pre><pre>$ export CLASSPATH=./confluent-3.1.1/drivers/mysql-connector-java-5.1.6.jar</pre><p>O Apache Kafka da Confluent já conta com o serviço de connectors. Podemos encontrar o serviço em “<em>confluent-3.1.1/bin/connect-distributed</em>” e as suas configurações do serviço em “<em>confluent-3.1.1/etc/schema-registry/connect-avro-distributed.properties</em>”. Vamos subir o kafka connect-distributed service com suas configurações default.</p><pre>nohup bin/connect-distributed etc/schema-registry/connect-avro-distributed.properties &gt; jdbc-sink-connect.log &amp;</pre><h4>Configurando o JDBC Sink Connector.</h4><p>Uma vez criado o tópico e tendo nosso Connector rodando podemos configurar o nosso JDBC Sink Connector para gravar as mensagens do tópico em um banco de dados MySQL normal. Para esta etapa será ter necessário ter o MySQL rodando com ao menos um database criado.</p><p>Para criarmos nosso Sink Connector basta fazer um POST na porta que esta rodando o Connect com o JSON de configuração:</p><pre>curl -XPOST --header &quot;Content-Type: application/json&quot; localhost:8083/connectors -d &#39;{  <br>    &quot;name&quot;: &quot;sink&quot;,  <br>    &quot;config&quot;: {    <br>        &quot;name&quot;: &quot;sink&quot;,    <br>        &quot;connector.class&quot;: &quot;io.confluent.connect.jdbc.JdbcSinkConnector&quot;,    <br>        &quot;tasks.max&quot;: 1,    <br>        &quot;connection.url&quot;: &quot;jdbc:mysql://localhost:3306/test&quot;,<br>        &quot;connection.user&quot;: &quot;root&quot;,    <br>        &quot;connection.password&quot;: &quot;root&quot;,    <br>        &quot;topics&quot;: &quot;balance&quot;,<br>        &quot;auto.create&quot;: &quot;true&quot;  <br>    }<br>}&#39;</pre><p>Você pode verificar uma lista completa de todas as configurações disponíveis no <a href="http://docs.confluent.io/3.1.1/connect/connect-jdbc/docs/sink_config_options.html">site do Confluent</a>. Vamos falar um pouco sobre as confiugrações utilizadas no connector acima:</p><ul><li><strong>connection.url:</strong> URL do banco de dados onde o Sink irá exportar os dados.</li><li><strong>connection.user:</strong> Usuário do banco de dados que será o utilizado pelo Sink.</li><li><strong>connection.password:</strong> Senha do usuário do banco de dados que será o utilizado pelo Sink.</li><li><strong>topics: </strong>Você pode informar um ou mais tópicos para o Sink connector ouvir e exportar os dados o banco de dados. Por default o Sink irá gravar na tabelas com mesmo nomes dos tópicos.</li><li><strong>auto.create: </strong>Quando habilitado permite a criação automática da tabela no banco de dados (O usuário deve ter permissão para criação).</li><li><strong>tasks.max:</strong> Podemos entender o número de tasks ativas como o numero de consumers ativos para o tópico no mesmo consumer group.</li></ul><h4>Magic happens!</h4><p>Tudo pronto, hora da mágica! Para testarmos nosso ambiente basta produzir mensagens no tópico que criamos anteriormente, o mesmo que o Sink está configurado. Um ponto importante é que <a href="http://docs.confluent.io/3.1.0/connect/connect-jdbc/docs/sink_connector.html#data-mapping"><em>não é possível gravar no Sink sem informar o Schema</em></a><strong> </strong>da sua mensagem. Neste caso vamos usar AVRO para definir o schema das mensagens, que é recomendo pelo próprio Kafka. É possível subir um producer diretamente na sua máquina utilizando o “kafka-avro-console-producer”.</p><pre>$ bin/kafka-avro-console-producer \ <br>--broker-list localhost:9092 --topic balance \ <br>--property value.schema=&#39;{&quot;type&quot;:&quot;record&quot;,&quot;name&quot;:&quot;myrecord&quot;,&quot;fields&quot;:[{&quot;name&quot;:&quot;id&quot;,&quot;type&quot;:&quot;int&quot;},{&quot;name&quot;:&quot;account_name&quot;,&quot;type&quot;:&quot;String&quot;}, {&quot;name&quot;:&quot;current&quot;, &quot;type&quot;: &quot;int&quot;}, {&quot;name&quot;:&quot;future&quot;, &quot;type&quot;: &quot;int&quot;}]}&#39;</pre><p>Logo em seguida, tudo que digitar no terminal será uma mensagem para o tópico. Como já configuramos o connector, toda mensagem que entrar no tópico também será automaticamente gravada na tabela.</p><pre>{&quot;id&quot;: 1, &quot;account&quot;: &quot;Joao&quot;, &quot;current&quot;: 100, &quot;future&quot;: 100}<br>{&quot;id&quot;: 2, &quot;account&quot;: &quot;Pedro&quot;, &quot;current&quot;: 50, &quot;future&quot;: 250}<br>{&quot;id&quot;: 3, &quot;account&quot;: &quot;Jose&quot;, &quot;current&quot;: 300, &quot;future&quot;: 10}</pre><p>Neste exemplo seguimos o fluxo mais simples, onde todas mensagens serão inserts no banco. É possível configurar o JDBC Sink Connect para realizar updates também, a partir da key da própria mensagem ou alguma informação entro do value da mensagem. Você pode checar mais sobre modos de escrita em <a href="http://docs.confluent.io/3.1.1/connect/connect-jdbc/docs/sink_config_options.html#writes">writes (insert.mode</a>) ou sobre mapeamento de chaves em <a href="http://docs.confluent.io/3.1.1/connect/connect-jdbc/docs/sink_config_options.html#data-mapping">data mapping (pk.mode)</a>.</p><h3>Streams for life!</h3><p>Gostou do Kafka ou quer entender mais sobre o assunto? Junte-se ao grupo no <a href="https://slackpass.io/confluentcommunity">Slack da Confluent</a> (Uma das principais mantenedoras do Apache Kafka) e ajude desenvolver novas soluções! :)</p><h3>Referências</h3><ul><li><a href="http://docs.confluent.io/2.0.0/connect/intro.html#kafka-connect">Confluent Kafka Connect</a></li><li><a href="http://docs.confluent.io/2.0.0/connect/connect-jdbc/docs/index.html">Confluent Kafka JDBC</a></li><li><a href="http://docs.confluent.io/3.1.1/connect/connect-jdbc/docs/sink_connector.html">Confluent Kafka JDBC Sink Connector</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=391ded610f3" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Vamos falar sobre Event Sourcing]]></title>
            <link>https://medium.com/@gabrielqueiroz/vamos-falar-sobre-event-sourcing-276ae66106f7?source=rss-4efe6124f30b------2</link>
            <guid isPermaLink="false">https://medium.com/p/276ae66106f7</guid>
            <category><![CDATA[event-stream]]></category>
            <category><![CDATA[state-mutation]]></category>
            <category><![CDATA[event-sourcing]]></category>
            <dc:creator><![CDATA[Gabriel Queiroz]]></dc:creator>
            <pubDate>Sun, 05 Mar 2017 04:27:54 GMT</pubDate>
            <atom:updated>2017-03-14T10:57:26.473Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/910/1*eEReuTR9Di0lWq-w26A-jA.png" /></figure><p>Ao procurar sobre Event Sourcing no Google o primeiro contato que temos é a definição de <a href="https://martinfowler.com/eaaDev/EventSourcing.html">Event Sourcing para Martin Fowler</a>, que começa com a seguinte frase levantando um problema comum entre diversas aplicações atuais:</p><blockquote>“Nós podemos buscar o estado de uma aplicação para encontrar o estado atual do mundo, e isso responde muitas perguntas. Entretanto há momentos que nós não só queremos ver onde nós estamos, mas também queremos saber como chegamos lá.”</blockquote><h3>What is it &amp; How it works?</h3><h4>State Mutation</h4><p>Antes de entrar no assunto Event Sourcing podemos pensar no modelo tradicional de aplicações web e entender melhor como eles funcionam. Nesses modelos normalmente temos: Interações entre o client-app (<strong>front-end</strong>) e o core da sua aplicação (<strong>back-end</strong>) que por fim resultam em alterações no estado atual da sua base da dados (<strong>database</strong>).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/802/1*y7AG36yLVPmBN8NSsXYcSA.png" /><figcaption><a href="https://www.confluent.io/blog/making-sense-of-stream-processing/">Martin Kleppmann. January 29, 2015 (modificado).</a></figcaption></figure><p>Imagine um banco de dados que guarda a pontuação de jogadores de um jogo. Temos uma tabela player, com as seguintes colunas: id, player e score. Vamos dizer que o jogador “Bob” marcou 10 pontos no jogo, e queremos atualizar a sua pontuação na tabela. Provavelmente vamos fazer um update no banco de dados, para atualizar esse score.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/804/1*pV0Ol97l6f6pf9HvfWwkaA.png" /></figure><p>Agora ao fazer uma query na tabela player, conseguimos pegar o valor atualizado do score de Bob. Digamos que Bob continuou jogando e marcando pontos. Cada vez que Bob marca um novo ponto, atualizamos a tabela player com a sua nova pontuação.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/804/1*Fvo4mXdj2GRrbZq19QM89w.png" /></figure><p>Imagine que temos diversos jogadores, tendo sua pontuação atualizada frequentemente. Todos os jogadores teriam apenas a sua score final registrada no banco de dados. Mas e se quiséssemos saber como o jogador chegou naquele score? Ou se quiséssemos saber como estava um jogador em comparação a outro em um certo momento no tempo. Em um modelo tradicional não temos essa informação, pois a cada nova pontuação nós sobrescrevemos sua pontuação anterior com uma nova pontuação, alterando o estado atual daquele dado. Chamamos isso de “<strong>State Mutation</strong>”.</p><h4>Event Sourcing</h4><p>A ideia de Event Sourcing seria um pouco diferente. Cada alteração no estado atual da sua base de dados seria um novo evento em um stream que permite apenas inclusão. Cada update na tabela geraria uma nova linha, registrando uma nova pontuação. Caso tenha alterado para uma pontuação incorreta, uma nova linha seria gerada corrigindo esse valor. Assim teríamos todas as alterações até chegar ao valor final.</p><blockquote><em>Para Martin Folwer o </em>“Event Sourcing assegura que todas as mudanças feitas no estado de uma aplicação são armazenadas como uma sequência de eventos. Não só podemos buscar esses eventos, mas também podemos usar este log de eventos para reconstruir estados passados e ajustar automaticamente o estado atual com mudanças retroativas”<em>.</em></blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/803/1*nRWf3oTkkVtdx-HbXVycfA.png" /></figure><h3>Pros &amp; Cons</h3><p>Event Sourcing pode ser ideal para certos cenários assim como pode não se encaixar em outros. Sempre ao pensar em uma nova tecnologia, ferramenta ou forma de trabalhar devemos nos perguntar “Quando e como devemos usar?”. Para ajudar, podemos comparar alguns pontos positivos (benefícios) e negativos (preocupações) sobre Event Sourcing, como citados por <a href="http://elemarjr.com/pt/2014/01/15/es1/">Elemar Jr em seu blog</a>.</p><h4>Pros</h4><ul><li>“O histórico de estados é preservado.” Considerando modelos de negócio atuais com bancos de dados tradicionais onde apenas o último estado de uma entidade é mantido em um base de dados. Estados anteriores são sempre sobrescritos. Ao trabalhar com Event Sourcing, permitimos que um “histórico de eventos” da entidade seja facilmente recuperado.</li><li>Event Streams aceitam apenas inclusão de novos eventos garantindo performance ótima.</li><li>Podemos usar Event Driver como uma nova forma de comunicação assíncrona entre micro-serviços, permitindo uma maior flexibilidade na interação entre eles.</li><li>A natureza dos eventos inclina os desenvolvedores a dar mais atenção aos comportamentos das entidades (DDD).</li></ul><h4>Cons</h4><ul><li>Ferramentas de Event Streams ainda são escassaz e estão em fase amadurecimento.</li><li>Event Streams são difíceis de pesquisar e manejar, limitando assim a aplicar na prática suas teorias.</li><li>Custo da inovação. Ao se trabalhar com ferramentas novas aumenta-se os riscos e os custos de novos projeto.</li><li>Há uma implicação quase evidente de implementação de segregação entre consulta e comandos (CQRS).</li></ul><h3>Conclusão</h3><p>Event Sourcing pode trazer uma nova visão para a maneira que uma aplicação se comunica, não apenas com outras aplicações mas com si mesma. Atualmente temos grandes ferramentas de Event Streaming surgindo, como por exemplo o <a href="https://medium.com/@gabrielqueiroz/o-que-%C3%A9-esse-tal-de-apache-kafka-a8f447cac028"><strong>Apache Kafka</strong></a>, que esta em constante desenvolvimento e permite aplicar diversos destes conceitos na prática.</p><p>O custo da inovação ao se trabalhar com tecnologias recentes deve ser levado em consideração ao aplicar Event Sourcing. Diversas barreiras podem surgir no caminho assim como um novo horizonte de soluções e forma de pensar.</p><h3>Referências</h3><ul><li><a href="http://elemarjr.com/pt/2014/01/15/es1/">Event Sourcing — Parte 1 — Fundamentos, Elemar Jr</a></li><li><a href="https://martinfowler.com/eaaDev/EventSourcing.html">Event Sourcing, Martin Folwer.</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=276ae66106f7" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[O que é esse tal de Apache Kafka?]]></title>
            <link>https://medium.com/@gabrielqueiroz/o-que-%C3%A9-esse-tal-de-apache-kafka-a8f447cac028?source=rss-4efe6124f30b------2</link>
            <guid isPermaLink="false">https://medium.com/p/a8f447cac028</guid>
            <category><![CDATA[apache-kafka]]></category>
            <category><![CDATA[software-architecture]]></category>
            <category><![CDATA[streaming]]></category>
            <category><![CDATA[event-sourcing]]></category>
            <dc:creator><![CDATA[Gabriel Queiroz]]></dc:creator>
            <pubDate>Mon, 20 Feb 2017 16:54:26 GMT</pubDate>
            <atom:updated>2017-05-04T16:51:09.615Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*vuYl6F8MmB5fMyBMXHToHQ.png" /></figure><p>Quando ouvi falar sobre Apache Kafka pela primeira vez, logo pensei “O que é esse tal de Apache Kafka e para o que posso usar então?”. Pesquisando no <a href="https://kafka.apache.org/">site oficial do Apache Kafka</a> encontramos a seguinte definição:</p><blockquote>“Apache Kafka é uma plataforma distribuída de mensagens e streaming”.</blockquote><p>Ta… Legal, mas a pergunta continua. O que é Apache Kafka? Para entender um pouquinho melhor sobre esse universo do Apache Kafka, podemos começar entendendo o fluxo básico do Kafka, que pode ser resumido em três ações bem simples:</p><ul><li>Você <strong>produz</strong> uma mensagem.</li><li>Essa mensagem é <strong>anexada</strong> em um tópico.</li><li>Você então <strong>consome</strong> essa mensagem.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*q2jYvDNJMS72HgWsOG1f8g.png" /><figcaption><a href="http://www.mattkirwan.com/apache/kafka/2016/10/17/apache-kafka-series-1-an-introduction.html">Matt Kirwan. Outubro, 2016.</a></figcaption></figure><h4>Para o que posso usar o Kafka então?</h4><p>Vendo o fluxo básico do Kafka você deve estar se perguntando, “mas para que isso pode ser útil?”. Entre suas diversas finalidades, Matt Kirwan diz que:</p><blockquote>“Se você quer mover e transformar um grande volume de dados em tempo real entre diferentes sistemas, então Apache Kafka pode ser exatamente o que você precisa”.</blockquote><p>Desde leitura e escrita direta entre diversos bancos e mecanismos de pesquisas (SQL, MongoDB, RethinkDB, ElasticSearch) até materialização de dados on streaming com KTable por exemplo, é possível utilizar o Kafka de diversas maneiras para mover e transformar grande volume de dados.</p><p>O <a href="https://kafka.apache.org/uses">site oficial do Apache Kafka</a> também disponibiliza uma lista com alguns casos de uso do Kafka.</p><h4>Conceitos</h4><p>Bom agora que sabemos um pouquinho mais sobre Apache Kafka e para o que podemos usa-lo podemos nos aprofundar um pouco mais nos conceitos por trás do fluxo básico do Kafka.</p><ul><li><strong>Mensagens</strong></li></ul><p>Mensagem é o principal recurso do Kafka. Todos os eventos do Kafka podem ser resumidos em mensagens, sendo consumidas e produzidas através de tópicos. Uma mensagem pode ser desde uma simples String com “Hello World!” ou até mesmo um JSON contendo um objeto do seu domínio.</p><p>O Kafka permite definir Schemas para mensagens, como por exemplo utilizando o Avro. Como num exemplo de um JSON contendo um objeto do seu domínio, o Schema pode auxiliar impedindo que mensagens contendo conteúdos inválidos sejam trafegadas no tópico.</p><p>Uma mensagem pode também ser composta por uma chave (key/value), que é utilizada para sharding e compactação dentro do Kafka. Assim em um ambiente distribuído, é garantido a ordem das mensagens uma vez que mensagens com a mesma chaves são direcionadas para uma única partição do Kafka.</p><ul><li><strong>Tópicos</strong></li></ul><p>Um tópico é como categorizamos grupos de mensagens dentro do Kafka. Todas as mensagens enviadas para o Kafka permanecem em um tópico. Como comentado sobre Event Sourcing, mensagens são imutáveis e ordenadas.</p><p>Para manter a ordenação em um ecossistema de Kafka, os tópicos possuem partições e fatores de replicação. Um tópico pode possuir n partições, mas ao receber uma nova mensagem o Kafka automaticamente direciona aquela mensagem para uma partição específica dependendo de sua chave (key). Assim mensagens de uma mesma chave estarão apenas em uma única partição, garantindo assim a leitura ordenada de todas as mensagens de um tópico.</p><ul><li><strong>Producer</strong></li></ul><p>Um Kafka Producer é responsável por enviar uma mensagem para um tópico específico. De forma simples, você pode produzir uma mensagem em um tópico.</p><p>Uma vez que uma mensagem é produzida em um tópico o próprio Kafka organiza a mensagem em uma partição, garantindo sempre a ordem das mensagens produzidas, como citado anteriormente.</p><ul><li><strong>Consumer</strong></li></ul><p>Temos os tópicos, e as mensagens dentro dos tópicos. Com o Kafka Consumer é possível ler essas mensagens de volta. Importante entender que, ao ler uma mensagem com o consumer, a mensagem não é retirada do tópico.</p><p>Você pode ter vários Kafka Consumers conectados em um mesmo tópico, e cada um terá a posição onde parou de ler. Assim você pode ter um tópico produzindo como no exemplo acima, pontuações de um jogador, e ter diversos consumers em pontos diferentes do tópico realizando ações diferentes. Você também pode escolher ter vários consumers lendo o mesmo tópico e na mesma partição, para escalar sua aplicação por exemplo, neste caso estes consumers fariam parte de um Consumer Group, e compartilharão sempre a posição final de leitura entre eles (offsets).</p><ul><li><strong>Apache Zookeeper</strong></li></ul><p>O Zookeeper é um serviço centralizado para, entre outras coisas, coordenação de sistemas distribuídos. O Kafka é um sistema distribuído, e consequentemente delega diversas funções de gerenciamento e coordenação para o Zookeeper.</p><p>Eles possuem uma dependência muito forte, mas isso não é tão ruim. O Kafka pode fazer o que ele intencionalmente tem que saber fazer de melhor, delegando essas demais funcionalidades para quem sabe fazer isso bem, sem precisar reinventar a roda.</p><ul><li><strong>Kafka Brokers | Kafka Clusters</strong></li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KeK4Ftz3jtRr3pEE1V3oMw.png" /></figure><p>O Broker é o coração do ecossistema do Kafka. Um Kafka Broker é executado em uma única instância em sua máquina. Um conjunto de Brokers entre diversas máquinas formam um Kafka Cluster.</p><p>Uma das principais características do Kafka é a escalabilidade e resiliência que ele oferece. Você pode rodar o Kafka local na sua máquina onde sua própria máquina teria um Kafka Broker formando um Kafka Cluster, como pode subir n instâncias de Kafka Brokers e todas estarem no mesmo Kafka Cluster. Com isso é possível escalar sua aplicação, e replicar os dados entre os Brokers.</p><h3>Streams for life?</h3><p>Gostou do Kafka ou quer entender mais sobre o assunto? Junte-se ao grupo no <a href="https://slackpass.io/confluentcommunity">Slack da Confluent</a> (Uma das principais mantenedoras do Apache Kafka) e ajude a desenvolver novas soluções!</p><h3>Referências</h3><ul><li><a href="https://martinfowler.com/eaaDev/EventSourcing.html">Event Sourcing</a></li><li><a href="https://www.confluent.io/blog/making-sense-of-stream-processing/">Event Stream Processing, Streaming Data, and CEP Explained</a></li><li><a href="http://www.mattkirwan.com/apache/kafka/2016/10/17/apache-kafka-series-1-an-introduction.html">Apache Kafka - An Introduction</a></li><li><a href="http://docs.confluent.io/3.0.1/cp-docker-images/docs/quickstart.html">Quickstart - Confluent Platform 3.0.1 documentation</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a8f447cac028" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>