<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Anderson Martins Silva on Medium]]></title>
        <description><![CDATA[Stories by Anderson Martins Silva on Medium]]></description>
        <link>https://medium.com/@anderfany?source=rss-95cb9aa7047f------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*jKWZZHlkvbscHem6-4urAw.png</url>
            <title>Stories by Anderson Martins Silva on Medium</title>
            <link>https://medium.com/@anderfany?source=rss-95cb9aa7047f------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 07:51:07 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@anderfany/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Rate Limit no PIX Sicredi: Uma jornada de implementação com Redis e Bucket4j]]></title>
            <link>https://medium.com/sicreditech/rate-limit-no-pix-sicredi-uma-jornada-de-implementa%C3%A7%C3%A3o-com-redis-e-bucket4j-771bed7a3bac?source=rss-95cb9aa7047f------2</link>
            <guid isPermaLink="false">https://medium.com/p/771bed7a3bac</guid>
            <category><![CDATA[bucket4j]]></category>
            <category><![CDATA[rate-limiting]]></category>
            <category><![CDATA[pix]]></category>
            <category><![CDATA[redis]]></category>
            <dc:creator><![CDATA[Anderson Martins Silva]]></dc:creator>
            <pubDate>Tue, 01 Oct 2024 17:17:10 GMT</pubDate>
            <atom:updated>2024-10-01T17:17:10.716Z</atom:updated>
            <content:encoded><![CDATA[<p>Desde o lançamento do Pix, uma das principais preocupações do Bacen (Banco Central do Brasil) tem sido garantir a segurança das transações e proteger os dados dos usuários. Além disso, as instituições financeiras, como o Sicredi, estão atentas à prevenção de vazamentos de dados, perdas financeiras e danos à reputação, que podem ocorrer em casos de falhas de segurança. O Bacen, tanto no manual do ICOM (Interfaces de Comunicação) quanto no manual operacional do DICT (Diretório de Identificadores de Contas Transacionais), estabelece um conjunto rigoroso de regras de rate limiting, utilizando o algoritmo de Token Bucket, para proteger o SPI (Sistemas de Pagamentos Instantâneos) contra falhas operacionais e uso indevido do Pix.</p><p>No contexto de sistemas de alta performance e resiliência, essenciais para transações financeiras via Pix, a demanda legal imposta pelo Bacen exigiu a implementação de um controle rigoroso de Rate Limit, principalmente nas consultas de chaves, que são alvos frequentes de hackers e o principal mecanismo de iniciação de pagamentos. Esses requisitos nos impulsionaram a buscar uma solução robusta e eficiente de armazenamento, além de uma maneira de implementar o algoritmo Token Bucket. Durante esse processo, avaliamos diversas tecnologias, incluindo implementações próprias usando bancos de dados relacionais e em memória. Após uma extensa análise e testes, encontramos o <strong>Bucket4j</strong>, uma biblioteca Java compatível com diferentes formas de armazenamento.</p><p>Iniciamos o projeto com uma POC (Prova de Conceito) para validar o uso da biblioteca Bucket4j, utilizando um cache em memória para testar sua aplicação em sistemas distribuídos. Embora essa etapa tenha sido bem-sucedida, percebemos que o cache em memória não oferecia a resiliência nem os padrões de segurança exigidos pelo Bacen. Com isso, começamos a avaliar qual seria a melhor solução para o Sicredi. O Bucket4j oferece uma variedade de opções para caches e bancos relacionais, mas três tecnologias se destacaram: Redis, Apache Ignite e Hazelcast, todas capazes de proporcionar o processamento em alta velocidade necessário para garantir que a experiência do usuário não fosse prejudicada pela implementação do Rate Limit.</p><p>O <strong>Redis</strong> (Remote Dictionary Server) destacou-se por sua simplicidade e versatilidade, atuando como banco de dados em memória, cache e broker de mensagens. Uma de suas principais vantagens é a capacidade de oferecer facilmente persistência de dados por meio de snapshots (RDB) e arquivos de log em disco (AOF), proporcionando durabilidade sem comprometer a baixa latência necessária para operações em tempo real.</p><p>Por outro lado, o <strong>Apache Ignite</strong> é uma plataforma mais abrangente, que suporta dados distribuídos, processamento SQL e machine learning em tempo real, além de oferecer transações ACID distribuídas. Sua arquitetura robusta é ideal para sistemas que precisam escalar horizontalmente e lidar com grandes volumes de dados de maneira eficiente.</p><p>O <strong>Hazelcast</strong> também foi considerado, no entanto, diferentemente dos seus concorrentes, ele depende fortemente do armazenamento em memória e não possui opções robustas de persistência. Além disso, decidimos não optar por ele, uma vez que sua versão com persistência de dados e Clustering não é Open Source, o que poderia impactar na disponibilidade final do produto.</p><p>Após uma análise cuidadosa, que envolveu equipes de diversas áreas e a avaliação dos desafios e objetivos a serem alcançados, identificamos quatro fatores cruciais que orientaram nossa escolha em busca de uma solução robusta e confiável, os quais serão detalhados a seguir.</p><h3>Desafios do Rate Limit e Conformidade com Banco Central</h3><p>Neste tipo de processo, que apresenta grandes desafios e envolve demandas complexas como as do Pix, o envolvimento de uma equipe multidisciplinar torna-se essencial. No Pix, cada transação deve ser concluída em até 10 segundos, com o manual de tempos do Bacen estabelecendo um SLA de 95% dentro desse limite. Além disso, outros manuais e regulamentações exigem o armazenamento de logs e atendem a uma série de requisitos não funcionais, o que torna o cenário ainda mais exigente em termos de performance. Por exemplo, no caso das consultas de chaves, uma falha no controle de ataques ou na leitura da base do DICT pode expor dados sensíveis. Quando isso ocorre, todas as chaves afetadas devem ser reportadas ao Bacen, que comunicará os proprietários das chaves, além de notificar o mercado sobre o vazamento na instituição. Tudo isso eleva significativamente o nível de exigência para esse fluxo, e cada expertise envolvida contribui de forma crucial para a implementação desse controle de requisições no Pix.</p><p>Embora não tenhamos enfrentado grandes dificuldades técnicas na implementação do Rate Limit após a definição inicial do caminho, a principal preocupação foi seguir os padrões rigorosos estabelecidos pelo Bacen. Esses padrões trazem diretrizes claras sobre como o controle de taxa deve ser aplicado, tanto nas consultas de chaves quanto em todo o ecossistema do Pix. O manual do DICT e o de interfaces de comunicação incluem mais de 30 regras diferentes de baldes, cada um com características específicas que visam garantir a segurança e integridade das transações financeiras.</p><p>Para a implementação do Rate Limit em nossas aplicações, utilizamos a biblioteca Bucket4j, que, como já mencionado, aplica o conceito de “balde” para gerenciar o número de requisições permitidas em um intervalo de tempo. A configuração do balde é altamente flexível, permitindo ajustar a quantidade de fichas disponíveis, o tempo de reposição, e as regras de consumo. Com isso, é possível adaptar os limites de consumo conforme o perfil de cada usuário, definindo quantas fichas são consumidas em cada consulta, seja ela bem-sucedida ou falha.</p><p>Essa abordagem permitiu a criação de um sistema de Rate Limit robusto, alinhado com as diretrizes do Bacen, que utiliza o mesmo conceito de baldes e fichas. O controle de taxa não só preveniu abusos e fraudes, mas também garantiu que as operações fossem realizadas dentro de limites aceitáveis, assegurando a equidade e transparência nas transações. Além disso, essa implementação nos ajudou a evitar possíveis penalidades, ao mesmo tempo em que estabeleceu uma base sólida para o crescimento futuro.</p><h3>Prova de Conceito: Redis vs. Apache Ignite</h3><p>Durante o processo de seleção da tecnologia de armazenamento em memória, realizamos testes comparativos entre o Redis e o Apache Ignite, focando nos quatro fatores cruciais mencionados anteriormente: desempenho, escalabilidade, facilidade de implementação e resiliência dos dados.</p><p><strong>Desempenho</strong><br>O Redis se destacou com tempos de resposta mais rápidos nas operações de leitura e escrita, apresentando uma latência média significativamente menor em cenários de alta concorrência. O Apache Ignite mostrou um desempenho competitivo, mas sua arquitetura mais complexa resultou em uma latência ligeiramente maior.</p><p><strong>Escalabilidade</strong><br>O Apache Ignite oferece vantagens em escalabilidade, permitindo a distribuição eficiente de dados entre múltiplos nós, o que facilita a expansão do cluster. O Redis também é escalável, mas requer mais atenção na configuração do cluster para garantir uma distribuição eficiente dos dados. Para contornar essa dificuldade, criamos um projeto com playbook Ansible para facilitar a criação, administração e a adição de novos nós ao cluster.</p><p><strong>Facilidade de Implementação</strong><br>O Redis é amplamente reconhecido por sua simplicidade e documentação abrangente, tornando a integração com o Bucket4j rápida e fácil. Em contrapartida, a utilização do Apache Ignite exigiu que nossa equipe estudasse do zero como criar um cluster, o que resultou em uma curva de aprendizado mais acentuada.</p><p><strong>Resiliência dos Dados</strong><br>A resiliência dos dados no Redis se mostrou mais fácil de gerenciar, pois o arquivo RDB pode ser copiado em tempo de execução e facilmente restaurado, simplificando a recuperação de dados. Em contraste, o Apache Ignite apresenta uma configuração de resiliência mais complexa, exigindo um gerenciamento mais cuidadoso para garantir a integridade e a recuperação dos dados.</p><p>Após realização de testes comparativos entre o Redis e o Apache Ignite, ficou claro para nós que o Redis era a solução mais adequada para nossa necessidade. Essa decisão foi influenciada principalmente pelo desempenho, que durante os testes apresentou tempos de resposta mais rápidos e uma latência média significativamente menor em cenários de alta concorrência, e simplicidade, por possuir uma documentação abrangente, facilitou a implementação e a integração com o Bucket4j. Considerando a necessidade da equipe em se adaptar rapidamente à nova tecnologia esse foi um fator crucial.</p><p>Além disso, o gerenciamento do Redis também se revelou menos complexo em comparação com o Apache Ignite. Considerando esses aspectos, a escolha pelo Redis foi a mais lógica e benéfica para atender aos requisitos de implementação de Rate Limit para consulta de chaves PIX, garantindo segurança, performance e eficiência na implementação.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SXsPjHrsRQigwcbr5FaB5g.png" /></figure><h3>Arquitetura e Monitoramento</h3><p>Para garantir alta disponibilidade e resiliência, implementamos uma estrutura robusta composta por quatro nós com serviços do Redis e do Sentinel distribuídos em dois Datacenters e um nó apenas com o serviço do Sentinel em um terceiro Datacenter para atuar como desempate em caso de falhas. Essa configuração permite que o sistema mantenha a continuidade das operações, mesmo em situações de perda de um Datacenter.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/942/1*1udo_cKrZPx5QcJcGJPdnQ.png" /></figure><p>Os serviços do Redis são responsáveis pelo armazenamento de dados e pela execução das operações, enquanto os serviços do Sentinel monitoram a saúde do Redis e gerenciam a failover, garantindo que a aplicação continue operando sem interrupções. No Redis, utilizamos a persistência com a estratégia de RDB (Redis Database), que permite criar snapshots dos dados em intervalos configuráveis que são salvos em disco. Essa abordagem não só aumenta a disponibilidade do sistema, mas também melhora a distribuição de carga e a resistência a falhas, fundamentais para atender às exigências de performance e confiabilidade em ambientes de produção.</p><p>Para garantir o desempenho contínuo do cluster Redis, implementamos um sistema de monitoramento robusto. Utilizamos coletores desenvolvidos pela comunidade e por nossa equipe para obter informações sobre a saúde do cluster, como uso de memória, número de conexões, latência das operações, quantidade de chaves e status da replicação. Esses coletores permitem que nossa equipe identifique rapidamente quaisquer anomalias ou problemas que possam surgir no ambiente. Os processos do Redis e do Sentinel são validados periodicamente pela ferramenta Zabbix, que gera um alarme caso algum desses processos não esteja ativo.</p><p>Para facilitar a administração, desenvolvemos comandos customizados no sistema operacional que exibem o status do cluster, proporcionando uma visão rápida e clara do ambiente.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/625/1*V6h8klcFGw3xX80acbfsFQ.png" /><figcaption>Comando customizado para exibir status do Cluster de forma facilitada</figcaption></figure><p>Com o Grafana, criamos dashboards personalizados que apresentam métricas e a saúde do sistema, otimizando a análise e a tomada de decisões para garantir que o Redis atenda às necessidades de Rate Limit impostas pelo Bacen.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rpU23widInu49L527c8OaQ.png" /><figcaption>Dashboard do Grafana apresentando a saúde geral do ambiente</figcaption></figure><p>Adicionalmente, realizamos testes de performance periódicos com um time especializado, assim conseguimos garantir que o sistema esteja preparado para lidar com cargas variáveis e cenários de pico. Esses testes são realizados regularmente, utilizando ferramentas como JMeter para simular diferentes volumes de tráfego e padrões de uso. Isso nos permite identificar gargalos de desempenho e ajustar a configuração do Redis. Além disso, simulamos cenários de crise, como falhas de rede e perda de nós, para avaliar a resiliência do cluster e a eficácia das estratégias de failover.</p><p>Os resultados dos testes de performance não apenas geram insumos para ajustes técnicos, mas também contribuem para planejar o crescimento da estrutura e implementação de novas features nas aplicações que utilizam o Redis, garantindo que o sistema continue a atender aos requisitos de performance e confiabilidade.</p><h3>Dicas e Lições Aprendidas</h3><p>Durante o processo de seleção e implementação do Redis para atender às nossas necessidades de Rate Limiting, aprendemos lições valiosas que podem ser úteis para outras equipes. Um dos principais aprendizados foi a importância de testar tecnologias alternativas, como o Apache Ignite. Embora o Apache Ignite não tenha sido a solução final, os insights obtidos durante o teste nos ajudou a compreender melhor as capacidades e limitações de cada tecnologia.</p><p>O teste com o Apache Ignite, por exemplo, nos proporcionou uma visão mais profunda sobre escalabilidade e resiliência de dados em ambientes distribuídos. Essa experiência foi essencial para refinar nossos requisitos e identificar quais características eram fundamentais para a nossa solução final.</p><p>Além disso, a documentação de cada etapa do processo, desde o teste até a implementação, facilitou a comunicação entre as equipes e serviu como uma valiosa referência para futuras implementações. A colaboração entre as equipes de DevOps, DBAs e Desenvolvimento foi igualmente crucial, com a troca de conhecimentos e discussões abertas enriquecendo o processo de tomada de decisão.</p><p>É importante destacar que, diante de desafios como os impostos pelo Pix, não podemos nos prender a tecnologias ou padrões já adotados na empresa. Regras como essas trazem uma nova perspectiva sobre como devemos ser criativos na adoção de medidas de segurança para proteger nossos sistemas e usuários.</p><p>Esse estudo também nos proporcionou uma nova visão sobre como podemos ser mais eficientes e melhorar o desempenho com o uso de caches distribuídos. Com a experiência adquirida durante a implementação do Bucket4j com Redis, conseguimos evoluir significativamente em outras aplicações que utilizam o Redis, obtendo não apenas ganhos de performance, mas também garantindo a resiliência em diversos outros processos.</p><p>Uma dica importante que emergiu desse processo é a necessidade de adotar processos claros e valorizar as documentações e literaturas disponíveis. O time de DevOps se aprofundou nas documentações para construir uma infraestrutura resiliente e observável, enquanto a equipe de engenharia se baseou no Teorema de CAP (ou Teorema de Brewer). Esse teorema afirma que nenhum sistema distribuído pode garantir simultaneamente consistência, disponibilidade e tolerância a falhas. Com isso em mente, e levando em consideração os requisitos impostos pelo Bacen, fomos capazes de escolher o melhor caminho para garantir a segurança e eficiência do nosso sistema.</p><p>—</p><p>Este artigo foi desenvolvido em colaboração com <a href="https://medium.com/u/9c270e3363d1">Flpcamargos</a>. Agradeço pela contribuição e insights valiosos.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=771bed7a3bac" width="1" height="1" alt=""><hr><p><a href="https://medium.com/sicreditech/rate-limit-no-pix-sicredi-uma-jornada-de-implementa%C3%A7%C3%A3o-com-redis-e-bucket4j-771bed7a3bac">Rate Limit no PIX Sicredi: Uma jornada de implementação com Redis e Bucket4j</a> was originally published in <a href="https://medium.com/sicreditech">Sicredi Tech</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>