<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Marcusfelix on Medium]]></title>
        <description><![CDATA[Stories by Marcusfelix on Medium]]></description>
        <link>https://medium.com/@marcusfelix07?source=rss-4a5d5cb2dec1------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*EWlZOaSORd0oB21r</url>
            <title>Stories by Marcusfelix on Medium</title>
            <link>https://medium.com/@marcusfelix07?source=rss-4a5d5cb2dec1------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 09:50:02 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@marcusfelix07/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[LakeDB: A evolução do Lakehouse?]]></title>
            <link>https://medium.com/@marcusfelix07/lakedb-a-evolu%C3%A7%C3%A3o-do-lakehouse-7745a70e2035?source=rss-4a5d5cb2dec1------2</link>
            <guid isPermaLink="false">https://medium.com/p/7745a70e2035</guid>
            <dc:creator><![CDATA[Marcusfelix]]></dc:creator>
            <pubDate>Thu, 06 Feb 2025 11:13:13 GMT</pubDate>
            <atom:updated>2025-02-06T11:13:13.747Z</atom:updated>
            <content:encoded><![CDATA[<p>Já faz algum tempo que eu assino gratuitamente a newsletter <strong>Data Engineering Weekly </strong>do <a href="https://medium.com/u/be45d1ab9198">Ananth Packkildurai</a> e recentemente me deparei com um artigo que chamou bastante atenção: <a href="https://medium.com/data-engineering-weekly/envisioning-lakedb-the-next-evolution-of-the-lakehouse-architecture-6f888bc1fe70">Envisioning LakeDB: The Next Evolution of the Lakehouse Architecture</a> (“Prevendo LakeDB: A próxima evolução da arquitetura Lakehouse” em tradução livre).</p><p>Pesquisei bastante sobre o assunto e encontrei pouquíssima informação, inclusive basicamente nada em português, então resolvi traduzir esse artigo e revisar com meus comentários pra deixar mais acessível para a comunidade brasileira. Bora seguir!</p><p>— — — —</p><p>O crescimento do armazenamento em nuvem, aliado à crescente demanda por análises em tempo real levou ao surgimento do Data Lakehouse. Esse paradigma combina a flexibilidade dos datalakes com o desempenho e a confiabilidade dos data warehouses. Apache Iceberg, Apache Hudi e Delta Lake têm liderado essa revolução, trazendo capacidades essenciais como evolução de esquema, transações ACID e atualizações eficientes para a arquitetura Lakehouse. <a href="https://alirezasadeghi1.medium.com/the-history-and-evolution-of-open-table-formats-0f1b9ea10e1e">Nesse artigo</a> você encontra um pouco sobre a história e a evolução do Lakehouse!</p><p>No entanto, a Google lançou um paper sobre uma ferramenta interna, o <a href="https://research.google/pubs/napa-powering-scalable-data-warehousing-with-robust-query-performance-at-google/"><strong>Napa</strong></a>, que apresenta uma visão convincente com potencial de ser uma evolução da arquitetura de Lakehouse 👀</p><blockquote><strong><em>Chamamos essa classe de Lakehouse de próxima geração, o LakeDB, e esperamos que a comunidade Lakehouse dê coletivamente o próximo passo lógico nessa direção.</em></strong></blockquote><p>Este artigo explora os conceitos centrais do <strong>Napa </strong>e faz uma comparação com Iceberg, Hudi e Delta Lake, argumentando que os princípios de design do Napa, combinados com inovações de sistemas como o Apache Pinot, abrem caminho para o <strong>LakeDB</strong> — uma abordagem mais integrada, eficiente e flexível para a gestão de dados.</p><h4>O Cenário Atual do Lakehouse: Iceberg, Hudi e Delta Lake</h4><p>Apache Iceberg, Apache Hudi e Delta Lake avançaram significativamente o conceito de Lakehouse.</p><ul><li><strong>Apache Iceberg</strong> fornece um formato de tabela robusto que permite evolução de schema, time-travel e planejamento eficiente de consultas por meio de uma gestão detalhada de metadados. Ele se destaca na administração de grandes conjuntos de dados analíticos, garantindo consistência dos dados.</li><li><strong>Apache Hudi</strong> foca em trazer funcionalidades semelhantes às de bancos de dados para o data lake, como upserts, deletes e captura de mudanças de dados (CDC). Ele utiliza armazenamento log-estruturado e indexação para facilitar mutações eficientes nos dados.</li><li><strong>Delta Lake</strong> é uma camada de armazenamento open-source que introduz transações ACID no Apache Spark e em workloads de big data. Ele oferece imposição de schema, time-travel (versionamento de dados) e processamento unificado de batch e streaming. O recurso <strong>Delta Live Tables</strong> do Delta Lake fornece suporte nativo para desenvolvimento de pipelines declarativos e views materializadas.</li></ul><p>Os três se tornaram componentes essenciais nas arquiteturas de dados modernas. No entanto, cada um aborda aspectos específicos do Lakehouse: Iceberg se concentra no formato de tabelas e na gestão de metadados, Hudi na mutabilidade dos dados e no processamento incremental, e Delta Lake na garantia de propriedades ACID e no processamento unificado.</p><h4>Napa: Uma abordagem holística</h4><p>O Napa apresenta uma perspectiva diferente. Ele não é apenas um formato de tabela ou um framework de ingestão de dados; trata-se de um sistema completo de gerenciamento de dados analíticos, projetado para escalabilidade massiva, consultas de baixa latência e ingestão contínua de dados. Seus principais recursos incluem:</p><ul><li><strong>Ingestão baseada em Log-Structured Merge-Tree (LSM):</strong> O Napa utiliza uma abordagem LSM-tree, otimizada para alta taxa de escrita, permitindo a ingestão contínua de dados. Ele mescla eficientemente os novos dados com os existentes por meio de uma série de compactações.</li><li><strong>Views Materializadas para Aceleração de Consultas: </strong>O Napa depende fortemente de views materializadas, que são automaticamente mantidas e atualizadas para garantir um desempenho excepcional em consultas. Essas views são indexadas e otimizadas para buscas rápidas e varreduras de intervalo.</li><li><strong>Queryable Timestamp (QT):</strong> O mecanismo QT do Napa fornece uma visão global da consistência dos dados, permitindo que os usuários equilibrem a atualização dos dados com o desempenho das consultas. Diferente dos recursos tradicionais de time-travel, o QT oferece uma visão mais granular e consistente dos dados no sistema.</li><li><strong>Integração com F1 Query: </strong>O Napa aproveita o motor de consultas F1 Query da Google para otimização e execução de queries, possibilitando o processamento eficiente de consultas analíticas complexas. Embora o F1 Query seja um componente central, a arquitetura do Napa é flexível e pode se integrar a outros motores de consulta.</li><li><strong>Configurabilidade:</strong> O Napa oferece diversas opções de configuração, permitindo que os usuários ajustem o sistema de acordo com suas necessidades em relação à atualização dos dados, desempenho das consultas e custo.</li></ul><h4>Comparação entre Napa, Iceberg, Hudi e Delta Lake</h4><p>A tabela a seguir resume as principais diferenças entre Napa, Iceberg, Hudi e Delta Lake:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*10nfCCYICSaukhq-5oZJqQ.png" /></figure><h4>O Caso do LakeDB: Inspirado no Napa e Aprendendo com Outros</h4><p>A filosofia de design do Napa, combinada com os pontos fortes das tecnologias existentes de Lakehouse e inovações de sistemas como o <strong>Apache Pinot</strong>, sugere uma mudança de paradigma — uma abordagem mais integrada e poderosa que chamamos de <strong>LakeDB</strong>.</p><h4>O que é o LakeDB?</h4><p>O LakeDB propõe um sistema unificado de gerenciamento de dados que permite aos usuários definir os trade-offs desejados entre atualização dos dados, custo, precisão e indexação, enquanto o sistema lida com esses requisitos de forma transparente. Ele se caracteriza por:</p><h4>1. Armazenamento, Ingestão, Gerenciamento de Metadados e Processamento de Consultas Integrados</h4><p>Um sistema unificado e coeso que integra perfeitamente todas as funções essenciais de gerenciamento de dados: armazenamento, ingestão, gerenciamento de metadados e processamento de consultas. Os usuários podem definir suas necessidades de atualização e precisão dos dados, e o <strong>LakeDB</strong> otimizará automaticamente os processos subjacentes para atender a esses requisitos.</p><ul><li><strong>Gaps das ferramentas atuais:</strong> Os Lakehouses atuais geralmente dependem de uma coleção fragmentada de ferramentas, resultando em maior complexidade, gargalos de desempenho e inconsistências nos metadados. Exemplos incluem:</li><li><strong>Apache Iceberg</strong> se destaca no gerenciamento de metadados, mas requer ferramentas separadas para ingestão (por exemplo, Apache Spark) e processamento de consultas (como Trino ou Spark).</li><li><strong>Delta Lake</strong> se integra bem ao Spark, mas não possui suporte nativo para ingestão em tempo real e otimização avançada de consultas.</li><li><strong>Apache Hudi</strong> oferece ingestão em tempo real, mas depende de sistemas externos para execução de consultas e gerenciamento de metadados. Essa fragmentação obriga os usuários a combinar manualmente várias ferramentas, aumentando a complexidade operacional e o risco de inconsistências nos dados.</li></ul><h4>2. Otimização Inteligente de Views Materializadas e Layout de Dados</h4><p>Escolhe dinamicamente entre as estratégias <strong>Copy-on-Write (CoW)</strong> e <strong>Merge-on-Read (MoR)</strong> com base nas características da carga de trabalho e nas preferências definidas pelo usuário em relação a custo e desempenho. O <strong>LakeDB</strong> gerencia automaticamente snapshots para garantir o melhor desempenho de consultas e cria, mantém e otimiza inteligentemente views materializadas para atender aos requisitos de atualização e precisão definidos pelo usuário.</p><ul><li><strong>Gaps das ferramentas atuais: </strong>Sistemas existentes muitas vezes exigem a seleção manual entre CoW/MoR e não oferecem otimização adaptativa e automatizada de views materializadas e snapshots com base nos padrões de acesso. Exemplos incluem:</li><li><strong>Apache Hudi</strong> exige que os usuários escolham entre CoW e MoR na criação das tabelas, o que pode resultar em desempenho subótimo se os padrões de carga de trabalho mudarem.</li><li><strong>Delta Lake</strong> oferece suporte a views materializadas por meio de <strong>Delta Live Tables</strong>, mas carece de otimização automatizada para cargas de trabalho dinâmicas.</li><li><strong>Apache Iceberg</strong> não oferece suporte nativo a views materializadas, exigindo que os usuários as implementem e gerenciem manualmente.</li></ul><h4>3. Controle Granular sobre a Atualização dos Dados</h4><p>Incorpora um mecanismo semelhante ao <strong>Queryable Timestamp (QT)</strong> do Napa para fornecer controle detalhado sobre a atualização dos dados. Os usuários podem especificar os níveis desejados de atualização, e o <strong>LakeDB</strong> equilibrará esses requisitos com considerações de desempenho e custo, garantindo que as consultas retornem resultados dentro dos limites de frescor definidos.</p><ul><li><strong>Gaps das ferramentas atuais:</strong> Os <strong>Lakehouses atuais</strong> oferecem controle limitado e muitas vezes grosso sobre a atualização dos dados, o que dificulta a otimização para diferentes cargas de trabalho. Exemplos incluem:</li><li><strong>Apache Iceberg</strong> e <strong>Delta Lake</strong> dependem de snapshots periódicos, o que pode atrasar a disponibilidade dos dados para casos de uso em tempo real.</li><li><strong>Apache Hudi</strong> oferece ingestão quase em tempo real, mas carece de um mecanismo como o QT para equilibrar a atualização dos dados com o desempenho das consultas.</li></ul><p>A maioria dos sistemas exige que os usuários gerenciem manualmente os pipelines de ingestão de dados para alcançar os níveis desejados de frescor, o que pode ser propenso a erros e consumir muitos recursos.</p><h4>4. Indexação Avançada e Particionamento, Inspirados no Apache Pinot</h4><p>O <strong>LakeDB</strong> suporta diversos tipos de índices, semelhantes ao Apache Pinot, permitindo que os usuários escolham os tipos de índices desejados para cada coluna. Os usuários podem definir suas necessidades de indexação, e o LakeDB gerenciará e otimizará automaticamente esses índices para atender aos requisitos de desempenho das consultas, ao mesmo tempo em que minimiza os custos de armazenamento.</p><ul><li><strong>Gaps das ferramentas atuais:</strong> Os formatos atuais de <strong>Lakehouse</strong> carecem de suporte abrangente para indexação, especialmente para tipos avançados de índices, como os índices <strong>Star-Tree</strong>, o que leva a limitações de desempenho em cargas de trabalho analíticas, especialmente aquelas envolvendo dimensões de alta cardinalidade. Exemplos incluem:</li><li><strong>Apache Iceberg</strong> e <strong>Delta Lake</strong> dependem de particionamento básico e data skipping, que são insuficientes para dimensões de alta cardinalidade ou consultas complexas.</li><li><strong>Apache Hudi</strong> oferece suporte a indexação, mas carece de técnicas avançadas de indexação, como o Apache Pinot, essenciais para análises em tempo real.</li></ul><h4>5. Adota Configurabilidade</h4><p>Este sistema oferece amplas opções de configuração na mesma tabela por múltiplos consumidores, permitindo que os usuários ajustem conforme suas necessidades específicas em relação a desempenho, custo, atualização dos dados e otimização de armazenamento. Os usuários podem definir seus trade-offs desejados, e o LakeDB se configurará automaticamente para atender a esses requisitos, reduzindo a necessidade de intervenção manual.</p><ul><li><strong>Gaps das ferramentas atuais:</strong> Os componentes atuais de Lakehouse frequentemente oferecem configurabilidade limitada, dificultando a otimização para casos de uso e cargas de trabalho específicas. Exemplos incluem:</li><li><strong>Delta Lake</strong> oferece alguma configurabilidade por meio das configurações do Spark, mas carece de controle detalhado sobre a atualização dos dados e os custos.</li><li><strong>Apache Iceberg</strong> permite a configuração de metadados e layout das tabelas, mas não oferece opções para otimização dinâmica de cargas de trabalho.</li><li><strong>Apache Hudi</strong> oferece configurabilidade para tipos de tabela (CoW/MoR), mas exige ajustes manuais para equilibrar desempenho e custo — essa falta de configurabilidade obriga os usuários a fazer compromissos ou investir um esforço significativo em ajustes manuais.</li></ul><h4>6. Suporte a Propriedades ACID e Evolução de Esquema</h4><p><strong>Visão do LakeDB:</strong> Oferece garantias de consistência forte (propriedades ACID) e suporte robusto para evolução de esquema, baseando-se nos fundamentos do Iceberg e Delta Lake. Os usuários podem definir seus requisitos de correção, e o <strong>LakeDB</strong> garantirá que esses requisitos sejam atendidos, mesmo enquanto os schemas evoluem.</p><ul><li><strong>Gaps das ferramentas atuais:</strong> Embora os formatos atuais de <strong>Lakehouse</strong> ofereçam diferentes níveis de suporte a ACID e capacidades de evolução de schema, ainda existem desafios em garantir a consistência dos dados e lidar com mudanças de esquema de forma suave. Exemplos incluem:</li><li><strong>Delta Lake</strong> e <strong>Apache Iceberg</strong> oferecem transações ACID, mas podem enfrentar dificuldades com alterações de esquema concorrentes e consistência dos dados em ambientes distribuídos.</li><li><strong>Apache Hudi</strong> oferece garantias ACID, mas requer um gerenciamento cuidadoso das versões de tabelas e dos metadados.</li><li>Os usuários muitas vezes precisam lidar manualmente com a evolução de schema e consistência de dados, o que pode ser complexo e propenso a erros.</li></ul><h4>7. Aberto e Extensível</h4><p>Construído sobre <strong>padrões abertos</strong>, o <strong>LakeDB</strong> suporta formatos de dados abertos, interage com diversos motores de consulta e permite extensões personalizadas. Os usuários podem definir seus trade-offs desejados entre frescor, custo, correção e indexação. O LakeDB atenderá a esses requisitos automaticamente, oferecendo flexibilidade para estender o sistema conforme necessário.</p><ul><li><strong>Gaps das ferramentas atuais:</strong> Algumas soluções de <strong>Lakehouse</strong> podem levar ao <strong>vendor lock-in</strong> e limitar a interoperabilidade, dificultando a inovação e flexibilidade. Exemplos incluem:</li><li><strong>Delta Lake</strong> é fortemente integrado ao <strong>Databricks</strong>, o que pode limitar a interoperabilidade com outras plataformas.</li><li><strong>Apache Iceberg</strong> e <strong>Apache Hudi</strong> são mais abertos, mas exigem um esforço significativo para integrar com diferentes motores de consulta e ferramentas.</li></ul><p>Os usuários frequentemente enfrentam desafios ao tentar estender esses sistemas para atender a casos de uso específicos, o que limita sua capacidade de inovar.</p><h4>Por que o LakeDB é a Próxima Evolução</h4><ul><li><strong>Desempenho: </strong>Ao integrar de forma estreita todas as funções de gerenciamento de dados, aproveitar indexação avançada e views materializadas, e otimizar dinamicamente o layout dos dados, o LakeDB pode alcançar um desempenho significativamente melhor nas consultas em comparação com as arquiteturas atuais de Lakehouse, se aproximando da velocidade dos sistemas OLAP especializados. Os usuários podem definir seus requisitos de desempenho, e o LakeDB otimizará automaticamente para atender a essas necessidades.</li><li><strong>Simplicidade:</strong> Um sistema unificado é, por natureza, mais simples de gerenciar e operar do que uma coleção de ferramentas distintas. Os usuários podem definir seus trade-offs desejados, e o LakeDB cuidará do resto, reduzindo a necessidade de intervenção manual e configuração.</li><li><strong>Eficiência:</strong> A abordagem integrada e a automação inteligente do LakeDB podem otimizar a utilização dos recursos e reduzir a sobrecarga operacional. Os usuários podem definir seus requisitos de custo, e o LakeDB otimizará automaticamente o uso dos recursos para atender a essas limitações.</li><li><strong>Flexibilidade:</strong> O controle detalhado sobre a atualização dos dados e as amplas opções de configuração permitem que os usuários adaptem o sistema a diferentes cargas de trabalho. Os usuários podem definir seus trade-offs desejados, e o LakeDB ajustará automaticamente para atender a esses requisitos.</li><li><strong>Trabalhe em Tempo Real:</strong> A indexação avançada, particularmente as técnicas do Apache Pinot, permite que o LakeDB suporte cargas de trabalho analíticas em tempo real com baixa latência e alta taxa de transferência. Os usuários podem definir seus requisitos de tempo real, e o LakeDB otimizará automaticamente para atendê-los.</li></ul><h3>Conclusão</h3><p><strong>Apache Iceberg</strong>, <strong>Apache Hudi</strong> e <strong>Delta Lake</strong> foram fundamentais na formação do paradigma de <strong>Lakehouse</strong> de dados. No entanto, o <strong>Napa</strong> da Google apresenta uma visão convincente para o futuro — uma visão ainda mais aprimorada pela incorporação de ideias de sistemas como o <strong>Apache Pinot</strong>. Essa visão culmina no <strong>LakeDB</strong>, um sistema de gerenciamento de dados mais integrado, performático, flexível e inteligente.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7745a70e2035" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Ingestão de dados do Salesforce para S3 via Amazon Appflow]]></title>
            <link>https://medium.com/@marcusfelix07/ingest%C3%A3o-de-dados-do-salesforce-para-s3-via-amazon-appflow-0dff96cde341?source=rss-4a5d5cb2dec1------2</link>
            <guid isPermaLink="false">https://medium.com/p/0dff96cde341</guid>
            <category><![CDATA[aws-appflow]]></category>
            <category><![CDATA[salesforce]]></category>
            <category><![CDATA[api-integration]]></category>
            <category><![CDATA[data]]></category>
            <category><![CDATA[data-engineering]]></category>
            <dc:creator><![CDATA[Marcusfelix]]></dc:creator>
            <pubDate>Sun, 08 Oct 2023 22:20:33 GMT</pubDate>
            <atom:updated>2023-10-08T22:20:33.569Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/521/0*IPKg-avFWhY3aTyQ.png" /></figure><p>O mundo tem se direcionado cada vez mais para o desenvolvimento <em>low-code</em>/<em>no-code </em>dando mais praticidade para as pessoas que não tem tanta familiaridade com o assunto. A AWS tem focado nesse muito ponto nos últimos anos com várias releases interessantes como a infraestrutura severless do EMR e do Redshif, o próprio Glue Studio como uma ferramente de ETL/ELT bastante <em>point and click </em>e agora foi a vez da ingestão de APIs de forma em simplificada com o Amaozon Appflow.</p><p>Nesse tutorial vamos explorar algumas das funcionalidades dessa ferramenta relativamente nova da AWS e que vem ganhando bastate espaço no mercado para fazer a ingestão de dados via API do Salesforce.</p><h3>Criando uma nova connection</h3><p>O primeiro passo do nosso tutorial é criar uma nova connection para a sua conta do Salesforce. Na aba <em>Connections, </em>selecione o conector Salesforce e clique em <em>Create connection.</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IQmUE8yRONCvZkUvwx7Z0A.png" /><figcaption>Nova connection</figcaption></figure><p>Na próxima janela crie um nome para sua conexão, selecione o tipo de autorização (aqui vamos seguir com Authorization code), o ambiente e caso exista uma conexão privada entre sua conta AWS e sua conta Salesforce. Por último, há a possibilidade de customizar a criptografia dos seus dados com uma chave KMS existente ou simplesmente usar o <em>default</em>, que utiliza uma chave de criptografia gerenciada pela própria AWS.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/812/1*yCrm7xclYNlNNmMWNyLL0g.png" /><figcaption>Configuração da connection</figcaption></figure><p>Ao clicar em <em>Connect</em> um novo pop-up irá surgir requisitando o login e senha da sua conta Salesforce. Com sugestão, solicite que o time responsável pelo Salesforce crie uma conta de serviço específica para essas ingestões.</p><p>Com isso finalizado, temos a nossa connection para prosseguir.</p><h3>Criando um flow</h3><p>Na aba <em>Flows</em> clique em <em>Create flow </em>e uma nova página abrirá com 5 passos de configuração.</p><h4>Passo 1 — Especificar detalhes do flow</h4><p>No primeiro passo vamos especificar o nome do flow (esse passo não é importante apenas para controle interno, mas também porque ele é utilizado na construção do path no S3) assim como uma breve descrição.</p><p>Aqui conseguimos alterar a chave de criptografia caso a empresa tenha alguma política específica de uso de chaves KMS, caso contrário deixe como default, além de tags para controle de custos. Essa parte é opcional, mas muito importante para segmentação de custos dos recursos utilizados na conta.</p><h4>Passo 2 — Configuração do flow</h4><p>Na segunda etapa, vamos configurar os detalhes de source e destination.</p><p>No source busque por Salesforce e logo em seguida encontre a connection que criamos no etapa anterior do tutorial. Aqui poderemos configurar tanto uma ingestão de eventos quanto de objetos do Salesforce, para esse tutorial vamos escolher um objeto qualquer.</p><p>Na subseção <em>Data transfer settings </em>é possível selecionar a API utilizada para buscar os dados. As opções seguem com uma breve explicação, porém há um detalhe importante a ser ressaltado. A Bulk API não consegue buscar campos compostos como segue na <a href="https://developer.salesforce.com/docs/atlas.en-us.object_reference.meta/object_reference/compound_fields_limitations.htm">documentação</a>, caso tenha algum no seu objeto a opção é utilizar a Standard.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/783/1*hREkD6WYgB1-HeubHFFQkQ.png" /><figcaption>Seleção da API</figcaption></figure><p>Como destino vamos escolher o Amazon S3. Aqui vale ressaltar que o Appflow precisa de algumas permissões no bucket onde os dados serão armazenados, como segue na <a href="https://docs.aws.amazon.com/appflow/latest/userguide/s3-policies-management.html">documentação</a>.</p><p>Após escolher o seu bucket e o prefixo, abaixo aparecerá o caminho de escrita no S3, formado da seguinte forma:<br>s3://&lt;seu_bucket&gt;/&lt;prefixo_adicionado(opcional)&gt;/&lt;nome_do_flow&gt;</p><p>Aqui temos mais duas subseções um pouco mais técnicas para serem configuradas. Não vamos entrar muito em detalhe nesse tutorial, pois elas são mais relacionadas com a arquitetura de consumo dos dados.</p><p>A primeira delas é o AWS Glue Catalog. Para que seus dados fiquem passíveis de serem consumidos pelo Athena ou Redshift Spectrum a etapa de catalogação é necessária, porém pode ser configurada de forma independente. Aqui será necessário escolher/criar uma IAM Role com permissão de ler os dados no seu bucket de destino, além do database onde esses dados serão catalogados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jkruPsphf63kUNQIeSuUyw.png" /><figcaption>Glue Catalog</figcaption></figure><p>A segunda subseção é o formato do arquivo. Aqui você pode escolher por json, csv ou parquet, além de poder adicionar o <em>timestamp</em> da execução no nome do arquivo, o que muitas vezes facilita o entendimento.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/742/1*n97N-u64s2mMmIBvzOeA0Q.png" /><figcaption>Formato do arquivo</figcaption></figure><p>Para finalizar essa etapa bem longa, vamos escolher a forma de trigger do nosso flow, temos 3:</p><p><em>Run on demmand </em>-&gt;<em> </em>Essa opção nos permite um trigger manual para extrair <strong>todos os dados</strong> disponíveis do nosso objeto no Salesforce. É ideal para objetos pequenos ou um fulload.</p><p><em>Run flow on schedule</em> -&gt; Nesse caso podemos configurar um scheduler para rodar nossa extração, podendo elas serem um <em>full transfer</em> em todas as execuções ou um <em>incremental transfer </em>baseado em uma coluna de controle. Aqui também é possível configurar um <a href="https://docs.aws.amazon.com/appflow/latest/userguide/flow-triggers.html">offset</a>.</p><p><em>Run flow on event -&gt; </em>Essa opção é disponível apenas para Salesforce events.</p><h4>Passo 3 — Mapeamento dos campos</h4><p>No terceiro passo vamos mapear os campos que queremos buscar do nosso objeto.</p><p>A primeira opção é mapear manualmente. Calma que isso não quer dizer que teremos que digitar campo a campo na ferramenta. Na lista suspensa <em>Source field name, </em>selecionamos <em>Map all fileds directly </em>e todos os campos acessíveis pela nossa conta configurada na connection vão aparecer! Dessa forma é possível selecionar todos de uma vez ou simplesmentes escolher pelo console.</p><p>A segunda opção de mapeamento e inserir um arquivo .csv com todos os nomes dos campos. Isso pode ser extraído direto do Salesforce para facilitar o processo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PjktjD1zNWMu3Zp3hpPv0Q.png" /><figcaption>Mapeamento dos campos</figcaption></figure><p>Nas subseção <em>Additional settings </em>podemos selecionar as opções de importar automaticamente novos campos (indisponível se o mapeamento for feito via .csv) e importar registros deletados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/842/1*1f1hSqHWp1sHMMBCd7WR_Q.png" /></figure><p>Na próxima etapa configuramos o particionamento e a agregação dos arquivos dentro de cada partição.</p><p>Por último podemos adicionar validações simples nos dados que funcionam na seguinte lógica: campo -&gt; condição -&gt; ação.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RvyHPxfaI8EQDBjKWgDELQ.png" /><figcaption>Validação</figcaption></figure><p>Exemplo: Se o campo “ID” estiver “vazio”, “Pare o flow”. Dessa forma vamos parar a ingestão para entender o motivo desse campo estar vazio.</p><h4>Passo 4 — Adição de filtros (opcional)</h4><p>Agora podemos configurar alguns filtros. A lógica de funcionamento é a seguinte: campo -&gt; condição -&gt; critério.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/943/1*tcuAfjzR65N8onvYKCpPtw.png" /><figcaption>Filtros</figcaption></figure><p>Exemplo: Para fazer ums política de Marketing específica via Whatsapp, gostaria de buscar apenas pessoas com o Telefone do DDD (11). Para isso configuramos o campo “Telefone” na condição “contêm” o texto “(11)”.</p><p>Dependendo do caso faz mais sentido que essa etapa de filtro seja realizada em outra ferramenta mais especializada em análise dos dados.</p><h4>Passo 5 — Revisão e criação</h4><p>No último passo todas as configurações ficam à mostra para validarmos nosso novo flow. Após tudo conferido clicamos em <em>create flow</em> finalizando a etapa de configuração.</p><h4>Ativando o Flow</h4><p>Voltando na aba <em>flows, </em>clique no seu novo flow criado e não se esqueça de ativar para que ele possa começar a rodar.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/270/1*jQaJzwMNtBymND0uX1Iosw.png" /></figure><p>Após a primeira execução vá até o S3 para validar se os dados chegaram direitinho =]</p><h3>Avaliação geral</h3><p>Por ser uma feramenta relativamente nova, o Amazon Appflow ainda está amadurecendo em vários aspectos. De forma geral, é uma ferramenta simples de ser utilizada e possibilita algumas integrações interessantes que podem simplificar uma arquitetura de dados. Seguem algumas observações mais específicas.</p><h4>Prós</h4><ul><li>É muito simples de ser utilizado e em poucos minutos dá pra fazer uma prova de conceito bem robusta.</li><li>No momento em que escrevo existem 80 conexões para várias ferramentas líderes de mercado.</li><li>A possibilidade de filtrar e validar os dados no momento da extração pode ser muito útil, principalmente numa arquitetura um pouco mais simples.</li><li>A quantidade de configurações opcionais surpreende bastante. Aqui vai um salve para a catalogação automática que possibilida o dado já estar disponível para consumo para um time de Analytics segundos após a extração.</li><li>A integração nativa com outras ferramentas da AWS gera uma infinidade de possibilidades. Uma delas é o uso do EventBridge para fazer monitoramento das execuções.</li></ul><h4>Contras</h4><ul><li>Diferentemente de uma ferramenta de orquestração, o Appflow não consgue garantir uma idempotência das execuções. Isso quer dizer que qualquer problema no fluxo não é possível reexecutar a mesma execução.</li><li>Escalar o uso da ferramenta é complexo. Para que você não se perca após os primeiros 100 flows configurados já é necessário pensar em uma infraestutura como código, como o Terraform ou CloudFormation.</li><li>Por mais que a catalogação automática seja muito legal, achei um pouco bagunçado. Como apresentado na <a href="https://docs.aws.amazon.com/appflow/latest/userguide/flows-catalog.html">documentação</a>, cada execução vai gerar uma nova tabela no catálogo e a tabela com sufixo <em>_latest</em> contém o dado mais recente. A quantidade de tabelas no catálogo torna inviável de governar e não poder trabalhar a nomenclatura também é algo muito ruim. Ela fica assim: prefix_appflow_flow-name_schema-version_execution-id esquesito né?</li></ul><p>Espero que tenham conseguido seguir o tutorial e que tenham gostado da análise. Até o momento não tinha encontrado muita informação e português e até mesmo em inglês, o que me levou a fuçar bastante na ferramenta para conseguir montar essa página.</p><h3>Sobre o Autor</h3><p>Marcus é especialista em Engenharia de Dados e possui experiência em arquitetura e gerenciamento de equipes de dados. Mora em Uberaba-MG atuando em trabalho remoto.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=0dff96cde341" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>