<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Francisco Neto on Medium]]></title>
        <description><![CDATA[Stories by Francisco Neto on Medium]]></description>
        <link>https://medium.com/@francisconetto436?source=rss-dd974bb58b05------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*8Xxen04fqPZR0CdgPXXQeg.png</url>
            <title>Stories by Francisco Neto on Medium</title>
            <link>https://medium.com/@francisconetto436?source=rss-dd974bb58b05------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 09:42:49 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@francisconetto436/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Shortcuts no Microsoft Fabric: acesse dados sem movê-los]]></title>
            <link>https://medium.com/@francisconetto436/shortcuts-no-microsoft-fabric-acesse-dados-sem-mov%C3%AA-los-7fcb3a1872cb?source=rss-dd974bb58b05------2</link>
            <guid isPermaLink="false">https://medium.com/p/7fcb3a1872cb</guid>
            <dc:creator><![CDATA[Francisco Neto]]></dc:creator>
            <pubDate>Thu, 04 Jun 2026 19:42:24 GMT</pubDate>
            <atom:updated>2026-06-04T20:11:11.276Z</atom:updated>
            <content:encoded><![CDATA[<p>O Fabric promete centralização de dados com o OneLake. Na prática, times diferentes, workspaces diferentes e fontes externas ainda geram uma pressão constante para mover e duplicar dados. Os Shortcuts são o recurso que resolve essa contradição sem precisar de pipelines, sem cópia física, sem duplicação.</p><h3>O problema que todo mundo conhece</h3><p>Em arquiteturas de dados, mover dados é quase um reflexo. Times diferentes trabalham em workspaces separados. Dados precisam estar disponíveis em múltiplos contextos. Fontes externas precisam ser ingeridas antes de qualquer análise.</p><p>Cada um desses movimentos gera o mesmo conjunto de problemas:</p><ul><li>Custo de armazenamento que cresce junto com a maturidade da arquitetura</li><li>Pipelines mais complexos para manter e monitorar</li><li>Risco de inconsistência entre versões do mesmo dado</li><li>Dificuldade de governança quando o dado existe em múltiplos lugares</li></ul><p>Quanto mais sofisticada a arquitetura, maior tende a ser o volume de cópias. Os Shortcuts existem para quebrar esse ciclo.</p><h3>O que são Shortcuts</h3><p>De acordo com a documentação oficial da Microsoft, Shortcuts são objetos no OneLake que apontam para outras localizações de armazenamento. Essa localização pode ser interna ao OneLake ou externa, como o Azure Data Lake Storage, Amazon S3 ou Google Cloud Storage.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ouzq3Wh3fvXVwze3zjTv-g.png" /></figure><p>O conceito mais próximo é o de um <strong>link simbólico</strong>: o dado continua onde está, mas aparece para quem consome como se estivesse disponível localmente. Quem acessa não precisa saber de onde o dado vem.</p><p>Dois comportamentos importantes que a documentação deixa claro:</p><ol><li><strong>Deletar um Shortcut não afeta o dado de origem.</strong> O Shortcut é um objeto independente do target.</li><li><strong>Mover, renomear ou deletar o dado de origem pode quebrar o Shortcut.</strong> A referência passa a apontar para um caminho que não existe mais.</li></ol><h3>Onde Shortcuts podem ser criados</h3><p>No momento em que este artigo foi escrito, a documentação oficial indica suporte para criação de Shortcuts em Lakehouses e KQL Databases. O Fabric evolui com frequência, então vale conferir a documentação atualizada antes de planejar sua arquitetura.</p><blockquote><em>Documentação oficial: </em><a href="https://learn.microsoft.com/en-us/fabric/onelake/onelake-shortcuts"><em>OneLake shortcuts</em></a></blockquote><h4>Dentro de um Lakehouse</h4><p>O Lakehouse possui dois diretórios de alto nível, <strong>Tables</strong> e <strong>Files</strong>, e o comportamento dos Shortcuts é diferente em cada um.</p><p><strong>Na seção Tables</strong>, Shortcuts só podem ser criados no nível raiz, sem suporte a subdiretórios. Se o dado de destino estiver no formato Delta Parquet, o Lakehouse reconhece automaticamente o Shortcut como uma tabela gerenciada, disponibilizando-o tanto para Spark quanto para o SQL Analytics Endpoint. Um detalhe técnico importante: o Delta não suporta tabelas com espaço no nome, então Shortcuts com espaço no nome não serão reconhecidos como tabela.</p><p><strong>Na seção Files</strong>, não há restrição de nível. Um Shortcut pode ser criado em qualquer ponto da hierarquia de pastas. O dado não é registrado automaticamente como tabela, mas pode ser lido diretamente por notebooks Spark. É o espaço indicado para dados brutos, semiestruturados ou arquivos que ainda serão processados.</p><h4>Dentro de um KQL Database</h4><p>No KQL Database, Shortcuts aparecem na pasta Shortcuts do banco de dados e são tratados como tabelas externas, consultáveis via Kusto Query Language.</p><h3>Fontes suportadas</h3><p>A documentação divide as fontes em dois grupos.</p><h4>Fontes internas (dentro do OneLake)</h4><p>Um Shortcut interno pode apontar para dados em qualquer um desses itens do Fabric: Lakehouse, Data Warehouse, KQL Database, Mirrored Databases, Mirrored Azure Databricks Catalogs, Semantic Models e SQL Databases.</p><p>Isso significa que é possível criar um Shortcut em um Lakehouse apontando para dados de um Warehouse, por exemplo, sem nenhuma cópia e sem nenhum pipeline intermediário. Times diferentes, workspaces diferentes, mesmo dado.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YXl8Iejod9_J31v869dAng.png" /></figure><h4>Fontes externas (fora do OneLake)</h4><p>Para dados que vivem fora do Fabric, as fontes externas suportadas incluem Azure Data Lake Storage Gen2 (ADLS), Azure Blob Storage, Amazon S3 e S3 compatíveis, Google Cloud Storage (GCS), Dataverse da Power Platform, OneDrive e SharePoint, tabelas Iceberg e fontes on-premises via Fabric On-Premises Data Gateway.</p><p>Cada fonte externa exige uma cloud connection com credenciais configuradas. Qualquer usuário com acesso ao Lakehouse poderá ler os dados através do Shortcut usando essas credenciais armazenadas.</p><h3>Como os dados podem ser acessados</h3><p>Uma vez criado, o Shortcut é transparente para os mecanismos analíticos do Fabric. Apache Spark, SQL Analytics Endpoint, Real-Time Intelligence e Analysis Services conseguem ler dados através de Shortcuts sem nenhuma configuração adicional. Aplicações externas ao Fabric também podem acessar via API do OneLake, que suporta um subconjunto das APIs do ADLS Gen2 e Blob Storage.</p><p>Na prática, quem consome o dado não percebe diferença entre uma tabela local e uma tabela acessada via Shortcut.</p><h3>Cache para fontes externas</h3><p>Para Shortcuts que apontam para fontes externas, especialmente cross-cloud como GCS, S3 e S3 compatíveis, o Fabric oferece um mecanismo de cache no nível do workspace.</p><p>Quando o OneLake lê arquivos através de um Shortcut externo, ele armazena esses arquivos em cache. Requisições subsequentes são respondidas pelo cache em vez de ir até o provedor remoto, o que reduz custos de egresso e melhora a latência de acesso.</p><p>O período de retenção pode ser configurado entre 1 e 28 dias. Cada acesso ao arquivo reinicia a contagem. Se o arquivo no provedor remoto for atualizado, o OneLake detecta a versão mais recente e atualiza o cache automaticamente. Uma limitação: arquivos maiores que 1 GB não são cacheados.</p><p>O cache é configurado em Workspace Settings, aba OneLake, e pode ser limpo manualmente a qualquer momento.</p><h3>Segurança: um ponto que exige atenção</h3><p>O modelo de segurança dos Shortcuts é diferente dependendo do tipo de fonte.</p><p><strong>Shortcuts internos</strong> usam a identidade do usuário que está fazendo a leitura. Esse usuário precisa ter permissão de leitura no destino. Sem permissão no target, sem acesso ao dado.</p><p><strong>Shortcuts externos</strong> usam as credenciais da cloud connection configurada no momento da criação. Qualquer usuário com acesso ao Lakehouse poderá ler os dados usando essas credenciais armazenadas. Isso significa que a governança de quem acessa o quê precisa ser gerenciada no nível do Lakehouse, não no nível da fonte.</p><p>Um caso especial merece atenção: quando dados de Shortcuts são acessados através de Semantic Models em modo DirectLake over SQL ou T-SQL em modo Delegated Identity, a identidade do chamador não é passada para o destino. É a identidade do dono do item que é usada. Para evitar esse comportamento, a recomendação da documentação é usar DirectLake over OneLake ou T-SQL em User Identity Mode.</p><h3>Vantagens</h3><p>Com tudo isso em mente, os ganhos práticos dos Shortcuts são claros:</p><ul><li><strong>Zero cópia de dados:</strong> o dado existe em um único lugar físico</li><li><strong>Pipelines mais simples:</strong> menos movimentação significa menos orquestração</li><li><strong>Redução de custo de armazenamento:</strong> sem duplicação</li><li><strong>Compartilhamento entre times e workspaces:</strong> sem dependência de pipelines de ingestão</li><li><strong>Acesso multi-engine:</strong> Spark, SQL, KQL e Analysis Services lendo o mesmo dado</li><li><strong>Redução de latência:</strong> especialmente com cache ativado para fontes externas</li></ul><h3>Limitações e cuidados</h3><p>Nenhum recurso é bala de prata, e com Shortcuts não é diferente.</p><p><strong>O Shortcut depende da integridade do dado de origem.</strong> Se o dado for movido, renomeado ou deletado, o Shortcut quebra. Em arquiteturas mais complexas, isso pode gerar falhas em cadeia.</p><p><strong>Atenção ao deletar pastas de Shortcut que apontam para ADLS.</strong> A documentação alerta: se você deletar uma pasta via Shortcut e tiver permissão de escrita na fonte, os dados são deletados na origem também. Não é só o Shortcut que some.</p><p><strong>Shortcut não é sinônimo de pipeline.</strong> Ele não transforma dados, não aplica lógica de negócio e não resolve problemas de qualidade na origem. É um ponteiro, poderoso, mas limitado ao que está lá.</p><p><strong>Fontes externas trazem dependência de latência.</strong> Se o dado está no GCS ou no S3, o tempo de resposta depende da rede e da disponibilidade do provedor. O cache ajuda, mas não elimina completamente essa variável.</p><p><strong>Permissões exigem planejamento.</strong> Especialmente em Shortcuts externos, onde as credenciais ficam armazenadas na connection. Governança descuidada aqui pode expor dados para usuários que não deveriam ter acesso.</p><p><strong>Há limites técnicos confirmados na documentação:</strong></p><ul><li>Cada item do Fabric suporta até 100.000 Shortcuts</li><li>Um único caminho suporta até 10 Shortcuts</li><li>O máximo de Shortcuts encadeados (Shortcut apontando para outro Shortcut) é 5</li></ul><h3>Quando usar (e quando não usar)</h3><p><strong>Use Shortcuts quando:</strong></p><ul><li>Diferentes times precisam acessar os mesmos dados sem duplicação</li><li>Você quer compartilhar dados entre workspaces sem pipelines de ingestão</li><li>Precisa acessar dados externos sem mover tudo para dentro do Fabric</li><li>Quer reduzir custo de armazenamento em ambientes com múltiplos itens</li></ul><p><strong>Evite depender somente de Shortcuts quando:</strong></p><ul><li>O dado de origem precisa de transformação antes de ser consumido</li><li>A disponibilidade da fonte externa não é garantida</li><li>A governança de acesso precisa ser granular ao nível de linha ou coluna, sendo necessário combinar com outras camadas de segurança</li></ul><h3>Conclusão</h3><p>Shortcuts não resolvem todos os problemas de arquitetura de dados, mas resolvem muito bem um problema específico: o custo e a complexidade de mover dados só para torná-los acessíveis em outro contexto.</p><p>Com o OneLake como base, o Fabric torna esse mecanismo especialmente poderoso. Um dado em um workspace pode alimentar análises em outro workspace sem que nenhuma linha de código de ingestão seja necessária.</p><p>Arquiteturas mais maduras tendem a ser mais complexas. Os Shortcuts existem para garantir que essa complexidade não se traduza em duplicação desnecessária de dados.</p><p><em>Curtiu esse conteúdo? Acompanha o perfil para os próximos artigos da série sobre Microsoft Fabric.</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7fcb3a1872cb" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[RLS no Power BI: como a segurança em nível de linha te ajuda na governança de dados]]></title>
            <link>https://medium.com/@francisconetto436/rls-no-power-bi-como-a-seguran%C3%A7a-em-n%C3%ADvel-de-linha-te-ajuda-na-governan%C3%A7a-de-dados-74f6484e6414?source=rss-dd974bb58b05------2</link>
            <guid isPermaLink="false">https://medium.com/p/74f6484e6414</guid>
            <dc:creator><![CDATA[Francisco Neto]]></dc:creator>
            <pubDate>Wed, 13 May 2026 14:49:29 GMT</pubDate>
            <atom:updated>2026-05-13T14:49:29.936Z</atom:updated>
            <content:encoded><![CDATA[<p>Você já precisou criar o mesmo relatório três vezes porque cada usuário não podia ver os dados dos outros? Se sim, você já sentiu na pele o problema que o RLS resolve.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Xbbmw_Dlinh4pUHz-gY1hQ.png" /></figure><h3>O que é RLS, afinal?</h3><p>RLS significa <em>Row-Level Security</em>, ou segurança em nível de linha. Segundo a documentação oficial da Microsoft, ele <strong>restringe o acesso a dados para usuários específicos</strong> aplicando filtros diretamente nas linhas do modelo semântico.</p><p>Traduzindo para o dia a dia: todo mundo acessa o mesmo relatório publicado, mas cada pessoa vê só o que deve ver. O gerente de SP enxerga SP. O do RJ enxerga RJ. O diretor nacional enxerga tudo. Um relatório, muitos perfis de acesso.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hFXj2BDvVNz110Tz4rQDNQ.png" /></figure><p>Tem um detalhe importante que a documentação deixa bem claro: o RLS só se aplica a usuários com a <strong>função de Visualizador</strong> no workspace. Administradores, Membros e Colaboradores têm permissão de edição no modelo e ficam de fora das restrições. Se você quiser que o RLS valha para alguém, essa pessoa precisa estar como Visualizador.</p><h3>Como funciona na prática: o fluxo completo</h3><p>A Microsoft define quatro etapas para implementar o RLS, e elas seguem uma lógica bem simples:</p><p><strong>1. Você define as regras e filtros no Power BI Desktop</strong>, usando expressões DAX que retornam verdadeiro ou falso para cada linha de dado.</p><p><strong>2. Você publica o modelo semântico e o relatório</strong> no Power BI Service. As definições de regra vão junto na publicação.</p><p><strong>3. No service, você adiciona os membros</strong> a cada regra, seja por usuário individual ou por grupos de segurança.</p><p><strong>4. Você valida tudo</strong> usando o recurso “Testar como regra”, que simula a visão de um perfil específico antes de liberar para os usuários reais.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8kuN42lRyzXZ0VCiSuObSQ.png" /></figure><h3>RLS estático ou dinâmico? Qual usar?</h3><p>Aqui está a escolha mais importante na hora de implementar o RLS.</p><h3>RLS estático</h3><p>No estático, você cria uma regra para cada grupo e escreve um filtro fixo no DAX:</p><pre>[Região] = &quot;Sudeste&quot;</pre><p>Funciona bem quando os perfis de acesso são poucos e mudam raramente. O problema aparece quando a empresa cresce: para cada novo vendedor em uma nova região, você precisa criar ou ajustar uma regra manualmente.</p><h3>RLS dinâmico</h3><p>No dinâmico, você usa funções DAX que identificam quem está logado:</p><pre>[EmailUsuario] = USERPRINCIPALNAME()</pre><p>A lógica é diferente: em vez de criar uma regra por pessoa, você mantém uma <strong>tabela de mapeamento</strong> dentro do modelo, que relaciona o e-mail de cada usuário ao que ele pode ver. Quando alguém abre o relatório, o DAX consulta essa tabela e aplica o filtro automaticamente.</p><p>A documentação da Microsoft aponta o RLS dinâmico como a <strong>abordagem mais comum</strong> justamente por isso: uma única definição de regra serve para centenas de usuários. Para adicionar ou remover um acesso, você atualiza a tabela de mapeamento. Sem mexer no relatório, sem republicar.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*I-ApTHHzYZP4BSMONk-s8A.png" /></figure><p>Uma dica importante da documentação: ao montar essa tabela de mapeamento, use o valor retornado por USERPRINCIPALNAME() como chave, não o atributo email do Microsoft Entra ID. Para a maioria dos usuários são iguais, mas quando o e-mail é um alias eles podem divergir, e o filtro quebra silenciosamente.</p><h3>O ponto que mais pega: regras aditivas</h3><p>Esse é o comportamento do RLS que mais surpreende quem vem de outras ferramentas.</p><p>Quando um usuário pertence a mais de uma regra, os filtros são <strong>aditivos</strong>. Isso significa que ele vai enxergar a <strong>união</strong> dos dados de todas as regras às quais pertence. Não existe o conceito de “uma vez negado, sempre negado” como acontece no SQL Server.</p><p>Um exemplo concreto: imagine uma regra chamada Vendedores que bloqueia o acesso à tabela de Folha de Pagamento. Mas existe também uma regra chamada Gestores que libera tudo nessa tabela. Um usuário que estiver nas duas regras ao mesmo tempo vai ver todos os registros de Folha de Pagamento.</p><p>A recomendação da documentação é clara: <strong>crie uma única regra que cubra todas as permissões de um usuário</strong>, em vez de empilhar várias regras sobrepostas.</p><h3>Quem pode entrar em uma regra?</h3><p>No Power BI Service, você associa membros a uma regra digitando o e-mail ou nome do grupo. A documentação especifica quais tipos de grupo são suportados:</p><ul><li>Grupos de distribuição</li><li>Grupos habilitados para e-mail</li><li>Grupos de Segurança do Microsoft Entra</li></ul><p>Um ponto que pega muita gente: <strong>grupos do Microsoft 365 não são suportados</strong> e não podem ser adicionados a regras RLS.</p><p>A recomendação da Microsoft é usar grupos de segurança do Entra ID sempre que possível. Isso separa bem as responsabilidades: o analista de BI cuida do modelo e das regras.</p><h3>Validando antes de liberar</h3><p>O recurso “Testar como regra” no Power BI Service é o caminho oficial para validar o RLS antes de chegar nos usuários. Na prática, você verifica três coisas:</p><ul><li>O relatório mostra apenas as linhas que a expressão de filtro permite</li><li>Os visuais e gráficos refletem os dados filtrados, não o dataset completo</li><li>No RLS dinâmico, os dados batem com a identidade mostrada no cabeçalho “Agora visualizando como”</li></ul><p>Uma limitação importante: esse recurso <strong>não funciona para modelos DirectQuery com SSO habilitado</strong>. Nesses casos, a validação precisa ser feita fazendo login como um usuário real com função de Visualizador.</p><h3>A conexão com governança de dados</h3><p>O RLS resolve um problema técnico, mas o impacto vai além da configuração.</p><p>Em uma arquitetura de BI madura, governança de dados significa garantir que as pessoas certas acessem os dados certos, pelo motivo certo. O RLS contribui diretamente para isso em três frentes:</p><p><strong>Controle centralizado e escalável.</strong> Uma única solução gerenciada substitui dezenas de relatórios duplicados. Menos versões paralelas circulando, menos risco de alguém trabalhar com dados desatualizados.</p><p><strong>Conformidade e rastreabilidade.</strong> Em setores como saúde, finanças e jurídico, legislações como a LGPD exigem que o acesso a dados sensíveis seja controlável e auditável. O RLS combinado com os logs de auditoria do Power BI Service cria essa camada.</p><p><strong>Segurança que não depende da interface.</strong> O RLS opera dentro do modelo de dados, não na camada visual. Isso significa que a restrição vale independente de como o usuário interage com o relatório: slicers, drill-through, exportação ou “Analisar no Excel”. Mesmo com permissão de build, o Visualizador só acessa o que o RLS permite.</p><h3>O que o RLS não faz (e você precisa saber)</h3><p>Para uma governança honesta, tão importante quanto saber o que o RLS faz é entender seus limites:</p><p>O RLS filtra linhas, mas <strong>não restringe acesso a colunas, tabelas ou medidas</strong>. Para isso existe o OLS (Object-Level Security), que é um recurso separado.</p><p><strong>Entidades de serviço não podem ser adicionadas a regras RLS.</strong> Aplicativos que usam service principal como identidade final ficam fora do controle do RLS.</p><p>Em <strong>conexões dinâmicas com Analysis Services</strong>, o RLS precisa ser configurado no modelo do AS, não no Power BI.</p><p>Por fim, se um relatório referenciar uma linha que o RLS bloqueia, o visual vai mostrar a mesma mensagem de um campo excluído ou inexistente. Para o usuário final pode parecer que o relatório está quebrado, então vale comunicar esse comportamento à equipe.</p><h3>Resumindo</h3><p>O RLS é uma das formas mais diretas de transformar um ambiente de BI em algo governável de verdade. Ele permite crescer sem multiplicar trabalho de manutenção e garante que cada pessoa veja só o que deve ver.</p><p>A abordagem dinâmica com USERPRINCIPALNAME() e grupos de segurança no Entra ID é o caminho para quem quer escalabilidade: você ajusta o acesso na tabela de mapeamento, sem tocar no relatório.</p><p>Quando dados são ativos estratégicos, controlar quem acessa o quê não é um detalhe de implementação. É parte do design.</p><p><em>Referências:</em></p><ul><li><a href="https://learn.microsoft.com/pt-br/fabric/security/service-admin-row-level-security">RLS (segurança em nível de linha) com o Power BI — Microsoft Learn</a></li><li><a href="https://learn.microsoft.com/pt-br/power-bi/guidance/rls-guidance">Diretrizes de RLS no Power BI Desktop — Microsoft Learn</a></li><li><a href="https://learn.microsoft.com/pt-br/training/modules/row-level-security-power-bi/">Proteger o acesso a dados no Power BI — Microsoft Learn Training</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=74f6484e6414" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[O Ciclo de Vida da Engenharia de Dados]]></title>
            <link>https://medium.com/@francisconetto436/o-ciclo-de-vida-da-engenharia-de-dados-b2c3bdeab9bb?source=rss-dd974bb58b05------2</link>
            <guid isPermaLink="false">https://medium.com/p/b2c3bdeab9bb</guid>
            <dc:creator><![CDATA[Francisco Neto]]></dc:creator>
            <pubDate>Tue, 05 May 2026 01:17:06 GMT</pubDate>
            <atom:updated>2026-05-05T01:17:06.545Z</atom:updated>
            <content:encoded><![CDATA[<p>Quando comecei a estudar engenharia de dados de forma mais séria, ficava focado demais nas ferramentas. Python, SQL, Airflow, Spark, cada uma no seu quadradinho, sem muita conexão entre elas.</p><p>Foi lendo <em>Fundamentos da Engenharia de Dados</em> que essa visão mudou. Parei de pensar em tecnologias isoladas e comecei a enxergar o ciclo de vida completo dos dados. Esse post é minha forma de organizar o que aprendi no Capítulo 2, conectando teoria com o que vejo na prática.</p><h3>O ciclo de vida</h3><p>O ciclo é composto por cinco estágios que transformam dados brutos em algo útil para analistas, cientistas de dados e times de negócio:</p><ol><li><strong>Geração</strong> — onde os dados nascem</li><li><strong>Armazenamento</strong> — onde ficam guardados</li><li><strong>Ingestão</strong> — como entram no pipeline</li><li><strong>Transformação</strong> — como são processados</li><li><strong>Disponibilização</strong> — como chegam a quem vai usá-los</li></ol><p>Um detalhe que me chamou atenção: esse ciclo raramente segue uma ordem linear. As etapas se repetem, se sobrepõem e se entrelaçam. E o engenheiro de dados não controla tudo, ele atua nas etapas que são suas e entrega para quem vem depois.</p><h3>Geração: entender a origem</h3><p>Os dados nascem em sistemas de origem que o engenheiro normalmente não controla. Podem ser bancos relacionais, dispositivos IoT, APIs, logs de aplicação. O que muda entre eles não é só o formato, é a frequência, a consistência, a possibilidade de atraso e se o esquema pode mudar sem aviso.</p><p>Antes de qualquer pipeline, algumas perguntas precisam ser respondidas: quantos eventos por segundo esse sistema gera? Os dados chegam com atraso? Existem duplicatas? Ignorar isso no começo cria problemas difíceis de rastrear lá na frente.</p><h3>Armazenamento: a decisão que afeta tudo</h3><p>O armazenamento está conectado com todos os outros estágios. Um data warehouse em nuvem, por exemplo, não apenas armazena, ele também processa e disponibiliza.</p><p>Um conceito que ficou claro nos estudos é o de temperatura dos dados. Dados quentes são acessados o tempo todo e precisam de resposta rápida. Dados mornos são acessados periodicamente. Dados frios raramente são consultados e ficam retidos por conformidade ou recuperação de desastres. Essa lógica define diretamente qual solução de armazenamento faz mais sentido em cada caso.</p><p>Trabalhando com Microsoft Fabric e Azure, percebo isso na prática: onde você armazena muda a performance, o custo e a facilidade de acesso downstream.</p><h3>Ingestão: lote ou streaming?</h3><p>Uma percepção que mudou minha forma de pensar no assunto: todo dado é, na essência, um stream. A ingestão em lote é apenas uma forma de processar esse stream em blocos, em intervalos definidos. Não são opostos, são estratégias para situações diferentes.</p><p>Batch funciona bem para grandes volumes onde a latência não é crítica, como relatórios consolidados e treinamento de modelos. Streaming faz sentido quando a resposta precisa ser em segundos ou milissegundos.</p><p>Existem também dois modelos de ingestão: push, onde o sistema de origem envia os dados, e pull, onde o pipeline vai buscar. O ETL tradicional é um exemplo de pull. Estudando Apache Airflow, vejo isso diretamente na orquestração de pipelines batch.</p><h3>Transformação e Disponibilização</h3><p>A transformação é onde o dado bruto se torna algo utilizável. Vai desde limpeza e padronização até enriquecimento com outras fontes e pré-processamento para ML. Com Python, pandas, PySpark e SQL, tenho aplicado essas etapas nos estudos e no trabalho. A qualidade da transformação depende de quanto você conhece o dado de origem, esse é um ponto que só faz sentido quando você já errou por ignorá-lo.</p><p>A disponibilização é onde o valor aparece. Analytics e BI, modelos de machine learning, relatórios operacionais. Trabalhando vejo todos os dias que a qualidade do que chega aqui é consequência direta de tudo que aconteceu antes.</p><h3>As subcorrentes que atravessam tudo</h3><p>Existe um conjunto de elementos que não pertencem a um estágio específico, mas atravessam todos eles, o que o livro chama de <em>undercurrents</em>.</p><p>Arquitetura de dados define como as peças se conectam desde o início. Gerenciamento de metadados garante rastreabilidade e governança. Orquestração coordena quando e como cada etapa executa. Segurança precisa estar no design, não colada depois. DataOps trata pipelines com o mesmo rigor de software em produção. Todos esses elementos determinam se o ciclo funciona bem ou vai acumulando dívida técnica.</p><h3>O que esse estudo mudou</h3><p>Antes de entrar em dados, trabalhei no ambiente industrial da CSN. Uma coisa que o chão de fábrica ensina: processo mal projetado gera defeito, não importa a qualidade da matéria-prima.</p><p>Com dados é igual. Entender o ciclo de vida completo mudou a forma como estudo, como trabalho e como conecto as peças. As ferramentas continuam sendo importantes, mas agora sei o lugar de cada uma dentro do fluxo.</p><p>Me conta: qual etapa do ciclo você acha mais desafiadora na prática?</p><p>#EngenhariadeDados #DataEngineering #Pipeline #ApacheAirflow #MicrosoftFabric</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b2c3bdeab9bb" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[ETL: o que é e por que todo dado passa por isso antes de virar informação]]></title>
            <link>https://medium.com/@francisconetto436/etl-o-que-%C3%A9-e-por-que-todo-dado-passa-por-isso-antes-de-virar-informa%C3%A7%C3%A3o-4276a05ea3b7?source=rss-dd974bb58b05------2</link>
            <guid isPermaLink="false">https://medium.com/p/4276a05ea3b7</guid>
            <dc:creator><![CDATA[Francisco Neto]]></dc:creator>
            <pubDate>Sat, 25 Apr 2026 02:34:01 GMT</pubDate>
            <atom:updated>2026-04-25T02:34:01.528Z</atom:updated>
            <content:encoded><![CDATA[<p>Você já se perguntou como empresas transformam milhões de registros brutos em dashboards bonitos e decisões inteligentes?</p><p>Por trás de quase todo relatório, gráfico ou insight existe um processo chamado <strong>ETL</strong>. Simples de entender, poderoso na prática.</p><h3>O que é ETL?</h3><p>ETL é a sigla para <strong>Extract, Transform, Load</strong> — em português: Extrair, Transformar e Carregar.</p><p>É o processo responsável por pegar dados de uma fonte, tratá-los e armazená-los em um lugar organizado para análise.</p><p>Pensa assim:</p><blockquote>Você trabalha em uma loja e recebe pedidos de clientes por WhatsApp, e-mail e telefone. Cada um chega de um jeito diferente, com informações faltando ou escritas de formas distintas. Antes de conseguir entender quantos pedidos você teve no mês, precisa juntar tudo, padronizar e organizar. Só depois consegue analisar.Isso é ETL.</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/453/1*z_vK5Vp6eoZdwXdNCdvdOA.png" /></figure><h3>As três etapas</h3><p><strong>Extract — Extração</strong></p><p>É onde os dados são coletados. A fonte pode ser uma API, um arquivo CSV, um banco de dados, um site, ou qualquer outro sistema.</p><p>No meu projeto com o dataset da Olist, um e-commerce brasileiro com mais de 100 mil pedidos reais, a extração foi feita via API do Kaggle direto pelo Python, sem precisar baixar nada manualmente.</p><p><strong>Transform — Transformação</strong></p><p>Aqui os dados são limpos e padronizados. É a etapa mais importante e geralmente a mais trabalhosa.</p><p>No projeto, alguns exemplos de transformações feitas:</p><pre>import pandas as pd<br>import sqlite3<br>conn = sqlite3.connect<br># Transformação título nas cidades<br>df = pd.read_sql(&quot;SELECT * FROM clientes&quot;, conn)<br>df[&quot;customer_city&quot;] = df[&quot;customer_city&quot;].str.title()<br>df.to_sql(&quot;clientes&quot;, conn, if_exists=&quot;replace&quot;, index=False)<br>print(df[&quot;customer_city&quot;].head(10))<br>conn.close()</pre><ul><li>Arquivos com encodings diferentes (latin-1 e UTF-8) foram tratados para evitar erros de leitura</li><li>Colunas de data foram convertidas para o tipo correto</li></ul><p>Sem essas transformações, a análise seria comprometida ou simplesmente impossível.</p><p><strong>Load — Carga</strong></p><p>Os dados tratados são carregados em um banco de dados estruturado, pronto para consultas e análises.</p><p>No projeto, os dados foram organizados em 8 tabelas relacionadas no MySQL — pedidos, clientes, produtos, pagamentos, avaliações, vendedores e categorias.</p><h3>O que o ETL produz?</h3><p>Um ETL bem feito entrega um banco de dados estruturado e confiável. E é a partir daí que o trabalho começa de verdade. O dado tratado pode alimentar diferentes produtos, dependendo do objetivo do negócio.</p><p><strong>Análise com SQL e Python</strong></p><p>O uso mais direto. Com o banco estruturado, é possível escrever queries para responder perguntas reais e integrar com Python para manipular e visualizar os resultados. No projeto da Olist, foi exatamente isso que aconteceu — queries SQL alimentando gráficos interativos com Plotly.</p><p><strong>Business Intelligence (BI)</strong></p><p>Ferramentas como Power BI, Tableau e Looker consomem bancos estruturados para gerar dashboards e relatórios automáticos. Sem um ETL bem feito, esses dashboards mostram dados errados ou incompletos.</p><p><strong>Inteligência Artificial e Machine Learning</strong></p><p>Modelos de ML precisam de dados limpos, padronizados e bem estruturados para aprender. Um ETL mal feito contamina o modelo com ruído e compromete as previsões. Dados de qualidade são o combustível de qualquer modelo de IA.</p><p><strong>Data Warehouses e Data Lakes</strong></p><p>Empresas que trabalham com grandes volumes de dados centralizam tudo em um repositório único, como um Data Warehouse ou Data Lake. O ETL é o processo que alimenta esses repositórios, garantindo que os dados cheguem organizados e prontos para uso em escala.</p><h3>Por que isso importa?</h3><p>Dados brutos raramente estão prontos para uso. Eles chegam incompletos, inconsistentes, em formatos diferentes e muitas vezes corrompidos.</p><p>O ETL garante que a informação que chega para análise seja <strong>confiável</strong>. Um gráfico bonito baseado em dados sujos é pior do que não ter gráfico nenhum.</p><h3><strong>Resumindo</strong></h3><p><strong>Extract</strong> — Coleta os dados. No projeto: Kaggle API via Python.</p><p><strong>Transform</strong> — Limpa e padroniza. No projeto: encoding, normalização de texto e tipos de dados.</p><p><strong>Load</strong> — Armazena estruturado. No projeto: MySQL com 8 tabelas relacionadas.</p><p>ETL não é glamouroso. Mas é a fundação de qualquer projeto de dados bem feito, seja uma análise simples em Python, um dashboard no Power BI ou um modelo de Machine Learning.</p><p><em>Confira o projeto completo no GitHub: </em><a href="https://github.com/FranciscoPNeto/brazilian-ecommerce">https://github.com/FranciscoPNeto/brazilian-ecommerce</a></p><p><em>Referência: </em><a href="https://azure.microsoft.com/pt-br/resources/cloud-computing-dictionary/what-is-etl"><em>O que é ETL? — Microsoft</em></a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4276a05ea3b7" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>