<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Luiz Fernando Oliveira on Medium]]></title>
        <description><![CDATA[Stories by Luiz Fernando Oliveira on Medium]]></description>
        <link>https://medium.com/@lf.nandooliveeira?source=rss-1a1c9415f0f6------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*dmbNkD5D-u45r44go_cf0g.png</url>
            <title>Stories by Luiz Fernando Oliveira on Medium</title>
            <link>https://medium.com/@lf.nandooliveeira?source=rss-1a1c9415f0f6------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 09:05:04 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@lf.nandooliveeira/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Quem sustenta tudo isso?]]></title>
            <link>https://medium.com/@lf.nandooliveeira/quem-sustenta-tudo-isso-0a17a4dcb314?source=rss-1a1c9415f0f6------2</link>
            <guid isPermaLink="false">https://medium.com/p/0a17a4dcb314</guid>
            <category><![CDATA[data-quality]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[data]]></category>
            <category><![CDATA[big-data]]></category>
            <dc:creator><![CDATA[Luiz Fernando Oliveira]]></dc:creator>
            <pubDate>Tue, 18 Nov 2025 01:56:06 GMT</pubDate>
            <atom:updated>2025-11-18T01:56:06.271Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/880/1*ByH84OhFx63X-6zWGSboQw.png" /></figure><p>Como um bom estudante de engenharia de dados, entusiasta e simpatizante da matéria de IA e ML, não pude deixar de notar, durante toda a minha jornada de estudos, o grande hype e atenção que os modelos, agentes e assuntos como RAG e MCP tiveram nos últimos tempos.</p><p>Para ser bem sincero, eu também sou um entusiasta e tanto do assunto mas, devido a uma boa base de engenharia de dados, dificilmente acredito que podemos criar um bom produto de dados, modelo de previsão de vendas/churn ou qualquer aplicação de IA sem investir e gastar um bom tempo cuidando da qualidade de dados.</p><p>Não me leve a mal, o que gera dinheiro e se torna uma vantagem competitiva para a empresa são os produtos de dados, ML e etc. Isso sem dúvida alguma, porém, nenhuma aplicação se sustenta se começar pelo fim. Sem dados consistentes, completos, íntegros e confiáveis, nenhum modelo, por mais avançado que seja, será capaz de gerar valor real.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/812/1*n7rjlEqFDBvFkZMSSKHYPQ.png" /></figure><p>No cenário atual, vivemos em um ambiente hiperconectado onde o volume, a variedade e a velocidade dos dados aumentam em escala exponencial. Esse movimento, já amplamente discutido em Big Data, tornou-se ainda mais crítico com o avanço da IA generativa.</p><p>Se antes erros em dados resultavam “somente” em dashboards imprecisos, hoje eles podem distorcer modelos preditivos, gerar recomendações equivocadas, comprometer análises financeiras e até influenciar decisões automatizadas de grande impacto. A consequência? Perda de confiança, aumento de riscos e decisões estratégicas com base em informações incorretas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RuIiF3CdW3RhSKKeQOrHeQ.png" /></figure><h4>Como funciona, na prática, investir em qualidade de dados?</h4><p>Dentre uma variedade de pilares da qualidade de dados, temos alguns conceitos que é sempre bom pensar e manter como norte nos projetos, sendo eles:</p><ul><li><strong>Acurácia: </strong>os dados representam fielmente a realidade?</li><li><strong>Completude: </strong>há dados faltantes que comprometem análises?</li><li><strong>Consistência: </strong>as informações se contradizem entre sistemas?</li><li><strong>Integridade: </strong>as relações entre os dados estão preservadas?</li><li><strong>Disponibilidade: </strong>os dados estão acessíveis quando necessário?</li><li><strong>Confiabilidade: </strong>posso depender desses dados para decisões críticas?</li></ul><p>Esses, e todos os pilares na qualidade de dados, precisam ser construídos, envolvendo processos, ferramentas, cultura e, acima de tudo, uma arquitetura pensada desde o início para garantir que os dados sejam criados, armazenados e transformados com qualidade.</p><p>Apesar de a engenharia de dados já ter isso muito bem estruturado, diversas empresas pulam essa etapa ou até mesmo não tem ideia de que deveriam seguir esse caminho, tornando assim o processo de desenvolvimento de produtos e aplicações doloroso, custoso e que pode não atingir todo o seu potencial.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Q0kVbmH9iCxweVPFxwYthQ.jpeg" /></figure><h4>Por que adotar um padrão/estratégia de qualidade de dados?</h4><p>No fim do dia, todas as aplicações, produtos e estratégias relacionadas a TI, em empresas que não tem a área de TI como core, tem a missão de gerar valor/lucro ou evitar custo. Sendo assim, para não cair na falha de perceber, somente no final do projeto/sprint, que sua ideia que traria muito retorno para a empresa falhou por falta da qualidade dos seus dados, pense em:</p><ul><li><strong>Ver dados como ativo estratégico</strong>, não subproduto de operação;</li><li><strong>Investir em padronização</strong>, governança e arquitetura;</li><li><strong>Estabelecer indicadores de qualidade</strong>;</li><li><strong>Criar uma cultura e sentimento de dono dos dados, </strong>fazendo assim toda a equipe prezar pela qualidade dos dados.</li></ul><p>Estamos vivendo uma era em que todos querem colher os frutos da inteligência artificial, mas poucos querem preparar o solo. Dados não estruturados, inconsistentes e mal governados não são uma base para inovação, são uma armadilha silenciosa.</p><p>Se os dados são o novo petróleo, então <strong>engenharia e qualidade de dados são as refinarias</strong>. Sem elas, não existe combustível para impulsionar a verdadeira transformação digital.</p><p>Livro para quem quiser se aprofundar mais no tema: Fundamentos da Qualidade de Dados (<a href="https://a.co/d/ggihmDy">https://a.co/d/ggihmDy</a>).</p><p>Agradeço a leitura, se você chegou até aqui, e deixe seu comentário sobre o assunto logo abaixo.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=0a17a4dcb314" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Como estruturei um projeto de engenharia de dados com SQL Server, Azure e Databricks]]></title>
            <link>https://medium.com/@lf.nandooliveeira/como-estruturei-um-projeto-de-engenharia-de-dados-hibrido-com-sql-server-azure-e-databricks-b73f094ae65f?source=rss-1a1c9415f0f6------2</link>
            <guid isPermaLink="false">https://medium.com/p/b73f094ae65f</guid>
            <category><![CDATA[cloud-computing]]></category>
            <category><![CDATA[azure]]></category>
            <category><![CDATA[databricks]]></category>
            <category><![CDATA[data-architecture]]></category>
            <category><![CDATA[data-engineering]]></category>
            <dc:creator><![CDATA[Luiz Fernando Oliveira]]></dc:creator>
            <pubDate>Thu, 08 May 2025 22:55:45 GMT</pubDate>
            <atom:updated>2025-05-08T23:18:33.754Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*IdwRsx-LXkG-sBhr.jpg" /></figure><p><em>Neste artigo, compartilho como foi construído um projeto de engenharia de dados integrando dados on-premise com serviços na nuvem da Azure.</em></p><p><em>O objetivo era aplicar conhecimentos teóricos de maneira prática, resolvendo um problema de negócio hipotético, onde foi definido com o cliente que seria melhor manter seus servidores locais, e utilizar serviços da cloud Azure para análise de dados pelo time de Analistas e criação de algoritmos de ML pelo time de Data Science.</em></p><p>A arquitetura do projeto, após levantamento dos requisitos e definição da cloud de melhor custo/praticidade para a empresa, ficou assim:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-Bqy3pDSiGVNJmcJQjrHwQ.png" /></figure><p>A solução foi desenhada para orquestrar um pipeline de dados moderno e escalável utilizando as seguintes camadas:</p><h4>1. Ingestão</h4><ul><li>Utilizei o <strong>Azure Data Factory (ADF)</strong> com <strong>Integration Runtime</strong> para extrair os dados do SQL Server local.</li><li>Essa etapa garantiu a movimentação segura e programada dos dados da infraestrutura legada para a nuvem.</li></ul><p>Ex da aplicação pelo ADF:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*z218H7SIfU-zx0skjYh3EQ.png" /></figure><p>For Each percorrendo todas as tabelas no banco de dados, e copiando os arquivos em .parquet para o container bronze no ADLS.</p><h4>2. Armazenamento em Camadas com ADLS Gen2</h4><p>Os dados foram organizados em três camadas:</p><ul><li><strong>Bronze:</strong> Armazenamento de todos os dados brutos do jeito que eles vieram do SQL Server.</li><li><strong>Silver:</strong> Tratamento dos dados, padronização de data e aplicação de regra de negócios.</li><li><strong>Gold:</strong> Dados prontos para consumo analítico.</li></ul><p>Ex da criação do armazenamento bronze dentro do databricks:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zDbk8PTHGoLsDYWjZ8yszQ.png" /></figure><h4>3. Transformações com Databricks</h4><ul><li>As transformações de dados (limpeza, padronização e enriquecimento) foram feitas em <strong>Spark</strong> usando <strong>Azure Databricks</strong>, visando aplicar alguns conhecimentos práticos.</li><li>Foram utilizados formatos Parquet e Delta, sendo o parquet usado na ingestão e da camada bronze para silver, e delta da camada silver para gold.</li></ul><p>Ex dos dados antes do tratamento, na tabela SalesOrderHeader no SQL Server:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bSBPZvwkFDpI7TELnl9tow.png" /></figure><p>Ex após tratamento, no databricks:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KbT1YMqmsAKerMSovab7-A.png" /></figure><p>Exemplo de tratamento das datas da tabela.</p><h4>4. Serviço e Consumo</h4><ul><li>Os dados transformados podem alimentar dashboards no <strong>Power BI</strong>, modelos em <strong>Azure Synapse Analytics</strong> e pipelines de machine learning no <strong>Azure Machine Learning</strong>.</li></ul><h4>5. Governança e Monitoramento</h4><ul><li><strong>Azure Entra ID</strong> (ex-Azure AD) para controle de acesso.</li><li><strong>Key Vault</strong> para gerenciamento de chaves.</li><li><strong>Azure Monitor</strong> para logs e alerta.</li><li><strong>Resource Groups</strong> para organização.</li><li><strong>Cost Management</strong> para acompanhamento financeiro.</li></ul><p>Esse foi um projeto que me trouxe desafios como configuração de runtime de integração para dados locais, controle de acesso com o Entra ID, otimização de custos e aplicação de conceitos de maneira prática, antes vistos só na teoria. Cada obstáculo contribuiu para um entendimento mais profundo das boas práticas em engenharia de dados.</p><p>Entendo ter atingido meu objetivo, sendo o principal deles aplicar alguns conceitos dos estudos que estou fazendo de databricks e azure. Por favor, deixe sua opinião sobre e, se quiser, deixe um comentário em como posso melhorar.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b73f094ae65f" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>