<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Mazoelle Oliveira on Medium]]></title>
        <description><![CDATA[Stories by Mazoelle Oliveira on Medium]]></description>
        <link>https://medium.com/@mazoelle09?source=rss-e0ae3e90145f------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*w3Bcgl2Gi4SDQ7oDi7YKlw.jpeg</url>
            <title>Stories by Mazoelle Oliveira on Medium</title>
            <link>https://medium.com/@mazoelle09?source=rss-e0ae3e90145f------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 15:53:27 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@mazoelle09/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Modelagem Dimensional: organizando os dados para transformar informações em análise]]></title>
            <link>https://medium.com/@mazoelle09/modelagem-dimensional-organizando-os-dados-para-transformar-informa%C3%A7%C3%B5es-em-an%C3%A1lise-9be98428a526?source=rss-e0ae3e90145f------2</link>
            <guid isPermaLink="false">https://medium.com/p/9be98428a526</guid>
            <dc:creator><![CDATA[Mazoelle Oliveira]]></dc:creator>
            <pubDate>Fri, 18 Sep 2026 20:54:26 GMT</pubDate>
            <atom:updated>2026-09-18T20:54:26.979Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/540/1*oZf-cGNUF16lyPWHfNyS0w.jpeg" /></figure><p>Este artigo dá continuidade à série de conteúdos que estou desenvolvendo a partir dos aprendizados adquiridos durante minha formação em <strong>Engenharia e Análise de Dados</strong>, promovida pela <strong>MCIO Brasil em parceria com a Leega Academy</strong>.</p><p>Nos conteúdos anteriores, explorei o caminho percorrido pelos dados dentro de uma arquitetura e como essa estrutura precisa estar preparada para crescer e continuar funcionando conforme aumentam o volume e as demandas.</p><p>Mas existe outra pergunta importante nesse processo:</p><p><strong>Depois que os dados chegam, como podemos organizá-los para facilitar a análise?</strong></p><p>É aqui que entra a <strong>Modelagem Dimensional</strong>.</p><h3>Antes da modelagem dimensional: o que é um modelo de dados?</h3><p>Imagine a construção de uma casa.</p><p>Antes de iniciar a obra, existe uma planta que representa como os diferentes espaços estarão organizados e conectados.</p><p>A planta não é a casa propriamente dita, mas permite visualizar sua estrutura antes da construção.</p><p>Um modelo de dados segue uma lógica semelhante.</p><p>Ele representa como os dados serão estruturados, quais elementos existirão e como estarão relacionados.</p><p>Essa estrutura deve considerar algo fundamental: <strong>as necessidades do negócio</strong>.</p><p>Antes de decidir como organizar tabelas e relacionamentos, precisamos compreender quais informações serão necessárias e quais perguntas deverão ser respondidas.</p><p>Durante esse processo, podemos trabalhar com diferentes níveis de modelagem:</p><p><strong>Modelo conceitual:</strong> apresenta uma visão de alto nível das entidades importantes para o negócio.</p><p><strong>Modelo lógico:</strong> detalha atributos e relacionamentos entre essas entidades.</p><p><strong>Modelo físico:</strong> representa como essa estrutura será efetivamente implementada para armazenamento dos dados.</p><p>Uma maneira simples de pensar nesses três níveis é:</p><p><strong>Conceitual → O que existe?</strong></p><p><strong>Lógico → Como se relaciona?</strong></p><p><strong>Físico → Como será implementado?</strong></p><h3>Modelagem dimensional: olhando para os dados pela perspectiva da análise</h3><p>Imagine uma empresa que registra centenas ou milhares de vendas todos os dias.</p><p>Registrar essas operações é importante, mas, para analisar o desempenho do negócio, surgem outras perguntas:</p><p><strong>O que aconteceu?</strong></p><p><strong>Quando aconteceu?</strong></p><p><strong>Quem participou?</strong></p><p><strong>Onde aconteceu?</strong></p><p><strong>Quanto foi vendido?</strong></p><p>Essas perguntas ajudam a compreender dois elementos fundamentais da modelagem dimensional:</p><p><strong>tabelas fato e tabelas dimensão.</strong></p><h3>Como identificar Fato, Dimensão e Medida na prática?</h3><p>Essa foi uma das formas que mais me ajudou a compreender o conceito durante os estudos.</p><p>Vamos imaginar a seguinte situação:</p><blockquote><em>Em 10/09, o </em><strong><em>Posto A</em></strong><em> realizou uma venda de </em><strong><em>500 litros de combustível</em></strong><em>, no valor de </em><strong><em>R$ 3.000</em></strong><em>, paga com </em><strong><em>cartão</em></strong><em>.</em></blockquote><p>Agora podemos desmontar essa situação fazendo algumas perguntas.</p><h3>1. O que aconteceu?</h3><p><strong>Uma venda.</strong></p><p>Esse é o acontecimento que queremos analisar.</p><p>Portanto, poderíamos ter uma:</p><p><strong>FatoVendas</strong></p><p>A tabela fato representa o acontecimento ou ocorrência do negócio que queremos analisar.</p><h3>2. Quando aconteceu?</h3><p><strong>10/09</strong></p><p>Essa informação pode estar relacionada a uma:</p><p><strong>DimData</strong></p><h3>3. Onde aconteceu?</h3><p><strong>Posto A</strong></p><p>Podemos ter uma:</p><p><strong>DimPosto</strong></p><h3>4. O que foi vendido?</h3><p><strong>Combustível</strong></p><p>Podemos ter uma:</p><p><strong>DimProduto</strong></p><h3>5. Como a venda foi paga?</h3><p><strong>Cartão</strong></p><p>Podemos ter uma:</p><p><strong>DimFormaPagamento</strong></p><p>Agora ainda temos duas informações:</p><p><strong>500 litros</strong></p><p><strong>R$ 3.000</strong></p><p>Essas são informações numéricas que podemos analisar.</p><p>Portanto, podem representar nossas <strong>medidas</strong>:</p><p><strong>Quantidade vendida → 500 litros</strong></p><p><strong>Valor da venda → R$ 3.000</strong></p><p>Foi a partir desse exemplo que uma regra mental começou a fazer bastante sentido para mim:</p><p><strong>FATO → O que aconteceu?</strong></p><p><strong>DIMENSÃO → Quem? O quê? Quando? Onde? Como?</strong></p><p><strong>MEDIDA → Quanto? Quantos?</strong></p><p>Por exemplo, um <strong>cliente não é o fato</strong> apenas porque aparece em uma venda.</p><p>O cliente participa e fornece contexto ao acontecimento.</p><p>O que aconteceu foi <strong>a venda</strong>.</p><p>Essa diferença parece simples depois que entendemos, mas é fundamental para começar a raciocinar sobre modelagem dimensional.</p><h3>E como essas tabelas se conectam?</h3><p>Podemos imaginar nossa estrutura assim:</p><p><strong>DimData</strong><br>↓<br><strong>DimPosto → FatoVendas ← DimProduto</strong><br>↓<br><strong>DimFormaPagamento</strong></p><p>A <strong>FatoVendas</strong> fica no centro, contendo as referências necessárias para as dimensões e as medidas relacionadas às vendas.</p><p>As dimensões ficam ao redor, fornecendo diferentes perspectivas para analisar aquele acontecimento.</p><p>É justamente aqui que começamos a enxergar nosso próximo conceito.</p><h3>Star Schema: quando o modelo começa a formar uma estrela</h3><p>Quando colocamos a tabela fato no centro e as diferentes dimensões ao redor, a estrutura começa visualmente a lembrar uma estrela.</p><p>⭐ É daí que vem o nome <strong>Star Schema</strong>, ou esquema estrela.</p><p>Imagine agora que a empresa queira analisar:</p><p><strong>Valor das vendas por produto</strong></p><p><strong>Valor das vendas por posto</strong></p><p><strong>Quantidade vendida por mês</strong></p><p><strong>Vendas por forma de pagamento</strong></p><p>Continuamos analisando o mesmo acontecimento <strong>Venda</strong> , mas utilizando diferentes dimensões para observá-lo.</p><p>Essa foi uma das conexões que mais me aproximou do <strong>Power BI</strong>.</p><p>Quando criamos um modelo com uma tabela fato relacionada às dimensões e depois analisamos uma medida por produto, cliente, período ou localização, começamos a colocar essa lógica em prática.</p><h3>Snowflake: quando as dimensões ganham novas ramificações</h3><p>Agora imagine que a dimensão Produto contenha informações como:</p><p>Produto</p><p>Categoria</p><p>Departamento</p><p>No Star Schema, essas informações podem permanecer dentro da própria dimensão.</p><p>No <strong>Snowflake</strong>, partes dessa estrutura podem ser separadas em outras tabelas relacionadas.</p><p>Por exemplo:</p><p><strong>FatoVendas → DimProduto → DimCategoria → DimDepartamento</strong></p><p>A estrutura começa a ganhar ramificações, lembrando um floco de neve.</p><p>❄️ Daí o nome <strong>Snowflake</strong>.</p><p>Enquanto o Star Schema mantém uma estrutura mais direta entre fatos e dimensões, o Snowflake pode aumentar a quantidade de tabelas e relacionamentos necessários para chegar a determinadas informações.</p><p>Mais do que decorar os formatos, o importante para mim foi compreender que <strong>a maneira como organizamos os dados influencia a forma como eles serão consultados e analisados</strong>.</p><h3>E quando uma dimensão muda?</h3><p>Aqui encontrei um dos conceitos mais interessantes desta etapa dos estudos.</p><p>Imagine que Maria seja uma cliente da empresa.</p><p>Em 2024:</p><p><strong>Maria → Rio de Janeiro</strong></p><p>Em 2026:</p><p><strong>Maria → São Paulo</strong></p><p>Surge então uma pergunta:</p><p><strong>Devemos simplesmente substituir Rio de Janeiro por São Paulo ou precisamos preservar que, no momento das compras anteriores, Maria morava no Rio de Janeiro?</strong></p><p>Essa situação nos leva ao conceito de <strong>SCD — Slowly Changing Dimensions</strong>.</p><p>Existem diferentes maneiras de lidar com essas mudanças.</p><p>No <strong>SCD Tipo 1</strong>, a informação antiga é substituída pela nova.</p><p>É como pegar uma ficha escrita a lápis, apagar:</p><p><strong>Rio de Janeiro</strong></p><p>e escrever:</p><p><strong>São Paulo.</strong></p><p>O histórico anterior deixa de ser preservado.</p><p>No <strong>SCD Tipo 2</strong>, mantemos diferentes versões do registro.</p><p>Podemos ter:</p><p><strong>Maria → Rio de Janeiro → período anterior</strong></p><p><strong>Maria → São Paulo → período atual</strong></p><p>Assim, conseguimos preservar o histórico completo das mudanças.</p><p>No <strong>SCD Tipo 3</strong>, podemos manter o valor atual e o anterior.</p><p>Por exemplo:</p><p><strong>Cidade atual → São Paulo</strong></p><p><strong>Cidade anterior → Rio de Janeiro</strong></p><p>Já no <strong>SCD Tipo 4</strong>, podemos imaginar dois arquivos: um contendo os dados atuais e outro separado contendo o histórico.</p><p>Essa parte do estudo me mostrou como uma decisão aparentemente simples de atualização cadastral pode impactar diretamente uma análise histórica.</p><h3>Metadados: o rótulo que ajuda a compreender os dados</h3><p>Imagine encontrar uma lata sem nenhum rótulo.</p><p>Existe algo dentro dela, mas não sabemos exatamente o quê, sua origem ou como deve ser utilizado.</p><p>O rótulo fornece informações sobre aquele conteúdo.</p><p>Essa analogia ajuda a compreender os <strong>metadados</strong>, que podemos resumir como:</p><p><strong>dados que descrevem outros dados.</strong></p><p>Eles podem fornecer informações técnicas, de negócio ou operacionais.</p><p>Imagine, por exemplo, encontrar uma coluna chamada:</p><p><strong>VL_VDA</strong></p><p>Sem contexto, talvez não saibamos exatamente o que representa.</p><p>Quando existe uma definição informando que o campo significa <strong>Valor da Venda</strong>, temos mais contexto para interpretar e utilizar aquele dado corretamente.</p><p>Por isso, metadados também têm relação com compreensão, organização e governança dos dados.</p><h3>Do sistema operacional para a análise</h3><p>Outro ponto importante foi compreender que uma estrutura criada para registrar as operações de uma empresa não necessariamente será a melhor estrutura para realizar análises.</p><p>Imagine novamente uma loja.</p><p>No momento da compra, o sistema precisa registrar rapidamente produto, cliente, pagamento, quantidade e pedido.</p><p>O objetivo principal naquele momento é <strong>executar e registrar a operação</strong>.</p><p>Posteriormente, a gestão pode querer responder:</p><p><strong>Qual categoria teve maior faturamento?</strong></p><p><strong>Qual região vendeu mais?</strong></p><p><strong>Como as vendas evoluíram ao longo dos meses?</strong></p><p>Agora o objetivo é outro:</p><p><strong>analisar os acontecimentos.</strong></p><p>Por isso, durante a modelagem dimensional, podemos reorganizar os dados para facilitar esse tipo de análise.</p><p>É uma mudança importante de perspectiva:</p><p><strong>registrar uma operação ≠ analisar milhares de operações.</strong></p><h3>Do Data Lake ao dashboard</h3><p>A aula também ampliou novamente essa visão ao mostrar que a modelagem faz parte de uma estrutura ainda maior.</p><p>Uma analogia que me ajudou foi pensar em uma fábrica.</p><p>A matéria-prima chega, passa por diferentes etapas de processamento e somente depois se transforma em um produto pronto para consumo.</p><p>Com os dados, podemos pensar em algo semelhante:</p><p><strong>Fontes → Staging → Dados brutos → Dados consolidados → Dados prontos → Consumo</strong></p><p>Na camada de dados brutos, podemos preservar informações próximas de como foram recebidas.</p><p>Depois começam processos de transformação, união, enriquecimento, formatação e padronização.</p><p>Até chegarmos a dados mais preparados para modelos, indicadores e consumo.</p><p>Essa parte fez uma conexão muito clara com algo que já venho praticando no <strong>Power Query</strong>.</p><p>Quando corrigimos tipos de dados, tratamos erros, padronizamos informações, combinamos bases e transformamos colunas, estamos participando justamente da etapa de <strong>preparação dos dados para análise</strong>.</p><h3>Schema-on-write × Schema-on-read</h3><p>Outro conceito apresentado nessa discussão foi a diferença entre <strong>schema-on-write e schema-on-read</strong>.</p><p>Imagine uma biblioteca.</p><p>Antes de colocar um livro na estante, definimos como ele será classificado e organizado.</p><p>Podemos usar essa ideia para visualizar:</p><p><strong>Schema-on-write → a estrutura é definida antes da gravação dos dados.</strong></p><p>Agora imagine um grande depósito no qual diferentes materiais são armazenados e sua estrutura é interpretada conforme surge a necessidade de utilização.</p><p>Isso nos ajuda a visualizar:</p><p><strong>Schema-on-read → a estrutura é aplicada durante a leitura dos dados.</strong></p><p>Na comparação estudada, o <strong>Data Warehouse</strong> aparece associado ao schema-on-write, enquanto o <strong>Data Lake</strong> oferece maior flexibilidade com schema-on-read.</p><h3>O que essa etapa acrescentou à minha visão sobre BI?</h3><p>Quando comecei a trabalhar com Power BI, era natural olhar principalmente para aquilo que estava mais próximo do resultado final:</p><p><strong>dados → medidas → gráficos → dashboard.</strong></p><p>Estudar arquitetura e modelagem tem ampliado essa visão.</p><p>Antes de uma informação chegar a um gráfico, existem várias decisões:</p><p><strong>De onde esse dado veio?</strong></p><p><strong>Como foi tratado?</strong></p><p><strong>Como foi armazenado?</strong></p><p><strong>Qual acontecimento estamos analisando?</strong></p><p><strong>Quais são suas dimensões?</strong></p><p><strong>Precisamos preservar histórico?</strong></p><p><strong>Como as tabelas devem se relacionar?</strong></p><p>E somente depois chegamos à visualização.</p><p>Por isso, uma das principais conclusões que levo deste estudo é:</p><p><strong>modelar dados não significa apenas conectar tabelas. Significa organizar os dados de maneira que eles representem corretamente o negócio e permitam que perguntas sejam respondidas através da análise.</strong></p><p>Para quem trabalha com Análise de Dados e Business Intelligence, compreender essa estrutura ajuda a enxergar muito além do dashboard.</p><p>E esse é justamente o caminho que continuo construindo: não apenas aprender a visualizar os dados, mas entender cada vez melhor <strong>como eles chegam, como são organizados e como podem ser transformados em informação útil para a tomada de decisão.</strong></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9be98428a526" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Escalabilidade e Arquitetura de Dados]]></title>
            <link>https://medium.com/@mazoelle09/escalabilidade-e-arquitetura-de-dados-6faecf70a84a?source=rss-e0ae3e90145f------2</link>
            <guid isPermaLink="false">https://medium.com/p/6faecf70a84a</guid>
            <dc:creator><![CDATA[Mazoelle Oliveira]]></dc:creator>
            <pubDate>Thu, 17 Sep 2026 00:12:55 GMT</pubDate>
            <atom:updated>2026-09-17T00:12:55.477Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/554/1*9_2ZaPCbIjv-jS7fX5XnbA.jpeg" /></figure><p>Este artigo dá continuidade à série de conteúdos que estou desenvolvendo a partir dos aprendizados adquiridos durante minha formação em <strong>Engenharia e Análise de Dados</strong>, promovida pela <strong>MCIO Brasil em parceria com a Leega Academy</strong>.</p><p>No primeiro conteúdo, falamos sobre <strong>Arquitetura e Gerenciamento de Dados</strong>, acompanhando o caminho que os dados percorrem desde suas fontes até a análise e a tomada de decisão.</p><p>Agora surge uma nova questão:</p><p><strong>O que acontece quando a quantidade de dados, usuários e necessidades de processamento começa a crescer?</strong></p><p>Uma arquitetura pode funcionar muito bem para uma determinada realidade. Porém, à medida que uma organização cresce, novos sistemas aparecem, mais dados são gerados e diferentes áreas passam a depender dessas informações.</p><p>É nesse cenário que a <strong>escalabilidade</strong> ganha importância.</p><h3>1. Escalabilidade: quando a estrutura precisa acompanhar o crescimento</h3><p>Imagine um restaurante que atende aproximadamente 30 clientes por noite.</p><p>Uma cozinha pequena, poucos funcionários e uma determinada quantidade de equipamentos podem ser suficientes para atender essa demanda.</p><p>Agora imagine que esse mesmo restaurante passe a receber <strong>300 clientes</strong>.</p><p>A estrutura que funcionava anteriormente provavelmente começará a apresentar dificuldades. Mais pedidos precisarão ser processados, haverá maior necessidade de armazenamento, mais pessoas utilizando os recursos e uma pressão maior sobre toda a operação.</p><p>Simplesmente aumentar a demanda sem preparar a estrutura pode gerar atrasos, erros e indisponibilidade.</p><p>Com uma arquitetura de dados acontece algo semelhante.</p><p>À medida que crescem o <strong>volume de dados</strong> e a <strong>demanda por processamento</strong>, a infraestrutura precisa ser capaz de acompanhar esse crescimento sem comprometer excessivamente desempenho, disponibilidade ou custo.</p><p>De forma simples:</p><p><strong>Escalabilidade é a capacidade de uma arquitetura crescer para atender ao aumento da demanda.</strong></p><p>E esse crescimento pode envolver tanto <strong>capacidade computacional</strong> quanto <strong>armazenamento</strong>.</p><p>Mas aumentar a capacidade não significa simplesmente adicionar recursos indefinidamente. Toda decisão de arquitetura também envolve avaliar <strong>necessidade do negócio, desempenho e custo</strong>.</p><h3>2. Sistemas distribuídos: dividir para conseguir processar mais</h3><p>Agora imagine um supermercado em um horário de grande movimento.</p><p>Se dezenas de clientes estiverem esperando e existir apenas <strong>um caixa</strong>, todo o atendimento dependerá daquela única estrutura.</p><p>Uma alternativa é abrir várias caixas e distribuir o trabalho.</p><p>Na arquitetura de dados, uma ideia semelhante aparece nos <strong>sistemas distribuídos</strong>.</p><p>Em vez de todo o armazenamento ou processamento depender de uma única máquina, diferentes máquinas ou <strong>nós</strong> podem compartilhar partes desse trabalho.</p><p>Relacionado a isso está o <strong>processamento paralelo</strong>, no qual diferentes partes de uma tarefa podem ser processadas simultaneamente.</p><p>A analogia das caixas ajuda a visualizar:</p><p><strong>uma única caixa → trabalho concentrado</strong></p><p><strong>várias caixas → trabalho distribuído</strong></p><p>É claro que sistemas distribuídos são tecnicamente muito mais complexos do que simplesmente adicionar máquinas. Mas a ideia principal é compreender que a distribuição de recursos, podem ajudar uma arquitetura a lidar com maiores volumes e demandas.</p><h3>3. Crescer também significa estar preparado para falhas</h3><p>Uma arquitetura não precisa apenas crescer.</p><p>Ela também precisa lidar com a possibilidade de que algo dê errado.</p><p>Imagine um e-commerce durante uma grande campanha promocional.</p><p>Milhares de clientes estão acessando a plataforma, realizando pedidos e efetuando pagamentos.</p><p>Agora imagine que um dos componentes da infraestrutura apresente uma falha.</p><p><strong>Toda a operação deveria parar por causa disso?</strong></p><p>É aqui que dois conceitos importantes aparecem: <strong>tolerância a falhas e alta disponibilidade</strong>.</p><p>A <strong>tolerância a falhas</strong> está relacionada à capacidade de o sistema continuar funcionando mesmo quando algum de seus componentes apresenta problema.</p><p>Já a <strong>alta disponibilidade</strong> busca manter sistemas e serviços disponíveis com o mínimo possível de interrupção.</p><p>Uma maneira simples de diferenciar é:</p><p><strong>Tolerância a falhas → algo falhou, mas o sistema consegue continuar funcionando.</strong></p><p><strong>Alta disponibilidade → o objetivo é manter o serviço acessível e reduzir o tempo de indisponibilidade.</strong></p><p>Em uma organização cada vez mais dependente de dados, ficar sem acesso a determinadas informações pode afetar operações, análises e decisões.</p><h3>4. Replicação: quando existem cópias dos dados</h3><p>Uma das estratégias que podem fazer parte dessas arquiteturas é a <strong>replicação de dados</strong>.</p><p>Imagine que uma informação importante esteja armazenada em um local e exista uma cópia dela em outro.</p><p>Mas surge uma questão:</p><p><strong>quando essa cópia deve ser atualizada?</strong></p><p>Na <strong>replicação síncrona</strong>, a atualização da réplica acontece de forma coordenada antes que a operação seja confirmada.</p><p>Isso favorece a consistência entre os dados, mas pode acrescentar latência ao processo.</p><p>Na <strong>replicação assíncrona</strong>, a operação pode ser confirmada no ambiente principal antes que a réplica termine de receber a atualização.</p><p>Isso pode favorecer o desempenho, mas cria uma janela em que a réplica ainda pode possuir uma versão anterior da informação.</p><p>Não existe simplesmente uma opção “melhor” para todos os cenários.</p><p>A arquitetura precisa considerar os <strong>trade-offs entre consistência, desempenho e risco</strong>, de acordo com as necessidades do negócio.</p><p>Imagine, por exemplo, um pagamento realizado em um e-commerce.</p><p>O cliente pode ter sido cobrado, mas uma falha pode impedir que determinada informação seja registrada corretamente em outra parte do processo.</p><p>Para quem trabalha com análise, isso traz uma reflexão importante:</p><p><strong>um dashboard pode estar tecnicamente correto e ainda assim trabalhar com uma realidade incompleta se algum problema aconteceu antes de os dados chegarem até ele.</strong></p><h3>5. Data Pipeline: não basta construir o caminho</h3><p>No primeiro artigo acompanhamos o caminho do dado desde sua origem até a análise.</p><p>Esse caminho também pode ser observado por meio do conceito de <strong>Data Pipeline</strong>.</p><p>Uma analogia bastante útil é pensar em uma <strong>tubulação</strong>.</p><p>A água possui uma origem, percorre diferentes partes da tubulação e precisa chegar ao seu destino.</p><p>Se existir um bloqueio ou rompimento no meio do caminho, podemos ter um problema mesmo que a torneira final esteja funcionando perfeitamente.</p><p>Com os dados acontece algo parecido.</p><p>Um pipeline representa o caminho pelo qual os dados passam entre sua origem e o destino em que serão utilizados.</p><p>E esse caminho não deve simplesmente ser construído e esquecido.</p><p>Pipelines precisam ser <strong>mantidos, monitorados e otimizados</strong>.</p><p>Imagine um dashboard de vendas que deveria ser atualizado diariamente.</p><p>O Power BI abre normalmente.</p><p>Os gráficos aparecem.</p><p>As medidas continuam funcionando.</p><p>Mas o processo responsável por trazer os novos registros de vendas falhou durante a madrugada.</p><p>O dashboard pode continuar disponível, mas apresentar <strong>dados desatualizados</strong>.</p><p>Mais uma vez, o problema está antes da visualização.</p><h3>6. ETL × ELT: quando os dados são transformados?</h3><p>Ao falar sobre pipelines e movimentação de dados, encontramos dois conceitos importantes: <strong>ETL e ELT</strong>.</p><p>Os dois envolvem três operações:</p><p><strong>Extract → extrair</strong></p><p><strong>Transform → transformar</strong></p><p><strong>Load → carregar</strong></p><p>O que muda é principalmente <strong>a ordem em que transformação e carregamento acontecem</strong>.</p><p>No <strong>ETL — Extract, Transform, Load</strong>, os dados são extraídos da origem, transformados e depois carregados no destino.</p><p>Uma maneira simples de lembrar é:</p><p><strong>ETL → arruma antes de colocar.</strong></p><p>Já no <strong>ELT — Extract, Load, Transform</strong>, os dados são extraídos, carregados no ambiente de destino e posteriormente transformados.</p><p>Nesse caso:</p><p><strong>ELT → coloca primeiro e arruma depois.</strong></p><p>Podemos imaginar novamente a organização de produtos.</p><p>No ETL, primeiro organizamos e preparamos aquilo que recebemos para depois colocá-lo no ambiente final.</p><p>No ELT, primeiro armazenamos o que recebemos e realizamos as transformações posteriormente dentro do ambiente de destino.</p><p>Para quem trabalha com análise e Power Query, a palavra <strong>transformação</strong> já é bastante familiar: corrigir formatos, padronizar valores, tratar inconsistências e criar estruturas adequadas para utilização.</p><p>A diferença importante aqui é compreender <strong>em qual momento essas transformações acontecem em relação ao carregamento dos dados</strong>.</p><h3>7. Desenvolvimento, produção e suporte: cada ambiente possui uma função</h3><p>Uma arquitetura também envolve diferentes ambientes e responsabilidades.</p><p>Podemos imaginar uma apresentação de teatro.</p><p>Antes de o público assistir ao espetáculo, existe um espaço para criação, ajustes e ensaios.</p><p>Depois temos o palco onde a apresentação realmente acontece.</p><p>E, nos bastidores, existe uma equipe garantindo que iluminação, equipamentos e demais estruturas continuem funcionando.</p><p>Essa analogia ajuda a visualizar três ambientes importantes:</p><p><strong>Desenvolvimento → construir, alterar e testar.</strong></p><p>É onde soluções podem ser desenvolvidas e modificadas antes de serem utilizadas oficialmente.</p><p><strong>Produção → executar.</strong></p><p>É o ambiente utilizado na operação real, com dados, usuários, acessos e sistemas em funcionamento.</p><p><strong>Suporte operacional → manter.</strong></p><p>Envolve atividades como monitoramento, administração de segurança, agendamentos, configuração, backup e restauração, além do suporte à operação.</p><p>Uma maneira simples de guardar é:</p><p><strong>Desenvolvimento constrói. Produção executa. Suporte mantém.</strong></p><p>No universo de BI, podemos imaginar uma nova medida ou alteração sendo testada em desenvolvimento, o dashboard oficial sendo disponibilizado em produção e os processos de atualização e funcionamento sendo acompanhados operacionalmente.</p><h3>8. Volume, variedade e velocidade: crescimento não significa apenas “mais dados”</h3><p>Quando pensamos em crescimento, é fácil associá-lo somente à quantidade de informações.</p><p>Mas existem outras características importantes.</p><p>Podemos observar três dimensões:</p><p><strong>Volume → quanto dado existe.</strong></p><p><strong>Variedade → quais tipos e formatos de dados existem.</strong></p><p><strong>Velocidade → com que rapidez os dados são gerados, recebidos ou precisam ser processados.</strong></p><p>Imagine duas empresas.</p><p>Uma precisa atualizar um relatório financeiro <strong>uma vez por dia</strong>.</p><p>Outra precisa acompanhar determinadas operações <strong>quase em tempo real</strong>.</p><p>Mesmo que trabalhem com informações semelhantes, suas necessidades de arquitetura podem ser diferentes.</p><p>Por isso, “tempo real” também precisa estar relacionado à necessidade do negócio.</p><p>Nem toda informação precisa chegar em segundos.</p><p>Em alguns contextos, alguns minutos podem ser aceitáveis. Em outros, uma atualização diária pode ser suficiente.</p><h3>9. OLAP: quando os dados chegam à análise</h3><p>Depois de toda essa infraestrutura, os dados precisam gerar valor para quem os utiliza.</p><p>É nesse contexto que podemos falar de <strong>OLAP — Online Analytical Processing</strong>.</p><p>Imagine que a gestão pergunte:</p><p><strong>Qual foi nossa receita?</strong></p><p>Essa pode ser apenas a primeira pergunta.</p><p>Depois podem surgir outras:</p><p><strong>Qual foi a receita por ano?</strong></p><p><strong>E por trimestre?</strong></p><p><strong>E por mês?</strong></p><p><strong>Qual região vendeu mais?</strong></p><p><strong>Qual categoria teve melhor desempenho?</strong></p><p>Estamos começando a analisar uma medida por diferentes perspectivas ou dimensões.</p><p>No universo de BI, isso é bastante familiar.</p><p>Podemos ter uma medida como <strong>Receita</strong> sendo analisada pelas dimensões <strong>Tempo, Produto, Cliente ou Região</strong>.</p><p>Algumas operações ajudam nessa exploração.</p><p><strong>Drill-down</strong> significa sair de uma visão mais geral para uma mais detalhada, como:</p><p><strong>Ano → Trimestre → Mês → Dia</strong></p><p>Já o <strong>roll-up</strong> percorre o caminho contrário, saindo do detalhe para uma visão mais agregada.</p><p>Também encontramos diferentes abordagens de OLAP:</p><p><strong>ROLAP → baseado em estruturas relacionais.</strong></p><p><strong>MOLAP → baseado em estruturas multidimensionais.</strong></p><p><strong>HOLAP → combina características das duas abordagens.</strong></p><p>Para quem trabalha com Power BI, o mais importante neste momento não é decorar todas as tecnologias, mas perceber a lógica: <strong>organizar os dados de maneira que seja possível explorá-los por diferentes perspectivas para responder às perguntas do negócio.</strong></p><h3>10. A arquitetura deve começar pelo negócio, não pela ferramenta</h3><p>Depois de conhecer tantos conceitos e tecnologias, existe uma reflexão importante.</p><p>É fácil começar uma discussão de arquitetura perguntando:</p><p><strong>“Qual ferramenta devemos usar?”</strong></p><p>Mas talvez essa não deva ser a primeira pergunta.</p><p>Antes precisamos entender:</p><p><strong>Qual problema do negócio queremos resolver?</strong></p><p><strong>Qual decisão precisa ser apoiada?</strong></p><p><strong>Quais dados serão necessários?</strong></p><p><strong>Qual volume precisaremos processar?</strong></p><p><strong>Com que frequência essas informações precisam estar disponíveis?</strong></p><p><strong>Quem utilizará esses dados?</strong></p><p>Só depois dessas respostas a escolha tecnológica começa a fazer mais sentido.</p><p>Uma organização <strong>data-driven</strong> não é simplesmente aquela que possui muitos dados ou diversos dashboards.</p><p>É aquela que consegue integrar dados, pessoas, processos e tecnologia para apoiar decisões de maneira consistente.</p><h3>Quando os dados crescem, a arquitetura também precisa evoluir</h3><p>No primeiro artigo desta série, vimos que existe um caminho antes de o dado chegar ao dashboard.</p><p>Agora podemos acrescentar uma nova camada a esse entendimento:</p><p><strong>não basta criar esse caminho. É necessário garantir que ele consiga acompanhar o crescimento, permanecer disponível, lidar com falhas e continuar entregando dados para utilização.</strong></p><p>Escalabilidade, sistemas distribuídos, tolerância a falhas, pipelines, ETL e ELT, ambientes técnicos e estruturas analíticas podem parecer conceitos distantes da rotina de um Analista de Dados.</p><p>Mas todos eles ajudam a compreender melhor o ecossistema no qual nossas análises existem.</p><p>Quando um dashboard demora para atualizar, apresenta informações desatualizadas ou recebe dados incompletos, o problema nem sempre está no gráfico, na medida ou na ferramenta de BI.</p><p>Ele pode ter começado muito antes.</p><p>E essa talvez seja a principal conexão entre os dois conteúdos desta série:</p><p><strong>entender dados não é apenas saber analisá-los quando chegam até nós. É também compreender, cada vez mais, a estrutura que permite que eles cheguem de forma confiável, disponível e preparada para gerar valor para o negócio.</strong></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6faecf70a84a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Arquitetura e Gerenciamento de Dados: entendendo o caminho dos dados]]></title>
            <link>https://medium.com/@mazoelle09/arquitetura-e-gerenciamento-de-dados-entendendo-o-caminho-dos-dados-567e6f72e579?source=rss-e0ae3e90145f------2</link>
            <guid isPermaLink="false">https://medium.com/p/567e6f72e579</guid>
            <category><![CDATA[bi]]></category>
            <category><![CDATA[data-architecture]]></category>
            <category><![CDATA[data-analytics]]></category>
            <dc:creator><![CDATA[Mazoelle Oliveira]]></dc:creator>
            <pubDate>Wed, 16 Sep 2026 22:33:37 GMT</pubDate>
            <atom:updated>2026-09-16T22:33:37.780Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/736/1*xOBa95HOR3fOy5qrEFR8mw.jpeg" /></figure><p>Este artigo faz parte de uma série de conteúdos que estou desenvolvendo a partir dos aprendizados adquiridos durante minha formação em <strong>Engenharia e Análise de Dados</strong>, promovida pela <strong>MCIO Brasil em parceria com a Leega Academy</strong>.</p><p>A proposta é compartilhar, de forma simples e prática, alguns dos conceitos que venho estudando, adptando a minha realidade e mostrar como eles se conectam ao universo da Análise de Dados e Business Intelligence.</p><p>Neste primeiro conteúdo, o ponto de partida é a <strong>Arquitetura e o Gerenciamento de Dados</strong>.</p><p>Quando trabalhamos com análise de dados, muitas vezes nosso contato começa em uma planilha, um banco de dados ou uma ferramenta como o Power BI. Conectamos uma fonte, tratamos os dados, criamos indicadores e desenvolvemos dashboards.</p><p><em>Mas você já parou para pensar em tudo o que acontece com os dados antes de eles chegarem a um dashboard?</em></p><p>Os dados podem nascer em diferentes lugares: sistemas de vendas, ERPs, CRMs, planilhas, bancos de dados, APIs e diversas outras fontes.</p><p>Até que essas informações estejam disponíveis para análise, existe um caminho envolvendo coleta, movimentação, preparação, armazenamento, organização e gerenciamento.</p><p>É nesse contexto que começamos a entender a importância da <strong>Arquitetura de Dados</strong>.</p><h3>O que é Arquitetura de Dados?</h3><p>De forma simples, podemos entender a Arquitetura de Dados como a estrutura que orienta como os dados são coletados, movimentados, preparados, armazenados, organizados e disponibilizados para utilização.</p><p>Uma analogia que ajuda a compreender esse conceito é pensar na <strong>construção de um prédio</strong>.</p><p>Antes de iniciar uma construção, não basta simplesmente reunir tijolos, concreto, tubulações e equipamentos. Existe um planejamento que determina como as diferentes partes serão estruturadas e conectadas para que tudo funcione em conjunto.</p><p>Com os dados acontece algo semelhante.</p><p>Não basta uma empresa possuir muitos sistemas, bancos de dados e ferramentas. É necessário pensar em como os dados sairão de suas origens, como serão movimentados, onde serão armazenados, como serão organizados, protegidos e, finalmente, disponibilizados para utilização.</p><p>Podemos visualizar esse caminho de maneira simplificada:</p><p><strong>Fonte → Ingestão → Preparação → Armazenamento → Modelagem → Análise/BI → Decisão</strong></p><p>Vamos acompanhar esse fluxo.</p><h3>1. Tudo começa nas fontes de dados</h3><p>Antes de existir um dashboard, os dados precisam ter uma origem.</p><p>Uma empresa pode gerar informações em diferentes ambientes.</p><p>Um ERP pode registrar vendas e movimentações financeiras; um CRM pode armazenar informações sobre clientes; planilhas podem conter controles internos; bancos de dados podem registrar operações; APIs podem permitir o acesso a informações provenientes de outros sistemas.</p><p>Esses são exemplos de <strong>fontes de dados</strong>.</p><p>Para quem trabalha com Power BI, conseguimos observar esse conceito de maneira prática quando utilizamos a opção <strong>Obter Dados</strong> e escolhemos a fonte à qual queremos nos conectar.</p><p>Mas identificar de onde os dados vêm é apenas o começo.</p><h3>2. Ingestão e preparação: trazer o dado não significa que ele esteja pronto</h3><p>Aqui existem dois conceitos que podem parecer semelhantes no início: <strong>ingestão</strong> e <strong>preparação dos dados</strong>.</p><p>Imagine uma ida ao supermercado.</p><p>Primeiro, você seleciona os produtos e os transporta do supermercado até sua casa. Esse movimento pode nos ajudar a visualizar a <strong>ingestão</strong>: os dados saem de suas fontes e são levados para um ambiente onde poderão ser armazenados ou processados.</p><p>Por exemplo, uma empresa pode transferir diariamente novos registros do seu sistema de vendas para um ambiente central de dados.</p><p>Mas chegar em casa com as compras não encerra o processo.</p><p>Os produtos ainda precisam ser separados e organizados antes de serem utilizados.</p><p>Com os dados acontece algo semelhante.</p><p>Eles podem chegar com datas em formatos incorretos, valores nulos, duplicidades, espaços desnecessários, categorias escritas de maneiras diferentes ou colunas que precisam ser divididas e combinadas.</p><p>É nesse momento que entra a <strong>preparação e transformação dos dados</strong>.</p><p>Os dados podem ser limpos, corrigidos, padronizados e transformados para atender às necessidades da análise.</p><p>Uma maneira simples de guardar essa diferença é:</p><p><strong>Ingestão movimenta. Preparação organiza e transforma.</strong></p><p>trazendo para minha realidade que utilizo Power Query, essa segunda etapa é bastante familiar. Quando corrigimos tipos de dados, tratamos erros, removemos espaços, padronizamos valores ou combinamos diferentes bases, estamos trabalhando diretamente com preparação e transformação.</p><h3>3. Onde os dados ficam armazenados?</h3><p>Depois de coletados e preparados, precisamos pensar em onde esses dados serão armazenados.</p><p>É nesse momento que aparecem três conceitos importantes: <strong>Data Warehouse, Data Lake e Data Mart</strong>.</p><p>Para facilitar o entendimento, podemos imaginar o ambiente de dados de uma empresa como um <strong>grande centro de distribuição</strong>.</p><p>O <strong>Data Lake</strong> seria como um grande espaço capaz de receber materiais de diferentes tipos, formatos e origens.</p><p>No contexto de dados, isso significa poder armazenar grandes volumes e diferentes formatos de informações, incluindo dados estruturados, semiestruturados e não estruturados.</p><p>Uma organização pode, por exemplo, possuir dados provenientes de sistemas, arquivos CSV e JSON, logs de aplicações, documentos e outras fontes.</p><p>Já o <strong>Data Warehouse</strong> se parece mais com uma área organizada desse centro de distribuição.</p><p>Os itens estão estruturados e preparados para que possam ser encontrados e utilizados de maneira eficiente.</p><p>No contexto empresarial, podemos ter informações estruturadas de clientes, produtos, vendas e períodos históricos organizadas para permitir análises de faturamento, desempenho e comportamento dos clientes.</p><p>E onde entra o <strong>Data Mart</strong>?</p><p>Podemos imaginá-lo como uma área especializada, preparada para atender a uma necessidade específica.</p><p>Um Data Mart pode possuir um foco direcionado, como:</p><p><strong>Vendas:</strong> faturamento, produtos, clientes e metas.</p><p><strong>Financeiro:</strong> receitas, despesas, custos e orçamento.</p><p><strong>Recursos Humanos:</strong> colaboradores, admissões, desligamentos e indicadores da área.</p><p>Assim, uma maneira simples de diferenciar os três conceitos é:</p><p><strong>Data Lake → diversidade e grande volume de dados.</strong></p><p><strong>Data Warehouse → dados estruturados e organizados para análise.</strong></p><p><strong>Data Mart → foco em uma área ou necessidade específica do negócio.</strong></p><p>A utilização dessas estruturas depende das necessidades e da arquitetura adotada por cada organização.</p><h3>4. Armazenar não é suficiente: precisamos dar significado aos dados</h3><p>Imagine que uma empresa possua quatro tabelas:</p><p><strong>Clientes | Produtos | Vendas | Calendário</strong></p><p>Essas tabelas podem estar perfeitamente armazenadas, mas isso não significa que estejam organizadas de maneira adequada para que o negócio consiga analisá-las.</p><p>É aqui que o <strong>modelo semântico</strong> começa a ganhar importância.</p><p>Ele ajuda a organizar os dados de forma compreensível para análise, incorporando relacionamentos, métricas e regras que representam conceitos do negócio.</p><p>No Power BI conseguimos visualizar isso de maneira bastante prática.</p><p>Podemos relacionar as tabelas de Clientes, Produtos, Vendas e Calendário e criar medidas como:</p><p><strong>Receita | Quantidade Vendida | Ticket Médio | Margem</strong></p><p>O dado deixa de ser apenas um conjunto de registros armazenados e passa a representar conceitos que fazem sentido para quem precisa analisá-lo.</p><h3>5. E onde entra o gerenciamento de dados?</h3><p>À medida que esse ecossistema cresce, novas perguntas começam a aparecer:</p><p><strong>Quem é responsável por determinado dado?</strong></p><p><strong>Quem pode acessá-lo?</strong></p><p><strong>Quem pode alterá-lo?</strong></p><p><strong>Como garantir que esteja correto?</strong></p><p><strong>Como proteger informações confidenciais?</strong></p><p><strong>Como garantir que diferentes áreas utilizem as mesmas definições?</strong></p><p>Podemos voltar à analogia do prédio.</p><p>Não basta possuir salas, corredores e equipamentos. Também precisamos definir quem é responsável por determinados espaços, quem pode entrar, quais ambientes possuem acesso restrito e quais regras precisam ser seguidas.</p><p>No gerenciamento de dados existe uma preocupação semelhante.</p><p>Entre os elementos estudados estão quatro pilares importantes:</p><p><strong>Arquitetura técnica | Modelagem | Governança | Segurança</strong></p><p>A <strong>arquitetura técnica</strong> está relacionada à estrutura e às tecnologias que permitem armazenar, processar e movimentar os dados.</p><p>A <strong>modelagem</strong> ajuda a organizar e representar os dados e seus relacionamentos de acordo com as necessidades do negócio.</p><p>A <strong>governança</strong> estabelece regras, responsabilidades e direitos de decisão relacionados aos dados.</p><p>E a <strong>segurança</strong> atua na proteção das informações e no controle de acesso e utilização.</p><h3>6. Segurança de dados: ter acesso técnico não significa que todos devam visualizar</h3><p>Imagine uma base de Recursos Humanos contendo:</p><p><strong>nome do colaborador, salário, informações pessoais e avaliações.</strong></p><p>O fato de esses dados existirem e estarem disponíveis tecnicamente não significa que todos na empresa devam conseguir visualizá-los.</p><p>Por isso, a segurança precisa fazer parte da arquitetura e do gerenciamento de dados.</p><p>Nesse contexto, alguns princípios importantes são:</p><p><strong>Confidencialidade:</strong> garantir que somente pessoas autorizadas tenham acesso.</p><p><strong>Disponibilidade:</strong> garantir que as informações estejam acessíveis às pessoas autorizadas quando necessárias.</p><p><strong>Autenticidade:</strong> permitir confiança na origem e legitimidade das informações.</p><p><strong>Integridade:</strong> garantir que os dados não tenham sido alterados de maneira indevida.</p><p>Segurança, portanto, não significa apenas colocar uma senha em um sistema. Ela envolve tecnologias, processos, controles, práticas e comportamentos relacionados à utilização dos dados.</p><h3>7. DAMA-DMBOK e uma visão mais ampla do gerenciamento de dados</h3><p>Ao estudar gerenciamento de dados, encontramos também o <strong>DAMA-DMBOK</strong>, um framework de referência que organiza diferentes áreas de conhecimento relacionadas à gestão de dados.</p><p>Entre elas estão Governança de Dados, Arquitetura de Dados, Modelagem e Design, Armazenamento e Operações, Segurança, Integração e Interoperabilidade, Data Warehousing e Business Intelligence, Metadados e Qualidade de Dados, entre outras.</p><p>Mais importante do que simplesmente decorar todas essas áreas é compreender a mensagem por trás dessa estrutura:</p><p><strong>gerenciar dados envolve diferentes disciplinas trabalhando de maneira integrada.</strong></p><p>A governança ocupa uma posição central porque ajuda a estabelecer responsabilidades, regras e direitos de decisão que orientam o gerenciamento dos dados.</p><h3>8. Mas o que tudo isso tem a ver com um dashboard?</h3><p>Imagine a seguinte situação:</p><p>Um dashboard informa que uma empresa faturou <strong>R$ 1 milhão no mês</strong>.</p><p>O gráfico está correto.</p><p>A medida utilizada para calcular o faturamento está correta.</p><p>O dashboard está funcionando normalmente.</p><p>Mas existe um problema: parte das vendas daquele mês não foi carregada para o ambiente de dados.</p><p>O Power BI pode estar calculando corretamente <strong>os dados que recebeu</strong>, mas isso não significa que esteja representando toda a realidade do negócio.</p><p>O problema pode ter acontecido muito antes da visualização.</p><p>É justamente aqui que entender o caminho dos dados passa a fazer diferença para quem trabalha com análise.</p><p>Quando encontramos um número inesperado, a investigação não deveria se limitar ao gráfico.</p><p>Podemos perguntar:</p><p><strong>De onde esse dado veio?</strong></p><p><strong>Todos os registros chegaram?</strong></p><p><strong>Como foram transformados?</strong></p><p><strong>Onde estão armazenados?</strong></p><p><strong>A informação está atualizada?</strong></p><p><strong>Existe alguma inconsistência na fonte?</strong></p><p><strong>A regra de negócio utilizada é a correta?</strong></p><p>A arquitetura começa a deixar de parecer algo distante do trabalho do analista.</p><h3>9. Do dado à decisão</h3><p>Agora podemos juntar todas as peças:</p><p><strong>Sistemas e fontes de dados</strong><br>↓<br><strong>Ingestão</strong><br>↓<br><strong>Preparação e transformação</strong><br>↓<br><strong>Armazenamento</strong><br>↓<br><strong>Modelagem</strong><br>↓<br><strong>Análise e Business Intelligence</strong><br>↓<br><strong>Dashboards e indicadores</strong><br>↓<br><strong>Insights</strong><br>↓<br><strong>Tomada de decisão</strong></p><h3><strong>Resumindo em uma imagem</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*e9zxEFJpPBPRHiC3xzDlnA.png" /><figcaption>Imagem feita pela ia</figcaption></figure><p><em>Q</em><strong><em>uando vemos um dashboard pronto, estamos observando apenas uma das últimas etapas de um processo muito maior.</em></strong></p><p>Antes daquela informação chegar à tela, foi necessário pensar em sua origem, movimentação, preparação, armazenamento, organização, gerenciamento, segurança e disponibilidade.</p><h3>Por que um Analista de Dados deveria entender Arquitetura de Dados?</h3><p>Um analista não precisa necessariamente ser o profissional responsável por construir toda a arquitetura.</p><p>Mas compreender esse ecossistema amplia sua visão sobre os dados que utiliza.</p><p>Em vez de olhar somente para o resultado final, começamos a entender <strong>o caminho que tornou aquela análise possível</strong>.</p><p>Isso ajuda a investigar problemas, questionar inconsistências, compreender limitações das informações e conversar melhor com outros profissionais envolvidos no ecossistema de dados.</p><p>E talvez essa seja uma das principais conclusões desse aprendizado:</p><p><strong>uma boa análise não começa no gráfico.</strong></p><p>Ela começa muito antes, na forma como os dados são coletados, movimentados, preparados, armazenados, organizados, gerenciados e disponibilizados para gerar informação confiável para o negócio.</p><p>No vemos no Próximo artigo</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=567e6f72e579" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Quem são os profissionais de dados no Brasil?]]></title>
            <link>https://medium.com/@mazoelle09/quem-s%C3%A3o-os-profissionais-de-dados-no-brasil-e10091ed51e1?source=rss-e0ae3e90145f------2</link>
            <guid isPermaLink="false">https://medium.com/p/e10091ed51e1</guid>
            <dc:creator><![CDATA[Mazoelle Oliveira]]></dc:creator>
            <pubDate>Wed, 26 Aug 2026 22:14:12 GMT</pubDate>
            <atom:updated>2026-08-27T15:56:07.249Z</atom:updated>
            <content:encoded><![CDATA[<h3>Quem são os profissionais de dados no Brasil? Uma análise de diversidade com a pesquisa Data Hackers 2022</h3><p><em>Uma exploração sobre gênero, raça e as desigualdades que moldam o mercado de dados brasileiro</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dfoYAsENrQaHsYXuGhekHQ.jpeg" /></figure><p>Recentemente desenvolvi uma análise exploratória como parte do curso de Dados da <strong>PrograMaria</strong>, utilizando os dados públicos da pesquisa <strong>Data Hackers 2022</strong> — uma das maiores pesquisas sobre o setor de dados no Brasil, com mais de 4 mil respondentes.</p><p>O que encontrei foi revelador. E precisa ser discutido.</p><p>📌 Contexto</p><p>A área de dados cresce em ritmo acelerado no Brasil. Mas enquanto a demanda por profissionais aumenta, uma pergunta importante fica em segundo plano: <strong>quem está sendo incluído nessa expansão?</strong></p><p>Diversidade não é só pauta social. Pesquisas globais mostram que times diversos tomam decisões melhores, inovam mais e têm performance financeira superior. Empresas que ignoram esse dado estão deixando valor na mesa.</p><p>Foi com esse olhar que conduzi essa análise, cruzando gênero, raça, escolaridade, nível de senioridade e salário para entender onde estão as desigualdades e o que elas custam.</p><p><strong>Sobre os dados:</strong></p><ul><li><strong>Fonte:</strong> Pesquisa Data Hackers 2022 — base pública</li><li><strong>Total de respondentes:</strong> 4.270</li><li><strong>Ferramentas:</strong> Google Sheets e Google Data Studio</li></ul><h3>🔍 O problema</h3><p>O retrato geral já é um alerta:</p><p>Apenas <strong>1 em cada 4 profissionais</strong> sãomulheres → Pessoas pretas representam <strong>menos de 7%</strong> da área — em um país onde são 11% da população → Pessoas com deficiência são apenas <strong>1,26%</strong> dos respondentes → Mais de <strong>60% dos profissionais</strong> estão concentrados no Sudeste</p><p>Mas o dado mais impactante não é quem entra. <strong>É o que acontece depois.</strong></p><h3>Gênero: o teto de vidro em números</h3><p>Mulheres são 26,80% no nível Júnior — um número já baixo. Mas conforme a carreira avança, cai ainda mais:</p><p>▸ Júnior → 26,80% ▸ Pleno → 27,96% ▸ Sênior → 20,87% ▸ Liderança → 18,59%</p><p>Isso é o <strong>teto de vidro em números</strong>. Mulheres entram, chegam até certo ponto e param.</p><p>E isso se reflete diretamente no salário:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/569/1*2JmqNe5F53NJjvWa0wdJQw.png" /></figure><p>Para cada R$ 1,00 que um homem recebe, uma mulher recebe <strong>R$ 0,82.</strong></p><p><strong>Um detalhe que parece positivo mas esconde uma realidade dura:</strong> Mulheres têm mais doutoras proporcionalmente que homens. São apenas 17,05% entre estudantes de graduação, mas chegam a 29,84% entre PhDs. Isso não é coincidência , é uma resposta racional a um mercado desigual. Precisam de mais credenciais para competir em condições que deveriam ser iguais.</p><p><strong><em>Raça: desigualdade que se aprofunda a cada degrau</em></strong></p><p>O padrão se repete com ainda mais intensidade no recorte racial.</p><p><strong>Quem está na área:</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/572/1*YoayKHfY5Hg1idgBuYwtJg.png" /></figure><p>Pessoas pretas representam quase o dobro na população do que na área de dados.</p><p><strong>A progressão que não acontece:</strong></p><p>▸ Pessoas pretas são 9,75% no Júnior ▸ Caem para 4,39% no Sênior ▸ Apenas 14,52% chegam à liderança — contra 20,03% dos brancos</p><p>A cada promoção, a desigualdade aumenta.</p><p><strong>E o salário confirma:</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/504/1*hM3aVrTKUUe6BvVVGK9ynA.png" /></figure><p>Pessoas pretas ganham 17,15% <strong>a menos que pessoas brancas</strong> — quase 18% por mês. Esse gap não se explica só por cargo ou experiência. Há barreiras estruturais que vão muito além do desempenho individual.</p><p><strong><em>A dupla desvantagem regional</em></strong></p><p>As regiões com maior diversidade racial Nordeste e Norte , são justamente as que têm menos profissionais de dados e menos oportunidades:</p><p>→ Sul → 15,66% dos profissionais → 81,17% brancos → Sudeste → 61,86% dos profissionais → 65,82% brancos → Nordeste → 12,41% dos profissionais → 41,26% pardos → Norte → 1,43% dos profissionais → 44,59% pardos</p><p>Um profissional negro do Nordeste enfrenta barreiras de raça <strong>e</strong> de acesso geográfico ao mesmo tempo.</p><p><strong>Insights</strong></p><p><strong>1 — A desigualdade não é de entrada, é de progressão —</strong> Mulheres e pessoas negras entram na área, mas encontram barreiras crescentes a cada promoção. O desafio não é contratar diverso é reter e promover diverso.</p><p><strong>2 — Qualificação não resolve sozinha</strong> -Mulheres têm mais doutoras proporcionalmente. Pardos lideram em pós-graduação, superando inclusive brancos. Mas salários e promoções não acompanham. O problema não está nas pessoas , está no ambiente.</p><p><strong>3 — Raça e região criam uma dupla desvantagem-</strong> Concentrar oportunidades no Sudeste significa concentrá-las também em um perfil demográfico específico e perder talentos de todo o resto do país.</p><p><strong>4 — Isso tem custo real para as empresas-</strong> Times homogêneos inovam menos, tomam decisões com menos perspectivas e não representam a diversidade dos consumidores que atendem. Ignorar a desigualdade não é uma postura neutra é uma escolha com consequências financeiras reais.</p><p><strong><em>Recomendações</em></strong></p><p>Com base nos dados, cinco ações concretas que fazem diferença:</p><p><strong>1. Revisar critérios de promoção</strong> Tornar os critérios transparentes e mensuráveis reduz vieses inconscientes que beneficiam sempre os mesmos perfis.</p><p><strong>2. Estabelecer metas de diversidade na liderança</strong> Não só na contratação. As metas precisam incluir cargos de gestão e diretoria — onde a desigualdade é mais evidente.</p><p><strong>3. Realizar revisões salariais com recorte de gênero e raça</strong> O gap salarial não se resolve sozinho. Monitoramento ativo e correções periódicas são necessários.</p><p><strong>4. Investir em programas de mentoria e patrocínio</strong> Mentoria ajuda no desenvolvimento. Patrocínio — quando líderes indicam ativamente profissionais para oportunidades — é o que realmente move carreiras de grupos sub-representados.</p><p><strong>5. Ampliar o recrutamento para além do Sudeste</strong> Talentos diversos estão em todo o Brasil. Empresas que criarem caminhos para acessá-los terão vantagem competitiva real.</p><h3>🚀 Próximos passos</h3><p>Essa análise é uma primeira camada exploratória. Os próximos passos incluem:</p><p>→ Cruzar raça e gênero simultaneamente para medir a desigualdade acumulada — mulheres negras vs. homens brancos → Analisar salário controlando por cargo e tempo de experiência → Comparar com edições anteriores da pesquisa para identificar tendências → Evoluir as análises para Python e SQL para cruzamentos mais complexos</p><p><strong><em>Conclusão</em></strong></p><p>A pesquisa Data Hackers 2022 deixa claro que a área de dados brasileira ainda tem um longo caminho pela frente em diversidade. Mas mais do que um problema social, isso é uma oportunidade de negócio.</p><p>Empresas que construírem ambientes onde mulheres e pessoas negras possam não apenas entrar, mas crescer e liderar, vão ter times mais criativos, decisões melhores e resultados superiores.</p><p><strong>Os dados mostram o problema com clareza. A solução depende de escolhas conscientes das empresas, líderes e do setor como um todo.</strong></p><p><em>Esta análise foi desenvolvida durante o curso de Dados da PrograMaria.</em> <em>Os dados completos, tabelas e dashboard estão disponíveis no </em><a href="https://github.com/MazoelleOliveira/Analise-diversidade-2022"><em>GitHub</em></a><em> e no </em><a href="https://datastudio.google.com/u/0/reporting/37911122-1e3a-4a0d-940c-621fdecfacaf/page/IlyyF"><em>Google Data Studio</em></a><em>.</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e10091ed51e1" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Explorando a Pesquisa Data Hackers 2022 com Google Sheets]]></title>
            <link>https://medium.com/@mazoelle09/explorando-a-pesquisa-data-hackers-2022-com-google-sheets-366f3f92bf47?source=rss-e0ae3e90145f------2</link>
            <guid isPermaLink="false">https://medium.com/p/366f3f92bf47</guid>
            <dc:creator><![CDATA[Mazoelle Oliveira]]></dc:creator>
            <pubDate>Tue, 02 Jun 2026 01:50:21 GMT</pubDate>
            <atom:updated>2026-06-02T01:50:21.961Z</atom:updated>
            <content:encoded><![CDATA[<p><em>Exploração dos dados realizada através do Curso PrograMaria — Meus primeiros passos em Python</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WtC_vYu5jxi6JyVwoUhO3A.jpeg" /></figure><p>Este projeto tem como objetivo analisar o perfil dos profissionais da área de dados no Brasil utilizando os dados da pesquisa Data Hackers 2022.</p><p><strong>Processo técnico — o que foi feito por trás</strong></p><p>Toda a análise foi realizada no <strong>Google Sheets</strong> a partir da base pública da pesquisa Data Hackers 2022, composta por 4.271 respondentes e 29 variáveis cobrindo perfil sociodemográfico, formação acadêmica, situação de trabalho, cargo, nível de senioridade e faixa salarial.</p><p>O processo seguiu as seguintes etapas:</p><p><strong>Entendimento da base:</strong> antes de qualquer análise, foi feita uma leitura das variáveis disponíveis, identificando tipos de dados, valores únicos e volume de campos nulos por coluna. Alguns nulos são estruturais — como faixa salarial e nível de senioridade em branco para quem não está empregado — e foram tratados como tal, não como erros.</p><p><strong>Limpeza e decisões metodológicas:</strong> categorias com amostra muito pequena foram excluídas das visualizações por não gerarem conclusões estatisticamente confiáveis. Entre elas: respondentes indígenas (11 pessoas), categoria “Outra” em raça (17 pessoas), “Prefiro não informar” em gênero (12 pessoas) e campos em branco. Todas as exclusões foram documentadas como notas metodológicas em cada análise.</p><p><strong>Tabelas dinâmicas:</strong> cada análise foi construída a partir de uma tabela dinâmica com configurações específicas de linhas, colunas, valores e filtros. Os valores foram calculados como percentual da linha (% of row) para permitir comparação proporcional entre grupos de tamanhos diferentes.</p><p><strong>Visualizações:</strong> todos os gráficos são de barras horizontais empilhadas, escolha que facilita a comparação proporcional entre categorias. As cores foram padronizadas em degradê de roxo para transmitir progressão hierárquica (Júnior → Pleno → Sênior) e em tons distintos sem hierarquia implícita para variáveis como raça e gênero.</p><p>E vamos as análises 📝</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/890/1*74HPNeCEdP7S7YPbmTXSWg.png" /><figcaption>Dados das Análises no Google Sheets</figcaption></figure><p><strong><em>Título: Distribuição por Gênero</em></strong></p><p>O que o gráfico mostra: O gráfico de barras horizontais apresenta a distribuição dos respondentes da pesquisa Data Hackers 2022 por gênero, considerando apenas quem se identificou.</p><p>Descrição dos dados: A amostra é composta por 4.250 respondentes que informaram o gênero. Destes, 3.194 se identificam como masculino (74,78%) e 1.056 como feminino (24,72%), revelando uma forte predominância masculina na área de dados no Brasil.</p><p>Nota metodológica: Foram excluídos da análise 9 registros com campo em branco e 12 respondentes que preferiram não informar o gênero, totalizando 21 pessoas, representando menos de 0,5% da base total.</p><p>Insight principal: A área de dados no Brasil ainda é majoritariamente masculina. Para cada mulher na área, há aproximadamente 3 homens — uma desproporção significativa que se reflete também nos níveis de carreira e faixas salariais, como explorado nas análises seguintes.</p><p><strong><em>Em seguida temos a Distribuição de Cor/Raça/Etnia</em></strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/656/1*3KMWHcDpxWOW7BajnadXQQ.png" /><figcaption><strong>Dados das Análises no Google Sheets</strong></figcaption></figure><p>O que o gráfico mostra: O gráfico de barras horizontais apresenta a distribuição dos respondentes da pesquisa Data Hackers 2022 por cor/raça/etnia, considerando as 4 categorias com representatividade estatística suficiente para análise.</p><p>Descrição dos dados: A amostra considerada é de 4.217 respondentes. A autodeclaração branca é majoritária com 2.744 pessoas (65,07%), seguida de parda com 1.054 pessoas (24,99%), preta com 291 pessoas (6,90%) e amarela com 128 pessoas (3,04%).</p><p>Nota metodológica: Foram excluídos do gráfico três grupos com amostras pequenas demais para gerar conclusões estatisticamente confiáveis: indígena (11 pessoas), prefiro não informar (26 pessoas) e outra (17 pessoas), totalizando 54 respondentes — menos de 1,3% da base. Esses grupos são mencionados aqui por transparência metodológica.</p><p>Insight principal: A área de dados no Brasil reflete uma concentração racial expressiva — 9 em cada 10 profissionais se autodeclaram brancos ou pardos. Pessoas pretas representam menos de 7% da área, um número que se torna ainda mais preocupante quando cruzado com níveis de carreira e faixas salariais.</p><p><strong><em>Seguindo com as análises temos O Gênero por Nível de Senioridade</em></strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/363/1*GiKckz5Wa5F8rF19NtagYg.png" /><figcaption><strong>Dados das Análises no Google Sheets</strong></figcaption></figure><p>O que o gráfico mostra: O gráfico de barras horizontais apresenta a distribuição dos respondentes da pesquisa Data Hackers 2022 por cor/raça/etnia, considerando as 4 categorias com representatividade estatística suficiente para análise.</p><p>Descrição dos dados: A amostra considerada é de 4.217 respondentes. A autodeclaração branca é majoritária com 2.744 pessoas (65,07%), seguida de parda com 1.054 pessoas (24,99%), preta com 291 pessoas (6,90%) e amarela com 128 pessoas (3,04%).</p><p>Nota metodológica: Foram excluídos do gráfico três grupos com amostras pequenas demais para gerar conclusões estatisticamente confiáveis: indígena (11 pessoas), prefiro não informar (26 pessoas) e outra (17 pessoas), totalizando 54 respondentes, menos de 1,3% da base.</p><p>Esses grupos são mencionados aqui por transparência metodológica.</p><p>Insight principal: A área de dados no Brasil reflete uma concentração racial expressiva 9 em cada 10 profissionais se autodeclaram brancos ou pardos. Pessoas pretas representam menos de 7% da área, um número que se torna ainda mais preocupante quando cruzado com níveis de carreira e faixas salariais,</p><p>O que o gráfico mostra: O gráfico de barras horizontais apresenta a distribuição dos respondentes da pesquisa Data Hackers 2022 por cor/raça/etnia, considerando as 4 categorias com representatividade estatística suficiente para análise.</p><p>Descrição dos dados: A amostra considerada é de 4.217 respondentes. A autodeclaração branca é majoritária com 2.744 pessoas (65,07%), seguida de parda com 1.054 pessoas (24,99%), preta com 291 pessoas (6,90%) e amarela com 128 pessoas (3,04%).</p><p>Nota metodológica: Foram excluídos do gráfico três grupos com amostras pequenas demais para gerar conclusões estatisticamente confiáveis: indígena (11 pessoas), prefiro não informar (26 pessoas) e outra (17 pessoas), totalizando 54 respondentes, menos de 1,3% da base. Esses grupos são mencionados aqui por transparência metodológica.</p><p>Insight principal: A área de dados no Brasil reflete uma concentração racial expressiva — 9 em cada 10 profissionais se autodeclaram brancos ou pardos. Pessoas pretas representam menos de 7% da área, um número que se torna ainda mais preocupante quando cruzado com níveis de carreira e faixas salariais.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/531/1*zkxAGDUNODC1KG_BMfJnrg.png" /></figure><p><strong>O que o gráfico mostra:</strong> O gráfico de barras horizontais empilhadas apresenta a distribuição de gênero dentro de cada nível de escolaridade dos respondentes da pesquisa Data Hackers 2022, permitindo identificar como homens e mulheres estão representados em cada etapa da formação acadêmica.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/459/1*_xtgvXYM-90w2j7elDDgFg.png" /></figure><p><strong>Nota metodológica:</strong> Foram considerados apenas respondentes que se identificaram como Feminino ou Masculino, excluindo campos em branco e “Prefiro não informar”. O total de 4.239 representa os respondentes com nível de ensino informado.</p><p><strong>Insight principal:</strong> Um padrão relevante emerge ao observar os extremos — mulheres representam apenas <strong>17,05% entre estudantes de graduação</strong>, mas chegam a <strong>29,84% entre doutores e PhDs</strong>. Isso sugere que, embora a entrada de mulheres na área ainda seja baixa, as que permanecem tendem a buscar níveis mais altos de qualificação acadêmica. Uma hipótese possível é que <strong>mulheres precisam de mais credenciais para competir em igualdade de condições</strong> no mercado de dados — o que reforça o padrão de desigualdade identificado nas análises anteriores de nível de carreira e salário.</p><p><strong>Título: Acesso a salários altos (acima de R$ 12k) × raça</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/770/1*YieRCnDzbdvY3fFGPITBmQ.png" /></figure><p><strong>O que o gráfico mostra:</strong> Entre os profissionais que já atingiram salários acima de R$ 12k, como essa renda se distribui entre as faixas mais altas para cada grupo racial.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/364/1*6Y_JWlBAI3Ywv1NVdu1h4A.png" /></figure><p><strong>Nota metodológica:</strong> A análise considera apenas respondentes empregados com salário acima de R$ 12k, excluindo grupos com amostra pequena (Indígena, Outra, Prefiro não informar).</p><p><strong>Insight principal:</strong> Mesmo entre quem já superou a barreira dos R$ 12k, a desigualdade persiste. Pessoas pretas e pardas ficam mais concentradas na faixa mais baixa (55% e 53% em R$ 12–16k) enquanto pessoas brancas e amarelas chegam proporcionalmente mais às faixas acima de R$ 25k. Ou seja, <strong>a desigualdade racial não desaparece nem entre os melhores salários da área.</strong></p><p>Aqui você pode verificar, como ficaram as Análises feitas no Google Sheets</p><p><a href="http://Perfil e desigualdade na área de dados">https://docs.google.com/spreadsheets/d/1BXfpditFdCjoCI2BvADbBfDpiq7lCUJM/edit?gid=1754650161#gid=1754650161</a></p><p><strong>Próximos passos</strong></p><p>Esta análise é exploratória e representa uma primeira camada de entendimento sobre a base. Há caminhos relevantes para aprofundamento:</p><p><strong>Cruzamentos mais complexos:</strong> as análises aqui feitas observaram gênero e raça separadamente. Um próximo passo natural seria cruzar as duas variáveis simultaneamente — por exemplo, mulheres pretas versus homens brancos em nível de carreira e salário — para medir o efeito da desigualdade acumulada.</p><p><strong>Análise salarial por cargo e experiência:</strong> entender se a diferença salarial entre grupos persiste quando se controla o cargo e o tempo de experiência, ou seja, se um homem branco e uma mulher preta com o mesmo cargo e experiência ganham salários diferentes.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=366f3f92bf47" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Char e Varchar existe diferença?]]></title>
            <link>https://medium.com/@mazoelle09/char-e-varchar-existe-diferen%C3%A7a-098570299dba?source=rss-e0ae3e90145f------2</link>
            <guid isPermaLink="false">https://medium.com/p/098570299dba</guid>
            <dc:creator><![CDATA[Mazoelle Oliveira]]></dc:creator>
            <pubDate>Fri, 09 Jan 2026 14:26:06 GMT</pubDate>
            <atom:updated>2026-01-09T14:26:06.704Z</atom:updated>
            <content:encoded><![CDATA[<p>SQL para iniciantes <br>Imagine que você está aprendendo a criar uma tabela no SQL. Como você faria?</p><p>Exemplo de Tabela de Clientes:<br>Create table(<br>Nome Varchar (30),<br>Sexo Char (1),<br>E mail Varchar (30)<br>)<br>Como vocês podem perceber, precisamos designar o tipo de dados e o número de caracteres.</p><p>E então surge a pergunta: usar VAR ou VARCHAR?</p><p>Primeiramente vou falar do Char neste exemplo e em seguida do Varchar comparando os dois , ambos são strings, são textos, mas será que existe diferenças entre eles ? ou tudo bem usar Char e Varchar 🧐</p><p>Vamos considerar o nome “Joana” como um Char(10).</p><p>Pegue um papel e uma caneta e venha comigo 👩‍💻</p><p>Designamos um char de 10 caracteres, então desenhe 10 quadradinhos e preencha este nome com ‘Joana’.</p><p>Perceba que para esse preenchimento de campo, utilizei 10 quadradinhos. porém o nome Joana só ocupa 5 caracteres.</p><p>Como você acha que o Banco de Dados se comporta com esse tipo de Dados?</p><p>Na verdade, ele faz uma reserva de campo, como se fosse na memória e coloca10 quadradinhos reservados para ele, a analogia está um pouco repetitiva, mas é para fixar.</p><p>Portanto, o char tem comprimento fixo e a quantidade de posições que sobra é preenchida com espaços em branco.</p><p>Agora vamos falar do Varchar✔</p><p>Faça novamente 10 quadradinhos 🟥 e, com o mesmo exemplo, vamos usar Joana como um Varchar(10).</p><p>Você verá o mesmo resultado, 5 quadradinhos sobrando. Como assim?</p><p>O VARCHAR é um pouco diferenciado. Por quê?</p><p>O comprimento dele é variável, ou seja, ele entende que pode ocupar no máximo 10 posições, mas ele vai suprimir essa informação e vai ocupar a quantidade de campos de acordo com o conteúdo do campo.</p><p>Então, os 5 quadradinhos que sobraram no papel para o Varchar, na prática, não sobram, pois ele é variável. Pode riscar aí 😂</p><p>Recapitulando</p><p>Varchar — Var de variável — comprimento variável e ocupa a quantidade de posições de acordo com o conteúdo do campo.</p><p>O melhor é utilizarmos o Char , quando temos certeza do tamanho, como podemos ver na nossa criação de tabela, temos o armazenamento do campo Sexo do cliente como char(1), sempre ‘M’ ou ‘F’, sigla de estado dois campos: RJ, SP e por aí vai.</p><p>E quando não temos certeza do Tamanho dos dados que iremos inserir, colocamos Varchar, no exemplo, temos: Endereço e Email.</p><p>Então, se o Varchar, sempre se ajusta no tamanho, por que não o usamos sempre? Seria bem mais prático, não é? Também me fiz a mesma pergunta, mas vou explicar a vocês.</p><p>Mesmo, quando temos certeza do tamanho do campo, como por exemplo o estado, que contém dois caracteres <br>Então temos <br>Estado Varchar (2)<br>Valor ‘Rj’ = tamanho 2 + 2 (ou1) .</p><p>Este mais dois ou 1 é a minha posição dependendo do Sgbd , pois ele vai precisar gravar um final de string, ou seja podendo ter 1 byte ou 2 bytes , vamos supor que fosse 2 <br>2+ 2 = tamanho 4</p><p>E se eu utilizasse <br>Estado Char (2)<br>Valor ‘RJ’ = Tamanho 2 — O char não guarda final de String</p><p>Certeza do Tamanho Char, caso contrário Varchar</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MyghLTIsTufxlyh2xNv-Ig.jpeg" /><figcaption>Imagem feita pela Autora</figcaption></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=098570299dba" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Funções de Agregação No SQL]]></title>
            <link>https://medium.com/@mazoelle09/fun%C3%A7%C3%B5es-de-agrega%C3%A7%C3%A3o-no-sql-051b6924df74?source=rss-e0ae3e90145f------2</link>
            <guid isPermaLink="false">https://medium.com/p/051b6924df74</guid>
            <dc:creator><![CDATA[Mazoelle Oliveira]]></dc:creator>
            <pubDate>Fri, 03 Nov 2023 00:40:24 GMT</pubDate>
            <atom:updated>2023-11-03T11:31:44.747Z</atom:updated>
            <content:encoded><![CDATA[<p>Conteúdos Práticos</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dg7NpD-xm2DH4a8bLvxlzg.png" /></figure><p>A ideia dos artigos é apresentar a teoria, juntamente com exemplos práticos, capacitando os leitores a enfrentar os desafios do Projeto Evangelizando o SQL. Caso você esteja se sentindo perdido em relação aos conteúdos, deixo aqui o link do primeiro artigo, Evangelizando o SQL. <br><a href="https://medium.com/@mazoelle09/evangelizando-o-sql-14625486a128">Evangelizando o SQL. Conteúdos Práticos | by Mazoelle Oliveira | Oct, 2023 | Medium</a><br>Continuando com os conteúdos, hoje abordaremos as funções de agregação. Essas funções processam conjuntos de valores contidos em uma única coluna de uma tabela e retornam um único valor como resultado. O parâmetro informado é sempre a coluna cujos valores desejamos processar.”<br> <br><strong> Segue as funções de agregações</strong><br> <br><strong> Sum</strong>— Soma Valores de uma Coluna</p><p><strong>Min </strong>— Menor Valor de uma Coluna</p><p><strong>Max</strong>— Maior Valor de uma Coluna</p><p><strong>Avg </strong>— Média da Coluna</p><p><strong>Count </strong>— Conta valores resultantes de uma query</p><p><strong>Vamos de exemplo:</strong></p><p>Imagine, que eu queira saber a Quantidade Total de Vendas como fazer?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/584/1*aJJ-wBtXx_QyFYERW8hWVg.png" /></figure><p>Devemos usar as Funções de Agregação e para este exemplo usaremos a SUM para somarmos a nossa Quantidade Total de Vendas</p><pre>Select SUM (Quantidade) as Quantidade_Total<br>From VENDAS</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/195/1*eTbwl_dp8f9Dc3nDEL9OHA.png" /><figcaption><strong>Resultado</strong></figcaption></figure><p>Se eu quiser saber a menor Quantidade Total de Vendas?</p><pre>Select MIN (Quantidade) as Menor_Quantidade<br>From Vendas</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/203/1*giTz3ql-lekgyuqmgk1LtQ.png" /><figcaption><strong>Resultado</strong></figcaption></figure><p>e com as funções agregadas podemos identificar a maior Quantidade de Vendas, representada por <strong>Max</strong> e até tirarmos a <strong>média — Avg</strong></p><pre>Select SUM (Quantidade) as Vendas_Brutas_Total,<br>       MIN (Quantidade) as Menor_Quantidade ,<br>       MAX (Quantidade) as Maior_Quantidade,<br>       AVG (Quantidade) as Média_Quantidade <br>From VENDAS</pre><p>Observem que a estrutura permanece a mesma, o que varia são as funções utilizadas. Dessa forma, podemos obter os seguintes resultados:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/497/1*27TW6vNt35J3sIpXu54kVw.png" /><figcaption><strong>Resultado</strong></figcaption></figure><p>Vamos a mais exemplos</p><p>Se eu quiser saber a Quantidade Total de Vendas por Produto</p><pre>Select Produto,<br>Sum (Quantidade)<br>From Vendas <br></pre><p>Hum, será que desta forma, eu terei o resultado esperado?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/563/1*B2fcjrj47XJBH1k_LUt3dA.png" /><figcaption><strong>Consulta com erro de Agregação xx</strong></figcaption></figure><p>Isso ocorre porque, se desejamos somar a quantidade por produto, é necessário aplicar uma função de agregação à coluna de produtos ou agrupar os produtos usando a função GroupBy . <br>Em resumo, a cláusula GroupBy é utilizada para agrupar as linhas que possuem os mesmos valores em colunas específicas. Se você não está familiarizado com esse conceito, recomendo que dê uma olhada no meu artigo anterior</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/480/1*KCBJs0rLA6Re6SmHD1Dfjg.gif" /><figcaption><strong>Imagem Capturada da Internet</strong></figcaption></figure><blockquote>A dica crucial aqui é que, se as colunas não estiverem usando funções de agregação, é obrigatório usar a cláusula GROUP BY.</blockquote><p>Vamos analisar o exemplo corrigido, desta vez utilizando a cláusula GROUP BY.&quot;</p><pre>Select Produto,<br>Sum (Quantidade) as Quantidade_Total <br>From Vendas<br>Group BY Produto</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/188/1*3JmGkKUVJd2thEscnm9rbA.png" /><figcaption><strong>Resultado</strong></figcaption></figure><p>Não podemos nos esquecer do Count, que, embora um pouco diferente das outras funções de agregação, não é menos importante. Com o Count, você pode contar todas as linhas, ou seja, todos os registros da tabela.</p><p>Exemplo</p><pre>Select Count(*)                     <br>From VENDAS</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/160/1*O4UOG8j-hlQsgAF6gl3BOw.png" /><figcaption><strong>Resultado</strong></figcaption></figure><p>Outra possibilidade, é realizar a contagem com base em uma coluna específica. Neste caso, vamos contar o número de produtos.</p><pre>SELECT Produto, <br>       Cliente,<br>    Sum (Quantidade) as Quantidade_Total,<br>    Count (Produto) as Quantidade_Compras <br>FROM Vendas<br>GROUP BY Produto,Cliente</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/354/1*6SzB0gc_hEYGC5CfXF1LXQ.png" /><figcaption><strong>Resultado</strong></figcaption></figure><p>Também é possível utilizar o Count para realizar contagens distintas. <br>O Distinct, é comumente usado em SQL, para retornar apenas valores únicos em um resultado de consulta, eliminando registros duplicados.</p><p>Quantos Produtos o Cliente já comprou?</p><pre>Select Cliente,<br>count(distinct produto)<br>from vendas<br>GROUP<br>BY Cliente </pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/176/1*gYv1GHG4Gg_NfPjbPA8OBA.png" /><figcaption><strong>Resultado</strong></figcaption></figure><p>Por hoje é só, aguardem por mais conteúdos 👨‍💻</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=051b6924df74" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Evangelizando o SQL]]></title>
            <link>https://medium.com/@mazoelle09/evangelizando-o-sql-14625486a128?source=rss-e0ae3e90145f------2</link>
            <guid isPermaLink="false">https://medium.com/p/14625486a128</guid>
            <category><![CDATA[sql-server]]></category>
            <dc:creator><![CDATA[Mazoelle Oliveira]]></dc:creator>
            <pubDate>Mon, 30 Oct 2023 12:53:00 GMT</pubDate>
            <atom:updated>2023-10-30T12:53:00.006Z</atom:updated>
            <content:encoded><![CDATA[<h4>Conteúdos Práticos</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9YfOotHzP9uzeR_E0pbX9w.png" /><figcaption><strong>Imagem Feita pela Autora</strong></figcaption></figure><p>Este artigo tem como objetivo ensinar algumas funções do SQL que foram essenciais para a realização dos exercícios práticos do projeto Evangelizando o SQL.<br>Ao dominar essas funções, vocês serão capazes de resolver os exercícios que detalharei ao longo dos próximos artigos.</p><p>Para quem não está familiarizado, o projeto Evangelizando o SQL, consistiu em um conjunto de 8 lives gravadas. <br>Trata-se de uma iniciativa voluntária direcionada à comunidade, onde destacados profissionais do mercado compartilharam seus conhecimentos sobre SQL. Estas lives, repletas de conteúdos valiosos, estão disponíveis no YouTube.</p><p>Segue o Link</p><p><a href="https://www.youtube.com/watch?v=fltjmaeXbfQ&amp;t=4s">https://www.youtube.com/watch?v=fltjmaeXbfQ&amp;t=4s</a></p><p>Acessando a Base de Dados para os Exercícios</p><p>As informações e conteúdos apresentados nas lives, podem ser encontrados no GitHub do projeto. Deixarei o link</p><p><a href="https://github.com/wlcamargo/evangelizando_sql">https://github.com/wlcamargo/evangelizando_sql</a></p><p>No repositório, ao acessar a seção “projeto final”, você notará que as respostas dos exercícios estarão disponíveis, no entanto, recomendo fortemente que, antes de consultar as soluções, você tente resolver os exercícios por conta própria.</p><p>Para começar, siga o passo a passo: ao abrir a opção de baixar o script no GitHub, atente-se ao local indicado pela seta, é ali que você deverá fazer o download. Após baixar, abra e execute o script para configurar sua base de dados e iniciar os testes práticos. Uma representação visual desse processo pode ser vista na figura abaixo</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/983/1*LNhBAI6zT61rkItVQkhZxg.png" /><figcaption><strong>imagem Feita pela Autora</strong></figcaption></figure><p><strong>SELECT TOP</strong></p><p>O Que você faria se quisesse, ver apenas alguns registros da tabela em específico? no nosso exemplo vamos utilizar a tabela clientes</p><p>Quero que retorne para mim apenas 10 registros desta tabela, neste caso vou especificar as colunas Cliente e Nome</p><p>Na prática</p><pre>select top 10 cliente, nome<br>from clientes</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/157/1*UQuq7DAzHEqXbMr1e-suGg.png" /><figcaption><strong>Resultado</strong></figcaption></figure><p>Usamos o Select top , pois ele é usado para especificar o número de registros a retornar em uma consulta e também utilizado para tabelas com muitos registros .<br>Outra funcionalidade do Select top é que podemos utilizar, através de porcentagem</p><p>Digamos que eu quisesse trazer apenas 10% dos nomes dos clientes na tabela de clientes</p><p>Na prática</p><pre>select top 10 percent nome<br>from clientes </pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/160/1*Q1u-6_a0OAMUP0BspeGhQQ.png" /><figcaption><strong>Resultado</strong></figcaption></figure><p><strong>Uso do Alias</strong></p><p>Nome alternativo que você pode dar a uma coluna ou tabela é frequentemente referido como “alias” ou “apelido”. Veremos muito essa utilização ao fazermos os joins.</p><p><strong>Na Prática</strong></p><p>Na tabela de Vendas, eu preciso retornar a quantidade de vendas, mas não quero que o resultado venha somente como “quantidade”, como está quando consultamos a tabela original. A fim de demonstrar os resultados, podemos modificar nossas colunas.</p><pre>select Quantidade as Quantidade_de_Vendas<br>from Vendas </pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/183/1*YbALj8SHsTQNdmlocR7ycQ.png" /><figcaption><strong>Resultado</strong></figcaption></figure><p><strong>Comando Where</strong></p><p>A cláusula WHERE é usada em consultas para ajudar a especificar os dados que serão consultados e manipulados. Ela serve para filtrar dados em uma tabela, permitindo que visualizemos apenas as informações desejadas.</p><p>Então vamos a estrutura:</p><p><strong>SELECT colunas FROM tabela WHERE coluna = valor</strong></p><p><strong>Na Prática</strong></p><p>Então aqui por exemplo. eu quero saber quais produtos pertecem a marca 241</p><pre>Select*from Produtos<br>Where Marca= 241<br></pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/756/1*b6zC469tBFloQtMs5ME9Sg.png" /><figcaption><strong>Resultado</strong></figcaption></figure><p><strong>Vamos de mais um exemplo</strong></p><p>Quantos Produtos eu tenho, onde o custo base é de 0.33?</p><pre>Select* from Produtos<br>Where CustoBase = 0.33</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/771/1*Gqby-Jyv5tssf_izvFVxiA.png" /><figcaption><strong>Resultado</strong></figcaption></figure><p><strong>Comando Groupy By</strong></p><p>Usada para agrupar linhas que têm os mesmos valores em colunas especificadas. Geralmente é usado com funções de agregação. E se você não sabe o que são funções de agregação, é quando, por exemplo, queremos ver o somatório geral de quantidade de vendas, tirar a média, verificar o maior valor, menor valor, contagem de vendas. Mas isso explicarei melhor nos próximos tópicos. Com esses exemplos, você começará a entender a lógica de <strong>Função de Agregação x GroupyBy</strong></p><p><strong>Na Prática</strong></p><p>Suponha que você queira somar a Quantidade Total Vendida de cada Produto</p><pre>SELECT Produto, SUM(Quantidade) as QuantidadeTotal<br>FROM Vendas<br>GROUP BY Produtos</pre><p>Como vocês podem notar, eu usei um SUM , função agregada de soma, onde disse que queria a Quantidade Total de Vendas e vou agrupar por produtos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/183/1*F7IAp0hviQsmQb2R8yshPg.png" /><figcaption><strong>Resultado</strong></figcaption></figure><p>E se agora quiséssemos filtrar um produto específico? Como faríamos? Nesse caso, quero filtrar apenas o somatório da Quantidade_Total dos produtos que sejam iguais a 2585.</p><pre>Select Produto,<br>sum(Quantidade) as QuantidadeTotal<br>from Vendas<br>where Produto = 2585<br>group by produto</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/218/1*x1RlDOrExiHkRb0cQJh6hQ.png" /><figcaption><strong>Resultado</strong></figcaption></figure><p>Note que aqui combinamos a função Where com GroupBy.<br> Usamos a função de agregação para fazermos o Somatório da Quantidade. Em seguida, usamos o Where, para filtrarmos o produto que queremos em específico, e por fim, o GroupBy . Sim, Leitores, o Where sempre vem antes do GroupBy.</p><p>Olhem o que acontece quando mudamos 🧐</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/1*Dm2vxdkiEXJbhLVxnpCTqA.png" /><figcaption>Imagem Capturada pela Autora</figcaption></figure><p>O erro na sua consulta é devido à ordem incorreta das cláusulas. <br>O comando<strong> Where</strong> deve vir antes da cláusula<strong> Group by</strong> . A ordem correta das cláusulas é crucial para a sintaxe correta das consultas SQL.</p><p><strong>Comando Having</strong></p><p>Essa pode te confundir um pouco com o comando Where , pois ambas são usadas para filtrar resultados, mas o where é usado para filtrar as linhas antes da agregação de dados</p><p><strong>Já o Comando Having </strong>🧐</p><p>É aplicado após a agregação de dados. A cláusula Having é usada para filtrar os resultados depois de terem sido agrupados pela cláusula Group by</p><p>Agora, suponhamos que agora eu queira saber apenas a relação dos Produtos com Quantidade Total Maior que 1000</p><p><strong>Na Prática</strong></p><pre>SELECT Produto,<br>SUM(Quantidade) as Quantidade_Total<br>FROM Vendas <br>GROUP BY Produto <br>HAVING SUM(Quantidade) &gt; 1000</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/190/1*oG68-rnoH7R2Y17E8suXMw.png" /><figcaption><strong>Resultado</strong></figcaption></figure><p><strong>Comando Order By</strong></p><p>A cláusula <strong>Order By</strong> em SQL, é usada para ordenar os resultados de uma consulta com base em uma ou mais colunas. Ela permite que você especifique a ordem crescente , ou decrescente (DESC) para cada coluna.</p><p><strong>Na Prática</strong></p><p>Suponhamos que eu queira ordenar os Produtos pela Quantidade_Total&gt;1000 em ordem crescente</p><pre>SELECT Produto,<br>SUM(Quantidade) as Quantidade_Total<br>FROM Vendas <br>GROUP BY Produto <br>HAVING SUM(Quantidade) &gt; 1000<br>ORDER BY Quantidade_Total</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/187/1*5e9X6fxaZ7ZWXWQDnOBFAw.png" /><figcaption><strong>Resultado</strong></figcaption></figure><pre>SELECT Produto,<br>SUM(Quantidade) as Quantidade_Total<br>FROM Vendas <br>GROUP BY Produto <br>HAVING SUM(Quantidade) &gt; 1000<br>ORDER BY Quantidade_Total ASC</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/193/1*ZBnXY-dfYM3ELIDK9WXKTA.png" /><figcaption><strong>Resultado</strong></figcaption></figure><blockquote><strong>Nota:</strong> No caso de colocar em Ordem Crescente, você não precisa usar o Asc , fica ao seu critério, mas se neste caso a ordem for inversa, ou seja, em ordem Decrescente é obrigatório usar o Desc.</blockquote><p><strong>Na Prática</strong></p><pre>SELECT Produto,<br>SUM(Quantidade) as Quantidade_Total<br>FROM Vendas <br>GROUP BY Produto <br>HAVING SUM(Quantidade) &gt; 1000<br>ORDER BY Quantidade_Total desc</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/182/1*czNfZYhSyGljRxsJAfXxQQ.png" /><figcaption>Resultado</figcaption></figure><p>Se não usar o Desc, ele fica na ordem Crescente</p><pre>SELECT Produto,<br>SUM(Quantidade) as Quantidade_Total<br>FROM Vendas <br>GROUP BY Produto <br>HAVING SUM(Quantidade) &gt; 1000<br>ORDER BY Quantidade_Total </pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/188/1*OWq8freLCXP4EzUVQijAgA.png" /><figcaption><strong>Resultado</strong></figcaption></figure><p>O que elas tem em comum?</p><p>1. <strong>Manipulação de Resultados</strong>: Todas essas cláusulas são usadas para manipular os resultados retornados por uma consulta SQL de acordo com as necessidades específicas.</p><p>2. <strong>Filtragem de Dados</strong>: <strong>WHERE</strong> e <strong>HAVING</strong> são específicas para filtrar dados, seja antes ou depois de um agrupamento.</p><p>3. <strong>Uso em Conjunto</strong>: Essas cláusulas muitas vezes são usadas em conjunto para realizar consultas mais complexas. Por exemplo, é comum ver uma consulta que use <strong>WHERE</strong> para filtrar dados, <strong>GROUP BY</strong> para agrupá-los, <strong>HAVING</strong> para filtrar os grupos e <strong>ORDER BY</strong> para ordenar o resultado final.</p><p>4. <strong>Fluxo de Processamento</strong>: Quando usadas juntas, estas cláusulas têm uma ordem específica de processamento:</p><p>· Primeiro, a cláusula <strong>WHERE</strong> filtra os registros.</p><p>· Depois, <strong>GROUP BY</strong> agrupa os registros filtrados.</p><p>· Em seguida, <strong>HAVING</strong> filtra os grupos.</p><p>· Finalmente, <strong>ORDER BY</strong> ordena os resultados.</p><p>Fonte: ChatGPT</p><p>Para este Artigo não ficar muito longo no Próximo, Abordarei os temas: Funções de Agregações e Joins , para enfim falar do Primeiro exercício Proposto</p><p>Até a próxima Leitores 👨‍💻</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=14625486a128" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Data Warehouse: Da Extração à Tomada de Decisão]]></title>
            <link>https://medium.com/@mazoelle09/data-warehouse-da-extra%C3%A7%C3%A3o-%C3%A0-tomada-de-decis%C3%A3o-b76812ac32cf?source=rss-e0ae3e90145f------2</link>
            <guid isPermaLink="false">https://medium.com/p/b76812ac32cf</guid>
            <category><![CDATA[requisitos]]></category>
            <category><![CDATA[análise-de-dados]]></category>
            <category><![CDATA[etl]]></category>
            <category><![CDATA[data-warehouse]]></category>
            <dc:creator><![CDATA[Mazoelle Oliveira]]></dc:creator>
            <pubDate>Wed, 02 Aug 2023 11:02:30 GMT</pubDate>
            <atom:updated>2023-08-02T14:22:39.673Z</atom:updated>
            <content:encoded><![CDATA[<p>Um Data Warehouse é um sistema de armazenamento que conecta e harmoniza grandes quantidades de dados de muitas fontes diferentes em um formato estruturado para facilitar consultas e análises.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9RB6Mk3QWJ2HlczVYFUqsw.png" /></figure><p>Antes de tudo, precisamos entender o conceito de Modelagem Dimensional ou Multidimensional.</p><p>O modelo Dimensional é uma técnica de design usada na construção de um Data Warehouse, Bancos de Dados analíticos e relatórios de Business Intelligence. Ele se concentra na facilidade de uso para permitir que usuários finais realizem análises de dados complexos de forma intuitiva.</p><p>Vamos imaginar que estamos em um projeto de uma empresa de mercado em expansão.</p><p>Primeiramente, precisamos saber como identificar os requisitos de negócio. Nesta fase, a ideia é entender mais sobre a implantação do negócio dentro do Data warehouse, conversar com as partes interessadas para entender sobre o negócio e definir o schema, que é a visão geral da organização dos dados.</p><p>Dona Maria, estudante da área de Dados, em um dia de faxina, começou a pensar que o processo de um Data warehouse é como arrumar sua casa. “Por onde começar? Quais produtos de limpeza são necessários?” Aqui começa a identificação dos requisitos. <br>Ouvindo sua música preferida, no trecho que diz: “diga aonde você vai, que eu vou varrendo”, e do nada começou a cantar: “Diga quais são os seus dados, que eu vou montando”. 😅</p><p>Até aqui, já identificamos os requisitos, já sabemos quais são os principais indicadores de desempenho e conseguimos mapear as fontes usadas, tudo que possa agregar ao projeto.</p><p>E quais são nossas fontes de dados? Elas podem vir de bancos relacionais ou não relacionais, de arquivos de texto CSV/Excel, sistema ERP, sistema CRM, dados de mídias sociais, dentre outros.</p><p>No nosso caso, temos arquivos em Excel, onde muitos dados são extraídos de um ERP (Sistema de Planejamento de Recursos Empresariais), o SAP, além de dados de mídias sociais.</p><p>Continuando, precisamos definir nosso modelo dimensional, composto por dois tipos de tabelas:</p><p>1. <strong>Tabela Fato</strong> — Representa eventos históricos que aconteceram ao longo do tempo. São os fatos de uma empresa que podem ou não se repetir. Exemplo: valor da venda de uma transação é algo que descreve um fato, a venda é um fato. Geralmente, temos alguma métrica ou número que podemos agregar.</p><p>2. <strong>Tabela Dimensão</strong> — Auxilia a tabela fato com dados complementares ou explicativos. Possui informações que não se repetem. O cadastro de cliente é um ótimo exemplo.</p><p>E ainda podemos definir dois tipos principais de modelo de dados dimensionais:</p><p>O modelo estrela: É quando você tem tabela fato associada, a várias tabelas dimensões. Neste esquema, as tabelas dimensões são desnormalizadas, ou seja, os dados são redundantes.</p><p>E o esquema em floco de neve: Que é um modelo de dados dimensional e uma extensão do esquema em estrela, subdividindo as tabelas de dimensão em tabelas de subdimensão, ou seja, as tabelas de dimensão são normalizadas para eliminar a redundância dos dados.</p><blockquote>Não irei me aprofundar sobre o tema, mas deixo aqui uma representação dos dois esquemas.</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/986/1*KfJlENQXRsAjEokpAn8fvA.png" /><figcaption><strong>Fonte Google</strong></figcaption></figure><p><strong>Continuando</strong><br><strong>Observem a Imagem</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/893/1*5ZtdluAvciXuKTmCH_7igw.png" /><figcaption><strong>Imagem feita pela Autora</strong></figcaption></figure><p>Então, já definimos os requisitos, sabemos quais são as nossas fontes de dados, como mostrado na imagem, são nossos Data Sources. <br>Decidimos que nosso modelo será o Estrela. Em seguida, após pegar os dados das fontes de origem, iremos para o processo de ETL que é extrair, transformar e carregar estes dados dentro do nosso modelo dimensional, no nosso Data warehouse. <br>Assim, conectamos o DW com ferramentas de análise de dados, mineração de dados e de relatórios, e entregamos essas informações aos tomadores de decisão.</p><blockquote>Importante lembrar que a tomada de decisão deve contar com performance, segurança e utilizar dados corporativos inerentes ao processo de tomada de decisão, dentro de um modelo de dados Dimensional</blockquote><p>Power BI, Tableau, Excel, e todos os outros sistemas inerentes à tomada de decisão, vão consumir dados do Data warehouse. <br>Os dados que estão armazenados dentro do DataWarehouse, são íntegros, confiáveis, seguros e homologados. A partir daí, todos na empresa que forem tomar decisões vão consumir dados do Data warehouse</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b76812ac32cf" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Mas afinal o que é ETL?]]></title>
            <link>https://medium.com/@mazoelle09/mas-afinal-o-que-%C3%A9-etl-e493e2df1922?source=rss-e0ae3e90145f------2</link>
            <guid isPermaLink="false">https://medium.com/p/e493e2df1922</guid>
            <category><![CDATA[etl]]></category>
            <category><![CDATA[data-warehouse]]></category>
            <category><![CDATA[datasource]]></category>
            <dc:creator><![CDATA[Mazoelle Oliveira]]></dc:creator>
            <pubDate>Tue, 01 Aug 2023 18:45:59 GMT</pubDate>
            <atom:updated>2023-08-01T18:45:59.034Z</atom:updated>
            <content:encoded><![CDATA[<p>Iniciantes na área de Dados</p><p>A sigla ETL significa Extract, Transform, and Load, ou seja, extração, transformação e carga. Podemos definir ETL como o processo em que os dados são buscados de diversas origens, tratados e armazenados em diferentes destinos.</p><p>Como podemos definir dentro do processo de dados?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*7iJlYegCsWparIBmBxlcEw.png" /><figcaption>Imagem Feita Pela Autora</figcaption></figure><p>Começando com “Data Sources” (fontes de dados), precisamos entender de onde vêm os dados.</p><p>Suponhamos que você esteja fazendo o levantamento de alguns indicadores do RH da empresa e precisa saber onde estão o volume de vendas por vendedor e o número de chamadas atendidas por vendedor para verificar a produtividade dos funcionários.</p><p>Próximo passo</p><p>Qual é a fonte de dados?</p><p>Estão no excel, ah beleza, mas vem de algum ERP? Sim, exportamos do ERP, o SAP, portanto, nesta fase, extraímos os dados do Excel, mas eles também poderiam ser de um arquivo CSV, Banco de dados, dados de mídias sociais, entre outros.</p><p>Após extrairmos os dados da nossa fonte de origem, vamos prepará-los aplicando as regras de negócio e fazendo a limpeza de dados, caso haja inconsistências ou erros.<br>Isso também envolve a padronização dos dados e a combinação de várias fontes de dados. Essa é a etapa de transformação de dados.</p><p>E enfim chegamos na parte de carga (load) aqui vamos pegar os dados tratados e joga-las no nosso Datawarehouse e no nosso DataMart, que é o nosso exemplo e que serão assuntos abordados em outras postagens , mas poderia ser carregados em outros sistemas de destino</p><p>O próximo passo seria organizar essas informações e apresentá-las em uma ferramenta de self-service BI para auxiliar na tomada de decisões.</p><p>Complementando, segundo <a href="https://www.linkedin.com/in/ACoAAAFnVG8BWHj42k9AScrEp1NyQdqklakX6lc">Claudio Bonel, M.Sc.</a> , se o conceito de ETL é extrair, transformar e carregar os dados, ferramentas como Excel, Power BI, Tableau e QlikSense poderiam ser consideradas ferramentas de ETL?</p><p>Não , pois falta um requisito importante: precisam estar inseridas em uma arquitetura corporativa.</p><p>Esse processo de extração, transformação e carga de dados precisa ser disponibilizado corporativamente para que todos possam utilizar.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e493e2df1922" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>