<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Christoffer Nunes on Medium]]></title>
        <description><![CDATA[Stories by Christoffer Nunes on Medium]]></description>
        <link>https://medium.com/@datachrisengineer?source=rss-6e4180b9831f------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*db9sIdWOP6FFocHc.jpg</url>
            <title>Stories by Christoffer Nunes on Medium</title>
            <link>https://medium.com/@datachrisengineer?source=rss-6e4180b9831f------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sat, 21 Nov 2026 20:35:55 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@datachrisengineer/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Automatizando atualização do Dataset (Dashboard) do Power BI com Azure DataFactory e API]]></title>
            <link>https://medium.com/@datachrisengineer/automatizando-atualiza%C3%A7%C3%A3o-do-dataset-dashboard-do-power-bi-com-azure-datafactory-e-api-1da58f814f33?source=rss-6e4180b9831f------2</link>
            <guid isPermaLink="false">https://medium.com/p/1da58f814f33</guid>
            <category><![CDATA[power-bi]]></category>
            <category><![CDATA[azure]]></category>
            <category><![CDATA[pipeline]]></category>
            <category><![CDATA[azure-active-directory]]></category>
            <category><![CDATA[data-factory]]></category>
            <dc:creator><![CDATA[Christoffer Nunes]]></dc:creator>
            <pubDate>Sun, 17 Dec 2023 14:38:10 GMT</pubDate>
            <atom:updated>2023-12-17T14:38:10.870Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*WzO-agWBPYV3fVhV" /></figure><p>Já se deparou com a cena em que um analista de BI, ou até mesmo de dados, é questionado se a informação do Dashboard está atualizada? A resposta fica fácil quando não há uma quantia considerável de Dashboards para administrar. Neste artigo, explicarei o mais detalhado possível, para que possa compreender como a orquestração automatizada, via ADF, funciona.</p><p>A grande questão encontrada é com relação a carga de dados (ingestão de dados) sendo concluída em um horário que não seja “<em>cheio</em>”, ex: 06:00/06:30. Situação hipotética, onde uma carga é concluída 09:16 e o Dataset só será atualizado 09:30, ou seja, tendo um gap de 14 minutos. Nesse formato não precisaríamos nos preocupar com esse detalhe, já que a própria ingestão de dados irá disparar a atualização do Dashboard.</p><h3>Permissões e App Registration — Azure</h3><p>No portal do Azure, escolha o recurso “Microsoft Entra ID” (finado Azure Active Directory, ou AD).</p><p>No menu lateral esquerdo, acesse Registros de aplicativo (App registrations). Em seguida, escolha a opção New registration.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/604/1*on6Oyyk6QyUHfm7R9cG4ug.png" /></figure><p>Na tela de registro, insira o nome que faça sentido ao seu serviço. As demais, deixar da forma como está.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/920/1*wuuObNHzRRve44NGEgPkOg.png" /></figure><p>Após a criação, salve as informações abaixo, posteriormente iremos precisar delas:</p><ul><li>Application (client ID)</li><li>Directory (tenant ID)</li><li>Display Name</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/780/1*Mq-gcKTOYKrFjFJN-ARnDA.png" /></figure><p>Acesse a opção <strong>Certificates &amp; secrets</strong>. Aqui, iremos gerar uma chave para que possamos acessar o nosso serviço criado.</p><blockquote><strong><em>Obs: lembre-se de guardar o VALUE ao criar, não será possível visualiza-la posteriormente.</em></strong></blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/693/1*4TMFIl_v2Rjh4Euvy5eTVg.png" /></figure><p>Clique em New client secret e abrirá a janela abaixo. Insira uma descrição que faça sentido e o tempo de expiração da chave.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/646/1*so85drKWiyUIvtUJFhKsgQ.png" /></figure><p>Ficará como exemplo abaixo, copie o <strong>VALUE </strong>e guarde.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/853/1*ENzLmqple-WyAOlFsre9TA.png" /></figure><p>Voltando ao nosso App que criamos anteriormente, acesse a opção API permissions. Daremos permissão ao serviço do Power BI.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/802/1*q7A9xIuFE67onQhXHe4S1Q.png" /></figure><p>Na aba <strong>APIs my organization uses</strong>, pesquise por <strong>power bi service.</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/857/0*YCrSe-66dtUn4cYf" /></figure><p>Clique em <strong>Delegated permissions</strong>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/847/0*Jx_1gj7U1aXNoeoF" /></figure><p>Em <strong>Power BI Service</strong>, deixe conforme a imagem abaixo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/912/1*0-qF3aBswJsduQfA7Y0YJg.png" /></figure><p>Feito isso, agora seu Tenant terá acesso a API do Power BI. Só que não para por aí, é necessário ser feito lá no Power BI também (inclusive eu divaguei nessa parte).</p><h3><strong>Criando novo grupo no para acesso ao Power BI — Azure</strong></h3><p>Acesse novamente o <strong>Microsoft Entra ID</strong> (Azure Directory) e clique na opção <strong>Grupos</strong>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/704/0*RRNTUK5qVoPDSFCe.png" /></figure><p>Agora, no Power BI Adm, insira o grupo de criado.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/654/0*Bogwa6qY_pmRPvtI.png" /></figure><p>Referência de documentação oficial: <a href="https://learn.microsoft.com/pt-br/power-bi/enterprise/read-only-apis-service-principal-authentication">Habilitar a autenticação de entidade de serviço para APIs do administrador somente leitura</a></p><p>Importante também dar acesso ao usuários acesso ao Workspace no Power BI.</p><p>Referência: <a href="https://learn.microsoft.com/pt-br/power-bi/collaborate-share/service-give-access-new-workspaces">Permitir que os usuários tenham acesso aos workspaces do Power BI</a></p><h3>Armazenar os secrets criados no <strong>Azure Key Vault</strong> (Cofre de Senhas)</h3><p>Antes de prosseguir, verifique se já possui um cofre de senhas criado, caso não, segue a documentação de como criar: <a href="https://learn.microsoft.com/pt-br/azure/key-vault/general/quick-create-portal">Criar um cofre de chaves usando o portal do Azure</a></p><p>Após feita a criação, vamos acessar a opção <strong>Secrets </strong>e <strong>Generate/Import</strong>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*askJQ-2sVXTLcwuk-z6eBw.png" /></figure><p>Vamos criar 3 secrets diferentes (que armazenamos no inicio do nosso artigo), são eles: <strong>ClientID</strong>, <strong>SecretID </strong>(é aquele <strong>VALUE </strong>que eu mandei você salvar lá atrás), <strong>TenantID</strong>.</p><ul><li><strong>Name</strong>: recomendo deixar conforme acima, pra facilitar lá na frente, então use <strong>ClientID </strong>(faça isso com os demais)</li><li><strong>Secret value:</strong> valor que você salvou do ClientID</li><li><strong>Set activation e expiration date</strong>: são datas de quando a chave vai começar a valer e quando vai expirar, caso não marque, ela estará sempre ativa.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*ss-vz-zLpzL3aIGOB5cZhQ.png" /></figure><p>Após criada a primeira chave, a tela será parecida com esta abaixo. Copie o <strong>Secret Identifier</strong>. Repita o processo para as outras duas chaves.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/746/1*p9NVhzjNBmI18NH6k1mPgg.png" /></figure><h3>Criar o pipeline no Azure Data Factory</h3><p>Recomenda-se que você já tenha o Data Factory criado. Caso não tenha, segue documentação oficial: <a href="https://learn.microsoft.com/pt-br/azure/data-factory/quickstart-create-data-factory">Criar um data factory usando o portal do Azure</a></p><p>Acesse o menu <strong>Properties </strong>e copie o<strong> Managed Identity Application ID</strong>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/405/0*kup0nlCUeJRY4BHq" /></figure><p>Retorne ao Key Vault (Cofre de Senhas), e no menu <strong>Access Policies </strong>acesse <strong>Add Access Policy</strong>. Insira o ID do DataFactory, que copiamos anteriormente.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/434/0*7cqVBhy4SX5YVDT0" /></figure><p>Adicione e salve. <br>Por aqui terminamos a parte de permissionamento.</p><h3>Data Factory — Criando e orquestrando pipeline</h3><p>Ao final deste tópico, o nosso pipeline terá essa estrutura.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/848/1*rvxebM6qlvrRLu6b-dSc1g.png" /></figure><blockquote>Obs: Este artigo foi criado com base em outro já existente e adequado a realidade que hoje adotamos, portanto a parte que continha a atualização do Dataflow foi omitida. Referências e créditos serão dadas ao final.</blockquote><p>Buscar “<strong>Secrets</strong>” no <strong>Azure Key Vault</strong>.</p><ol><li>Selecione, no menu Atividades, do tipo Web e insira-o.</li><li>No menu Geral, dê o nome que represente melhor a função do teu objeto Web.</li></ol><p>Na aba <strong>Configurações</strong>:</p><ol><li><strong>URL</strong>: Insira a URL do Key Vault que criamos (a que represente o ClientID e acrescente “<strong>?api-version=7.0</strong>” ao final da URL.</li><li>Exemplo: https:/nomedoseukeyvault.vault.azure.net/secrets/NomeDoSecret/ID Da Versão do Secret?api-version=7.0</li><li><strong>Método (Method)</strong>: GET</li><li>Autenticação: Identidade Gerenciada Atribuída ao Sistema (<strong>System Assigned Managed Identity</strong>)</li><li><strong>Recursos </strong>(<strong>Resource</strong>): <a href="https://vault.azure.net/">https://vault.azure.net</a></li><li><strong>Runtime de integração</strong> (Essa parte não tem no texto de referência, mas decidi deixar porque tive problema): Havia deixado na opção automatica (<strong>AutoResolveIntegrationRuntime</strong>), só que por algum motivo alheio a minha vontade o ADF estava optando por um que estava desabilitado, então tive que escolher manualmente. Fica a dica caso você tenha erro na pipeline quanto a isso.</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/581/0*Y5pwkzfIkyXPeSKU" /></figure><p>Repita o processo também para o <strong>SecretID </strong>(aquele mesmo do <strong>VALUE</strong>, que anotamos e eu o citei variás vezes).</p><p>Feito os passos acima, vamos configurar a chamada de autenticação no Azure para obter o Bearer Token.</p><p>No menu <strong>Configurações</strong>:</p><ol><li><strong>URL</strong>: <a href="https://login.microsoftonline.com/%7Btenant">https://login.microsoftonline.com/{tenant</a> id do service principal}/oauth2/v2.0/token</li><li><strong>Método (Method)</strong>: POST</li><li><strong>Corpo </strong>(<strong>Body</strong>): Antes de inserir a informação, escolha a opção abaixo do campo, em azul, para adicionar conteúdo dinâmico (<strong>Add Dynamic Content</strong>).</li><li>Na janela que se abre, copie e substitua os valores: @concat(‘grant_type=client_credentials&amp;client_id=’, activity(‘Nome Do Activity do Client ID’).output.value, ‘&amp;client_secret=’, activity(‘Nome Do Activity do Secret ID’).output.value, ‘&amp;scope=https://analysis.windows.net/powerbi/api/.default&#39;)</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/646/0*a2wQwO9d1AnjPnyo" /></figure><p>5. <strong>Cabeçalho </strong>(<strong>Headers</strong>):</p><p><strong>Content-Type</strong>: application/x-www-form-urlencoded<br><strong>Cookie</strong>: fpc=Aiu1F41MFJxIjZNYWC_BNN7ncEI6AQAAAH3FNtsOAAAA; stsservicecookie=estsfd; x-ms-gateway-slice=estsfd</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/757/0*eZialpO8UIDgnsvb" /></figure><p>No nosso último passo iremos atualizar o Dashboard. Então, crie outra atividade do tipo Web.</p><blockquote>Como citado anteriormente, neste artigo não teremos atualização do Dataflow, pois neste exemplo utilizamos a conexão direta do PBI ao banco de dados, então basta que façamos uma carga de dados separada (atualizar a tabela que o BI usa) e ele faz todo o processo automático.</blockquote><p>Antes de mais nada, clique na área vazia da tua pipeline e vá a opção <strong>Parâmetros</strong>. A opção parâmetros tem a finalidade de não deixarmos variáveis fixas no pipeline, sendo possível o reaproveitamento.</p><p>Crie as 2 ou 3 variáveis, a depender da tua necessidade.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/740/1*wKPPD_H1xrmwZdZVo0p2yQ.png" /></figure><p>Feito o passo anterior, vamos as configurações da pipeline.</p><ol><li><strong>URL</strong>: <a href="https://api.powerbi.com/v1.0/myorg/groups/%7Bid">https://api.powerbi.com/v1.0/myorg/groups/{id</a> do workspace}/dataset/{id do dataset}/refreshes<br>No meu caso, ficou assim: <br>@concat(‘https://api.powerbi.com/v1.0/myorg/groups/&#39;,pipeline().parameters.WorkspaceID,&#39;/datasets/&#39;,pipeline().parameters.DatasetID,&#39;/refreshes&#39;)<br>Lembre-se de adicionar como conteúdo dinâmico (<strong>Add dynamic content</strong>).</li><li><strong>Método (Method)</strong>: POST</li><li><strong>Corpo </strong>(<strong>Body</strong>): {“type”:”full”,”commitMode”:”transactional”,”applyRefreshPolicy”:”false”}</li></ol><p><strong>Cabeçalho </strong>(<strong>Headers</strong>):</p><ol><li><strong>Content-Type</strong>: application/json<br><strong>Authorization</strong>: <br>@concat(‘Bearer ‘, activity(‘Obter Bearer Token’).output[‘access_token’])</li></ol><p>Terminada toda essa parte, vamos publicar tudo que foi feito, para que façamos a ultima parte desse artigo.</p><h3>Criando pipeline de ingestão de dados — Azure Data Factory</h3><p>Como foi dito ao longo deste artigo, o nosso pipeline não possui Dataflow, não sendo necessário atualização do mesmo. Sendo assim, basta criarmos um activity que fará a chamada do nosso pipeline. No meu caso, utilizei um que atualiza a tabela que o BI consome.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/602/1*8kHaQpYxl2p0huAhrzJ5EQ.png" /></figure><p>Basta então que informemos ao pipeline de atualização o <strong>WorkspaceID </strong>e o <strong>DatasetID</strong>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/768/1*UYqa7nG7o78RJPJ151KopQ.png" /></figure><p>Espero que esse artigo tenha lhe ajudado a melhorar o modo como o fluxo de datasets são atualizados atualmente.</p><p>Obrigado, a você leitor, por ter me acompanhado até aqui. Qualquer sugestão de melhoria é sempre bem-vinda.</p><h3>Referências do artigo</h3><p>Caique Godoy: <a href="https://www.linkedin.com/pulse/automatizando-atualiza%C3%A7%C3%A3o-do-dataflow-fluxo-de-dados-e-caique-godoy/?trk=public_post&amp;originalSubdomain=pt">Automatizando atualização do DataFlow (Fluxo de Dados) e Dataset (Dashboard) do Power BI com Azure Data Factory e API.</a></p><p>Documentação oficial da Microsoft</p><p>Guilherme Felipe Massafera: <a href="https://www.linkedin.com/pulse/automatizando-atualiza%C3%A7%C3%A3o-do-dataflow-e-dataset-power-massafera/?originalSubdomain=pt">Automatizando atualização do DataFlow e DataSet do Power BI via API</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1da58f814f33" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Nohup — executar aplicação Python em background]]></title>
            <link>https://medium.com/@datachrisengineer/nohup-executar-aplica%C3%A7%C3%A3o-python-em-background-368664548cf7?source=rss-6e4180b9831f------2</link>
            <guid isPermaLink="false">https://medium.com/p/368664548cf7</guid>
            <category><![CDATA[linux]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[big-data]]></category>
            <category><![CDATA[nohup]]></category>
            <category><![CDATA[unix]]></category>
            <dc:creator><![CDATA[Christoffer Nunes]]></dc:creator>
            <pubDate>Mon, 20 Nov 2023 14:05:50 GMT</pubDate>
            <atom:updated>2023-11-20T14:05:50.246Z</atom:updated>
            <content:encoded><![CDATA[<h3>Nohup — executar aplicação Python em background</h3><p>Quem nunca se viu na situação de precisar rodar uma aplicação em primeiro plano no terminal, seja no ambiente Unix ou no CMD/Powershell? Porém, quando lidamos com aplicações de larga escala, é comum ter que esperar pela conclusão do processo, já que encerrar o terminal significa interromper a execução. É aqui que o <strong>Nohup </strong>entra em cena. Ele é a solução para esse dilema, permitindo que as tarefas continuem mesmo após o fechamento do terminal.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/448/0*6P0bD8lviTw67Kyg.gif" /></figure><p><strong>Nohup </strong>é um comando utilizado em sistemas Unix e Linux para executar processos de maneira que eles não sejam interrompidos quando a sessão do terminal é fechada ou quando o usuário se desconecta. O nome nohup significa “no hang up”, indicando que o processo não será afetado caso a conexão seja encerrada.</p><p>Quando você executa um comando seguido por nohup, como por exemplo nohup comando &amp;, o &amp; colocado no final faz com que o comando seja executado em segundo plano, liberando o terminal para outras operações. Além disso, o nohup cria um arquivo chamado nohup.out, onde redireciona a saída padrão e de erro do processo. Isso é útil para verificar mensagens de saída ou erros após a execução do comando.</p><p>Primeiro iremos criar uma pasta, apenas em caráter de exemplo.</p><pre>mkdir teste_no_hup</pre><p>Após acessar a pasta com cd teste_no_hup vamos criar um arquivo Python (ou baixar do github, fica a seu critério).</p><pre>from datetime import datetime<br><br>print(f&quot;A funcao teve inicio as {datetime.now()}&quot;)<br>for i in range (100000000):<br>    a = i<br><br><br>print(f&quot;A funcao terminou as {datetime.now()}&quot;)</pre><p>Criado o arquivo acima, que irá executará um <strong>for </strong>de 0 a 100 milhões. Dois prints dirão o horário em que a carga iniciou e foi finalizada. Posteriormente, a saída será salva em um arquivo de log.</p><pre>python teste.py<br>A funcao teve inicio as 2023-11-20 13:19:10.642187<br>A funcao terminou as 2023-11-20 13:19:19.589656</pre><p>Você deve ter percebido que enquanto o script era executado o terminal estava “ocupado” e não podendo ser interrompido. Abaixo temos o comando para fazer com o que nosso script execute em <strong>background</strong>.</p><pre>nohup python -u teste.py &gt; log_script.out 2&gt;&amp;1 &amp;</pre><blockquote><strong>nohup</strong>: executa o comando<br><strong>python -u teste.py</strong>: executa o comando python não bufferizado que chama o teste.py<br><strong>&gt; log_script.out 2&gt;&amp;1 &amp;</strong>: o sinal de “<strong>&gt;</strong>” indica a saída do arquivo, ou seja, onde quer que seja salvo, no nosso caso é <strong>log_script</strong>.<strong>out</strong></blockquote><p>Após execução do script, o terminal retornará um ID de execução, no meu caso retornou <strong>4093222</strong>. Você pode acompanhar a execução digitando o comando: <strong>tail -f </strong>“<strong>log_script.out</strong>” (que foi criado acima).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/429/1*a_9K97ydXWcIJY_a90APdg.png" /><figcaption>Conteúdo do arquivo log_script.out</figcaption></figure><p>Caso desejar verificar o log de todos os nohup utilizados (em execução e finalizados), utilize o comando:</p><pre>ps aux | grep &quot;nome_do_arquivo.py&quot;</pre><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=368664548cf7" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Data Cleansing com Pandas DataFrame]]></title>
            <link>https://medium.com/@datachrisengineer/data-cleansing-com-pandas-dataframe-04c2a1f1e997?source=rss-6e4180b9831f------2</link>
            <guid isPermaLink="false">https://medium.com/p/04c2a1f1e997</guid>
            <category><![CDATA[pandas]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[data-cleansing]]></category>
            <category><![CDATA[data-analyst]]></category>
            <category><![CDATA[análise-de-dados]]></category>
            <dc:creator><![CDATA[Christoffer Nunes]]></dc:creator>
            <pubDate>Wed, 15 Nov 2023 16:41:45 GMT</pubDate>
            <atom:updated>2023-11-15T16:41:45.030Z</atom:updated>
            <content:encoded><![CDATA[<p>O Data Cleansing, ou limpeza de dados, é uma etapa crucial no processo de preparação e pré-processamento de dados em análise de dados, machine learning, e outras tarefas relacionadas. Segue abaixo alguns tópicos no que a limpeza de dados pode ser importante:</p><h3>Qualidade dos Dados:</h3><ul><li>Dados sujos ou incorretos podem levar a conclusões errôneas e decisões inadequadas. A limpeza de dados melhora a qualidade geral dos dados, tornando as análises mais confiáveis.</li></ul><h3>Consistência:</h3><ul><li>Ajuda a garantir a consistência dos dados, eliminando discrepâncias e valores duplicados que podem surgir de fontes diferentes ou de processos de entrada de dados inconsistentes.</li></ul><h3>Conformidade com Padrões:</h3><ul><li>Garante que os dados estejam em conformidade com padrões e formatos predefinidos. Isso é especialmente importante quando se integram dados de várias fontes.</li></ul><blockquote>Principalmente se vier de uma fonte de dados externas (API) ou Banco de Dados (MongoDB, Postgres e etc).</blockquote><h3>Detecção e Tratamento de Outliers:</h3><ul><li>Identifica e lida com valores atípicos (outliers) que podem distorcer as análises estatísticas e modelos de machine learning.</li></ul><h3>Melhoria da Precisão dos Modelos:</h3><ul><li>Para modelos de machine learning, a qualidade dos dados é crucial. Dados limpos e bem-preparados aumentam a precisão dos modelos e a capacidade de generalização para novos dados.</li></ul><h3>Tratamento de Dados Ausentes:</h3><ul><li>Identificação e tratamento de valores ausentes, seja preenchendo-os com valores adequados ou removendo registros correspondentes, evitando assim a introdução de viés nos resultados.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/201/1*YVeIeux8urkvM2u4whIR-Q.png" /></figure><h3>Facilidade de Compreensão:</h3><ul><li>Dados limpos são mais fáceis de entender e interpretar, facilitando a colaboração entre membros da equipe e tornando os resultados mais acessíveis para tomadores de decisão.</li></ul><blockquote>Já viu aquele UUID todo bagunçado vindo de um MongoDB?</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/304/1*O5R3Va86SEoCvf8sMTK_EA.png" /><figcaption>Exemplo de dado não estrutura</figcaption></figure><h3>Economia de Recursos:</h3><ul><li>Reduz a necessidade de retrabalho devido a erros nos dados, economizando tempo e recursos que seriam gastos na correção de problemas resultantes de dados sujos.</li></ul><blockquote>Imagine rodar milhares de linhas, depois de um longo tempo e descobrir entre as últimas que existe dado faltante ou com tipo errado?</blockquote><p>Exemplo de um código simples que faz a limpeza de dados do tipo <strong>NaN </strong>(Not a Number), <strong>NaT </strong>(Not a Type) e padronização de Datas.</p><pre>class DataCleansing:<br><br>  def __init__(self, data):<br>      self.data = data<br>  <br>  def tratar_dados(self):<br>  <br>      numeric_columns = self.data.select_dtypes(include=[&#39;int64&#39;, &#39;float64&#39;]).columns<br>      self.data[numeric_columns] = self.data[numeric_columns].fillna(0)<br>      <br>      objet_columns = self.data.select_dtypes(include=[&#39;object&#39;]).columns<br>      self.data[objet_columns] = self.data[objet_columns].replace({np.nan: None}) <br>  <br>      date_columns = self.data.select_dtypes(include=[&#39;datetime64[ns]&#39;]).columns<br>      self.data[date_columns] = self.data[date_columns].replace({pd.NaT: pd.to_datetime(&#39;1900-01-01&#39;)})</pre><pre>import pandas as pd<br>import numpy as np<br>import requests<br>import json<br>from datetime import datetime<br><br>url_despesa = &quot;https://wstransparencia.vilavelha.es.gov.br/api/despesa?exercicio=2023&quot;<br><br>df_despesas = None<br><br>try:<br>    response = requests.get(url_despesa)<br>    response.raise_for_status()<br>    if response.status_code == 200:<br>        json_convertido = json.loads(response.text)<br>        df_despesas = pd.DataFrame(json_convertido)<br><br>        df_despesas[&#39;Data&#39;] = df_despesas.apply(lambda linha: datetime.strptime(linha[&#39;Data&#39;], &quot;%Y-%m-%dT%H:%M:%S&quot;).strftime(&quot;%d-%m-%Y&quot;), axis=1)<br><br>        DataCleansing(df_despesas).tratar_dados()<br>except requests.exceptions.HTTPError as e:<br>    print(e)</pre><p>Neste exemplo, o código verifica as colunas do tipo <strong>int64 e float64, </strong>insere o valor 0 cada vez que encontrar a informação <strong>NaN</strong>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/637/1*LjAFNv-18eCTMqEvcTL4dw.png" /><figcaption>Função fillna insere o valor 0 quando encontrado NaN</figcaption></figure><p>O mesmo acontece com as colunas no formato de objeto e datas:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/782/1*l92drJ5rN-V97lYTNLWyKg.png" /><figcaption>Função replace para sobrescrever os NaN para None</figcaption></figure><p>Nesses casos acima, todo e qualquer <strong>NaN </strong>será substituído por <strong>None </strong>(null em Python) e no formato <strong>NaT</strong> por uma data fixa “<strong>1900–01–01</strong>” (podendo ser por <strong>None </strong>também).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/689/1*BfupAM6FYYTV-hxaHEPMIw.png" /></figure><p>Como a API retornou informações de datas, resolvi padroniza-las para o formato dia-mês-ano:</p><pre>df_despesas[&#39;Data&#39;] = df_despesas.apply(lambda linha: datetime.strptime(linha[&#39;Data&#39;], &quot;%Y-%m-%dT%H:%M:%S&quot;).strftime(&quot;%d-%m-%Y&quot;), axis=1)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/92/1*91ZwcjycC-EWHrwhe4a5jg.png" /><figcaption>Resultado da conversão com o código acima</figcaption></figure><p>Python possui suas bibliotecas ricas em funcionalidades como <strong>pandas</strong>, <strong>numpy</strong>, e <strong>scikit-learn</strong>, é uma escolha popular para a limpeza de dados devido à sua simplicidade, flexibilidade e vasta comunidade de suporte. O processo de Data Cleansing em Python envolve manipulação eficiente de dados, tratamento de valores ausentes, detecção de outliers e aplicação de transformações necessárias para garantir a qualidade dos dados antes da análise ou modelagem.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=04c2a1f1e997" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>