<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Lucas Melo on Medium]]></title>
        <description><![CDATA[Stories by Lucas Melo on Medium]]></description>
        <link>https://medium.com/@lucas-melo?source=rss-b7c12035d404------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*njWaZFX0_gKvmQp6SzrbCQ@2x.jpeg</url>
            <title>Stories by Lucas Melo on Medium</title>
            <link>https://medium.com/@lucas-melo?source=rss-b7c12035d404------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 08:24:20 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@lucas-melo/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Teste Avaliação de Risco de Crédito (Porto Seguro)]]></title>
            <link>https://medium.com/@lucas-melo/teste-avalia%C3%A7%C3%A3o-de-risco-de-cr%C3%A9dito-porto-seguro-b68077387605?source=rss-b7c12035d404------2</link>
            <guid isPermaLink="false">https://medium.com/p/b68077387605</guid>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[Lucas Melo]]></dc:creator>
            <pubDate>Thu, 29 Jan 2026 13:09:15 GMT</pubDate>
            <atom:updated>2026-01-29T20:58:48.530Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*R_a7Rmcx3Ol7Rmt4FAD-jg.png" /></figure><h4>Como escolhi o melhor modelo para risco de crédito: estabilidade importa mais que AUC</h4><p>Modelos de Machine Learning para risco costumam ser avaliados por métricas como ROC AUC. Em competições, é comum escolher o modelo com o maior valor final e encerrar o processo. No entanto, em aplicações reais — como seguros e crédito — a escolha do modelo envolve mais do que apenas maximizar uma métrica: <strong>estabilidade e capacidade de generalização são tão importantes quanto o desempenho numérico</strong>.</p><p>Neste projeto, busquei responder a uma pergunta central:</p><p><strong>como escolher um modelo confiável para estimar o risco de sinistro de motoristas?</strong></p><h3><strong>Entendimento do problema de negócio</strong></h3><p>O objetivo deste projeto é responder a uma pergunta simples na forma, mas extremamente relevante para o setor de seguros: <strong>qual é a probabilidade de um motorista se envolver em um sinistro de seguro auto no próximo ano?</strong></p><p>No contexto das seguradoras, sinistro refere-se a qualquer evento que gere prejuízo financeiro e acione a apólice, como acidentes de trânsito, roubos, furtos ou danos causados por fenômenos naturais ou por terceiros.</p><p>Antecipar esse risco é fundamental para o negócio, pois impacta diretamente decisões estratégicas como:</p><ul><li><strong>precificação do seguro;</strong></li><li><strong>aceitação de clientes;</strong></li><li><strong>definição de limites de cobertura;</strong></li><li><strong>estratégias de mitigação de perdas</strong>.</li></ul><p>Em vez de apenas prever se um sinistro ocorrerá ou não, o foco está em <strong>classificar corretamente o risco</strong>, permitindo que a seguradora diferencie perfis de maior e menor exposição.</p><h3>Entendimento dos dados</h3><p>Para abordar esse problema, foram utilizados dados públicos disponibilizados pela Porto Seguro por meio da competição <a href="https://www.kaggle.com/competitions/porto-seguro-safe-driver-prediction/data"><strong>Safe Driver Prediction</strong></a>, hospedada no Kaggle. O conjunto de dados foi projetado especificamente para problemas de classificação de risco e segue uma estrutura típica desse tipo de desafio.</p><p>O dataset contém:</p><ul><li>595.212 registros</li><li>59 variáveis numéricas</li><li>target indicando ocorrência de sinistro</li><li>valores ausentes codificados como -1</li></ul><p>Os dados foram divididos em treino e teste antes de qualquer transformação, garantindo avaliação justa e evitando vazamento de informação.</p><h3>Preparação dos Dados</h3><p>A etapa de preparação dos dados teve como objetivo garantir qualidade, consistência e adequação das variáveis para os modelos de machine learning.</p><p>Inicialmente, os valores ausentes codificados como -1 foram convertidos para NaN, permitindo o uso adequado das funções de tratamento de dados. Em seguida, foi realizada uma análise da <strong>proporção de valores ausentes por feature</strong>. Variáveis com alta taxa de ausência foram removidas, pois tendem a introduzir ruído e pouca informação útil ao modelo.</p><p>Para as features com baixa proporção de valores nulos, foi aplicada <strong>imputação pela média</strong>, calculada exclusivamente a partir da base de treino. Essa decisão evita vazamento de dados e mantém consistência entre treino e teste. Embora existam métodos mais sofisticados de imputação, a imputação pela média mostrou-se suficiente e coerente com o perfil das variáveis analisadas.</p><p>Durante essa etapa, variáveis sensíveis, como identificadores e a variável alvo, foram temporariamente removidas das transformações. Esse cuidado garante maior controle sobre o pipeline e evita impactos indevidos nas etapas seguintes.</p><h3>Padronização das variáveis</h3><p>Após o tratamento de valores ausentes, foi realizada a <strong>padronização das variáveis</strong>. Em conjuntos de dados com grande variação de magnitude, features com valores mais elevados podem dominar o processo de aprendizado, enviesando os modelos.</p><p>A padronização coloca todas as variáveis na mesma escala, melhora a convergência dos algoritmos e garante que nenhuma feature influencie o treinamento apenas por sua magnitude numérica. Essa etapa é especialmente importante para modelos lineares e algoritmos baseados em distância.</p><h3>Feature Selection</h3><p>A etapa de feature selection foi utilizada como apoio para reduzir dimensionalidade e ruído, contribuindo para a estabilidade dos modelos. O objetivo é selecionar apenas as variáveis com maior poder explicativo em relação à variável alvo, reduzindo a dimensionalidade do conjunto de dados.</p><p>Além de tornar os modelos mais interpretáveis, essa etapa melhora a performance computacional e, em muitos casos, aumenta a capacidade de generalização, reduzindo o risco de overfitting. A seleção de variáveis foi conduzida de forma cuidadosa, respeitando sempre a separação entre treino e teste.</p><h3>Modelagem</h3><p>Com os dados preparados, foram testados cinco modelos amplamente utilizados em problemas tabulares e competições do Kaggle:</p><ul><li><strong>Regressão Logística</strong> (baseline)</li><li><strong>Random Forest</strong></li><li><strong>XGBoost</strong></li><li><strong>LightGBM</strong></li><li><strong>CatBoost</strong></li></ul><p>Foi utilizada uma busca por hiperparâmetros via GridSearch, com foco em comparabilidade entre modelos, tendo como métrica principal o <strong>ROC AUC</strong>, conforme o critério oficial da competição.</p><h3>Regressão Logística</h3><p>A Regressão Logística foi utilizada como modelo de referência. Embora simples e interpretável, seus resultados evidenciam rapidamente suas limitações. A curva ROC permanece próxima da diagonal, indicando baixa capacidade de discriminação entre motoristas com e sem sinistro.</p><p>O recall elevado ocorre porque o modelo tende a classificar a maioria dos casos como evento, comprometendo o ranqueamento do risco. As curvas Precision-Recall, assim como os baixos valores de Gini e KS, reforçam esse comportamento.</p><h3>Random Forest</h3><p>O Random Forest apresentou excelente desempenho no conjunto de treino, com curvas ROC bem acima da aleatoriedade e forte separação entre decis. No entanto, ao ser avaliado no conjunto de teste, ocorreu uma queda acentuada de performance.</p><p>Essa diferença clara entre treino e teste indica <strong>overfitting</strong>, sugerindo que o modelo aprendeu padrões específicos da base de treino, mas não conseguiu generalizar bem para dados não vistos.</p><h3>XGBoost e LightGBM</h3><p>Os modelos de boosting, <strong>XGBoost</strong> e <strong>LightGBM</strong>, apresentaram maior estabilidade. As curvas de treino e teste permaneceram próximas, indicando melhor controle de overfitting.</p><p>O XGBoost alcançou um dos melhores valores de AUC e Gini do experimento, enquanto o LightGBM apresentou desempenho muito semelhante, com métricas equilibradas e boa capacidade de generalização. Ainda assim, a ordenação de score apresentou sobreposição entre faixas, limitando o ranqueamento mais fino do risco.</p><h3>CatBoost</h3><p>O <strong>CatBoost</strong> se destacou como o modelo mais equilibrado do estudo. Ele apresentou o maior ROC AUC e o maior Gini, mantendo curvas de treino e teste bem alinhadas. Embora exista um leve distanciamento na curva Precision-Recall, esse efeito é significativamente menor do que o observado no Random Forest.</p><p>A ordenação de score mostrou-se mais estável, com menor instabilidade entre decis. Esse desempenho pode estar relacionado à robustez do CatBoost a ruído e à sua estratégia de boosting ordenado, que tende a reduzir overfitting.</p><h3>Resultado e conclusão</h3><p>Considerando o critério oficial da competição — maximização do <strong>ROC AUC</strong> (e, consequentemente, do <strong>Gini</strong>) — o <strong>CatBoost</strong> se mostrou o modelo mais consistente para este desafio. Embora a diferença em relação ao XGBoost e ao LightGBM seja pequena, ele apresentou o melhor equilíbrio entre desempenho, estabilidade e capacidade de generalização.</p><p>Caso queira conferir o notebook utilizado neste artigo, basta acessar o repositório no <a href="https://github.com/Lucas-Melo-A-S/Avaliacao-de-Risco-de-Credito-Porto-Seguro-">GitHub</a>.</p><p>Obrigado pela leitura — e, se tiver dúvidas ou sugestões, fique à vontade para comentar no final do artigo.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b68077387605" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Detecção de Fraude em Cartões de Crédito com XGBoost]]></title>
            <link>https://medium.com/@lucas-melo/detec%C3%A7%C3%A3o-de-fraude-em-cart%C3%B5es-de-cr%C3%A9dito-com-xgboost-cbc7e5205b79?source=rss-b7c12035d404------2</link>
            <guid isPermaLink="false">https://medium.com/p/cbc7e5205b79</guid>
            <category><![CDATA[fraud-detection]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[xgboost]]></category>
            <dc:creator><![CDATA[Lucas Melo]]></dc:creator>
            <pubDate>Thu, 22 Jan 2026 17:29:47 GMT</pubDate>
            <atom:updated>2026-01-22T17:29:47.542Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*K9ARbjrtXACjdHRzcopqFQ.png" /></figure><h4>Um guia completo: do dataset ao threshold focado em precisão</h4><p>Fraude em cartões de crédito é um dos exemplos mais clássicos de problemas em que métricas aparentemente excelentes escondem modelos inutilizáveis no mundo real. Em datasets extremamente desbalanceados, é muito fácil construir modelos com AUC quase perfeita que, na prática, geram milhares de falsos positivos ou decisões inconsistentes.</p><p>Neste artigo, apresento uma <strong>pipeline completa, leakage-safe e orientada à decisão de negócio</strong> para o dataset <a href="https://www.kaggle.com/datasets/mlg-ulb/creditcardfraud"><em>Credit Card Fraud Detection</em></a>, disponibilizado pela ULB e hospedado no Kaggle. O foco não é apenas “acertar o máximo possível”, mas <strong>tomar decisões alinhadas a um objetivo real: capturar a maior parte das fraudes mantendo falsos positivos sob controle</strong>.</p><p>Ao final, chegamos a um modelo capaz de:</p><ul><li><strong>Precision (teste)</strong> ≈ <strong>34%</strong></li><li><strong>Recall (teste)</strong> ≈ <strong>85%</strong></li><li><strong>ROC-AUC (teste)</strong> ≈ <strong>0.96</strong></li><li><strong>PR-AUC (teste)</strong> ≈ <strong>0.69</strong></li><li><strong>KS (teste)</strong> ≈ <strong>0.86</strong></li><li><strong>Apenas ~240 falsos positivos em ~85 mil transações legítimas</strong></li><li><strong>Score calibrado e threshold definido de forma explícita</strong></li></ul><h3>1. Entendendo o problema: por que fraude é diferente</h3><p>O dataset possui aproximadamente <strong>284 mil transações</strong>, das quais apenas <strong>0,17% são fraudes</strong>. Isso muda completamente a forma de modelar e avaliar o problema.</p><p>Se utilizarmos métricas tradicionais como <em>accuracy</em>, um modelo que sempre prevê “não fraude” atinge mais de <strong>99,8% de acurácia</strong>, sendo completamente inútil.</p><p>Por isso, neste projeto, as métricas centrais são:</p><ul><li><strong>ROC-AUC</strong> → qualidade de ranking</li><li><strong>PR-AUC (Average Precision)</strong> → métrica mais informativa para classes raras</li><li><strong>Precision e Recall</strong> → controladas explicitamente por threshold</li><li><strong>Confusion Matrix</strong> → leitura operacional do impacto do modelo</li></ul><h3>2. Carregamento dos dados e prevenção de leakage</h3><p>Um erro extremamente comum nesse dataset é o <strong>vazamento de informação via índice</strong>. Ao salvar CSVs sem index=False, o índice vira uma feature (Unnamed: 0) que modelos de árvore conseguem explorar facilmente.</p><p>Por isso, logo no início:</p><pre>df = pd.read_csv(&quot;creditcard.csv&quot;)<br>df = df.drop(columns=[&quot;Unnamed: 0&quot;], errors=&quot;ignore&quot;)</pre><p>Essa simples linha evita um dos maiores motivos de <strong>AUC “milagrosas”</strong> que não se sustentam fora do split interno.</p><h3>3. Separação entre features e target</h3><pre>X = df.drop(columns=[&quot;Class&quot;])<br>y = df[&quot;Class&quot;]</pre><p>A partir daqui, <strong>nenhuma transformação é feita usando o conjunto de teste</strong>.</p><h3>4. Split estratificado (obrigatório em fraude)</h3><p>Em problemas altamente desbalanceados, o split precisa preservar a proporção da classe minoritária:</p><pre>X_train_full, X_test, y_train_full, y_test = train_test_split(<br>    X, y,<br>    test_size=0.30,<br>    random_state=42,<br>    stratify=y<br>)</pre><p>Sem estratificação, as métricas passam a depender mais do acaso do que do modelo.</p><h3>5. Conjunto exclusivo para calibração</h3><p>Modelos baseados em árvores costumam ser excelentes para <strong>ranking</strong>, mas suas probabilidades não são necessariamente confiáveis.</p><p>Por isso, criamos um conjunto separado apenas para <strong>calibrar o score</strong>, sem tocar no teste:</p><pre>X_train, X_cal, y_train, y_cal = train_test_split(<br>    X_train_full, y_train_full,<br>    test_size=0.20,<br>    random_state=42,<br>    stratify=y_train_full<br>)</pre><p>Esse passo é fundamental para definir thresholds de forma consistente e reutilizável.</p><h4>5.1. Por que não foi aplicada padronização (StandardScaler)</h4><p>Nenhuma técnica de padronização foi aplicada — e isso foi <strong>intencional</strong>.</p><p>O modelo utilizado é o <strong>XGBoost</strong>, baseado em árvores de decisão. Diferentemente de modelos lineares, ele <strong>não é sensível à escala das variáveis</strong>, pois suas decisões são baseadas em regras do tipo feature ≤ valor.</p><p>Além disso, as variáveis V1 a V28 já são componentes resultantes de uma <strong>PCA aplicada pelos autores do dataset</strong>, estando centradas e em escalas comparáveis.</p><p>Como o foco do projeto é <strong>calibração de probabilidades e definição explícita de thresholds</strong>, manter os dados em sua forma original ajuda a preservar a relação natural entre score e risco.</p><h3>6. Por que XGBoost?</h3><p>XGBoost é particularmente adequado para dados tabulares com:</p><ul><li>relações não lineares</li><li>interações complexas entre variáveis</li><li>necessidade de controle fino de overfitting</li></ul><p>Além disso, com os hiperparâmetros corretos, é possível torná-lo <strong>conservador</strong>, reduzindo falsos positivos — exatamente o que buscamos aqui.</p><h3>7. Ajustando o modelo com foco em precisão</h3><p>Para aumentar precision, o modelo precisa exigir <strong>evidência forte</strong> antes de classificar uma transação como fraude. Isso foi feito com:</p><ul><li>max_depth menor → regras mais simples</li><li>min_child_weight alto → evita splits frágeis</li><li>gamma elevado → só cria splits com ganho relevante</li><li>regularização forte (reg_alpha, reg_lambda)</li><li>scale_pos_weight limitado para evitar excesso de alertas</li></ul><pre>ratio = (y_train == 0).sum() / (y_train == 1).sum()<br>scale_pos_weight = min(ratio, 100)</pre><h3>8. Calibração de probabilidades</h3><p>Foi utilizada <strong>sigmoid calibration</strong>, mais estável quando há poucos positivos:</p><pre>calibrated = CalibratedClassifierCV(<br>    estimator=xgb_prec,<br>    method=&quot;sigmoid&quot;,<br>    cv=&quot;prefit&quot;<br>)<br>calibrated.fit(X_cal, y_cal)</pre><p>Após a calibração, o score passa a representar <strong>risco relativo mais confiável</strong>, e não apenas ranking bruto.</p><h3>9. Definindo o threshold com foco em precisão</h3><p>Em fraude, threshold 0.5 <strong>não faz sentido</strong>.</p><p>A probabilidade base é extremamente baixa, então thresholds também serão baixos.</p><p>Aqui, definimos uma <strong>precision mínima desejada</strong> e escolhemos o threshold que <strong>maximiza recall dentro dessa restrição</strong>.</p><h3>10. Resultado final e interpretação de negócio</h3><h4>Métricas no conjunto de teste</h4><ul><li><strong>Precision:</strong> 0.34</li><li><strong>Recall:</strong> 0.85</li><li><strong>ROC-AUC:</strong> 0.964</li><li><strong>PR-AUC:</strong> 0.686</li><li><strong>KS:</strong> 0.856</li></ul><h4>Confusion Matrix (teste)</h4><pre>TN = 85.053<br>FP =    242<br>FN =     22<br>TP =    126</pre><h3>Interpretação prática</h3><ul><li>Apenas <strong>242 transações legítimas</strong> seriam incorretamente sinalizadas como fraude</li><li><strong>Mais de 85% das fraudes</strong> foram capturadas</li><li>Trade-off consciente entre recall alto e controle de falsos positivos</li></ul><p>Esse é um resultado <strong>realista, operacional e defensável</strong>, especialmente em cenários onde falsos positivos têm custo direto para o negócio.</p><h3>11. Limitações do dataset</h3><p>É importante salientar que este dataset:</p><ul><li>é totalmente anonimizado via PCA</li><li>possui padrões de fraude muito bem definidos</li><li>não reflete toda a complexidade de ambientes produtivos</li></ul><p>Por isso, métricas como <strong>KS e Gini aparecem artificialmente altas</strong>.</p><p>Em produção real, esses valores seriam naturalmente menores.</p><h3>Conclusão</h3><p>Mais importante do que “treinar um XGBoost” foi construir uma pipeline:</p><ul><li>sem leakage</li><li>com validação correta</li><li>com score calibrado</li><li>e threshold alinhado a um objetivo real de negócio</li></ul><p>Esse tipo de abordagem é o que diferencia <strong>modelos acadêmicos</strong> de <strong>soluções prontas para uso profissional</strong>.</p><p>Caso queira conferir o notebook utilizado neste artigo, basta acessar o repositório no <a href="https://github.com/Lucas-Melo-A-S/Deteccao-de-Fraude-em-Cartao">GitHub</a>.</p><p>Obrigado pela leitura — e, se tiver dúvidas ou sugestões, fique à vontade para comentar no final do artigo.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=cbc7e5205b79" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[ Métricas de Classificação: por que acurácia quase nunca é suficiente]]></title>
            <link>https://medium.com/@lucas-melo/m%C3%A9tricas-de-classifica%C3%A7%C3%A3o-por-que-acur%C3%A1cia-quase-nunca-%C3%A9-suficiente-04e851f74279?source=rss-b7c12035d404------2</link>
            <guid isPermaLink="false">https://medium.com/p/04e851f74279</guid>
            <category><![CDATA[ciencia-de-dados]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[classification-metrics]]></category>
            <dc:creator><![CDATA[Lucas Melo]]></dc:creator>
            <pubDate>Wed, 14 Jan 2026 17:59:04 GMT</pubDate>
            <atom:updated>2026-01-14T17:59:04.304Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Y49MGY-065Dq3gjCUP2ATA.png" /></figure><p>Avaliar modelos de classificação vai muito além de verificar se o modelo “acertou mais do que errou”. Na prática, essa avaliação acontece a partir da comparação entre as classes previstas pelo modelo e as classes reais de cada observação.</p><p>Todas as métricas de classificação compartilham o mesmo objetivo: <strong>medir o quão distante o modelo está de uma classificação perfeita</strong>. O que muda é <em>como</em> cada métrica enxerga o erro — e quais erros ela considera mais graves.</p><p>E é exatamente aí que muitos modelos aparentemente “bons” falham quando vão para o mundo real.</p><h3>A base de tudo: Matriz de Confusão</h3><p>Antes de falar de qualquer métrica, é essencial entender a matriz de confusão.</p><p>Sem ela, métricas viram apenas números isolados, sem significado prático.</p><p>A matriz de confusão organiza as previsões do modelo em quatro categorias fundamentais:</p><ul><li><strong>True Positive (TP)</strong> — quando a classe positiva foi prevista corretamente</li><li><strong>True Negative (TN)</strong> — quando a classe negativa foi prevista corretamente</li><li><strong>False Positive (FP)</strong> — quando o modelo acusou algo que não era verdade</li><li><strong>False Negative (FN)</strong> — quando o modelo deixou passar algo que deveria identificar</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ygTDiV30bjlXIrpXPwZgCQ.png" /><figcaption>Modelo de Matriz de Confusão</figcaption></figure><p>Exemplos simples, como o clássico caso de diagnóstico de gravidez ou doença, ajudam a fixar o conceito, mas o ponto mais importante é este:</p><p>👉 <strong>todas as métricas de classificação são apenas formas diferentes de combinar esses quatro números.</strong></p><p>A matriz pode ser analisada tanto em valores absolutos quanto em porcentagens, permitindo entender claramente <strong>qual tipo de erro o modelo está favorecendo</strong>.</p><h3>Acurácia: simples, popular… e frequentemente enganosa</h3><p>A acurácia mede a proporção total de previsões corretas, independentemente da classe.</p><p>Ela é adequada quando:</p><ul><li>as classes são balanceadas</li><li>errar qualquer classe tem custo parecido</li><li>o problema não envolve riscos relevantes</li></ul><p>Nesses cenários, a acurácia pode ser uma boa métrica resumo. O grande problema é quando essas condições não são atendidas</p><p>Quando as bases estão desbalanceadas, por exemplo, a acurácia pode ser alta e, ainda assim, <strong>não representar a realidade do problema</strong>. É o caso clássico de exames médicos, fraude ou churn, onde a classe positiva é rara.</p><p>Um modelo que ignora completamente a classe minoritária pode apresentar uma acurácia excelente — e ser totalmente inútil.</p><p>Por isso, acurácia deve ser usada com cautela e <strong>nunca de forma isolada</strong>.</p><h3>Precisão: quando falsos positivos são caros</h3><p>A precisão mede a proporção de verdadeiros positivos entre todas as previsões positivas feitas pelo modelo.</p><p>Em outras palavras, ela responde à pergunta:</p><blockquote><em>“Dos exemplos classificados como positivos, quantos realmente são positivos?”</em></blockquote><p>Essa métrica está diretamente ligada aos <strong>falsos positivos</strong>.</p><p>Ela é especialmente importante em cenários onde acusar algo indevidamente gera custo, frustração ou impacto negativo. Exemplos comuns incluem:</p><ul><li>bloqueio indevido de cartões</li><li>classificação errada de conteúdo</li><li>alertas automáticos em sistemas críticos</li></ul><p>Um ponto importante — e muitas vezes ignorado — é que <strong>a precisão não penaliza falsos negativos</strong>.</p><p>É possível ter precisão altíssima mesmo identificando pouquíssimos casos positivos.</p><p>Ou seja: precisão alta não significa, necessariamente, um bom modelo.</p><h3>Recall: quando deixar passar é o maior risco</h3><p>O recall, por outro lado, foca nos <strong>falsos negativos</strong>.</p><p>Ele responde à pergunta:</p><blockquote><em>“De todos os casos realmente positivos, quantos o modelo conseguiu identificar?”</em></blockquote><p>Essa métrica é crucial quando <strong>não identificar um caso positivo é mais grave do que acusar um caso incorreto</strong>.</p><p>Por isso, recall é amplamente utilizado em:</p><ul><li>diagnósticos médicos</li><li>detecção de fraude</li><li>prevenção de churn</li><li>sistemas de risco</li></ul><p>Nesses cenários, muitas vezes é aceitável lidar com alguns falsos positivos, desde que os casos realmente críticos não passem despercebidos.</p><h3>Precisão vs Recall: um trade-off inevitável</h3><p>Existe um ponto fundamental que todo cientista de dados aprende com a prática:</p><blockquote>Não é possível maximizar precisão e recall simultaneamente sem custo.</blockquote><p>Ao ajustar o limiar de decisão do modelo:</p><ul><li>limiares mais altos tendem a aumentar a precisão e reduzir o recall</li><li>limiares mais baixos tendem a aumentar o recall e reduzir a precisão</li></ul><p>Não existe métrica universalmente melhor.</p><p>Existe <strong>a métrica mais adequada ao impacto do erro no negócio</strong>.</p><h3>F1-Score: buscando equilíbrio</h3><p>O F1-score é a média harmônica entre precisão e recall.</p><p>Ele é especialmente útil quando:</p><ul><li>a classe positiva é a mais importante</li><li>falsos positivos e falsos negativos têm impactos relevantes</li><li>os dados são desbalanceados</li></ul><p>Por ser sensível a ambas as métricas, o F1-score cai rapidamente se uma delas for baixa. Isso o torna um resumo mais honesto da qualidade do modelo em muitos problemas reais.</p><p>Por esse motivo, ele costuma ser uma métrica mais adequada do que a acurácia em problemas binários orientados à classe positiva — além de ser relativamente fácil de explicar até para stakeholders não técnicos.</p><h3>Curva ROC e AUC: avaliando o modelo além de um único limiar</h3><p>A curva ROC permite visualizar o comportamento do modelo para diferentes limiares de decisão, analisando a relação entre:</p><ul><li>taxa de verdadeiros positivos</li><li>taxa de falsos positivos</li></ul><blockquote>Quanto mais próxima a curva estiver do canto superior esquerdo, melhor é a capacidade de separação do modelo.</blockquote><p>A AUC resume essa curva em um único número e indica o quão bem o modelo distingue as classes de forma geral, independentemente do limiar escolhido.</p><p>Ela é útil quando:</p><ul><li>o modelo será usado para <strong>ranking</strong></li><li>falsos positivos e negativos têm peso semelhante</li></ul><p>Porém, em bases extremamente desbalanceadas, ROC/AUC pode mascarar problemas importantes. Nessas situações, curvas Precision-Recall costumam fornecer insights mais realistas.</p><h3>Conclusão: métrica não é detalhe, é decisão</h3><p>Escolher métricas de classificação não é uma etapa técnica secundária.</p><p>É uma decisão diretamente ligada ao <strong>impacto real do modelo</strong>.</p><p>Um modelo não é bom porque tem alta acurácia.</p><p>Ele é bom quando <strong>erra do jeito certo</strong>, de acordo com o problema que está tentando resolver.</p><p>Entender matriz de confusão, precisão, recall, F1-score e AUC não é apenas saber avaliar modelos — é <strong>tomar decisões melhores com dados</strong>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=04e851f74279" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Anonimização de Dados: por que isso importa (de verdade) na era da IA e da LGPD]]></title>
            <link>https://medium.com/@lucas-melo/anonimiza%C3%A7%C3%A3o-de-dados-por-que-isso-importa-de-verdade-na-era-da-ia-e-da-lgpd-b723c27627b2?source=rss-b7c12035d404------2</link>
            <guid isPermaLink="false">https://medium.com/p/b723c27627b2</guid>
            <category><![CDATA[lgpd]]></category>
            <category><![CDATA[data]]></category>
            <dc:creator><![CDATA[Lucas Melo]]></dc:creator>
            <pubDate>Wed, 07 Jan 2026 17:04:10 GMT</pubDate>
            <atom:updated>2026-01-07T17:04:10.670Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*c-FUo7DvJ_vlmqGCbyvKMg.png" /></figure><p>Nos últimos anos, trabalhar com dados deixou de ser apenas uma habilidade técnica. Virou responsabilidade. Se antes o foco estava em modelos, algoritmos e visualizações, hoje a conversa começa bem antes disso: <strong>como lidar com dados de pessoas sem colocar ninguém em risco?</strong></p><p>E é aqui que entra a <strong>anonimização</strong>.</p><p>Quem trabalha com análise de dados, engenharia ou ciência de dados inevitavelmente esbarra no mesmo dilema: <strong>“Posso realmente usar essa informação como ela está?”</strong> Na maior parte dos casos, a resposta é não.</p><p>Afinal, os mesmos dados que permitem insights incríveis também podem expor alguém e é exatamente isso que a anonimização tenta evitar.</p><h4>Então… O que é anonimização?</h4><p>De forma simples: anonimizar é transformar um conjunto de dados de modo que nenhuma pessoa possa ser identificada — nem diretamente, nem por combinação com outras informações. Quando a anonimização é bem feita, não existe caminho fácil para reverter.</p><p>Essa técnica é proposital, pois garante que os dados permaneçam seguros mesmo se caírem em mãos erradas.</p><h4>Por que isso virou assunto tão sério?</h4><p>Porque o mundo mudou. Os dados viraram ouro e diariamente vem acontecendo vazamentos, quase todo mês temos noticias de vazamentos;</p><ul><li><a href="https://veja.abril.com.br/tecnologia/vazamento-expoe-183-milhoes-de-senhas-de-e-mail-saiba-se-a-sua-esta-entre-elas/https://veja.abril.com.br/tecnologia/vazamento-expoe-183-milhoes-de-senhas-de-e-mail-saiba-se-a-sua-esta-entre-elas/">Vazamento expõe 183 milhões de senhas de e-mail</a>;</li><li><a href="https://veja.abril.com.br/economia/maior-vazamento-da-historia-do-pix-expoe-dados-de-mais-de-11-milhoes-de-chaves/">Maior vazamento da história do Pix expõe dados de mais de 11 milhões de chaves</a></li></ul><p>Os modelos de IA podem memorizar dados sensíveis, algumas pessoas utilizam dados sensíveis de empresa ou pessoas como fonte de treinamento dos modelos e isso acaba fazendo com que o modelo decore alguns dados que não deveriam ser expostos.</p><p>LGPD traz obrigações claras: se um dado pode identificar alguém, ele deve ser protegido. Informações que levam pessoas de fora a saberem sobre sua vida pessoal devem ser guardadas “as sete chaves”.</p><h4>O que realmente precisa ser anonimizado?</h4><p>Além dos dados óbvios (nome, CPF, telefone,endereço de email, números de conta), informações indiretas como padrão de consumo, horários de login e combinações de atributos podem identificar alguém.</p><p>Às vezes um conjunto de informações aleatórias pode já entregar quem é a pessoa. Por exemplo: Somente com os dados de “Data de Nascimento” + “CEP” + “Gênero” já é possível traçar o perfil de algumas pessoas. Esses dados separados parecem inofensivos, mas quando juntos podem reconstruir o perfil de alguém.</p><h4>Técnicas de Anonimização</h4><p>Hoje em dia existem diversas técnicas utilizadas para isso, como:</p><ul><li><strong>Mascaramento</strong></li></ul><p>Aquela clássica ocultação parcial:</p><p>123.456.789–10 → ***.***.***-10</p><blockquote>Simples, útil… mas reversível. Então não resolve tudo.</blockquote><ul><li><strong>Generalização</strong></li></ul><p>A ideia aqui é reduzir a precisão.</p><p>Em vez de:</p><ul><li>“29 anos” → “25–35”</li><li>“Endereço completo” → “bairro”</li></ul><blockquote>Funciona muito bem para dados estatísticos.</blockquote><ul><li><strong>Adição de Ruidos</strong></li></ul><p>Adiciona pequenas variações nos valores reais para impedir identificação direta.</p><p>Por exemplo:</p><p>Salário de R$ 4.532 pode virar R$ 4.510.</p><blockquote>O padrão se mantém, mas a pessoa não.</blockquote><ul><li><strong>Hashing</strong></li></ul><p>Transforma o dado em algo irreversível, como:</p><p>maria.silva@gmail.com → e11f5d24f1…</p><blockquote>Ótimo para chaves, porém ainda sujeito a colisões</blockquote><ul><li><strong>Tokenização</strong></li></ul><p>Muito usada em pagamentos.</p><p>Você troca o dado real por um token aleatório.</p><blockquote>Isso mantém a estrutura do sistema sem expor o valor verdadeiro.</blockquote><ul><li><strong>Pseudonimização</strong></li></ul><p>Aqui, você substitui o identificador real por outro código — mas existe uma tabela que permite reverter.</p><blockquote><em>Útil para Machine Learning, mas não te libera das regras da LGPD.</em></blockquote><h4><strong>Anonimização no trabalho de dados</strong></h4><p>A anonimização deve entrar antes de <strong>tudo</strong> no pipeline: no data prep, no treinamento e no deploy.</p><h4>Erros comuns</h4><p>Achar que tirar nome resolve tudo, confundir pseudonimização com anonimização e enviar dados pessoais para IA generativa são algumas das falhas mais frequentes.</p><h3>Conclusão</h3><p>Anonimização não é burocracia. É ética, responsabilidade e parte essencial do trabalho de dados moderno.</p><p>E, acima de tudo, é parte fundamental do trabalho de quem quer criar soluções de dados seguras, modernas e preparadas para o futuro. Quando bem feita, ela não atrapalha a análise. Pelo contrário:</p><blockquote>Ela <strong>libera</strong> o profissional para trabalhar com mais liberdade e menos riscos.</blockquote><p>Se existe uma verdade absoluta no mundo dos dados é esta:</p><blockquote><strong><em>Trabalhar com pessoas exige responsabilidade com os dados delas.</em></strong></blockquote><p>Anonimização é um dos caminhos mais importantes para isso — e quanto mais cedo ela fizer parte da sua rotina, mais sólido será o seu trabalho.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b723c27627b2" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Limpeza e Analise de um banco de dados — Pt.2]]></title>
            <link>https://medium.com/@lucas-melo/limpeza-e-analise-de-um-banco-de-dados-pt-2-b4ce90ed36a4?source=rss-b7c12035d404------2</link>
            <guid isPermaLink="false">https://medium.com/p/b4ce90ed36a4</guid>
            <category><![CDATA[mysql]]></category>
            <category><![CDATA[data-analysis]]></category>
            <dc:creator><![CDATA[Lucas Melo]]></dc:creator>
            <pubDate>Wed, 08 Feb 2023 17:56:58 GMT</pubDate>
            <atom:updated>2023-02-08T17:56:58.013Z</atom:updated>
            <content:encoded><![CDATA[<h3>Limpeza e Analise de um banco de dados — Pt.2</h3><p>Continuando o projeto <a href="https://medium.com/@lucas-melo/limpeza-e-analise-de-um-banco-de-dados-pt-1-71724d5bf564">Limpeza e Análise de um banco de dados — Pt.1</a>, após toda a verificação e limpeza do banco de dados, será realizado a manipulação deste banco de dados para geração de conhecimento e insights. Serão utilizados alguns comandos que já foram apresentados na primeira parte mas novos comandos serão apresentados e explicados para que todos possam entender da melhor maneira. O objetivo deste estudo é mostrar os comandos básicos que podem ser utilizados para extrair informações de qualquer tabela no programa MYSQL.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*MFvTsN5z9_0noUHI" /></figure><p>Como falado na primeira parte, para iniciar qualquer análise, se faz necessário conhecer todo o seu banco de dados e para isso, se faz necessário utilizar o comando abaixo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/796/0*z3qqqyoa3NuD63sU" /></figure><p>O ‘*(asterisco) é uma simbologia utilizada na linguagem SQL para simbolizar que todos os itens do banco de dados estão sendo selecionados, assim este comando seleciona todos os elementos da tabela, dando possibilidade de visualizar todo ela.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*7goZfbwvukvVUCR8" /></figure><p>Observar e conhecer a tabela é um ponto crucial da análise, pois sem o conhecimento prévio dos dados presentes na tabela não será possível ter ideias para a manipulação, podendo não gerar nenhuma ideia para a manipulação de seus dados.</p><p>Para começar a análise, comandos básicos como SELECT, FROM, WHERE, GROUP BY, ORDER BY foram utilizados. (Caso você queira saber a função de cada comando aconselho a ler o artigo <a href="https://medium.com/@lucas-melo/limpeza-e-analise-de-um-banco-de-dados-pt-1-71724d5bf564">pt.I</a> dessa análise).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/860/0*TXeWau6x3EfF_rln" /></figure><p>Nessa situação estamos selecionando apenas as colunas Series_Title, Genre, Rating e Synopsis da tabela PL, e nessa seleção damos umas condição onde apenas serão selecionados aquelas linhas que o Rating é maior que 9., logo depois que selecionado todas as colunas serão agrupadas e organizadas de acordo com a coluna Rating.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*THoKnCL_KoNrPd4L" /></figure><p>Fazendo uma manipulação ainda mais específica pode-se fazer a verificação das colunas Genre e Rating, onde é feito uma busca de acordo com o gênero do filme e seu rating.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/782/0*jkuud8CyayX-8Gep" /></figure><p>Ao utilizarmos o comando WHERE especificarmos que queremos o gênero animação(‘Animation’), o objetivo é que o sistema procure tudo na coluna gênero que tem o nome animação e que o Rating maior que 7,5. Para que esse comando saiba que se faz necessário atender essas duas condições, se faz necessário utilizar o operador lógico AND(E), esse operador só retorna ‘verdadeiro’ quando as duas condições forem atendidas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*uBTLmK1VLXvE-nfG" /></figure><p>De acordo com a imagem, a procura realmente achou o gênero ‘Animation’ e o Rating maior que 7,5 mas foram encontradas apenas 9 linhas de dados com essa especificação. Cuidado ao escrever as linhas de comando, pois alguns erros de escrita ou lógica podem surgir e você nem perceber o erro.</p><p>Fazendo uma breve análise na tabela, foi constatado que o gênero animação, na maioria dos casos não vem sozinho como gênero da série, ele vem junto com diversos outros gêneros como ação, crime, aventura. Para que se possa falar ao sistema que se faz necessário encontrar todas as linhas que tenham a palavra ‘Animation’, deve-se utilizar o comando “LIKE…’%Palavra%’”, onde irá procurar em toda a coluna tudo que tenha a palavra ‘Animation’.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/796/0*8f-_59niw7mSH6Ti" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*AVUiJKhc7SusLLNi" /></figure><p>Com essa linha de comando foi possível encontrar uma quantidade mais fiel com a quantidade de dados que tenham o gênero ‘Animation’, a quantidade de dados encontrados que são animação é de 545 linhas para essa situação.</p><p>Focando ainda na coluna Genre, foi observado a grande quantidade de gêneros em apenas uma série, para conhecer melhor a quantidade de séries que cada variação gênero possui se faz necessário utilizar</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/974/0*IVKgKIzSf3h2h3Xt" /></figure><p>Nessa linha de comando podemos destacar o comando DISTINCT, na qual será selecionado apenas os valores únicos da tabela, caso o valor repita este não será selecionado novamente, também aparece o comando COUNT que contará a quantidade de linhas que satisfazem as condições passadas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/562/0*9STMVdgpwaN7oocn" /></figure><p>Utilizando um pouco mais dos comandos, também pode-se extrair informações através de operações matemáticas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*3E7YNytk6-4zRWxN" /></figure><p>Nessa situação, estão sendo analisadas todas as séries que duraram apenas uma temporada, para isso foi feita a subtração das colunas Final_date e Release_date.</p><p>Também foram verificadas aquelas séries que já começaram e ainda não acabaram, para esse comando se fez necessário utilizar o comando IS na qual esse faz um teste de igualdade e retorna o valor verdadeiro, caso a especificação esteja certa.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*VxXDjVFd69KdpeId" /></figure><p>Também podemos utilizar operações matemáticas junto a operadores lógicos, o objetivo dessa linha de comando é encontrar as séries mais antigas que ainda estão na programação até o momento.Foi selecionado uma coluna que contenha a subtração entre o ano atual(2023) com o ano de lançamento da série e ainda foi ordenado para que toda as linhas ficassem em forta decrescente de acordo com os valores da coluna Duracao.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/962/0*hBFRJ6vtErnb-Q2z" /></figure><p>Indo mais afundo no assunto, a utilização de condicionais é algo de suma importância para qualquer análise que será feita, os condicionais são uma ferramenta poderosa que permitem que você controle o fluxo de execução de suas consultas, automatize tarefas repetitivas e aumente a flexibilidade e a eficiência de suas consultas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/802/0*FOCW-exNq-wFPEmV" /></figure><p>Nessa situação são ‘criadas’ novas colunas, onde os filmes serão classificados de acordo com a sua numeração na coluna Rating. Para colunas que possuam valores do Rating abaixo de 7, essas serão classificadas com ‘Abaixo da média’, valores de Rating entre 7 e 8 serão classificados como ‘Na média’ e valores acima de 8 (ou igual a 8) serão classificados acima da média.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*lEXzAp1fC2I886O7" /></figure><p>Já nessa verificação, o elemento SUM e CASE..THEN voltaram a ser utilizados mas dessa vez a condição será um classificados, onde será “gerado” uma coluna classificando determinada linha de acordo com a condição, se caso o ano de lançamento seja antes de 2000 será uma classificação, de casos foi entre 1980 e 2008 ou 2008 e 2016 ou 2016 e 2023 novas classificações serão geradas.</p><p>As condicionais podem ser utilizadas de diversas maneiras, principalmente para gerar novos insights e quando juntos alguns comandos que podem relacionar as colunas gerando novas informações.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/794/0*o1PWmhysDRGQQme9" /></figure><p>O resultado gerado são novas colunas com a quantidade de elementos que cada filtro possui, esse tipo de raciocínio é sempre esclarecedor pois é de suma importância a quantidade de elementos que cada filtro possui.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*ULcxSxLDIKjunkUO" /></figure><p>Nessa outra situação o comando SUM(soma) foi novamente utilizado junto a condicionante, para calcular a quantidade que cada gênero tem na lista, vale ressaltar que existem diversas séries que possuem mais de um gênero, é por isso que pode perceber que a quantidade de linhas do dataset não é igual a quantidade de linhas do resultado.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*hX3sadXA7UMqCY9R" /></figure><p>Os resultados encontrados nessas análises podem ser apresentados de diversas maneiras como: gráficos, tabelas ou apenas a exposição dos números, depende muito da situação que o analista irá ser submetido. Como falado anteriormente, esses são comandos básicos utilizados para começar uma análise de um banco de dados, esses comandos podem ser utilizados com outros operadores lógicos que fornecerão novos conhecimentos para que o utilizem.</p><p>Esse banco de dados foi utilizado apenas por motivos acadêmicos e nenhuma de suas informações geradas irá influenciar em determinada empresa, mas vale ressaltar que a análise de dados é de suma importância para uma para qualquer empresa mesmo aquelas que não utilizam dados para a tomada de decisões. Ela permite a coleta e análise de informações sobre o desempenho da empresa e seu mercado, o que permite a tomada de decisões informadas e o aprimoramento de estratégias. Além disso é de suma importância que o analista conheça o banco de dados e também conheça o seu objetivo, pois sem um objetivo esses dados gerados serão apenas mais dados que a pessoa terá.Também pode identificar tendências e oportunidades para a empresa e ajudar a monitorar seus resultados ao longo do tempo.</p><p>Caso queira conferir o Notebook utilizado nessa artigo, é só clicar <a href="https://github.com/Lucas-Melo-A-S/SQL/blob/main/TV%20Series/select%20pl.tv_series.sql">aqui</a></p><p>E caso queira baixar todos os arquivos utilizados nesse artigo basta clicar no <a href="https://github.com/Lucas-Melo-A-S/SQL/tree/main/TV%20Series">link</a></p><p>Obrigado pela sua leitura, e caso tenha alguma dúvida ou queira acrescentar mais informações comente no final deste artigo.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b4ce90ed36a4" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Limpeza e Analise de um banco de dados — Pt.1]]></title>
            <link>https://medium.com/@lucas-melo/limpeza-e-analise-de-um-banco-de-dados-pt-1-71724d5bf564?source=rss-b7c12035d404------2</link>
            <guid isPermaLink="false">https://medium.com/p/71724d5bf564</guid>
            <category><![CDATA[mysql]]></category>
            <category><![CDATA[data-analysis]]></category>
            <dc:creator><![CDATA[Lucas Melo]]></dc:creator>
            <pubDate>Wed, 08 Feb 2023 11:41:37 GMT</pubDate>
            <atom:updated>2023-02-08T17:57:21.473Z</atom:updated>
            <content:encoded><![CDATA[<h3>Limpeza e Analise de um banco de dados — Pt.1</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/512/0*sexT1bIiG19bPKQV.png" /></figure><p>Os dados são considerados os novos petróleos no mercado, e os trabalhos relacionados a sua manipulação, análise e estudos são considerados um dos mais promissores no mercado. A análise de dados nada mais é que o processo de examinar, limpar, transformar e tirar insights para auxiliar na melhor tomada de decisão para determinado assunto, é uma ferramenta de suma importância para uma tomada de decisão baseadas em dados e para a obtenção de padrões e tendências em um espaço amostral que possui um grande número de informações.</p><p>Hoje em dia existem diversas ferramentas que podem auxiliar na análise dos dados como: Microsoft Excel, Python, Jupyter Notebook, SQL, Tableau , Power BI e etc. Todas essas ferramentas conseguem fornecer insights que serão de suma importância para qualquer empresa. Nesse post irei focar apenas no Básico do SQL (Structured Query Language/ Linguagem de Consulta Estruturada), que é uma linguagem amplamente utilizada para gerenciamento de bases de dados, na qual permite ao usuário interagir de forma eficiente com grande quantidades de dados e extrair informações valiosas do mesmo. É uma das ferramentas mais utilizadas no mercado pois oferece uma rápida performance na qual se utiliza uma linguagem simples e flexível capaz de lidar com banco de dados complexos.</p><p>Para essa demonstração irei utilizar o dataset ‘<a href="https://www.kaggle.com/datasets/muralidharbhusal/50000-imdb-tv-and-web-series">50000 IMDB TV and WEB Series</a>’ e ao contrário que o título fala o arquivo não possui 50000 linhas de dados mas possui 48770 Linhas e 7 colunas nos dando informações sobre:</p><ul><li>Series Title: Título da Séries;</li><li>Release Year: Ano de Lançamento;</li><li>Runtime: Duração do Episódio;</li><li>Rating: Classificação;</li><li>Cast: Elenco;</li><li>Synopsis: Sinopese.</li></ul><p>Antes de iniciar os processos de análise, foram instalados os programas de MYSQL e MYSQL workbench na máquina, realizando todo o procedimento de cadastro e instalação e importação da tabela no MYSQL workbench. Após todo esse processo feito, iremos dar inicio a nossa análise.</p><p>OBS: Caso você utilize o sistema operacional MacOs e você esteja tendo problemas para importar as tabelas em csv,aconselho a leitura desse artigo(<a href="https://medium.com/@lucas-melo/importando-arquivos-csv-no-macos-3524a0243a54">Importando arquivos CSV no macOS</a>) para lhe ajudar a resolver a sua situação.</p><p>Este estudo será dividido em duas partes, a primeira parte terá como foco a limpeza do banco de dados, mostrando todo o passo a passo, explicando cada comando e linha de código para que todos possam entender. Já a segunda parte terá o foco na extração de informação e na manipulação do banco de dados para a geração de novos insights.</p><p>Para iniciar a análise se faz necessário primeiro conhecer a tabela que será analisada, para isso se utiliza o comando SELECT, como o próprio nome já diz, esse comando seleciona os dados do banco de dados e retorna em uma tabela.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/492/0*Ht6VLZkx_k5iTd8I" /></figure><p>Utilizando o asterisco * após o SELECT estamos dizendo ao sistema que queremos selecionar todos os itens da tabela. SEMPRE devemos especificar qual será a tabela que será feito a modificação/seleção com o comando FROM, como pode ver acima, o comando especifica o schema e a tabela que serão selecionado.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*m-Fu8MPy8PRKyh54" /></figure><p>Para melhor fluidez no processo, será feito uma mudança nos nomes das colunas, as colunas Series Title e Release Year perderam o espaçamento entre as palavras e irão ganhar um sublinhado (_). Esse procedimento não é algo obrigatório a se fazer, mas é indicado fazer já que pode ajudar a evitar problemas relacionados à formatação e consistência dos dados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*h_BJmBNrDiUhzcKV" /></figure><p>Para essa situação utilizamos o comando ALTER TABLE, como a própria tradução já diz esse comando tem como alterar a tabela com o objetivo de adicionar (ADD), remover (DROP) ou modificar(CHANGE) determinado elemento da tabela selecionada.</p><p>O MYSQL possui um sistema onde podemos organizar os dados da tabela na ordem crescente, decrescente, de A-Z e de Z-A, com esse filtro sendo utilizado na coluna Series_Title expoes um problema que muitas dos bancos dados possuem que são a duplicidade de dados, essa duplicidade pode acarretar na perda da qualidade e precisão da análise, tornando-a menos confiável, útil e mais demorada.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*M0cI2i_0CqBSn-Xz" /></figure><p>Como foi observado essa repetição de séries, se faz necessário saber quais linhas estão repetidas e quantas vezes elas estão repetindo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/756/0*MFf5dEZpQ5AwKqjX" /></figure><p>Nessa seleção de dados são utilizados mais dois novos comando que são o GROUP BY e o HAVING, na função GROUP BY é utilizada para agrupar linhas com base em um ou mais elemento da tabela(normalmente uma coluna) e o HAVING também é um filtro onde se faz necessário que tenha o GROUP BY, ele é utilizado para filtrar os resultados de acordo com uma condição específica, na situação acima a condição específica é o somatório dos elementos iguais da coluna Serie_Title serem acima de 1, se caso tenhamos algum elemento acima de 1, significa que no banco de dados tem elementos duplicados.</p><p>O resultado dessa operação foi surpreendente, pois conseguiu observar com clareza que mais de 340 dados no banco de dados estavam duplicados mais de uma vez.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/454/0*QkO2FZ-OnR2jBxvr" /></figure><p>Para excluir as colunas, será necessário a junção de alguns comando já listados nesse texto, com a adição do comando DELETE, WHERE e OVER, começando pelo comando DELETE que é utilizado para deletar determinado elemento da tabela, com esse comando as informações deletadas são excluídas permanentemente do banco de dados então CUIDADO ao utilizar esse comando, é aconselhável que antes de utilizar o comando DELETE se fazer um SELECT com esses dados para saber se realmente são esses dados que serão excluídos. Já o comando WHERE ele vem como uma condicionante que só irá buscar dados que correspondem a aquela determinada condição.</p><p>Já o OVER que é utilizados para calcular resultados agregados em um conjunto de linhas em relação a uma partição já é um comando mais avançado na linguagem SQL e devemos ter muito cuidado na sua utilização pois se faz necessário um pouco mais de conhecimento das suas funções de Janelas para a melhor utilização deste comando. Para esse artigo não irei adentrar mais nesse conteúdo pois o meu objetivo não é destrinchar comando mais avançados para não confundir ninguém, mas se faz necessário que saibam que esse comando OVER possui 3 elementos opcionais que irão auxiliar com o filtro dos dados. Esses são PARTITION BY, ORDER BY E ROW cada um desses elementos irá particionar e ordenar os resultados de acordo com as condições impostas por eles.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/802/0*KHt-iPR0U3RBX7jV" /></figure><p>Fazendo com que o comando tenha mais sentido. O objetivo desse comando é excluir registros da tabela que correspondem a uma condição específica. Foi utilizado o comando WHERE para determinar uma condição específica, nessa condição foi pego a coluna Series_Title junto ao comando IN para identificar os elementos da coluna Series_Title que se repetem mais de uma vez na tabela.</p><p>Foi utilizado o comando ROW_NUMBER() OVER (PARTITION BY e ORDER BY)(como subconsulta) para atribuir um número de linha único para cada título da série da tabela. Em seguida essa subconsulta retorna o resultado daqueles títulos cujo a repetição seja maior que 1 na tabela e junto ao comando DELETE FROM é feito a exclusão de todos esses elementos que repetiram mais de uma vez.</p><p>Utilizando esse comando foi reduzido drasticamente a quantidade de elementos presentes no banco de dados saindo de um banco de dados com 48770 linhas para um banco de dados com 8902 linhas, foi uma redução bem drástica mas ao observarmos a figura da tabela de repetições pode-se notar que existiam elementos que se repetiam mais de 800 vezes.</p><p>Fazendo uma rápida observação na coluna Release_Year foi constatado a presença de elementos (“?”, “(“,”)”) que não se faz necessário a presença.Para melhor divisão dos dados passados e consequentemente melhoramento na análise do banco se faz necessário dividir a coluna Release_Year em duas colunas(datas de início e término da série).</p><p>Existem diversos processos para a criação de colunas, nesse caso foi utilizado uma coluna com os dados de início e outra coluna com os dados de término da série mas SEM a presença dos elementos listados acima.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*rBiHAr-qFR-XbuOC" /></figure><p>Nessa situação foi utilizado novamente o comando ALTER TABLE mas dessa vez foi adicionado uma nova coluna para o banco de dados, também para retirar e substituir os elementos listados acima, foi utilizado o comando UPDATE…SET, junto ao comando REPLACE. Nessa situação o comando UPDATE…SET irá atualizar os dados do dataset de acordo com as especificações, também para essa situação, foi utilizado múltiplos REPLACEs que é um comando de substituição, onde é passado o elemento que será substituído e o elemento que irá substituir e também foi utilizado o comando TRIM para retirar todos os possíveis espaçamentos que poderia ter nos dados da coluna.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/244/0*0IttHdWuOVQYJsL1" /></figure><p>Com a coluna Year criada, fica mais fácil a separação dos anos de lançamento e término das séries, facilitando a criação das duas novas colunas Release_Date (data de lançamento e Final_date (data final).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1010/0*zy6rlc0LOm0RoOba" /></figure><p>Como de costume, foi utilizado o comando UPDATE..SET para atualizar os valores das duas colunas e também foi utilizado dois comando “diferentes” de manipulação de strings apenas como didática. O primeiro é o comando SUBSTRING_INDEX (X,Y,Z), onde que através da string X, será feito uma nova substring que será gerada de acordo com o delimitador Y e também pela quantidade Z de vezes que será procurado o delimitador, o elemento Z pode ser negativo ou positivo, a simbologia antes dos números apenas dirá para qual lado deverá ser iniciado a procura dos elementos.</p><p>Obs: Positivo = Esquerda/Direita e Negativo = Direita/Esquerda</p><p>Já na segunda situação, é utilizado o comando SUBSTRING(X,Y,Z), onde esse comando terá o mesmo objetivo do SUBSTRING_INDEX mas seus elementos de referência irão mudar. X continuará tendo a mesma função, Y será o ponto de início da substring e Z é o ponto final da substring. Ambos são pontos de manipulação de strings, sendo que o primeiro precisa de um ponto de referência e no segundo só precisamos saber o ponto de início e término da sua string.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/364/0*LCKxVpjYgPKrWh7w" /></figure><p>Com essa separação fica mais fácil observar as datas de início e término(se tiver) das séries e também fica mais fácil na manipulação desses dados, como por exemplo agora podemos pesquisar diversas séries de acordo com suas datas de início e término.</p><p>OBS: Vale ressaltar que a limpeza da coluna YEAR, foi algo de suma importância para esse processo, pois retiramos diversos caracteres que poderiam atrapalhar nesse processo de mudança de tipo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/756/0*PDreVmLCzVq85NQD" /></figure><p>Nessa situação estamos selecionando 3 colunas Series Title, Rating e Release_Date, onde utilizamos o comando WHERE para colocarmos uma condição para essa seleção que é somente valores acima de 8.0 no Rating e apenas séries lançadas em 2020. Veja que tem algo ainda estranho em nossa condição, o por que foi colocado 2020 entre aspas se as datas já foram separadas ? Essa resposta é bem simples, com foi utilizado a manipulação de string para separarmos as datas, ao gerar esse novo valor esse valor gerado é um substring, ou seja, esse valor gerador é um texto, logo para conseguirmos adicionar os valores dessa maneira de inicio tivemos que criar as duas colunas sendo texto para agora conseguirmos colocar essas colunas como ano.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/638/0*o5CYPVgrIYJjOmKl" /></figure><p>Com a transformação das colunas em anos, facilita ainda mais o processo de análise, pois agora é possível utilizar fórmulas matemáticas para encontrarmos a diferença de anos, a média entre eles e outras fórmulas estatísticas que podem ser utilizadas como filtro para diversas situações.</p><p>OBS: Também é possível realizar diversas operações matemáticas quando os valores são String mas são comandos mais avançados e estes não serão utilizados neste artigo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/840/0*_hFlOquDR8DEY8qH" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*7Xt6Uo4WeYhpT6l9" /></figure><p>Após a verificação que todas as duas colunas estão corretas, não se faz necessário utilizar a YEAR e Release_Year na tabela, então para melhorar ainda mais a rapidez e desempenho do algoritmo de análise, e deixar a tabela mais leve as duas colunas são apagadas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/812/0*2gMIzeGWgmP1DQi8" /></figure><p>Novamente é utilizado o comando ALTER TABLE mas dessa vez com a opção DROP, que irá retirar a coluna ou linha especificada.</p><p>Fazendo uma rápida análise em todo o nosso dataset também é possível observar e analisar que a coluna Runtime está em uma formatação que não irá ajudar em nada, ao analisar um pouco mais a coluna é visto que seu tipo também é texto e além disso existem caracteres que não irão auxiliar em nada a nossa análise (“****”,”min”). Com isso também se faz necessário a mudança desses elementos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/812/0*bh9X1JmNbRvuAUki" /></figure><p>Para o início desse processo será introduzido um novo comando NULL IF(exp1,exp2), nesse comando são comparadas as duas expressões(exp1 e exp2) e se caso elas sejam iguais é gerado um valor null, se não a primeira expressão é retornada). Transformar esses valores em nulos fica mais prático e fácil para uma possível conversão dos tipos dessa coluna, pois o objetivo dessas modificações é para tratar os valores para que eles possam ser utilizados com operações matemáticas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*KFhxtwtSbkSzeIux" /></figure><p>Nessa situação foi seguido o mesmo esquema das colunas Release_Date e Final_ date, mas nessa situação foi utilizado o comando DISTINCT para selecionar todos os valores únicos para procurar se existia alguma string extra ou algum elemento que não foi observado na primeira análise.</p><p>Ao término de toda a limpeza, a tabela ficou dessa maneira:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Uu0v7TQ8MAIVib9t" /></figure><p>Pode-se observar que a tabela ficou bem mais enxuta que a inicial tendo uma diminuição drástica na sua quantidade de linhas e com a adição de novas colunas os seus dados ficaram mais fáceis para serem manipulados e estudados.</p><p>Como falado no começo do artigo, essa primeira parte foi focada na limpeza da tabela, onde é uma etapa de extrema importância pois essa faz parte da preparação dos dados para análise, removendo ou modificando dados incorretos, incompletos, irrelevantes, duplicados ou formatados incorretamente. Os dados precisam ser limpos, porque se não forem não são úteis quando se trata da análise. Além disso, é importante ressaltar que caso não se tenha a limpeza os dados podem atrapalhar o processo ou fornecer resultados imprecisos.</p><p>A limpeza de dados não consiste em apenas apagar dados para liberar mais espaço para novos, mas sim em encontrar novas maneiras de maximizar a precisão de um conjunto sem precisar excluí-los.</p><p>Para acessar a segunda parte basta clicar aqui [ <a href="https://medium.com/@lucas-melo/limpeza-e-analise-de-um-banco-de-dados-pt-2-b4ce90ed36a4">Limpeza e Analise de um banco de dados — Pt.2</a>]</p><p>Caso queira conferir o Notebook utilizado nessa artigo, é só clicar <a href="https://github.com/Lucas-Melo-A-S/SQL/blob/main/TV%20Series/tv_series_query.sql">aqui</a></p><p>Obrigado pela sua leitura, e caso tenha alguma dúvida ou queira acrescentar mais informações comente no final deste artigo.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=71724d5bf564" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Importando arquivos CSV no macOS]]></title>
            <link>https://medium.com/@lucas-melo/importando-arquivos-csv-no-macos-3524a0243a54?source=rss-b7c12035d404------2</link>
            <guid isPermaLink="false">https://medium.com/p/3524a0243a54</guid>
            <category><![CDATA[mysql]]></category>
            <category><![CDATA[macos]]></category>
            <category><![CDATA[coteditor]]></category>
            <dc:creator><![CDATA[Lucas Melo]]></dc:creator>
            <pubDate>Mon, 06 Feb 2023 21:53:22 GMT</pubDate>
            <atom:updated>2023-02-06T23:07:00.478Z</atom:updated>
            <content:encoded><![CDATA[<p>Olá pessoal, estou fazendo esse artigo para auxiliar algumas pessoas que tem alguns problemas em importar arquivos .csv no MYSQL utilizando um sistema operacional macOS.</p><p>Dando um breve resumo do meu problema: Como o próprio assunto do título fala, eu tive alguns problemas em importar arquivos .csv no meu MYSQL quando utilizava o sistema operacional macOS. Utilizei todos os meios para encontrar uma solução do meu problema e depois de algumas linha de comando e configurações no sistema, meu resultado continuou o mesmo (“Unhandled exception: ‘ascii’ codec can’t decode byte 0xe2 in position 76: ordinal not in range(128)”).</p><p>Após alguns dias de procura, encontrei no <a href="https://cursos.alura.com.br/forum/topico-bug-unhandled-exception-ascii-codec-can-t-decode-byte-0xff-in-position-0-ordinal-not-in-range-128-264860">Fórum da Altura,</a> uma pessoa com o mesmo problema que eu e após ler a sua solução(pois ninguém soube responder o problema) eu resolvi tentar. A resposta foi bem mais simples do que eu esperava e não precisou de linhas de comando para nada.</p><p>Esse artigo mostra uma das possíveis soluções para esse tipo de problema (importação de arquivo .csv) e neste post irei mostrar o passo a passo desse processo, mostrando todo o processo onde é gerado o erro até toda a resolução desse erro.</p><h3>Importando o arquivo csv</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/624/0*9xhaQ4kmCL7M-l4N" /></figure><p>O processo de importação de arquivos .csv pode ser encontrado na <a href="https://dev.mysql.com/doc/workbench/en/wb-admin-export-import-table.html">documentação</a> do MYSQL ou em qualquer outra página da internet que tenha o foco nesse assunto. É um processo bem simples e prático, onde se faz necessário apertar o botão direito do mouse em cima do ‘schema’ que você deseja importar o arquivo .csv e selecionar a opção ‘Table Data Import Wizard’.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*hdEsgFLB-qVCK48G" /></figure><p>O processo de importação é bem simples e prático, sendo necessário buscar o arquivo .csv que você deseja e selecioná-lo. Após selecionar o arquivo se faz necessário apenas selecionar o ‘Next &gt;’ e prosseguir com o processo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*4CbhRghXbzWGHZUU" /></figure><p>Nesse processo você terá duas opções: a primeira ‘Use existing table’ onde você irá selecionar alguma tabela existente NESSE schema e substituir todo o conteúdo dela pelo conteúdo do arquivo .csv que você está importando. Na segunda opção ‘Create new table’ você irá criar uma nova tabela dando um nome a ela. Após selecionar uma das opção novamente selecionar a opção ‘Next &gt;’.</p><p>OBS:Logo em baixo da segunda opção, tem como selecionar o item ‘Drop table if exist’ essa é uma opção para caso a tabela com esse nome já exista, ela será excluída e a nova tabela tomará seu lugar.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*aFujORAlGQrXbyy1" /></figure><p>O problema aparecia após a segunda etapa, onde logo após selecionar ‘Next’, o programa em si já gerava esse alerta informando ‘Unhandled exception: ‘ascii’ codec can’t decode byte 0xe2 in position 76: ordinal not in range(128)’, alguns curiosos(como eu) selecionar ‘ok’ e tentar seguir com o processo de importação, mas após selecionar a opção ‘Next &gt;’, um novo alerta é gerado falando que o arquivo não foi baixado adequadamente, fazendo com que o processo ficasse palarizado nessa etapa ou às vezes gerando apenas algumas linhas do banco de dados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*SzWxy29i0B16OkEi" /></figure><h3>Correção do problema</h3><p>Como falado anteriormente, foram alguns dias de procura até encontrar essa solução. E todo esse processo de correção do erro se baseia em apenas um aplicativo que é facilmente baixado no App Store o nome dele é CotEditor é um editor de texto simples e leve para macOS. Ele suporta vários arquivos de codificação de caracteres, incluindo Unicode, e oferece recursos como a destacagem de sintaxe e a exibição de linhas invisíveis. Além disso, ele permite a personalização de teclas de atalho e a adição de plugins para adicionar funcionalidades adicionais.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/160/0*mIFdpKuefc4dtcYK" /></figure><p>Para utilizar o CotEditor é bem simple e prático, se faz necessário apenas selecionar o seu arquivo .csv com o botão direito, ir em ‘Abrir como’ e selecionar CotEditor</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*h7n4QNoirKxbjxVb" /></figure><p>Após selecionar todo o seu arquivo será importado ao CotEditor e sua tela ficará assim:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*Km93cDYvZuVDteWA" /></figure><p>Podemos ver na parte inferior para imagem uma opção com o nome ‘Unicode (UTF — 8), é nessa área que será possível mudar o tipo do seu arquivo, podemos observar no alerta gerado pelo MYSQL que o ASCII não estava conseguindo ler o arquivo pois este é UTF — 8, então se faz necessário mudar o tipo do arquivo para que ele possa ser compatível ao programa do MYSQL.</p><p>OBS: Na resposta feita pela pessoa no fórum do Alura, ela converteu de UTF — 8 para ASCII e depois voltou a para UTF — 8. Na minha situação, eu realizei os testes apenas convertendo para o ASCII e também voltando para o UTF — 8, a importação não mudou muita coisa. Sendo que eu optei pela primeira(apenas ASCII), pela praticidade e rapidez.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*SHz7Z9AhF4OjZs5A" /></figure><p>Para o processo você deverá procurar a opção ‘Western (ASCII)’ que é aquela compatível com o MYSQL, após selecionar essa opção surgirá como alerta.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/492/0*h6Rb4IeRPeDOh9_j" /></figure><p>Selecione apenas a opção ‘Converter’, salve o arquivo e saia do aplicativo.</p><h3>Importando o arquivo csv (continuação…)</h3><p>Após esse processo refaça o processo explicado no começo do artigo mas agora com o arquivo convertido pelo CotEditor. Dessa vez você conseguirá passar pelo processo e essa nova etapa irá aparecer.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*qLFu8168QO11pBX8" /></figure><p>Nesta etapa, você poderá escolher o tipo da sua coluna e logo em baixo você terá uma pré- visualização de como sua tabela ficará. Após modificar de acordo com a sua necessidade e verificar como sua tabela ficará, selecione o botão ‘Next &gt;’ e a última etapa irá aparecer, nessa etapa só será necessário selecionar o botão ‘Next &gt;’ e esperar que sua tabela seja importada.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*MvbFpWto1newOsmu" /></figure><p>Após essa etapa concluída, o sistema irá informar que sua tabela foi importada com sucesso dando as informações da quantidade de linhas importadas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*eYWZOYO8cp43wxNL" /></figure><p>Etapa concluída e tabela importada com sucesso no MYSQL.</p><p>VOLTO A INFORMAR QUE ESSE É UM DOS MÉTODOS PARA RESOLUÇÃO DO PROBLEMA DE IMPORTAÇÃO DE ARQUIVOS CSV NO MYSQL, TODOS OS OUTROS MÉTODOS TAMBÉM SÃO VÁLIDOS MAS CADA SOLUÇÃO VAI DEPENDER DO SEU PROBLEMA. TENHAM PACIÊNCIA DE LER E DESCOBRIR QUAL O MELHOR MÉTODO PARA O SEU PROBLEMA.</p><p>Obrigado pela sua leitura, e caso tenha alguma dúvida ou queira acrescentar mais informações comente no final deste artigo.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3524a0243a54" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Avaliação de Risco de Crédito]]></title>
            <link>https://medium.com/@lucas-melo/avalia%C3%A7%C3%A3o-de-risco-de-cr%C3%A9dito-e04a20daaca1?source=rss-b7c12035d404------2</link>
            <guid isPermaLink="false">https://medium.com/p/e04a20daaca1</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Lucas Melo]]></dc:creator>
            <pubDate>Wed, 19 Oct 2022 19:39:21 GMT</pubDate>
            <atom:updated>2022-10-20T13:55:53.351Z</atom:updated>
            <content:encoded><![CDATA[<p>Avaliar se uma pessoa irá deixar de cumprir com suas obrigações financeiras é de extrema importância, podendo causar um grande impacto no balanço de qualquer instituição. Por isso é de extrema importância para uma empresa analisar se vale apena ou não oferecer qualquer tipo de crédito para determinada instituição ou pessoa. Segundo estudos realizados pelo Serasa em maio de 2021, “o Mapa da Inadimplência, aponta que o Brasil apresenta cerca de 62,5 milhões de consumidores inadimplentes”, sendo este um dado preocupante para qualquer empresa que possa forneça crédito.</p><p>Visando diminuir o numero de inadimplentes, é utilizado processos de analise de credito que consiste na busca do maior número de informações financeiras possíveis a respeito do solicitante, avaliando o potencial de retorno, para definir a concessão ou não do valor requisitado, ou seja, a analise de crédito nada mais é que um processo que verifica e valida as informações dos solicitantes de financiamento, empréstimos e créditos pessoais, identificando os riscos para a instituição que está concedendo o valor solicitado.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/604/1*fXo1HqQcJuryTr1lA5x6DQ.png" /></figure><p>Muitas empresas já aderiram tecnologias capazes de acelerar, automatizar e melhorar esse processo. Estas estão se utilizando de ferramentas como Inteligência Artificial e Machine Learning<em> </em>que tornam possível uma análise de crédito completa de seu próprio banco de dados e o do cliente, assim como diversas informações públicas e do mercado, cruzando as centenas de dados disponíveis em poucos minutos, com segurança, assertividade e de acordo com padrões pré-definidos pela companhia. Cada vez mais, soluções vêm sendo desenvolvidas e aprimoradas visando minimizar o risco de <em>default</em>.</p><p><em>Default</em> é o termo utilizado para indicar o não cumprimento das obrigações e/ou condições de um empréstimo (como financiamentos ou dívidas de cartão de crédito). Normalmente, o principal motivo para o descumprimento das condições de pagamento é incapacidade financeira do cliente.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/390/1*EvnVMOuqj0aQahPZczKLyA.png" /></figure><p>Grandes bancos e Fintechs têm apostado cada vez mais em modelos de <em>Machine Learning</em> para prevenir a inadimplência de alguns clientes.</p><p>Dentre as principais instituições financeira, o <a href="https://nubank.com.br/sobre-nos">Nubank</a> é uma das que mais tem se destacado no uso de Inteligência Artificial e times de <em>Data Science</em>.</p><p>O conjunto de dados a ser utilizado neste Projeto de <em>Data Science</em> parte de uma competição realizada pela Startup <a href="https://nubank.com.br/sobre-nos">Nubank</a> a fim de revelar talentos e potenciais contratações pela Fintech.</p><h3>Contextualização do Problema</h3><p>No problema que iremos trabalhar hoje tem como o objetivo prever qual a probabilidade de um cliente da Startup Nubank não cumprir com suas obrigações financeiras e deixar de pagar a sua fatura do Cartão de Crédito.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/214/1*wNcn4YyzLLaF0AX3LmL7YA.png" /></figure><p>A Nubank é uma fintech brasileira fundada em 6 de maio de 2013 que ganhou notoriedade apenas em 2014, quando seu cartão de credito ROXO ganhou destaque por ser sem anuidade, sendo toda sua conta monitorada e controlada por um aplicativo de celular. Devido a essa adaptação ao mundo da tecnologia que cada dia crescia mais naquela época, a empresa começou a “brigar” com os grandes Bancos.</p><p>Com o passar dos anos, a empresa foi ganhando cada vez mais notoriedade e poder no mercado até que em 2017 ela lançou a sua NuConta que tinha como destaque o rendimento automatico de 100% do CDI ( <a href="https://blog.nubank.com.br/cdi-o-que-e/?utm_source=google&amp;utm_medium=cpc&amp;utm_campaign=14894704957&amp;utm_term=128624557615&amp;utm_word=&amp;utm_content=551305443344&amp;ad_position=&amp;match_type=&amp;location=1001561&amp;device=c&amp;utm_keyword_id=aud-952478170209:dsa-19959388920&amp;utm_placement=&amp;extension=&amp;geolocation=1001561&amp;google_channel=google_gdn&amp;gclid=CjwKCAjwpKyYBhB7EiwAU2Hn2URv4ZPw78wdoRwKqyZoUEvsf0C8GRrXNdx06Nya7I-Uy41wP0JVhRoCBn0QAvD_BwE">Certificado de Depósito Interbancário</a>) (anos depois, a empresa mudou remunerando apenas 30 dias depois da injeção de dinheiro)</p><p>Para a aceitação da liberação de crédito ou não a empresa deve realizar avaliação no momento em que o cliente solicita o cartão (normalmente no primeiro contato com a instituição).</p><p><em>OBJETIVO DO PROJETO: Criar um modelo que forneça a probabilidade de um cliente virar inadimplente.</em></p><p>Espera-se que um modelo seja capaz de minimizar as perdas financeiras do Nubank, porém minimizando também os falsos positivos.</p><h3>Importar os Dados</h3><p>Os dados que serão utilizados nesta análise estão disponíveis para download por meio <a href="http://dl.dropboxusercontent.com/s/xn2a4kzf0zer0xu/acquisition_train.csv?dl=0">deste link</a>.</p><p>Este arquivo será importando para uma estrutura <em>DataFrame</em> utilizando a biblioteca <em>pandas</em> a fim de possibilitar sua manipulação e análise.</p><h3>Conhecendo o Banco de Dados</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qJwWl65MF1zvPue2GFsgfA.png" /></figure><p>O banco de Dados possui: 45000 linhas</p><p>O banco de Dados possui: 43 features/ colunas</p><ul><li>Alguma de suas colunas são decodificadas para proteger os dados de seu clientes [‘id’, ‘score_1’, ‘score_2’, ‘score_3’, ‘score_4’, ‘score_5’, ‘reason’, ‘state’, ‘zip’, ‘channel’, ‘job_name’, ‘real_state’], esse tipo de decodificação necessita de uma analise mais profunda para utiliza-las.</li><li>A coluna ‘target_default’ será nossa coluna alvo, nela é onde fala o risco de inadimplência do cliente.</li><li>A coluna ‘target_fraud’ pode ser utilizada para outro tipo de estudo que envolve a classificação de fraude.</li></ul><h3><strong>Analisando o Banco de Dados</strong></h3><p>O pandas ele possui muitas funções que nos auxiliam no estudos dos bancos de dados e muitos dos insights adquiridos com esses estudos serão de suma importância para o desenvolvimento do estudos.</p><p>Utilizando a função ‘describe’ podemos encontrar pontos que não seriam facilmente observados apenas abrindo o banco de dados, como:</p><ul><li>Pode-se observar que não tem a presença de Outliers;</li><li>A coluna ‘reported_income’ possui valor “inf” devendo ser substituído por ’nan’;</li><li>As colunas ‘n_bankruptcies’ e ‘n_defaulted_loan’ tem seu (min,25,50,75) sendo zero(observar se isso não afetará o sistema).</li><li>A coluna ‘last_mounth_borrowed’ também tem seu (min,25,50,75) sendo 36(observar se isso não afetará o sistema);</li><li>A ‘coluna external_data_provider_credit_checks_last_2_year’ possui todos os seus valores zerados;</li><li>A coluna ‘external_data_provider_email_seen_before’ possui o seu valor minimo negativo(-999).</li></ul><p>Também foi utilizado a função ‘info()’ para gerar mais possíveis insights:</p><ul><li>A coluna ‘external_data_provider_credit_checks_last_2_year’ e ‘channel’ só possuem um unico valor, sendo esse não relevante para nosso estudo;</li><li>‘profile_phone_number’ possui 45000 valores únicos, não trazendo nenhuma informação relevante para a analise;</li><li>A coluna ‘target_default’ não possui todos os seus valores (Retirar as linhas que não tem valores)</li><li>A coluna ‘target_default’ é binaria.</li></ul><p><strong>Verificando o Balanceamento do Banco de Dados</strong></p><p>Verificar se o banco de dados está desbalanceado é de extrema importância para o resultado final do estudo, pois esse pode gerar falsos resultados que irão tender para os dados que possuem a maior quantidade.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/351/1*0Uo48iOvEbKuffSGD-LEaw.png" /><figcaption>Gráfico: Inadimplentes x Nº de Ocorrências</figcaption></figure><p>Fazendo a analise, chegou-se a conclusão que:</p><ul><li>Nessa situação podemos perceber que nossa coluna alvo está desbalanceada, fazendo que seja necessario o balanceamento para evitar qualquer chance de tendencia para um dos lados.</li><li>Dados da coluna target_default = 35080 (false/0) + 6661 (true/1) + 3259 (dados faltantes) = 45000 dados</li><li>Os valores ausentes serão retirados, motivo não podemos deduzir um resultado na nossa variavel principal (alvo)</li><li>Existem algumas possibilidade de balanceamento para essa situação, mas fazendo a analise mais profunda cheguei a conclusão que seria melhor fazer um Smote. O motivo se deu devido a caso um fosse fazer um oversampling ou undersampling, o meu data set téria muito mais dados replicados ou poderia está perdendo muitas informações que poderiam ser importantes</li></ul><p><strong>Analise Visual</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/519/1*KazGrCfINqRvnZldomqXFg.png" /><figcaption>Mapa Gráfico: Inadimplentes por região</figcaption></figure><p>Através desse gráfico pode-se observar que não temos uma região especifica do país onde temos um maior numero de inadimplentes, mas podemos observar que há uma maior numero de inadimplentes na região Sul e Sudeste. Contudo, isso se dá devido a essa região ter o maior quantidade de pessoas que aderiram ao banco;</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/508/1*c2Fb17IVBaa8O8RZ1UwoEw.png" /><figcaption>Mapa Gráfico: Canal de Marketing x Região</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/182/1*IeCQATkfMOqQnnp6T-R6Dg.png" /></figure><p>A internet ainda continua sendo o principal meio de publicidade da Nubank, mas podemos observar que o ‘invite-web’ fica no top 3 de maiores meios de propagação do Banco, isso se deu devido ao grande crescimento que o Banco teve nos últimos anos e também teve uma grande influência devido a suas formas inovadoras de tratar o cliente e o gerenciamento de suas contas.</p><h3>Limpeza de Dados</h3><p>Após toda o estudo do banco de dados, se faz necessário a limpeza deste dataset, mas para evitar problemas futuros com o dataset original e preservar seus dados, será feito uma copia do dataset original para que todas as mudanças possam ser feitas nele.</p><p>Esse procedimento é algo rotineiro no mundo do machine learning, já que não é indicado mexer diretamente com o Banco de Dados original e se caso o Banco de Dados original seja modificado poderíamos perder vários possíveis insights.</p><p>Antes de inicar o processo de divisão entre treino e teste, será feito a correção e limpeza de todos os dados da Banco de Dados, de acordo com a primeira analise realizada no começo do processo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/893/1*fF2SbCj4woC2aJtDkIDNBw.png" /></figure><p>Para evitar que mais valores ausentes enviesassem os estudos, foi utilizado uma função que verificasse a quantidade de valores nulos existentes em cada coluna.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/363/1*8ha0PaKp5ULYbygH-JdmhA.png" /></figure><p>Com isso foi verificado que há uma grande quantidade de valores nulos no dataset, para essa situação será utilizado duas abordagens através do método SimpleImputer:</p><ul><li>Para as colunas numéricas, os valores nulos serão substituídos pela mediana da coluna;</li><li>Para as colunas categóricas, os valores nulos serão substituídos pela maior frequência;</li></ul><p>Existe uma situação especial que ocorre com as colunas ‘last_amount_borrowed’, ‘last_borrowed_in_months’, ‘n_issues’ na qual os valores nulos dessas colunas serão substituídos pelo zero pois podemos levar em conta que são perguntas que não são obrigatórias ao cliente responder e também nenhum dessas variáveis possuem alguma referencia/observação, levando a entender que o 0 é o valor ideal para essas variáveis.</p><p>Com o termino dessas modificações, foi feito novamente uma verificação do dataset, na qual foram encontrados dois possíveis problemas:</p><p>Ao utilizarmos a função ‘describe’, pôde-se observar que em algumas features tem uma diferença muito grande entre o menor e o maior valor e isso pode acarretar em má performance do machine learning e com isso é necessário mudar a escala dessas features.</p><ul><li>O método que foi utilizado para esse Feature Scale foi o StandartScale.</li></ul><p>Na segunda situação pudesse observar que as features do tipo objeto possuem informações importantes que serão de grande ajuda no machine learning, mas como essas estão em formato string o computador não conseguirá ler essas informações, então será necessário mudar o formato desses dados para um que a maquina possa entender.</p><ul><li>Para isso foi utilizado o método LabelEnconder, onde os dados foram numerados.</li></ul><p>Para evitar qualquer tipo de data leaking todo esse processo foi feito após a divisão dos dados em treino e test.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/664/1*ig36vuwcUPmKyvBbhRYyFg.png" /></figure><p>Para o balanceamento dos dados foi utilizado o método SMOTE onde é gerado uma amostra sintética baseado na similaridade entre as amostras no espaço n-dimensional de variáveis. Esta amostra possibilita ao classificador identificar regiões de decisão maiores e menos especificas, ao invés de regiões menores e mais especificas.</p><h3><strong>TESTANDO OS MÉTODOS</strong></h3><p><strong>SVM</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/377/1*1ujqKCK5XvVvLwgHbSxQiA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/382/1*_pdwYxOxVwGOQRg4p4nPZw.png" /></figure><p><strong>Logistic Regression</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/443/1*4-fNdTpX80VpzRcM73jKVg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/398/1*dZL-cGyQZxWk7o2pDGad-w.png" /></figure><p><strong>Random Forest</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/447/1*GR33K-IfJha7w0M4REp-Qw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/381/1*lY_JgGFsH5JNALW3gOFkJQ.png" /></figure><p>Esse método e o Decision Tree, possibilita a verificação de quais features mais influenciaram no resultado desses métodos. Sendo isso de suma importância para saber quais features realmente influenciam o método, quais podem ser retiradas, incluídas ou até mesmo criadas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/401/1*Q_nRJi4kKMXmzV_ZEu3ndw.png" /></figure><p><strong>Decision Tree</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/433/1*Ad2L3P3qG9Qcnqigx8_0-Q.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/369/1*yT01kvKcUxY8aqOgEhIWKA.png" /></figure><p><strong>Xgboost</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/444/1*Wp8SPkzd35RXALQ67bPUKQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/375/1*rR1PTdkwgaboYg3Ufo8RZg.png" /></figure><p><strong>K-neighbor</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/433/1*SzLFvpp7v_Of8s67-tsaWg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/377/1*CFOXUusg0GCglHoxBgODig.png" /></figure><h3>Avaliando os Modelos</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/516/1*-mFC6o_GKTWC_b7GoZT_lQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/398/1*fwGHcU2iW8ylXLrtS9saAQ.png" /></figure><p>Nessa situação foi utilizado o método que me deu a maior acurácia e Precisão, pois além de estarmos trabalhando com a <em>precisão</em> do resultado do modelo, estamos querendo minimizar nosso falso positivo e quanto maior a precisão menor o falso positivo. Dessa maneira será utilizado o modelo <strong><em>XGBOOST</em></strong>.</p><p>Agora será utilizado o função GridSearch para poder encontrar os melhores valores para os meus Hiperparametros.</p><p><strong>Hiperparametros</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/895/1*LEt0qRPUSwakd2r7_FAQlQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/434/1*gd2SgPERWjhrLBkbCkmK9g.png" /></figure><h3>Conclusão</h3><p>O objetivo principal deste artigo foi construir um algoritmo de Machine Learning que seriam capazes de identificar potenciais inadimplentes e, portanto, reduzir o prejuízo do emprestador, também foram mostrados alguns insights que podemos ter em apenas analisar o nosso Banco de Dados. O melhor modelo possível seria aquele que pudesse minimizar os falsos negativos, identificando todos os inadimplentes entre a base de clientes, ao mesmo tempo em que minimizasse os falsos positivos, evitando que os clientes fossem erroneamente classificados como inadimplentes.</p><p>Atender a esses requisitos pode ser bastante complicado, pois há uma compensação entre precisão e recall, o que significa que aumentar o valor de uma dessas métricas geralmente diminui o valor da outra. Considerando a importância de minimizar os Falsos Positivos, decidi buscar melhorar meu hiperparametros que pudessem aumentar minha taxa da precisão.</p><p>Fazendo a Analise dos métodos aquele que mais se destacou foi o Xgboost onde sua Acurácia e Precisão tiveram uma taxa aumenta em relação aos outros(83,65% de acurácia e 40,96% de precisão), visando aumentar ainda mais a precisão utilizamos o método grid search para encontrar o melhores HiperParamêtros para essa situação. No final conseguimos encontrar um modelo onde tivesse uma acurácia de 83,90% e uma precisão de 46,96%, não se obteve uma aumento expressivo na acurácia mas tivemos um bom aumento na precisão. Mesmo com o aumento da precisão, essa taxa ainda é alta para a empresa pois indica que 46,96% dos que foram taxados como inadimplentes são realmente inadimplentes.</p><p>Espero que esse artigo possa ter lhe ajudado e agregado de alguma forma e que meu projeto demonstrado nesse artigo te some de alguma forma. Um grande abraço! Até a próxima!</p><p>Caso queira conferir o Notebook utilizado nessa artigo, é só clicar <a href="https://github.com/Lucas-Melo-A-S/Data_Science/blob/main/Avalia%C3%A7%C3%A3o_de_Risco_de_Cr%C3%A9dito_Lucas_Melo.ipynb">aqui</a></p><p>&lt;<a href="https://github.com/Lucas-Melo-A-S/Data_Science/blob/main/Avalia%C3%A7%C3%A3o_de_Risco_de_Cr%C3%A9dito_Lucas_Melo.ipynb">https://github.com/Lucas-Melo-A-S/Data_Science/blob/main/Avalia%C3%A7%C3%A3o_de_Risco_de_Cr%C3%A9dito_Lucas_Melo.ipynb</a>&gt;</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e04a20daaca1" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Panorama da COVID-19 no Mundo e no Brasil]]></title>
            <link>https://medium.com/@lucas-melo/panorama-do-covid-19-no-mundo-e-no-brasil-adc3de5ceefc?source=rss-b7c12035d404------2</link>
            <guid isPermaLink="false">https://medium.com/p/adc3de5ceefc</guid>
            <category><![CDATA[sigmoidal]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[covid19]]></category>
            <dc:creator><![CDATA[Lucas Melo]]></dc:creator>
            <pubDate>Sat, 29 Jan 2022 05:41:41 GMT</pubDate>
            <atom:updated>2022-01-29T13:16:45.938Z</atom:updated>
            <content:encoded><![CDATA[<p>No ano de 2019, foi descoberto um tipo de patógeno que resultou em uma surto continuo de pneumonia viral na região de Wuhan, na província de Hubei na China. Após analises feitas pela OMS(Organização Mundial da Saúde), constatou-se que se tratava da COVID-19 que era causada por um novo tipo de coronavirus(Sars-Cov-2)(WHO,2020a).</p><p>De inicio a OMS não deu muita atenção para aquele surto, pois o coronvírus que era conhecido desde 1960 apenas causava “resfriados comuns” na pessoas. Mas de acordo com Paules et al. (2020) “ … No século XXI, 2 HCoVs altamente atogênicos — coronavírus da síndrome respiratória aguda grave (SARS-CoV) e coronavírus da síndrome respiratória do Oriente Médio (MERS-CoV) — emergiram de reservatórios de animais para causar epidemias globais com alarmante morbidade e mortalidade…”. E esse tipo de Covid se alastrou por todo mundo causando milhares de mortes e causando diversos efeitos colaterais nas pessoas que o pegaram. Até o momento(27.01.2022) os pesquisadores não tem total conhecimento sobre todos os efeitos da Covid-19 e por que apenas algumas pessoas tenham uma carga viral maior que outras pessoas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/589/1*693IKZbKIiY0toE7m2gIOg.png" /><figcaption>Fonte: Lucas Melo</figcaption></figure><h3>Obtenção dos Dados</h3><p>Ao longo desses últimos 2 anos, diversos estudos foram e são feitos para entender como o vírus funciona, e como é sua curva de crescimento. Esse presente estudo busca lucidar como se encontra a atual situação Mundial do Covid, expondo também a situação do Brasil após esses dois anos de pandemia.</p><p>Para a realização desse artigo, foi-se necessário verificar em diversos bancos de dados a veracidade do Data Frame utilizado, pois como se trata de algo Mundial, diversas informações podem conflitar devido ao controle de informações existentes nos Países onde os dados foram recolhidos, também gostaria de deixar claro que como ainda estamos na pandemia, os números poderão mudar diariamente e que esse estudo leva em consideração a data final de 27/01/2022(27 de Janeiro de 2022).</p><h3>Dicionário de Variáveis</h3><ul><li>Para melhor compreendimento do leitor, será exposto um dicionário com todas as variáveis presentes no Data Frame apresentado: <a href="https://github.com/owid/covid-19-data/blob/master/public/data/owid-covid-codebook.csv">https://github.com/owid/covid-19-data/blob/master/public/data/owid-covid-codebook.csv</a></li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3x2uNNCbumps2Y0Xh6Sh6g.png" /><figcaption>Uma amostra do data frame do dicionário do data frame que será analisado</figcaption></figure><h3>Dados da COVID-19</h3><ul><li>Os dados retirado são do profile “Our World in Data”, onde eles atualizaram <strong>DIARIAMENTE</strong> o data frame sobre a pandemia e para qualquer tipo de estudos futuros, o link do GitHub onde eles hospedam todos o data frame atualizado <a href="https://github.com/owid/covid-19-data/tree/master/public/data.">https://github.com/owid/covid-19-data/tree/master/public/data.</a></li></ul><p>O DataFrame analisado possui:</p><ul><li>157708 entradas(linhas)</li><li>67 variáveis(colunas)</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tq1_yk-7a92qIT63zWNt3Q.png" /><figcaption>Uma amostra do Dataframe que será analisado</figcaption></figure><p>O Dataframe selecionou 219 países para esse estudo, onde:</p><ul><li>América do Norte/Central: 36 países;</li><li>América do Sul: 13 países;</li><li>Ásia: 46 países;</li><li>África: 59 países;</li><li>Europa: 51 países;</li><li>Oceania: 13 países;</li><li>Alguns computados no Dataframe são dados como águas internacionais.</li></ul><p>Os dados do DataFrame começaram a ser preenchidos na data de 24.02.2020 tendo sua data final no dia 27.01.2022</p><h3>Analise Geral da COVID-19</h3><p>Um fator que facilitou a proliferação desse vírus ao longo do globo foi a sua facilidade de transmissão, onde através inalação de gotículas do nariz ou da boca que se espalham quando alguém doente tosse ou espirra ou também ao tocar em objetos contaminados pelas gotículas que caem nas superfícies destas.</p><p>Pode se observar no gráfico abaixo de novos casos que o vírus teve uma rápida proliferação no ano de 2020 e inicio de 2021, que mesmo com todas as medidas sanitárias, quarentena e “tratamentos testes” não foi possível retardar o crescimento do numero casos nos últimos anos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/585/1*8G50eSXvl0QP9d5GIBpdpA.png" /><figcaption>Gráfico do n° de novos casos ao longo do período de 2020 a 2022</figcaption></figure><p>Podemos verificar que com a aparição da nova variante da Covid — 19 (Omicron) que de acordo com os especialistas o seu nível de transmissão é maior que qualquer outra variante, o mês de Janeiro de 2022 teve um aumento fora da curva no numero de casos. Até o momento o mundo já teve <strong><em>365717060.0</em></strong> casos de Covid-19.</p><p>Todos os países foram pegos de surpresa com essa pandemia e muitos países não tiveram tempo e nem renda para se preparem para toda essa calamidade que a Covid-19 iria causar, e com isso junto com o crescimento do numero de casos, veio o aumento do numero de mortes.</p><p>Para melhor entendimento da pandemia pelo mundo, os casos foram separadas por continente e logo depois pelos 5 países com mais casos, com isso nos podemos observar a real situação em cada continente.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/666/1*8BUkpkl6B0eVRtR4rB36SQ.png" /><figcaption>Gráfico do n° de novos casos ao longo do período de 2020 a 2022 ( FILTRADO POR CONTINENTE)</figcaption></figure><p>O numero total de casos por continente:</p><p>Europa = 121914788.0</p><p>Ásia = 97743596.0</p><p>North América = 85929284.0</p><p>South América = 47313127.0</p><p>África = 10748571.0</p><p>Oceania = 2640481.0</p><p>Foi feita um divisão do numero de casos por continente para termos o conhecimento dos países que tiveram mais casos somente em seu continente.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/900/1*0FxaB_gSzw627nEgHBM5jQ.png" /><figcaption>Gráfico de top 5 países com mais casos de Covid-19 por continente ( Europa, Ásia, América do Norte)</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/878/1*J6pNQQxA7sXAiY2swAWndg.png" /><figcaption>Gráfico de top 5 países com mais casos de Covid-19 por continente ( América do Sul, África, Oceania)</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/617/1*BvoAcMIJCekjKCpmne8a1w.png" /><figcaption>Gráfico do n° de novas mortes ao longo do período de 2020 a 2022 — Mundo</figcaption></figure><p>Como foi possível observar no gráfico acima, o numero de mortes vem caindo gradativamente, isso se deu devido a criação de vacinas que ao longo de todo o ano de 2021 foi feito um mutirão mundial para que toda a população tivesse pelo menos uma das doses dos imunizantes.</p><p>Podemos também relatar que essa nova variante(Omicron) tem um baixo nível de fatalidade, sendo essa a variante que está em predomínio no mundo atualmente.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/673/1*mDSzCBM7hGZSGd3fiqkmXw.png" /><figcaption>Gráfico com o top 10 países que mais pessoas morreram devido ao Covid-19</figcaption></figure><p>De acordo com a analise feita, esses foram os 10 países mais afetados pela COVID-19 em relação a mortes e esses também são os países que se destacam no gráficos de casos de Covid-19 por continente, mostrando que o numero de casos está diretamente relacionado com o numero de mortes , sendo o Estados Unidos país com maior destaque nesses últimos anos com 879006.0.</p><p><em>3 países que mais tiveram mortes causadas pela Covid-19:</em></p><p><strong>United States = 879006.0</strong></p><p><strong>Brasil = 625390.0</strong></p><p><strong>Índia = 492327.0</strong></p><p>Fazendo uma rápida analise no gráfico de dispersão, chegou-se a conclusão que o vírus não escolhe entre países pobres e ricos, o vírus está para todos da mesma maneira e que devemos nos cuidar diariamente para acelerar o termino dessa pandemia.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/456/1*KkbCcbeCpuFmjc6h9bMAWw.png" /><figcaption>Gráfico relacionando os Top 10 países com mais mortes com seu PIB</figcaption></figure><h3>Analise da Covid-19 no Brasil</h3><p>Será feito uma analise da Covid-19 no Brasil, como foi seu crescimento e como está a sua situação agora.</p><p>Nesses últimos anos de pandemia o país vem passando por muitos altos e baixos em relação a quantidade de números de casos e mortes no país. Teve um determinado momento entre o meses de março e julho o país chegou a ser Epicentro da pandemia devido a surgimento da variante DELTA no país.</p><p>Muitos fatores internos influenciaram na rápida propagação do vírus no país mas nesse momento não vem a caso, o primeiro caso de Covid-19 no país se deu no dia 27.02.2020 na cidade de São Paulo e desde então esse numero vem crescendo ao longo dos últimos meses.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/595/1*U1-8XSvq03zSgR-Z-b7nbg.png" /><figcaption>Gráfico do n° de novos casos ao longo do período de 2020 a 2022 — Brasil</figcaption></figure><p>Como mostra o gráfico, o numero de casos no país sempre se manteve em alta, principalmente durante os meses de julho/2020 e julho/2021 foi um ano onde o numero mensal de casos de Covid-19 ultrapassava os 500 mil, tendo seu pico em Março/2021 com 2205301.0 casos. Durante esse tempo, o país passou por diversas situações e uma delas o país acabou sendo considerada o Epicentro da pandemia(como relatado anteriormente).</p><p>Infelizmente, junto com o aumento do numero de casos veio o aumento do numero de mortes chegando a ser registrado 4.249 mortes em 24 horas. O país teve um picos de mortes no mês de Abril/2021 onde chegou a incríveis 82392.0 mortes no mês.</p><p>Mas no mês seguinte se deu inicio a uma queda drástica no numero de casos e mortes, e isso se deu devido a diversos fatores mas principalmente a vacinação (assunto que será tratado mais a frente).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/610/1*kHmMqEifUXbTkqBDQJxvVg.png" /><figcaption>Gráfico do n° de novas mortes ao longo do período de 2020 e 2022 —Brasil</figcaption></figure><p>No inicio do ano de 2021 o país começou a sua agenda de vacinação contra a Covid-19, de inicio a vacinação começou apenas com a CoronaVac, onde de acordo com os especialistas seria necessário no mínimo duas doses da vacina para está protegido da doença mas com o passar dos meses novos tipos de vacinas foram sendo liberadas no país e agenda de vacinação no país cresceu rapidamente ao longo de todo o ano de 2021.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LAmMiW3wgcXKx94GCI_-ew.png" /><figcaption>Gráfico do n° de morte, vacinados e casos no período de 2020 a 2022</figcaption></figure><p>Como podemos ver nos gráficos acima o crescimento do numero de vacinados tem total influencia na queda de novos casos e mortes pela Covid-19. O efeitos vacina acaba sendo inversamente proporcional ao numero de casos e mortes, quantos mais vacinados menos casos e mortes temos. Hoje em dia são <strong>149542396.0</strong> pessoas com o ciclo vacinal completo(duas doses) no país.</p><p><strong><em>POR ISSO VACINE-SE!.</em></strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*rkfVtt_pkAokOvAO.jpg" /><figcaption>COLCOAR LEGENDA</figcaption></figure><ul><li>Podemos observar que no mês de janeiro/2022 o numero de casos de Covid-19 aumentou drasticamente se comparados aos passados, isso se deu devido a aparição de uma nova mutação do vírus chamada ‘OMICRON’, onde este vírus tem a maior taxa de proliferação entre as mutações já descobertas. Mas em contra partida podemos observar que o numero de mortes continuou descendo, isso se aconteceu tanto devido a vacina mas também ao nível de letalidade dessa nova mutação que é um dos mais baixos entre as mutações.</li></ul><h3>Conclusão</h3><p>A Covid-19 foi uma doença que pegou todos desprevenidos, e esse despreparou nos causou diversos problemas nesses últimos 2 anos. Diversas culturas tiveram que se adaptar devido a esse vírus tanto em relação a sanitização quanto a utilização de mascaras diariamente em locais abertos e fechados.</p><p>Muitas pessoas perderam seu entes queridos, e isso será um perda que jamais poderá ser reparada, a doença mostrou como somos frágeis e suscetíveis a qualquer tipo de mutação que possa acontecer nesses vírus, por isso se faz necessário vacinar e seguir todos os protocolos de sanitização para que possamos acelerar o termino da pandemia e todos nos possamos abraçar novamente.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=adc3de5ceefc" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>