<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Marccus Gabriel on Medium]]></title>
        <description><![CDATA[Stories by Marccus Gabriel on Medium]]></description>
        <link>https://medium.com/@marccusg0?source=rss-b92ad680d5a1------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*GguANfsbw0qsjYcdOKynjA.png</url>
            <title>Stories by Marccus Gabriel on Medium</title>
            <link>https://medium.com/@marccusg0?source=rss-b92ad680d5a1------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 23:20:54 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@marccusg0/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Playing With Machine Learning — Part 1]]></title>
            <link>https://medium.com/@marccusg0/playing-with-machine-learning-part-1-62fa482afbf4?source=rss-b92ad680d5a1------2</link>
            <guid isPermaLink="false">https://medium.com/p/62fa482afbf4</guid>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[correlation]]></category>
            <category><![CDATA[credit-card-fraud]]></category>
            <category><![CDATA[k-means-clustering]]></category>
            <dc:creator><![CDATA[Marccus Gabriel]]></dc:creator>
            <pubDate>Mon, 23 Jun 2025 21:13:45 GMT</pubDate>
            <atom:updated>2025-06-23T22:06:10.853Z</atom:updated>
            <content:encoded><![CDATA[<h3>Playing With Machine Learning — Part 1</h3><p>Este artigo tem como objetivo explorar modelos de <em>machine learning</em>, entendendo o raciocínio por trás de cada linha de código, seu uso, boas práticas e a lógica de negócio envolvida. Foi desenvolvido com fins educacionais, de aperfeiçoamento e desenvolvimento profissional.</p><p>Vamos analisar uma base de dados obtida no <a href="https://www.kaggle.com/datasets/mlg-ulb/creditcardfraud/data"><em>Kaggle</em></a>: uma análise de fraudes em transações de cartão de crédito. O <em>dataset</em> contém 31 colunas, sendo uma delas o tempo da transação, outra o valor da transação, e uma coluna que utilizaremos como variável dependente (target), indicando se a transação foi considerada fraude (1) ou não (0). As demais colunas correspondem a dados das transações, que foram transformados em variáveis numéricas e redimensionadas via PCA (<em>Principal Component Analysis</em>) para garantir a confidencialidade das informações originais. É importante observar que menos de 1% dos registros no <em>dataset </em>representam fraudes.</p><blockquote>Esse artigo faz parte de uma série de estudos aplicados a machine learning. O foco é totalmente em entender como os algoritmos se comportam, aprender sobre as singularidades de cada algoritmo e dataset. Esse espaço está sendo usado para consolidar meus conhecimentos e compartilhar com outros profissionais.</blockquote><h3>📌 Sumário</h3><ul><li>📊 <strong>Leitura dos dados</strong></li><li><strong>🔍 Correlação entre as variáveis:</strong></li><li>🧠 <strong>Discussão sobre Tendência e Overfitting</strong></li><li>🤖 <strong>Aplicação de KMeans para registros fraudulentos</strong></li></ul><h3>Leitura dos dados:</h3><p>Uma boa prática é criar uma cópia do <em>DataFrame</em> original após a leitura dos dados, para evitar a necessidade de reler o arquivo sempre que precisarmos manipulá-lo.</p><p>Como a maioria dos algoritmos de <em>machine learning</em> não lida bem com dados ausentes, é essencial verificar a existência de valores nulos e tratá-los. Existem diversas abordagens para lidar com esses casos: remoção, imputação por média, mediana, interpolação, entre outros. A escolha da técnica depende do contexto do problema — é preciso entender a natureza dos dados antes de aplicar qualquer solução.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nfng0QBlcHlgBISB6Fn-bQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/731/1*Hd8p8Gq58sc3F7dzjTtLyg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/435/1*R_m96kf4kgicgjCIk97RBA.png" /></figure><h3>Quantidade total de registros fraudes e não fraudes:</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/455/1*7GET-U5v0xJi09RJJt-6_g.png" /></figure><p>Uma importante parte do começo da montagem dos algoritmos, é entender bem o negócio, entender nosso conjunto de dados e acima de tudo, saber o que queremos responder com a construção do algoritmo. Ao invés de aplicar simplesmente o modelo diretamente, vamos aprofundar em nossas variáveis e buscar saber se elas tem alguma informação valiosa pra nossa análise.</p><p>Para essa primeira parte do artigo, ainda não vamos aplicar o <em>dataset </em>no algoritmo, que a propósito, futuramente, iremos usar regressão logística por se tratar de classificação binária.</p><h3>Correlação entre as variáveis:</h3><p>Para entender a relação entre nossas variáveis, vamos usar o método corr, que calcula a correlação entre eles. Para facilitar nossa análise, dividimos o conjunto de dados em:</p><ul><li>Apenas registros de fraudes; e</li><li>Apenas registros não fraudes.</li></ul><p>Em seguida, aplicamos a matriz de correlação e visualizamos os resultados com o <a href="https://seaborn.pydata.org/"><strong>Seaborn</strong></a>, por meio de um gráfico <em>heatmap</em>.</p><h3>Observações:</h3><ul><li>No <em>dataset</em> completo, não identificamos problemas aparentes de <strong>multicolinearidade</strong> (alta correlação entre variáveis).</li><li>No subconjunto de registros <strong>fraudulentos</strong>, observamos <strong>múltiplas variáveis com alta correlação</strong> entre si.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/747/1*amPcx1H26ao9p0sy8YCBSw.png" /></figure><p>Todo o <em>dataset</em>:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/959/1*l2-wdI4VLyBtqzaYnK4pdQ.png" /></figure><p><em>Dataset </em>que é considerado fraude:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/959/1*XSn9sPzKGgMEUCF4zgJgtw.png" /></figure><p><em>Dataset</em> que não é considerado fraude:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/954/1*BH6W3p9_tAsETvlYN0vNAA.png" /></figure><p>Esse comportamento é esperado, pois ao analisar o conjunto completo, os subgrupos de padrões tendem a desaparecer devido à desproporção de fraudes (menos de 1% do total). Quando isolamos os registros fraudulentos, os padrões internos desse grupo se tornam mais visíveis.</p><p>Por isso, <strong>analisar as variáveis separadamente</strong> pode revelar características importantes, além de ajudar na detecção de multicolinearidades e na possível <strong>combinação de variáveis</strong>. Em alguns casos, variáveis tendenciosas podem prejudicar o modelo, levando ao <strong>overfitting</strong> (quando o modelo aprende padrões específicos do treinamento, mas não generaliza bem para dados novos).</p><blockquote><em>⚠️ É importante destacar: uma variável com alta ou baixa correlação com o alvo </em><strong><em>não necessariamente é mais ou menos importante para o modelo</em></strong><em>. O valor preditivo de uma variável depende do contexto e da interação com outras features.</em></blockquote><h3>Próximos passos: Clusterização</h3><p>A seguir, aplicaremos um algoritmo de aprendizado não supervisionado, o <strong>K-Means</strong>, apenas aos registros considerados como fraude. O objetivo é continuar investigando as variáveis, observando se existem padrões distintos entre os registros fraudulentos, e verificar se alguma variável exerce influência desproporcional — o que pode levar o modelo a tomar decisões enviesadas.</p><p>Na análise de fraudes com cartão de crédito, é fundamental garantir que o modelo não seja “enganado” por variáveis que dominam a predição. Nosso objetivo é construir um modelo justo, preciso e generalizável, sem <strong>atalhos estatísticos enganosos</strong>.</p><p>Não irei entrar no mérito das peculiaridade do <em>K-Means </em>porque não é foco no momento. Focarei apenas nos resultados que a <em>clusterização</em> vai nos dar:</p><ul><li>Silhouette score:</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/470/1*8tzbJBrNJWANwGTCznogoA.png" /></figure><ul><li>Nossos clusters redimensionados:</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/470/1*xU-Wpn5nYt4TVWQkN2ehdw.png" /></figure><ul><li>Visualizando a correlação novamente, mas agora de nossos clusters:</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/952/1*lxqJyojJqm1R5ztmJWQVCg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/953/1*-68_z9tBb3mMBb1-NBHBTQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/952/1*i4JzxCQfc9Ax97mGdJQeEw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/954/1*Gv_1EBnkt-QuWTCs-lyIaA.png" /></figure><p>Visualizando agora a correlação separada por cluster apenas nos registros que são considerados fraudes, nota-se que a correlação que antes existia no universo geral dos fraudes, sumiram. Isso significa que existe subgrupos dentro dos considerados fraudes e na verdade não estão correlacionados tanto assim, evitando que a gente descarte alguma variável ou precise combina-las em uma só.</p><p><strong>CONTINUAÇÃO EM BREVE.</strong></p><blockquote>Se você gostou desse artigo ou tem alguma sugestão, deixe um comentário ou me siga aqui no Medium! Parte 2 em breve: aplicando Regressão Logística para detecção de fraudes. 🚀</blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=62fa482afbf4" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>