<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Gabriel Ribeiro Ferreira Lopes on Medium]]></title>
        <description><![CDATA[Stories by Gabriel Ribeiro Ferreira Lopes on Medium]]></description>
        <link>https://medium.com/@grflopes?source=rss-b609a33bd460------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*LhmUbC6T---YsnOfUnh-pA.jpeg</url>
            <title>Stories by Gabriel Ribeiro Ferreira Lopes on Medium</title>
            <link>https://medium.com/@grflopes?source=rss-b609a33bd460------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 10:01:18 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@grflopes/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[O que aprendi em 20 meses trabalhando com LLMs e IA Generativa]]></title>
            <link>https://grflopes.medium.com/o-que-aprendi-em-20-meses-trabalhando-com-llms-e-ia-generativa-9a65456723f2?source=rss-b609a33bd460------2</link>
            <guid isPermaLink="false">https://medium.com/p/9a65456723f2</guid>
            <category><![CDATA[generative-ai-tools]]></category>
            <category><![CDATA[ai-agent]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[Gabriel Ribeiro Ferreira Lopes]]></dc:creator>
            <pubDate>Sun, 21 Dec 2025 21:54:53 GMT</pubDate>
            <atom:updated>2025-12-21T21:54:53.017Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0IuvPOukrDMpV5myM2qfoA.jpeg" /></figure><p>No meu último post aqui no Medium, eu falei um pouco sobre <a href="https://medium.com/@grflopes/o-que-aprendi-em-10-meses-trabalhando-com-llms-e-ia-generativa-5106e741165e">minha experiência trabalhando com IA generativa e LLMs por 10 meses</a>.</p><p>Desde então, quase dois anos se passaram, e tenho muita coisa a atualizar sobre como é trabalhar com essa tecnologia no dia a dia. Nesse meio tempo, trabalhei em sistemas bem diferentes entre si, mas todos com IA generativa no centro. Eu:</p><ul><li>Criei um sistema que utiliza IA para <strong>automatizar a coleta de currículos</strong> e armazená-los em um banco de dados SQL, fazendo em seguida a <strong>construção de uma base vetorial de conhecimento </strong>para mostrar ao usuário os candidatos mais aptos.</li><li>Trabalhei com <strong>técnicas de processamento de documentos para RAG</strong>, criando um pipeline próprio para tratamento de documentos complexos, preparando-os assim para servir de contexto aos modelos de linguagem.</li><li>Implementei diversos sistemas agênticos utilizando <em>LangGraph </em>e<em> Pydantic</em>, incluindo <strong>agentes de análise SQL</strong>, <strong>RAG agêntico</strong> e <strong>agentes de busca</strong>.</li><li><strong>Criei uma plataforma para utilização de agentes de IA</strong> para a empresa onde trabalho, desenvolvendo <em>backend </em>com <strong>sistema multi-agentes</strong> e <em>frontend </em>moderno<em> </em>em<em> React + Typescript, </em>utilizando agentes como copilotos na programação<em>.</em></li></ul><p>Revisitando meu último post, notei claramente a diferença entre os dois períodos. No ano passado, investi na construção de uma base teórica e prática sólida, entendendo os principais conceitos e funcionamento da IA generativa. Por isso, foquei bastante na construção de prompts e na minha experiência de primeiros contatos com agentes.</p><p>Agora, acredito que tanto as ferramentas evoluíram e ficaram mais estáveis, como também os métodos que aplico estão mais confiáveis e maduros. Nesse post, pretendo compartilhar um pouco dos meus aprendizados em 20 meses trabalhando com IA generativa e LLMs praticamente todos os dias.</p><h3>Não espere o método perfeito</h3><p>Quando trabalhamos com uma área tão nova quanto essa, tendemos a esperar que alguma solução seja publicada, ou que algum curso seja lançado, que possa nos amparar.</p><p>Eu não sou um desenvolvedor por formação. Minha experiência vem da Física e do laboratório. Fui me aventurar na programação com ciência de dados e Machine Learning, e por isso meu foco sempre foi a análise estatística, a descoberta de modelos, a criação de experimentos etc.</p><p>Quando vi a necessidade de aprimorar minhas habilidades em desenvolvimento de software para conseguir entender melhor as bibliotecas de IA, recorri bastante a cursos e tutoriais.</p><p>Porém, quando o assunto é desenvolvimento de sistemas de IA, é muito difícil encontrar um método consolidado para estudar. O trabalho acaba sendo muito mais o de buscar fragmentos de soluções, estudar teoria e montar um esquema próprio de estudo para entender como tudo isso se aplicaria ao seu projeto.</p><p>Esse padrão de estudar fragmentos, testar abordagens e montar algo próprio aparece em praticamente tudo que faço hoje com IA generativa — e o RAG é um ótimo exemplo disso.</p><p><strong>Antes de seguir para a parte prática:</strong></p><ul><li>Se esse conteúdo está sendo útil, considere deixar <strong>até 10 aplausos</strong></li><li>Isso ajuda bastante o artigo a performar melhor no Medium</li><li>E faz ele chegar a mais pessoas interessadas em aprender com quem trabalha com IA generativa na prática</li></ul><h4>Como criei um pipeline de processamento RAG</h4><p>Vamos pegar o exemplo do RAG. Para quem não está familiarizado, o RAG (<em>Retrieval-Augmented Generation</em>) é uma técnica utilizada para processar conteúdo de documentos (como manuais da empresa) e servi-los a uma IA. A geração de uma resposta (<em>Generation</em>) é aumentada pela recuperação dinâmica de contexto que vem desses documentos (<em>Retrieval-Augmented</em>).</p><p>De modo geral, as etapas do RAG envolvem:</p><ul><li>A extração do texto de um documento</li><li>A separação em <em>chunks</em></li><li>O processamento desses <em>chunks</em> em vetores multi-dimensionais</li><li>O armazenamento dos vetores numa base vetorial</li><li>E a integração com um sistema capaz de vetorizar a pergunta do usuário e compará-la com os vetores da base de conhecimento.</li></ul><p>A questão é que existem diversas abordagens possíveis para isso. Você pode utilizar um RAG “clássico”, que calcula a similaridade de cossenos entre os vetores e retorna os <em>top-k chunks </em>mais similares, ou pode usar uma abordagem híbrida, em que o score dos vetores é definido por uma combinação (por exemplo, uma soma ponderada) de similaridade vetorial e busca lexical por palavras-chave, como a função <em>BM25</em>.</p><p>E isso eu estou falando da escolha de apenas uma das etapas do RAG, que é do <em>retrieval</em>. Para a etapa de divisão do texto em <em>chunks</em>, temos outras considerações que podem impactar na qualidade, como <strong>manutenção de contexto</strong> e <strong>tamanho do <em>chunk</em></strong>.</p><p>No que diz respeito à abordagem, muitos vão dizer que encontraram o melhor e definitivo método, mas a verdade é que o método certo será aquele que melhor se adaptar à realidade do seu projeto. Talvez seja um <em>RAG</em> simples, talvez um <em>RAG </em>híbrido ou até um <em>GraphRAG</em>.</p><p>Independentemente da técnica, é essencial buscar diversas fontes, estudar casos de uso e construir uma base teórica e conceitual sólida. A partir disso, você passa a ter capacidade real de planejar e estruturar a solução apropriada.</p><p>O sistema RAG que construí é composto de diversas partes, que fui estudando e filtrando a partir de soluções espalhadas por diferentes projetos e artigos. Ele reflete bem essa lição que estamos discutindo.</p><p>Primeiro, construí um pipeline de processamento que lida com a maior parte dos documentos complexos em PDF, Word e imagens. Ele foca apenas em preparar os dados, de maneira análoga ao que se faz no ciclo de <em>Machine Learning</em>. Meu pipeline usa um modelo de OCR para markdown, responsável por separar os documentos em chunks que correspondem a uma página completa, com alguma sobreposição entre elas. Dessa forma, garanto a <strong>manutenção do contexto em cada chunk</strong>, sem deixá-los excessivamente longos. Além disso, é muito conveniente usar um modelo já pensado para servir LLMs através de markdown, pois a hierarquia dos elementos textuais é mantida.</p><p>Em seguida, com os chunks preparados, criei funções para extrair <strong>metadados dos documentos</strong>, enriquecendo a base vetorial para melhorar ainda mais a etapa de recuperação. Todos os documentos são processados com metadados informativos para o contexto do meu projeto, como página, data, resumo do conteúdo da página e do documento etc. Para essa etapa, utilizo um LLM com saída estruturada via <em>Pydantic</em>, que analisa página por página e retorna esses dados.</p><p>Esses dois processos são centrais para o meu pipeline RAG e garantem uma redução considerável nas alucinações, mesmo em documentos complexos. Ao final, tenho um conjunto de chunks enriquecidos com metadados, prontos para compor minha base de conhecimento.</p><h3>Criando RAGs agênticos</h3><p>Com a base de conhecimento construída, tenho tudo o que preciso para criar um sistema de IA com RAG. A melhor forma que encontrei foi utilizar o mecanismo de RAG como uma ferramenta para um <strong>agente ReAct</strong> trabalhar. O motivo é que o agente, por ser capaz de raciocinar sobre a pergunta do usuário e observar seu ambiente, consegue buscar o contexto de forma dinâmica, em vez do one-shot do RAG tradicional, analisando se o que foi recuperado já é suficiente para responder.</p><p>É possível fazer isso de forma totalmente programática, em nodes específicos para pós-processamento dos <em>chunks</em> recuperados, e talvez funcione melhor para alguns casos de uso. Porém, na minha visão, a taxa de erros e alucinações reduziu bastante ao introduzir o RAG agêntico.</p><p>Em suma, um aprendizado importante é que um sistema de agentes de IA, ou mesmo um workflow de IA, não é feito em 20 minutos. Cada etapa deve ser estudada e os dados cuidadosamente trabalhados, para garantir fluidez no desenvolvimento e robustez em produção. É o mesmo cuidado difundido pelo ciclo <strong>CRISP-DM</strong> em <em>Data Science</em>, porém aplicado à IA generativa. E, pode ter certeza, ainda é um <strong>processo contínuo de experimentação e erro</strong>.</p><p>É uma ilusão pensar que você irá desenvolver uma automação ou fluxo de trabalho com IA robusto em produção utilizando apenas ferramentas low-code ou no-code. No meu <a href="https://medium.com/@grflopes/o-que-aprendi-em-10-meses-trabalhando-com-llms-e-ia-generativa-5106e741165e">último blog</a>, citei que estava testando tais ferramentas e, de fato, por um tempo foram úteis. Porém, com a perspectiva que tenho hoje, elas funcionam muito mais como ferramentas para prototipação e testes iniciais de um POC.</p><h3>Frameworks de desenvolvimento</h3><p>Para todos os meus sistemas de IA, utilizo hoje bibliotecas como <strong>LangGraph</strong> e <strong>Pydantic</strong>. O <strong>LangGraph </strong>é uma evolução do <strong>LangChain</strong>, construída sobre essa biblioteca. Muitos dos métodos e conceitos são comuns a ambas, o que tornou a adoção desse framework bastante natural para mim.</p><p>A maior vantagem do <strong>LangGraph </strong>é ajudar a estruturar sistemas de agentes como fluxos de trabalho baseados em grafos. Nele, temos os <em>nodes</em>, que são os blocos de construção do sistema, e os <em>edges</em>, que controlam como cada node se conecta ao outro. Na minha visão, essa forma de trabalhar é intuitiva, e o próprio <strong>LangGraph </strong>já oferece diversas arquiteturas de grafos prontas para personalização, como o <em>create_agent</em>.</p><p>Já o <strong>Pydantic</strong> é uma biblioteca para validação e modelagem de dados, permitindo definir estruturas de dados com classes anotadas com tipos. Essa biblioteca é fundamental, pois garante a aderência dos modelos de linguagem às saídas estruturadas. Utilizei isso em todos os meus sistemas, mas casos particularmente interessantes foram no sistema de currículos, em que as saídas estruturadas são usadas para classificar currículos e extrair características do candidato já no formato adequado para armazenamento no banco de dados SQL.</p><p>Atualmente, estou focado em melhorar minhas habilidades no <strong>LangGraph </strong>e no módulo de<strong> Deep Agents</strong>. É uma biblioteca extensa e que oferece muita liberdade na construção de sistemas de IA, e exatamente por isso pode se tornar bastante complexa.</p><h3>Uso de IA como copiloto no desenvolvimento</h3><p>Algo que realmente mudou o jogo para mim foram os copilotos. Meu primeiro contato foi com o <strong>Cursor</strong>, e fiquei muito impressionado com a capacidade de compreender todo o codebase e fornecer autocompletes precisos. Depois, testei o combo <strong>Cline + OpenRouter</strong>, que se tornou meu copiloto por grande parte do desenvolvimento do hub de IA da empresa.</p><p>Utilizei esse copiloto para revisar grande parte do backend e desenvolver o frontend. A vantagem do <strong>Cline </strong>é que ele não requer assinaturas, e você paga pelo que usa. A grande desvantagem é que ele não é otimizado para economizar tokens; à medida que a codebase cresce, os custos se multiplicam rapidamente, de modo que eu ficava restrito a modelos mais baratos, pois frequentemente as conversas ultrapassavam 1 milhão de tokens.</p><p>Finalmente, encontrei o copiloto definitivo para meus projetos no <strong>Claude Code</strong>. Equipado com um dos melhores modelos para codificação do mercado, o custo de US$ 20 mensais ficou barato diante do volume de trabalho exigido. O mesmo caso de uso no <strong>Cline</strong>, utilizando o <em>Sonnet 3.7</em>, ultrapassava US$ 30 em menos de um mês. Além disso, o <strong>Claude Code </strong>é muito bem integrado com ferramentas que permitem aos agentes manipularem pastas, arquivos e executarem comandos no terminal, sem falar na possibilidade de habilitar facilmente servidores MCP, o que amplia bastante as capacidades dos agentes.</p><p>Um servidor MCP essencial nos meus desenvolvimentos é o <a href="https://context7.com/"><em>context7</em></a>, que entrega ao LLM as documentações mais recentes das bibliotecas com as quais estou trabalhando. Isso faz muita diferença, especialmente nas etapas de planejamento e estudo.</p><p>Com o <strong>Claude Code</strong>, consegui otimizar códigos e arquitetura em projetos complexos como o hub de IA, que envolve um chatbot similar ao ChatGPT para toda a empresa, com sistema de autenticação, memória e multi-agentes. As mudanças, porém, devem sempre ser feitas de forma incremental e supervisionada, nunca de maneira vaga, generalista ou prolongada (como “<em>revise o arquivo e busque por bugs</em>” ou “<em>refatore o código para otimizá-lo</em>”). Além disso, quanto mais conhecimento técnico e conceitual você tiver sobre o código que deseja construir, melhor será sua experiência com essas ferramentas.</p><h3>Engenharia de Contexto + Claude Code = Produtividade</h3><p>O desenvolvimento com agentes de IA como copilotos é um passo inevitável. Ganha-se muita produtividade e agilidade, permitindo que um desenvolvedor faça um trabalho que antes só seria possível com um time inteiro. Falo isso por experiência própria na construção do hub de IA da empresa.</p><p>Porém, todo cuidado é pouco ao trabalhar com esses agentes. Em todas as etapas em que utilizei essa abordagem, busquei criar mecanismos de checkpoints, backups e documentação adequada.</p><p>Ferramentas como o <strong>Claude Code</strong> funcionam muito bem quando combinadas com engenharia de contexto, ou seja, a capacidade de criar arquivos complementares que:</p><ol><li>Liberam a janela de contexto dos LLMs</li><li>Detalham a arquitetura do projeto, decisões de design e planejamento de <em>features</em></li></ol><p>O Claude Code possui <em>slash commands</em> que ajudam a criar instruções personalizadas, ativadas diretamente no terminal, como <em>/review_code </em>ou <em>/commit_changes</em>. Utilizei esses comandos para:</p><ul><li>Criar instruções para debug, revisão e commits</li><li>Instruir</li><li>sobre criação de novas features e manutenção de checklists de planejamento</li><li>Utilizar servidores MCP para tarefas específicas</li></ul><p>Com essas instruções, consegui padronizar a forma como o agente entende meu código, planeja e desenvolve sobre a base existente. Além disso, utilizei bastante para registrar bugs, documentar soluções encontradas e automatizar commits no GitHub. Para isso, criei apenas uma pasta na raiz do projeto para centralizar todas essas documentações.</p><h3><strong>Maturidade técnica em sistemas de IA</strong></h3><p>Esses projetos foram um grande desafio para mim, pois quase sempre comecei sem ter uma noção clara de qual seria o padrão ideal para desenvolvê-los. Foi por meio de <strong>pesquisa constante</strong>, e de um verdadeiro garimpo de informações em projetos similares, que consegui estruturar cada novo sistema.</p><p>O aprendizado desses 20 meses consiste justamente nisso: insistência em uma filosofia de desenvolvimento que prioriza robustez na qualidade dos dados, entendimento profundo de frameworks e planejamento cuidadoso, sempre com o apoio de ferramentas que estejam bem contextualizadas com meu estilo de desenvolvimento e com as bases estabelecidas do projeto.</p><p>Na minha visão, a maneira correta de desenvolver sistemas corporativos com agentes de IA passa por esse caminho: <strong>agentes como copilotos de desenvolvimento, nada de low-code para produção, estudo contínuo de melhores práticas e uma engenharia de contexto bem feita.</strong></p><p><strong>Obrigado por chegar até aqui.</strong><br>Escrever sobre esses aprendizados é também uma forma de organizar o que venho construindo e refletindo nesses últimos meses.</p><p>Se esse texto fez sentido para você:</p><ul><li>Deixe alguns <strong>aplausos</strong> para apoiar o artigo</li><li><strong>Siga-me aqui no Medium</strong> para acompanhar próximos posts</li><li>Me acompanhe também no <a href="https://www.linkedin.com/in/gabrielrflopes/">Linkedin</a>, onde compartilho estudos, experimentos e aprendizados.</li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9a65456723f2" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[O que aprendi em 10 meses trabalhando com LLMs e IA Generativa]]></title>
            <link>https://grflopes.medium.com/o-que-aprendi-em-10-meses-trabalhando-com-llms-e-ia-generativa-5106e741165e?source=rss-b609a33bd460------2</link>
            <guid isPermaLink="false">https://medium.com/p/5106e741165e</guid>
            <category><![CDATA[llm]]></category>
            <category><![CDATA[prompt-engineering]]></category>
            <category><![CDATA[inteligencia-artificial]]></category>
            <category><![CDATA[agentes-inteligentes]]></category>
            <dc:creator><![CDATA[Gabriel Ribeiro Ferreira Lopes]]></dc:creator>
            <pubDate>Wed, 13 Nov 2024 11:42:58 GMT</pubDate>
            <atom:updated>2024-11-13T11:42:58.231Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*N8dsAswFX6VFxsSE7OD-ag.png" /><figcaption>C<em>rie uma imagem de um livro aberto sobre uma mesa de madeira, como se alguém estivesse pronto para estudar. A visão deve ser de cima e o estilo realista. Coloque elementos associados ao estudo, como óculos, lapiseira, em volta do livro, mas dispostos de maneira natural. Não encha a imagem com muitos detalhes, apenas com foco principal no livro. (Dall-E 3)</em></figcaption></figure><p>A experiência de trabalhar com uma tecnologia que acabou de sair no mercado é ao mesmo tempo muito boa e muito ruim.</p><p>As IAs Generativas, melhor representadas hoje pelos <em>Large Language Models </em>(LLMs), representam de fato uma quebra de paradigma em dois aspectos:</p><ul><li><strong>Tecnológico</strong>, que é o mais óbvio, visto que os LLMs são os prodígios de anos de pesquisa em aprendizado de máquina e processamento de dados com redes neurais profundas;</li><li><strong>Produtividade</strong>, pois os resultados bem planejados das aplicações com IA Generativa são reduções de tempo em tarefas repetitivas ou que demandam grande esforço para sair da inércia.</li></ul><p>Então, por um lado, é muito bom participar de certa forma dessa vanguarda de inovação, e dizer que estou ativamente aprendendo a tecnologia do futuro. As empresas estão ansiosas pelas aplicações possíveis de IA generativa em suas áreas e, de quebra, podem voltar sua atenção às aplicações de Machine Learning — que não recebem tanta mídia, mas que são tão ou mais úteis que os modelos generativos.</p><p>Por outro lado, é ruim, pois o cenário atual é de um crescimento acelerado da tecnologia. Com isso, fica difícil acompanhar, testar e aplicar efetivamente os desenvolvimentos nos modelos e <em>frameworks</em>. É tudo muito volátil nesse início, e todos estão buscando maneiras de integrar a tecnologia da melhor maneira possível.</p><p>Pensando nisso, decidi fazer esse artigo com alguns pontos que me vem à mente quando penso na minha jornada dos últimos dez meses, trabalhando quase todos os dias com LLMs.</p><h3>Storytelling com dados, literalmente</h3><p>O primeiro aspecto é que, com LLMs, aprender a contar histórias com os dados que você tem em mãos é crucial. É uma outra perspectiva do famoso <em>storytelling com dados</em>.</p><p>Ao invés de lidar com dados estruturados em tabelas, e ter a preocupação de criar belas visualizações que trazem insights, o<em> storytelling</em> aqui é quase literal. A capacidade de um LLM trazer respostas de qualidade é diretamente proporcional à sua capacidade de descrever claramente os passos que ele deve seguir.</p><p>Por isso, a engenharia de prompts é a arte de saber montar uma história clara, detalhada e relativamente concisa para o LLM. É um esforço para entender quais informações filtrar, e quando alimentá-las à IA.</p><p>Nesse sentido, o básico deve ser bem feito, com um bom estabelecimento de contexto e escolha de conhecimentos, um papel, para direcionar o foco do LLM para uma atividade, e uma boa delimitação da tarefa em si. O equilíbrio de informações nos prompts deve ser feito, para não deixá-lo simples demais, nem complexo demais, com instruções que atrapalham umas às outras.</p><p>De técnicas mais avançadas, utilizei duas: encadeamento de raciocínio (<em>Chain of Thought</em>) e autoconsistência (testes para checar a consistência das respostas em diferentes iterações). De resto, uma construção básica de prompt, com descrição detalhada de passos, foi o suficiente, principalmente nos GPTs personalizados.</p><p><strong>O que indico</strong>: treine um template para escrita de prompts e se acostume com ele — dar um papel, fornecer contexto, e recuperar conhecimento, tudo direcionado para uma tarefa. Trabalhe com tags (<em>e.g </em>XML), que separam seções importantes dentro de um prompt de sistema, ou que ajudam o LLM a referenciar informações passadas na janela de contexto da conversa.</p><p><strong>O que evitar</strong>: não se preocupe tanto com qual técnica usar a priori. Engenharia de prompts é sobre testar várias vezes um prompt para cada tarefa (ou sub-tarefa). Escreva o prompt, teste os passos, verifique os erros, atualize o prompt, e repita o processo.</p><h3>Agentes</h3><p>Outra tecnologia das IAs generativas que é muito recente, e que vem ganhando cada vez mais força são os agentes.</p><p>Agentes de IA são módulos focados que utilizam o LLM para realizar uma tarefa específica. Normalmente, você tem agentes com diferentes papéis, e um fluxo de trabalho que define uma hierarquia entre esses agentes, de modo que eles possam trabalhar de maneira mais independente do <em>input </em>do usuário.</p><p>Meu primeiro contato com a ideia foi através da biblioteca <strong>Langchain</strong>, que traz a possibilidade de encadear prompts, cada um contendo uma instrução específica da tarefa. Essa biblioteca tira vantagem da modularidade na construção de um pipeline de LLMs.</p><p>O problema que encontrei com a biblioteca foi a mudança constante dos módulos e funções. Não bastasse a quantidade imensa de novos conceitos, como memória, <em>vector stores</em>, <em>embeddings, </em>e a variedade de opções para cada uma dessas coisas, a biblioteca passava por constantes atualizações que mudavam os caminhos até esses elementos.</p><p>Isso dificulta muito o desenvolvimento de aplicações, e do ponto de vista de um negócio que quer implementar rapidamente algo com IA, não é uma alternativa muito segura.</p><p>Por isso, eu busquei alternativas <em>low-code</em> para trabalhar com agentes, como <strong>Flowise, n8n e Dify</strong>. Para quem não sabe, essas plataformas fazem a conexão com esses elementos fundamentais na criação de agentes de IA, e também com ferramentas externas que podem utilizar da IA para automatização.</p><p>O n8n é talvez o mais famoso e consolidado, com integrações com diversos serviços, como Microsoft Office, Google, Outlook, etc. Através de uma interface intuitiva, você constrói fluxos de agentes com <em>nodes </em>que trazem funções e lógicas úteis.</p><p><strong>O que indico: </strong>Acho importante aprender a programar um pipeline de LLMs e seguir metodologias similares às usadas em projetos de ML. Mexer com agentes requer as mesmas etapas de coleta e processamento de dados que uma tarefa de Machine Learning necessitaria. Indico, porém, explorar e aprender bem as ferramentas <em>low-code</em>, que já trazem um framework adequado para implementar essas metodologias, sem barreiras programáticas, e com foco apenas na construção dos fluxos.</p><p><strong>O que evitar: </strong>Não fique muito empolgado em começar criando fluxos complexos demais. Busque inicialmente entender como funcionam os <em>nodes</em> nas ferramentas <em>low-code </em>em aplicações simples, mas muito úteis.</p><h3>Concluindo…</h3><p>Nesses dez meses trabalhando com IA generativa, eu posso dizer que aprendi tudo do zero. Os conceitos, a maneira como os LLMs funcionam, engenharia de prompts, agentes, fluxos de trabalho, conexão com ferramentas. Todas essas coisas estão em constante mudança, e pedem por um aprendizado constante.</p><p>Hoje, já implementei processos inteiros usando do poder dos LLMs em tarefas repetitivas que envolviam leitura de documentos, revisões, classificações, entre outras. O aumento da produtividade começou a ser notada, com uma redução de 66% no tempo em algumas tarefas.</p><p>Existe motivo para o hype. O que eu gostaria de passar como mensagem final desse artigo é que a metodologia prevalesce. Metodologia para o estudo, e também a metodologia para aplicação, seguindo as melhores práticas já conhecida na ciência de dados — agora aplicadas aos LLMs.</p><p>Os modelos generativos precisam de uma engenharia de dados, de um bom processamento, de uma boa escolha da fonte de dados, e de uma boa inteligência natural orquestrando tudo desde o começo.</p><p><strong>Obrigado por ler até aqui! Deixe os aplausos se gostou do artigo (pode deixar mais de um).</strong></p><p>Conecte-se comigo no LinkedIn para conhecer mais do meu trabalho.</p><ul><li><strong>LinkedIn:</strong> <a href="https://www.linkedin.com/in/gabrielrflopes/">https://www.linkedin.com/in/gabrielrflopes/</a></li></ul><p>Me siga aqui no Medium para acompanhar os próximos artigos.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5106e741165e" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Uma introdução ao RAG — Destravando o potencial dos modelos de linguagem]]></title>
            <link>https://grflopes.medium.com/uma-introdu%C3%A7%C3%A3o-ao-rag-destravando-o-potencial-dos-modelos-de-linguagem-c44367059e9e?source=rss-b609a33bd460------2</link>
            <guid isPermaLink="false">https://medium.com/p/c44367059e9e</guid>
            <category><![CDATA[llm]]></category>
            <category><![CDATA[chatgpt]]></category>
            <category><![CDATA[generative-ai]]></category>
            <dc:creator><![CDATA[Gabriel Ribeiro Ferreira Lopes]]></dc:creator>
            <pubDate>Sun, 07 Jul 2024 12:02:40 GMT</pubDate>
            <atom:updated>2024-07-07T14:11:30.605Z</atom:updated>
            <content:encoded><![CDATA[<h3>Uma introdução ao RAG — Destravando o potencial dos modelos de linguagem</h3><p>Se tem algo que eu gosto na Física, para além da elegância das formulações matemáticas e dos conceitos, são as suas fronteiras. Eu me lembro bem quando, ainda na Faculdade, durante uma aula de física estatística, eu me deparei com uma delas.</p><p>Veja, física estatística é uma matéria complexa. Existe muito esforço envolvido para entender a matemática que a sustenta e, além disso, é uma matéria que trabalha na intersecção entre a termodinâmica e a mecânica quântica. Lembro que foi, talvez, a segunda matéria mais difícil de todo o curso (perdendo apenas para o Eletromagnetismo II, caso esteja se perguntando).</p><p>O professor que ministrava a disciplina era brilhante. Ele conhecia toda a matéria, era um mestre na matemática e era notável sua autoridade e experiência ao lidar com os assuntos. Nas últimas semanas do curso, porém, nós atingimos uma dessas fronteiras em que a matemática que cabia no quadro não era suficiente. Tratava-se do modelo de Ising tridimensional.</p><p>Uma breve definição: o modelo de Ising é usado para estudar transições de fase, como a mudança de um material de um estado magnético ordenado (onde muitos spins estão alinhados) para um estado desordenado (onde os spins estão mais aleatórios), que ocorre quando a temperatura aumenta.</p><p>Para resumir a história, acontece que a matemática para o modelo de Ising se tornava tão complexa quanto maior fosse as dimensões consideradas, e o número de interações possíveis entre átomos vizinhos e seus spins. O professor já havia resolvido o modelo bidimensional, que era simplesmente uma sobrecarga de informação e, ao final, comentou que em 3D não havia uma solução exata — apenas aproximações — e que uma solução exata renderia um Nobel ao felizardo.</p><p>Essa história me marcou profundamente, e agora que estou nesse mundo da ciência de dados e de IA, ela me veio à mente. Pois eu imagino, o quão melhor teria sido aquela aula se o meu professor tivesse um “segundo cérebro” para ajudá-lo?</p><h3>O que é RAG?</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*2XiPvqSvpj1ujuB0" /><figcaption>Um robô lendo um livro, usando um óculos, em um campo verde ao ar livre.</figcaption></figure><p>Assim como o professor se deparava com limitações ao tentar resolver o modelo de Ising tridimensional, os modelos de linguagem tradicionais enfrentam limitações quando precisam responder a perguntas complexas ou específicas com base apenas nos dados de treinamento. Eles dependem de uma base de conhecimento estática, e por mais vasta que essa base possa ser, ela certamente não contém todos os detalhes possíveis de um assunto, ou suas nuances, ou informações mais recentes.</p><blockquote>Se de alguma forma fosse possível alimentar uma IA com dados personalizados, recentes e ricos em detalhes a respeito de algum assunto, o que o poder do processamento dessa IA possibilitaria?</blockquote><p>E é aqui que entra o RAG (<em>Retrieval-Augmented Generation</em>). <strong>RAG é a geração de respostas aumentada — isto é, melhorada — com a recuperação de documentos particulares, utilizados como treinamento para o LLM</strong>.</p><p>Imagine se, durante aquela aula de física estatística, meu professor tivesse acesso a uma ferramenta que pudesse consultar as pesquisas mais recentes e relevantes sobre o modelo de Ising tridimensional.</p><p>Poderíamos explorar os mais recentes métodos computacionais para solução analítica do modelo, entender os avanços teóricos mais interessantes, explicar novamente o modelo de uma forma mais intuitiva, ou por outra perspectiva. Tudo isso, sem o medo de o LLM estar inventando informações que não existem.</p><p>Esse é o potencial do RAG.</p><h3>RAG na prática</h3><p>Vamos ver na prática. Eu quero perguntar ao ChatGPT quais seriam as etapas para implementação de uma cultura de dados e IA numa empresa. Meu objetivo é testar a diferença nas respostas quando eu faço um prompt Zero-Shot (em uma tentativa, sem contexto) e um prompt que simula o RAG.</p><p>O documento que vou utilizar para dar o contexto adicional ao modelo será um artigo de revisão sistemática sobre IA nos negócios. O nome do artigo é “Artificial Intelligence and Business Value: a Literature Review”, de 2022. Eu já li esse artigo, sei que ele é um conteúdo muito bom sobre o assunto (fica a recomendação). Isso ajudará a julgar as respostas do modelo.</p><p>Vamos lá. Começando com nosso prompt Zero-Shot, sem dar nenhum contexto, apenas dependendo da base de treinamento do GPT. Escrevi o seguinte prompt:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/694/1*wvFe_qm0Q0YSOi_bAAtZMg.png" /></figure><p>Ou seja, quero que a IA liste para mim fatores facilitadores e inibidores da implementação de IA na área tecnológica. Note que eu busquei ser específico no que quero e restringi o formato da resposta. E esse foi o resultado:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/901/1*a9KwNSrifUnzh_0_jp0aNA.png" /></figure><p>Como facilitadores, o modelo apontou a disponibilidade e qualidade dos dados, o acesso a grandes volumes de dados e a capacidade de armazená-los adequadamente e com segurança. A resposta não fornece grandes detalhes, além de dizer que é crucial, nem fornece um panorama do ponto de vista das empresas.</p><p>Outros fatores apontados são a infraestrutura computacional e o uso de boas ferramentas e frameworks de Machine Learning para processamento de dados e treinamento de modelos.</p><p>A resposta foi muito boa. Porém, certamente parece faltar um detalhamento maior, que teria que ser trabalhado nos prompts subsequentes.</p><p>Vamos ver se conseguimos melhorá-la utilizando o contexto do artigo. Para isso, utilizei o mesmo prompt com uma pequena modificação: ao final, indiquei para a IA considerar o contexto do artigo para responder. Então, selecionei o trecho mais relevante no artigo, copiei e colei no prompt.</p><p>A resposta foi a seguinte:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/913/1*TVx-l77zdiznUh7LH_-JbQ.png" /></figure><p>Note que os facilitadores listados foram praticamente iguais. A diferença de fato está na riqueza de detalhes do texto de descrição. Ao falar sobre a disponibilidade de dados, ele dá a razão para isso ser um facilitador (“<em>more accurate predictions and decision-making”</em>). Além disso, cita que outras empresas que estão produzindo ou têm acesso a Big Data, estão melhor posicionadas para uso da IA.</p><p>Ou seja, com a geração aumentada pelo contexto fornecido (RAG), o modelo foi capaz de direcionar melhor a resposta, detalhando mais o que acarreta esses fatores e dando um panorama do posicionamento das empresas no cenário de IA.</p><p>Outra grande vantagem que eu percebi foi o estilo de escrita — muito mais natural e agradável de ler — pois obviamente está baseado no texto do artigo</p><h3>O potencial oculto dos modelos de linguagem</h3><p>Os modelos de linguagem são ferramentas fantásticas, capazes de desbloquear a produtividade em tarefas e acelerar processos. A capacidade de processamento de dados das IAs, e sua estrutura de imitação do processo cognitivo, confere a elas um potencial impressionante.</p><p>Porém, como tentei mostrar nesse artigo, esse potencial pode ser expandido ainda mais se fornecemos dados personalizados para o modelo.</p><p>Podemos escolher uma tarefa — como a preparação de uma aula de física, ou a análise de um modelo de negócio — e, ao invés de depender de uma resposta generalista oriunda do treinamento básico do modelo, direcionar o conteúdo da resposta a partir do uso de documentos relevantes.</p><p>Esse é a maneira como desbloqueamos o potencial dos LLMs, fazendo com que até modelos básicos se tornem poderosos aliados, contanto que tenham a informação certa à disposição.</p><h3>Muito obrigado pela leitura!</h3><p><strong>Deixe seus aplausos abaixo caso tenha gostado do artigo.</strong></p><p>Me acompanhe no LinkedIn e me siga aqui no Medium:</p><ul><li><strong>LinkedIn:</strong> <a href="https://www.linkedin.com/in/gabrielrflopes/">https://www.linkedin.com/in/gabrielrflopes/</a></li><li><strong>Medium:</strong> <a href="https://medium.com/@grflopes">https://medium.com/@grflopes</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c44367059e9e" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Definições de Deep Learning para novos curiosos]]></title>
            <link>https://grflopes.medium.com/defini%C3%A7%C3%B5es-de-deep-learning-para-novos-curiosos-0067a74e2cbf?source=rss-b609a33bd460------2</link>
            <guid isPermaLink="false">https://medium.com/p/0067a74e2cbf</guid>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[technology]]></category>
            <category><![CDATA[artificial-intelligence]]></category>
            <dc:creator><![CDATA[Gabriel Ribeiro Ferreira Lopes]]></dc:creator>
            <pubDate>Fri, 05 Jan 2024 20:08:16 GMT</pubDate>
            <atom:updated>2024-01-12T14:29:32.771Z</atom:updated>
            <content:encoded><![CDATA[<h3>Conceitos de Deep Learning para novos curiosos</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/417/1*nTnYGpyurfCkI5JseoMQtQ.png" /></figure><p><em>Deep Learning</em> está no centro de muitas aplicações de inteligência artificial (IA). São sistemas capazes de praticar tarefas analíticas, e até mesmo físicas, sem a intervenção humana.</p><p>Esse tipo de tecnologia está por trás de diversas aplicações, como <strong>detecções de fraudes, reconhecimento de fala, assistentes virtuais, visão computacional</strong>, entre tantas outras que já permeiam o nosso dia-a-dia, muitas vezes sem que sequer percebamos.</p><p>Neste artigo, você poderá entender alguns conceitos relacionados ao <em>Deep Learning</em>, de modo que ao final você terá um panorama da estrutura de funcionamento dessa tecnologia.</p><h3>O Que é Deep Learning?</h3><p>O <em>Deep Learning </em>é uma sub-área do <em>Machine Learning</em> que busca construir uma arquitetura de aprendizado por meio de redes neurais, capazes de abstrair padrões a partir de <strong>dados não-estruturados</strong> e criar modelos com alto nível de performance.</p><p>Com essa tecnologia, busca-se imitar a maneira como somos capazes de aprender o significado e atribuir utilidade às coisas que observamos, ouvimos e experimentamos.</p><p>As <strong>redes neurais </strong>funcionam como os neurônios do cérebro humano, que recebem uma quantidade imensa de dados do mundo real e buscam por padrões para torná-los inteligíveis. A diferença, obviamente, é que o algoritmo faz isso de forma limitada a um objetivo específico, como, por exemplo, identificar o que ocorre no trânsito ou para qual comida a câmera está apontando.</p><p>Nós, por outro lado, temos uma capacidade muito maior de interpretar os dados do mundo real a partir dos sentidos. Porém, o triunfo do <em>Deep Learning</em> reside na velocidade com a qual realiza tarefas específicas que, para nós, tomaria muito tempo e esforço.</p><h3>Entendendo o Que São Redes Neurais</h3><p>As redes neurais são estruturas de processamento de dados que formam a arquitetura do <em>Deep Learning</em>. Como disse logo acima, elas buscam <strong>imitar o processo da cognição humana</strong> ao conectar diversas camadas de neurônios artificiais.</p><p>Esses neurônios atuam combinando os dados recebidos, atribuindo-lhes pesos e vieses e associando-os a funções específicas de custo e ativação. Dessa forma, esses elementos trabalham juntos para definir as etapas de processamento até o <em>output</em>, que deve reconhecer, classificar ou descrever objetos reais a partir dos dados.</p><p>Em outras palavras, a partir dessas camadas, uma rede neural é capaz de interconectar os neurônios, afim de refinar e otimizar a previsão ou categorização. Assim, por meio do processamento e busca de padrões, podemos ter ao final um resultado interpretável por nós.</p><p>As camadas se desdobram em dois tipos: <strong>visíveis</strong> e <strong>invisíveis</strong>.</p><p>As camadas visíveis são aquelas, como o próprio nome diz, que podemos interagir e ver, que são o <em>Input</em> e o <em>Output</em>. A camada de <em>Input </em>é onde os dados são inseridos para processamento pela rede neural. No <em>Output</em>, temos o resultado do fluxo dos dados através da rede neural, com a previsão ou classificação do objeto real.</p><p>Já as camadas invisíveis são as responsáveis por processar os dados, buscar padrões, selecionar atributos, atribuir pesos, e ajustar funções que irão direcionar a escolha do <em>Output.</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tZWR5EGyeyBb4Iq4qlC5mQ.png" /><figcaption>Representação do fluxo de dados através do processo de Deep Learning.</figcaption></figure><h3>Como a rede neural avalia seus resultados</h3><p>Esse processo de <em>Deep Learning </em>descrito, em que há um fluxo de dados desde os <em>inputs</em>, passando pela codificação e pelo processamento dos dados, até a representação no <em>output</em>, é o que chamamos de <em>Forward Propagation</em> (FP).</p><p>O FP, portanto, é o sentido de aprendizado da rede neural, que está aprendendo as regras associadas àquele conjunto de dados específico.</p><p>Mas como a rede neural avalia se os resultados obtidos estão alinhados com o objeto real que ela pretende prever ou categorizar?</p><p>Para isso, existe o processo inverso que é o <em>Backpropagation</em>. Nesse caminho, a arquitetura de <em>Deep Learning </em>é treinada partindo do <em>output </em>com algoritmos como Gradiente Descendente (<em>Gradient Descent</em>), capazes de minimizar os erros através de várias iterações que buscam um mínimo local.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/517/1*jfyfmPpsipyr1N0i5XA7SQ.png" /></figure><p>A partir desse ajuste fino e contínuo, o algoritmo redefine muitos pesos e vieses, modificando as funções de ativação e custo de modo a melhorar a acurácia do modelo com o tempo.</p><p>Obviamente que se trata de uma explicação simplificada, com o intuito de elucidar conceitos, e não de explicar os mecanismos mais complexos por trás. O tipo de rede neural descrito acima é apenas um entre tantos que existem para diferentes aplicações, como as <strong>redes neurais convolucionais</strong>, para <strong>visão computacional</strong>, ou as <strong>redes neurais recorrentes</strong>, para <strong>identificação de fala</strong>, por exemplo.</p><h3>A Diferença entre Machine Learning e Deep Learning</h3><p>As principais diferenças estão nos <strong>tipos de dados </strong>que o DL utiliza e seus <strong>métodos de aprendizado</strong>.</p><p>O ML utiliza de dados estruturados, com atributos definidos e organizados no formato de tabelas. Quando recebe dados não-estruturados, estes são pré-processados de modo a organizá-los de forma estruturada. O algoritmo então é capaz de interpretar os dados para realizar as previsões.</p><p>Já o DL elimina algumas etapas de pré-processamento, uma vez que seus algoritmos recebem dados não-estruturados de fontes como textos, imagens e áudios. Além disso, a automação no DL permite a extração de <em>features </em>e a organização desses atributos em uma hierarquia de importância para a previsão.</p><p>No ML, a escolha desses atributos mais relevantes normalmente é feita manualmente, a partir do conhecimento de domínio do profissional que está contruíndo o modelo.</p><p>Como foi dito antes, através do processo de <em>backpropagation</em>, com algoritmos como o gradiente descendente, as estruturas de DL são capazes de avaliar os desempenhos dos modelos, de modo a conseguir maior acurácia.</p><p>Já no ML, é necessário escolher quais parâmetros de desempenho são mais adequados para avaliar a tarefa que foi realizada. Por exemplo, problemas de regressão requerem atenção a métricas como MAE, MSE ou RMSE. Já tarefas de classificação dependem da análise das matrizes de confusão e métricas como <em>recall</em>, <em>precision</em>, <em>f1-score</em>.</p><p>Após essa avaliação, dependendo do tamanho dos erros, talvez seja necessária a otimização dos hiperparâmetros do modelo, uma nova divisão de dados, uma nova etapa de pré-processamento ou normalização. Ou seja, é um trabalho que requer maior atenção por parte do cientista de dados.</p><p>Toda a automação desses processos rendeu ao <em>Deep Learning</em> o título de <strong><em>Machine Learning Escalável</em></strong>, pois é capaz de lidar com uma vasta quantidade de dados de forma rápida e eficaz. O fato de poder trabalhar com dados não-estruturados é outra vantagem, visto que estima-se que 80% dos dados disponíveis são desestruturados.</p><p>Em suma, o <strong><em>Machine Learning</em></strong><em> </em>não necessita de uma grande quantidade de dados para gerar um bom modelo, contanto que a estrutura subjacente dos dados esteja bem organizada. Por outro lado, o <strong><em>Deep Learning </em></strong>é empregado para tarefas mais complexas que envolvem vastas quantidades de dados não-estruturados, de modo que a própria qualidade do modelo depende desse volume de dados disponíveis.</p><h3>A ponta do iceberg</h3><p>Deep Learning é um assunto complexo e extenso. Se você é alguém curioso, que quer ou talvez até precisa saber mais, não vai haver falta de conteúdo para aprender.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/608/1*xTZR2zFol5zu0LajHejYjA.png" /></figure><p>Contudo, é sempre bom ter em mente os conceitos fundamentais que envolvem essa área. Sem eles, estamos trabalhando no escuro e torcendo para o melhor. É necessário sempre cultivar uma saudável curiosidade e a vontade de aprender, que todo cientista de dados deve ter.</p><p>Espero que esse artigo tenha ajudado a elucidar os conceitos mais fundamentais e a colocar cada coisa no seu devido lugar. Principalmente para novos curiosos na área, é sempre bom saber o que está por trás de muitas das novas tecnologias que vemos surgir a cada ano.</p><p>Se você gostou, se ajudou de alguma forma, deixe seu <em>like</em> pro artigo. Agradeço muito!</p><h3>Obrigado pela leitura!</h3><p>Me acompanhe nas redes sociais e confira os projetos no meu portfólio do GitHub, ou leia outros artigos aqui no Medium.</p><ul><li><strong>LinkedIn</strong>: <a href="https://www.linkedin.com/in/gabrielrflopes/">https://www.linkedin.com/in/gabrielrflopes/</a></li><li><strong>GitHub</strong>: <a href="https://github.com/gabrielrflopes">https://github.com/gabrielrflopes</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=0067a74e2cbf" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Uma maneira de prever demanda de vendas com séries temporais]]></title>
            <link>https://grflopes.medium.com/uma-maneira-de-prever-demanda-de-vendas-com-s%C3%A9ries-temporais-970ad550b8e9?source=rss-b609a33bd460------2</link>
            <guid isPermaLink="false">https://medium.com/p/970ad550b8e9</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[technology]]></category>
            <dc:creator><![CDATA[Gabriel Ribeiro Ferreira Lopes]]></dc:creator>
            <pubDate>Fri, 15 Dec 2023 18:53:33 GMT</pubDate>
            <atom:updated>2024-08-01T23:23:55.125Z</atom:updated>
            <content:encoded><![CDATA[<h3>Previsão de demanda de Vinhos com Prophet</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*L6uh3pkmjXtowOHy" /><figcaption>Photo by <a href="https://unsplash.com/@kymellis?utm_source=medium&amp;utm_medium=referral">Kym Ellis</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p>Recentemente, fiz um projeto de ciência de dados voltado para a análise de séries temporais. Meu objetivo era o de construir um modelo de Machine Learning que pudesse prever vendas futuras com um bom nível de acurácia. Para isso, estudei mais a fundo sobre as séries temporais, os testes estatísticos e os algoritmos que possibilitam a previsão, como Prophet, ARIMA, SARIMAX, entre outros. Neste artigo, quero compartilhar o que eu aprendi, descrevendo o projeto em detalhes.</p><blockquote><a href="https://github.com/gabrielrflopes/Wine_Demand_Prediction/tree/main"><strong><em>Veja o projeto completo aqui.</em></strong></a></blockquote><h3>O que é uma série temporal?</h3><p>O primeiro passo para começar o projeto, foi buscar uma definição de o que é uma série temporal.</p><p>Trata-se de um <strong>conjunto de dados ordenados cronologicamente</strong>, de modo que torna possível realizar uma análise de como determinada variável mudou ao longo de um período. Para isso, <strong>buscamos por padrões nessa dimensão temporal </strong>que indique alguma periodicidade ou tendência.</p><h4>Tendência, sazonalidade e estacionariedade</h4><p>Dentre os padrões que buscamos numa série temporal estão a tendência e a sazonalidade. A <strong>tendência</strong> diz respeito à direção que os dados estão tomando. Pode haver uma propensão para o crescimento em algum período, ou à queda em outros.</p><p>Já a <strong>sazonalidade</strong> diz respeito a padrões que se repetem durante um período específico do tempo. A partir dessa análise, definimos se uma série é estacionária ou não, de acordo com a maneira como os dados variam ao longo do tempo.</p><p>Uma <strong>série não-estacionária</strong> é aquela em que a escolha da origem do tempo faz a diferença, pois, a partir daquele ponto, os parâmetros estatísticos dos dados variam de uma forma significativa.</p><p>Já a <strong>série temporal estacionária</strong> é caracterizada pelo fato de que não faz diferença a escolha da origem temporal. Por causa da estacionariedade, efeitos como tendência e sazonalidade são removidos (ou ao menos abrandados), de forma que não há variação significativa de parâmetros estatísticos como média, variância e covariância.</p><p>Com essas definições preliminares, podemos seguir para o projeto.</p><h3>Previsão da Demanda de Vendas de Vinhos</h3><p>Primeiro, vamos contextualizar o problema de negócios e entender nossos objetivos com o projeto.</p><h4>Entendimento do Negócio</h4><p>O vinho é uma bebida viva. Cada tipo de uva produz uma bebida com uma personalidade própria, que é ressaltada também pelo processo de produção. O resultado é uma bebida complexa, detalhada e cheia de nuances tanto no sabor quanto no aroma.</p><p>Por trazer tanta riqueza dentro da garrafa, carregando o trabalho e o cuidado de tantas pessoas desde o plantio da uva até a venda, é preciso pensar em <strong>como armazenar e transportar apropriadamente esse tipo de bebida</strong>. Nesse sentido, o lucro da empresa está diretamente associado à capacidade logística no estoque, na guarda e no transporte, para que não se perca o vinho e o consumidor final receba um produto de qualidade.</p><p>A <strong>previsão de demanda</strong> diz respeito à <strong>capacidade de saber de antemão quais produtos os consumidores estão mais propensos a comprar e qual a estimativa do volume de vendas futuras</strong>, de modo que possamos organizar o estoque para gerar maior fluxo desses produtos e, consequentemente, mais lucro.</p><p>Para isso, avaliamos os dados históricos de venda e, com base neles, <strong>projetamos as vendas e prevemos a demanda</strong> para determinado período no futuro.</p><h4>Objetivos</h4><p>Dentro do contexto de negócios que estamos tratando, é importante prestar atenção em alguns pontos, como a competição, a geografia e o tipo de produto. Portanto, alguns pontos em que o projeto foi focado são:</p><ul><li>Quais itens são mais vendidos;</li><li>Quais itens são menos vendidos;</li><li><strong>Quais são os produtos mais lucrativos;</strong></li><li><strong>Quais marcas convertem em maior receita</strong>;</li><li>Quais estilos de vinho e de quais regiões os clientes preferem;</li><li>Qual a demanda diária de produtos nas lojas;</li><li>Qual a receita diária das lojas;</li><li><strong>Como a demanda atual se compara com períodos anteriores</strong>;</li><li><strong>Qual a projeção das vendas futuras</strong>.</li></ul><p>Neste artigo, vamos dar mais enfoque nos itens em negrito. Mas, caso queira ver a análise completa, basta acessar o projeto <a href="https://github.com/gabrielrflopes/Wine_Demand_Prediction">clicando aqui</a>.</p><p>Para alcançar esses objetivos, foi feita a análise exploratória dos dados de 219 produtos e das respectivas vendas num período de 3 anos, utilizando para isso as bibliotecas de análise de dados do Python, além do algoritmo de previsão do Meta, o <strong>Prophet</strong>.</p><h3>Resultados da Análise Exploratória</h3><p>Neste projeto, analisamos os dados sobre os produtos e vendas de 3 lojas de vinhos. Buscamos entender mais a fundo o contexto em que se está inserido o negócio de vendas de vinhos, estudando os desafios de manutenção, conservação, logística e satisfação do cliente.</p><p>A análise exploratória nos deu um panorama de como se relacionam os vinhos com as vendas e a receita bruta gerada por eles. Junto disso, visualizamos o impacto das marcas e regiões de produção nas vendas dos produtos, desenhando assim uma possível estratégia para ter um estoque com os produtos que mais tem fluxo de venda e retornam maior receita.</p><p>A Figura 1.1 abaixo mostra uma das análises feitas sobre a distribuição das vendas e da receita bruta por marca de vinho. A partir disto, pudemos concluir quais marcas convertem em maior receita, quais geram mais receita apesar das vendas mais baixas, e quais são de preferência do consumidor.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Y4gwNNiS-3EVkAI60XWUfQ.png" /><figcaption>,,Figura 1.1 — Marcas de vinho com maior volume de vendas e maior geração de receita bruta.</figcaption></figure><p>Note que algumas das marcas que mais vendem não são as que geram maior receita. O maior volume de vendas, porém, mostra qual estilo de bebida os consumidores preferem, e como poderíamos melhorar a variedade do estoque segundo essa informação. A marca Domaine Ponsot é a que mais gera receita, sendo também a maior em vendas. Seus vinhos são da região da Borgonha, na França, e são na sua maioria tintos e brancos.</p><p>Vamos ver, na Figura 1.2, como se distribuem os preços dos vinhos segundo o tipo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lXl6EMRsPcWiHW9MkxDNDA.png" /><figcaption>Figura 1.2 — Distribuição dos preços dos vinhos segundo o tipo.</figcaption></figure><p>Note que os vinhos tintos estão entre os mais caros no conjunto de dados. Inclusive, o vinho mais caro é um tinto. De fato, neste conjunto de dados estudado, a maioria dos exemplos são desse tipo, seguido pelos vinhos brancos. Isso explica porque marcas que oferecem mais opções em vinhos tintos podem ser aquelas que também geram a maior receita, como é o caso da Domaine Ponsot.</p><p>Porém, de modo geral, poucos vinhos apresentam um preço muito elevado. Isso é claro ao se observar os <em>outliers </em>na Figura 1.2, que ocorrem principalmente para o vinho tinto. Para ter uma melhor noção de como se distribuem os preços dos vinhos, fizemos uma análise com o gráfico de violino, que pode ser visto na Figura 1.3.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*j03y6T1eI7TJoMCETIh7UA.png" /><figcaption>Figura 1.3 — Distribuição dos preços do vinhos.</figcaption></figure><p>A maioria dos vinhos estão abaixo de US$ 100, e menos de 10% dos vinhos apresentam preço maior do que US$ 500. O vinho mais caro é o francês <em>Domaine Ponsot Clos de La Roche Grand Cru Cuvée</em>, que custa US$ 1901,73, enquanto o mais barato é o espanhol <em>Cava Juvé &amp; Camps Cinta Purpura</em>, um espumante que custa US$ 9,13.</p><p>Com esse panorama sobre volume de vendas, receita, tipos de vinho e marcas, a análise exploratória proporcionou a capacidade de entender melhor o contexto de negócios e, por si só, já ajudaria na construção de estratégias para melhorar as vendas e aumentar o lucro. Porém, vamos seguir com a construção dos modelos de previsão.</p><h3>Construção do Modelo de Previsão</h3><p>Na parte de construção do modelo de previsão de demanda, utilizamos os dados de venda para criar uma série temporal. Nosso objetivo era o de ajustar o modelo do <strong>Prophet</strong> aos dados históricos, buscando minimizar os erros e maximizar a aderência da previsão aos dados, de modo que pudéssemos utilizar o modelo final para prever a demanda futura.</p><h4>Análise da Série Temporal Não-Estacionária</h4><p>Ao observar a série temporal original, vemos que existem padrões nos dados característicos de sazonalidade e tendência. Visualmente, como podemos ver na Figura 1.4, a série realmente não é estacionária.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*zP7inR1tRzWMkuCgEUDE0g.png" /><figcaption>Figura 1.4 — Vendas diárias com a média mensal móvel de 30 dias.</figcaption></figure><p>Note como os dados mostram claramente um <strong>ciclo de vendas</strong>, que cresce no primeiro semestre e cai no segundo, mantendo, contudo, uma tendência anual de crescimento. De fato, se decompormos essa série temporal em suas componentes de tendência e sazonalidade, vemos que elas são bem definidas, como mostra a Figura 1.5.</p><pre>decomposition = seasonal_decompose(x = df_ts[&#39;sales&#39;], <br>                                   model = &#39;multiplicative&#39;, <br>                                   period = 52)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_I58WRoGuszXTVLgPyRsbA.png" /><figcaption>Figura 1.5 — Série temporal não-estacionária decomposta em suas componentes de tendência e sazonalidade.</figcaption></figure><p>Note os seguintes pontos a partir dos gráficos acima:</p><ul><li>A <strong>tendência</strong> é de aumento gradual, com um crescimento durante o primeiro semestre seguido de uma queda no segundo;</li><li>O <strong>padrão da sazonalidade</strong> ficou bem explícito com a decomposição;</li><li>Os <strong>resíduos</strong> são os dados que restam ao retirar as componentes de tendência e sazonalidade. Quanto mais aspecto de ruído branco tiver, melhor, pois indica a aleatoriedade dos dados, e que o algoritmo capturou bem estas componentes. Neste caso, os resíduos estão muito bons, aleatórios e com alguns pontos extremos que podem ser considerados <em>outliers</em>.</li></ul><h3>Testes de Estacionariedade</h3><p>Num primeiro momento, testamos a estacionariedade da série temporal através dos testes<strong> ADF</strong> e <strong>KPSS</strong>. Os testes apresentam abordagens distintas para testar se a série é estacionária ou não, e segundo os resultados de cada um, podemos diagnosticar se há estacionariedade ou não.</p><p>No<strong> teste ADF</strong> (<em>Augmented Dickey-Fuller</em>), a hipótese nula (<strong><em>H0</em></strong>) é a de que a série não é estacionária e possui uma raíz única, ou seja, apresenta alguma estrutura de dependência temporal. Essa hipótese é rejeitada se conseguirmos constatar a estacionariedade da série com níveis de confiança maiores do que 90%, 95% ou 99%, correspondendo a p-valores de 0.1, 0.05 e 0.01, respectivamente.</p><p>A hipótese alternativa (<strong><em>H1</em></strong>) constata a estacionariedade da série. Se o p-valor não tiver um nível de signficância menor do que 10%, então não haverá evidências para rejeitar a hipótese nula, de modo que os dados precisarão passar por alguns procedimentos (<em>e.g</em>, diferenciação) para tornar a série estacionária.</p><p>Para realizar o teste, criamos a seguinte função:</p><pre>def adf_test(time_series):<br><br>  print(&#39;Resultados do teste ADF\n&#39;)<br><br>  result = adfuller(time_series)<br><br>  df_output = pd.Series(<br>                        result[:2],<br>                        index = [&#39;Estatística do Teste:&#39;, &#39;p-valor:&#39;]<br>                        )<br><br>  for key, value in result[4].items():<br>    df_output[f&#39;Valor crítico {key}&#39;] = value<br><br>  print(df_output)</pre><p>Os resultados foram os seguintes:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/307/1*0MBiAwwf_NMVQFBiTb8TQw.png" /></figure><p>A estatística ADF é o valor obtido no teste — quanto mais negativo for, maiores as chances de se rejeitar a <strong><em>H0</em></strong>. Se olharmos os valores críticos, eles dizem respeito aos valores da estatística ADF que corresponderia aos níveis de confiança de 90%, 95% e 99%. Neste caso, obtivemos -2,36, enquanto que, para ultrapassar o limiar de 10% para o p-valor, precisaríamos de -2,56.</p><p>De fato, o p-valor é de 0,15, significando que não obtivemos evidências para rejeitar a hipótese nula de que nossa série é não-estacionária.</p><blockquote><strong><em>Resultado Teste ADF: Não-estacionária</em></strong></blockquote><p>Com os resultados do teste ADF, vamos realizar o teste KPSS para tornar nossa conclusão sobre a estacionariedade da série temporal mais robusta.</p><p>É sempre bom aplicar dois testes estatísticos para saber se a série é realmente estacionária. Podemos ter alguns cenários:</p><ol><li>Os dois testes concordam na estacionariedade → A série é <strong>estacionária</strong>.</li><li>Os dois testes concordam na não-estacionariedade → A série <strong>não é estacionária</strong>.</li><li>O teste ADF indica estacionariedade e o KPSS não → A série é <strong>estacionária por diferenciação</strong>. Ou seja, a série temporal diferenciada deve ser testada por sua estacionariedade.</li><li>O teste KPSS indica estacionariedade e o ADF não → A série é <strong>estacionária por tendência</strong>. A tendência precisa ser removida para tornar a série estritamente estacionária.</li></ol><p>Da mesma forma como no ADF, fizemos uma função para o teste KPSS:</p><pre>def kpss_test(time_series):<br><br>  print(&#39;Resultados do teste KPSS\n&#39;)<br><br>  result = kpss(time_series)<br><br>  df_output = pd.Series(<br>                        result[:2],<br>                        index = [&#39;Estatística do Teste:&#39;, &#39;p-valor:&#39;]<br>                        )<br><br>  for key, value in result[3].items():<br>    df_output[f&#39;Valor crítico {key}&#39;] = value<br><br>  print(df_output)</pre><p>Que obteve os seguintes resultados:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/292/1*UB2UlE8i5Eetez_6A0g-cg.png" /></figure><p>Note que a estatística de teste deu um valor tão alto que está fora da tabela de p-valores. Assim, segundo o teste KPSS, estamos lidando com uma série estacionária com um nível de confiança que tende a 100%.</p><blockquote><strong><em>Resultado Teste KPSS: Estacionária</em></strong></blockquote><p>Ou seja, temos o cenário 4, em que o teste ADF diz que a série é não-estacionária, enquanto que o KPSS aponta para sua estacionariedade. Assim, tiramos a seguinte conclusão:</p><blockquote><strong><em>Conclusão: Série Não-Estacionária por Tendência</em></strong></blockquote><h3>Modelo de Baseline na Série Não-Estacionária</h3><p>Ainda assim, fizemos um primeiro ajuste do modelo sobre a série não-estacionária, de modo a termos um <strong>baseline para comparações</strong>. Os dados históricos foram muito bem ajustados pelo modelo, porém o <strong>erro absoluto médio</strong> (<strong>MAE = 1015,2</strong>) ficou <strong>muito alto</strong>. Para termos boas previsões futuras, é preciso diminuir esse erro através do ajuste na série estacionária.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/193/1*pfIjmjvEmKji43EWTqORww.png" /></figure><p>A Figura 1.6 mostra como a previsão se ajustou aos dados históricos, juntamente com os pontos de mudança. Note que, por causa da série <strong>não ser estacionária</strong>, houveram muitos pontos de mudança, que são locais onde o algoritmo percebe uma variação significativa dos parâmetros estatísticos, como a média ou variância.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*B2dKWjHdFlbdR4oV5IaqrA.png" /><figcaption>Figura 1.6 — Ajuste do modelo sobre a série não-estacionária com pontos de mudança.</figcaption></figure><h3>Convertendo a Série Temporal</h3><p>Como a <strong>série é não-estacionária por tendência</strong>, segundo nossos testes estatísticos, é preciso aplicar uma transformação nos dados para que eles fiquem numa escala onde as variações dos parâmetros estatísticos se tornem desprezíveis.</p><p>Para <strong>remover a tendência</strong> da série temporal, vamos aplicar o logaritmo aos dados de vendas e à média móvel. Em seguida, iremos subtrair essas duas componentes calculadas, que se encontram na mesma escala, de modo que teremos como resultado uma série aproximadamente estacionária.</p><pre># Aplicando o logaritmo sobre a série <br># temporal não-estacionária e a média móvel<br>df_log = np.log(df_not_st)<br>ma_log = np.log(df_not_st.rolling(30).mean())<br><br># Construindo um novo conjunto de dados baseado <br># na diferença dos dados logarítmicos<br>df_detrend = (df_log - ma_log).dropna()<br># Média móvel do conjunto normalizado<br>ma_detrend = df_detrend.rolling(30).mean()<br># Desvio-padrão móvel do conjunto normalizado<br>std_detrend = df_detrend.rolling(30).std()</pre><p>A Figura 1.7 mostra como ficaram os dados da série temporal após remover a tendência e diminuir os efeitos de sazonalidade ao mudar a escala dos dados para o logarítmo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*vutswqM06CXfXgBya_zP4w.png" /><figcaption>Figura 1.7 — Resultado da subtração da série temporal em escala logarítmica com a média móvel, também em escala logarítmica. Essa visualização mostra como os dados nessa escala se comportam como uma série estacionária, sem variações grandes na média ou no desvio-padrão.</figcaption></figure><p>Visualmente, a série já parece ser estacionária. Note que agora a média móvel oscila, mas numa escala muito menor. Além disso, o desvio-padrão (raiz quadrada da variância), também não varia muito. Aplicando os testes estatísticos, obtemos os seguintes resultados:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/295/1*k-e-ivArA5ErT0gsOXwlVA.png" /></figure><p>Com esse teste, obtivemos uma estatística de -4,82 (comparado com -2,36 do primeiro). O<strong> p-valor</strong>, que representa nosso <strong>nível de significância</strong> para aceitar a hipótese alternativa, está muito abaixo do limiar de 1%, o que significa que podemos rejeitar a hipótese nula com quase 100% de confiança. Assim, <strong>a série é estacionária pelo teste ADF</strong>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/294/1*NhW2wWZcfMD7_NRNczWhLw.png" /></figure><p>O <strong>teste KPSS também concorda que a série é estacionária</strong>, retornando uma estatística de 0,54 que corresponde a um nível de confiança de<strong> 97%</strong>.</p><blockquote><strong><em>Conclusão: Série Estacionária</em></strong></blockquote><h3>Ajuste do Modelo sobre a Série Estacionária</h3><p>Como vocês puderam ver, temos agora uma série temporal estacionária na escala logarítmica. Retiramos a tendência dos dados para que pudéssemos agora ajustar o modelo sobre eles, de modo que tenhamos um erro reduzido e uma boa previsão da demanda futura.</p><p>Os mesmos procedimentos de ajuste aplicados sobre a série não-estacionária foram feitos sobre esta estacionária. Foi reservado 60% dos dados para treino e 40% para a validação. O modelo foi instanciado com o argumento n_changepoints para identificar até 20 pontos de mudança. Diferentemente do primeiro modelo de base, este não encontrou nenhum, já que a série é estacionária.</p><pre><br># Resetando o índice<br>df_log.reset_index(inplace = True)<br><br># Dividindo os conjunto de treino e validação<br>train_df_st = df_log.sample(frac = .6, random_state = 30)<br>val_df_st = df_log.drop(train_df_st.index)<br><br># Resetando os índices<br>train_df_st = train_df_st.reset_index(drop = True)<br>val_df_st = val_df_st.reset_index(drop = True)<br><br># Instanciando o modelo<br>model = Prophet(n_changepoints = 20)<br><br># Ajustando o modelo<br>model.fit(train_df_st)<br><br># Previsões no conjunto de validação<br>pred_st = model.predict(pd.DataFrame({&#39;ds&#39;: val_df_st[&#39;ds&#39;]}))<br><br># Valores reais<br>y_true = val_df_st[&#39;y&#39;]<br><br># Valores previstos<br>y_pred = pred_st[&#39;yhat&#39;]<br><br># Convertendo os valores de previsão para inteiros<br>y_pred = y_pred.astype(&#39;int64&#39;)</pre><p>Como resultado, obtivemos um erro absoluto médio (MAE) baixíssimo, de 0,74, enquanto que o MAPE, a média do erro percentual absoluto, ficou em 7%. Isto confirma a ótima acurácia do modelo, já que conseguimos reduzir o MAE de 1015,1 para 0,7.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/193/1*2gqJRIYabar7EjL_g5H_Og.png" /></figure><p>A Figura 1.8 mostra o quão boa foi a aderência da previsão aos dados históricos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*4SrAhWui2vZBqkY7YNc0Og.png" /><figcaption>Figura 1.8 — Previsão sobre a série estacionária.</figcaption></figure><p>Note como o modelo foi capaz de capturar as nuances e oscilações das vendas diárias, acompanhando a tendência geral dos dados ao longo dos 3 anos.</p><p>Isto mostra que podemos agora seguir para a previsão de demanda futura.</p><h3>Previsões Futuras e Limites do Modelo</h3><p>Com os erros devidamente minimizados e a acurácia do modelo treinado constatada, iremos agora terminar nosso projeto prevendo dados futuros. Como o modelo foi capaz de capturar com perfeição a tendência e a sazonalidade dos dados, e como temos um histórico de 3 anos de venda, podemos testá-lo prevendo vendas de 1 ano no futuro.</p><p>Para isso, construímos um novo conjunto de dados com datas que partem de Janeiro de 2021 até Janeiro de 2022. Utilizamos para isso o seguinte código:</p><pre>from datetime import date, timedelta<br><br># Criando uma lista vazia para receber as datas<br>future = []<br><br># Datas inicial e final<br>start_date = date(2021, 1, 1)<br>end_date = date(2021, 12, 31)<br><br># Intervalo entre as entradas geradas (7 dias)<br>delta = timedelta(days = 7)<br><br># Loop para gerar as datas e colocar na lista<br>while start_date &lt;= end_date:<br>  future.append(start_date.isoformat())<br>  start_date += delta<br><br># Criando o df das datas futuras<br>future = pd.DataFrame(future)<br>future.columns = [&#39;ds&#39;]<br>future[&#39;ds&#39;] = pd.to_datetime(future[&#39;ds&#39;])<br><br>future.head()</pre><p>Então, ajustamos o modelo sobre esses novos dados, testando sua capacidade de generalização. O resultado pode ser visto na Figura 1.9.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*UbanvmWOv_zG5MqmgOTTEQ.png" /><figcaption>Figura 1.9 — Previsão de 1 ano de vendas no futuro.</figcaption></figure><p>Note que o modelo capturou perfeitamente o ciclo de crescimento seguido de queda nas vendas, observado durante os outros anos.</p><p>A área sombreada em vermelho diz respeito ao <strong>intervalo de incerteza da previsão</strong>, o espaço em que provavelmente os dados de vendas diários oscilariam. Para um ano no futuro, a incerteza se mantém aceitável, dentro da variação esperada nas variações de vendas observadas a nível diário.</p><p>Como as datas futuras foram geradas de modo que cada entrada tenha 7 dias de diferença da última, a linha sólida vermelha representa como que a <strong>média móvel semanal prevista</strong> pelo modelo. Se buscamos mais resolução, por exemplo colocando um intervalo menor do que 7 dias, o modelo se mostra <strong>incapaz de prever os picos e quedas nessa escala</strong>, <strong>apenas reproduzindo padrões de sazonalidade</strong> que ele identificou. Esses padrões, contudo, não carregam informação nenhuma.</p><p>De qualquer forma, trata-se de um resultado fascinante e muito útil para a previsão de demanda das lojas.</p><p>Como um último experimento, vamos tentar prever para além de um ano e ver os limites do modelo.</p><h4>Os limites do modelo</h4><p>Seguimos o mesmo procedimento, porém agora criando um conjunto de dados com datas que vão desde Janeiro de 2021 até o começo de 2023, ou seja, se extendendo por dois anos.</p><p>Esperamos que à medida em que o modelo é forçado a prever mais no futuro, pior fica a sua estimativa da quantidade de vendas naquele período. Em consequência disso, o intervalo de incerteza tende a aumentar.</p><p>O resultado é mostrado na Figura 1.10 abaixo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*teM-mzJtnJiI7lf76J6mvg.png" /></figure><p>Ao testar os limites do modelo, prevendo dois anos de vendas no futuro, começamos a ver o <strong>intervalo de incerteza aumentar rapidamente</strong>, como esperado. Isto acontece porque começamos a realizar previsões numa escala de tempo comparável àquela dos dados históricos disponíveis (2 anos), de modo que passamos a ter uma composição de erros cada vez maior sobre as previsões.</p><p>Assim, precisaríamos de pelo menos <strong>5 anos de dados históricos para conseguir fazer a previsão de demanda dois anos no futuro</strong>. Caso contrário, o modelo é incapaz de manter baixa variabilidade nos limites de previsão.</p><p>Note, contudo, que a média móvel das vendas nesse período segue uma tendência de crescimento coerente com o que foi observado antes. Assim, poderíamos nos guiar por ela para ter ao menos uma estimativa da demanda nesse período.</p><p><strong>Em suma</strong>: O modelo apresentou uma <strong>capacidade preditiva alta</strong> da demanda de vendas de vinhos <strong>até um ano no futuro</strong>. Com um erro absoluto médio (<strong>MAE</strong>) baixíssimo, de <strong>0,74</strong>, e um <strong>MAPE abaixo de 10%</strong>, trata-se de um modelo robusto, capaz de generalizar para novos dados no futuro e prever a demanda com precisão.</p><h3>Conclusão</h3><p>Manipular séries temporais para fazer uma análise preditiva não é tarefa fácil. Requer o conhecimento de diversas ferramentas estatísticas e testes para transformar os dados, deixando-os no formato mais adequado. Além disso, envolve também adaptar esse conhecimento ao contexto de negócios, para julgar qual variável é mais informativa para realizar a previsão.</p><p>Assim, não se trata de apenas organizar os dados e jogar no modelo, mas de compreender o motivo para cada etapa acontecer. Como em qualquer projeto de Machine Learning, o conhecimento do cientista de dados por trás deve transcender a mera técnica, integrando-se com um detalhamento do ponto de vista de negócios.</p><p>Este projeto mostrou como os <strong>dados são ativos valiosos para as empresas</strong>. Não somente foi possível identificar quais produtos são os melhores para se ter no estoque, através da análise exploratória, como também mostrou como a previsão de demandas futuras ajuda na organização desse estoque.</p><p>O vinho é uma bebida delicada e que requer muito cuidado, então é crucial conhecer quais tipos de produtos compensa manter em estoque, e de que maneira eles podem ser organizados, guardados e transportados para chegar com qualidade até o consumidor final.</p><p>Espero que este artigo tenha lhe dado informações valiosas sobre esse tipo de análise com séries temporais. Convido você que chegou até aqui a ver o projeto completo, com todos os códigos no link abaixo.</p><p><a href="https://github.com/gabrielrflopes/Wine_Demand_Prediction/blob/main/P7_Previs%C3%A3o_de_Demandas_de_Vinhos_com_Time_Series.ipynb">Clique aqui para ver o projeto completo.</a></p><h3>Obrigado pela leitura!</h3><p>Me acompanhe nas redes sociais e confira outros projetos no meu portfólio do GitHub, ou através dos artigos aqui no Medium.</p><ul><li><strong>LinkedIn</strong>: <a href="https://www.linkedin.com/in/gabrielrflopes/">https://www.linkedin.com/in/gabrielrflopes/</a></li><li><strong>GitHub</strong>: <a href="https://github.com/gabrielrflopes">https://github.com/gabrielrflopes</a></li><li><strong>Instagram</strong>: <a href="https://www.instagram.com/gabrielr.lopes/">https://www.instagram.com/gabrielr.lopes/</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=970ad550b8e9" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Machine Learning aplicado ao diagnóstico de saúde fetal]]></title>
            <link>https://grflopes.medium.com/machine-learning-aplicado-ao-diagn%C3%B3stico-de-sa%C3%BAde-fetal-d470b4e321c1?source=rss-b609a33bd460------2</link>
            <guid isPermaLink="false">https://medium.com/p/d470b4e321c1</guid>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[classification]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[python]]></category>
            <dc:creator><![CDATA[Gabriel Ribeiro Ferreira Lopes]]></dc:creator>
            <pubDate>Mon, 02 Oct 2023 15:16:45 GMT</pubDate>
            <atom:updated>2023-10-06T00:39:41.344Z</atom:updated>
            <content:encoded><![CDATA[<h3>Criando modelos de aprendizado para diagnóstico de saúde fetal</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*1r7YG2mmByG4syEm" /><figcaption>Photo by <a href="https://unsplash.com/@isaacquesada?utm_source=medium&amp;utm_medium=referral">Isaac Quesada</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p>Muitas mães e bebês correm risco de vida por não terem um acompanhamento durante o período de gestação. Nos EUA, cerca de 1 milhão de bebês não-nascidos morrem, com quase 26 mil mortes sendo de bebês com mais de 20 semanas. No Brasil, a taxa de mortalidade chega a ser de 10 óbitos para cada 1000 nascimentos.</p><p>O cuidado com a saúde da mãe e do bebê é algo que necessita da coordenação de diversas áreas, desde o acompanhamento médico, assistência social, infraestrutura de transporte até o desenvolvimento de tecnologias para identificação, prevenção e tratamento das complicações que podem surgir durante a gravidez.</p><p>Lidar com esse sério problema da mortalidade maternal e fetal, portanto, é algo que cada segmento da sociedade pode ajudar direta ou indiretamente, para poder compensar as faltas de recursos e acompanhamento médico que ainda é a causa da maioria das mortes.</p><h3>Salvando as duas vidas com dados</h3><p>Pensando nisso, este projeto de ciência de dados e aprendizado de máquina busca contribuir analisando dados de exames pré-natais com o objetivo de reduzir a mortalidade fetal e maternal.</p><p>O exame a ser analilsado é o CTG, ou cardiotocografia, que é um procedimento que utiliza de pulsos de ultrassom para analisar a frequência cardíaca do bebê, o movimento fetal, contrações uterinas, entre outros indicadores.</p><p>O CTG é um exame simples e acessível para assegurar a saúde do bebê, permitindo que médicos e profissionais da saúde identifiquem problemas com antecedência, olhando por doenças congênitas, condições hereditárias e complicações diversas da gestação.</p><p>Portanto, espera-se responder com este projeto as seguintes questões:</p><ul><li><em>É possível utilizar dados do exame de CTG para diminuir o risco de mortalidade da mãe e do bebê em gestação?</em></li><li><em>É possível providenciar informações a neonatologistas e obstetras sobre os fatores que mais contribuam para a previsão de risco?</em></li><li><em>Quais abordagens podem ser tomadas para implementar essa checagem e facilitar o reconhecimento desses riscos?</em></li></ul><p>A abordagem do problema passará pela criação de <strong>modelos supervisionados de classificação</strong>, com a construção de pipelines para pré-processamento e ajuste dos dados, buscando <strong>minimizar a taxa de erros de falsos negativos</strong>, que corresponderiam a casos graves classificados como normais., priorizando, é claro, a detecção de casos de risco.</p><p>Iremos utilizar bibliotecas como S<strong><em>cikit-learn</em></strong> para construção desses pipelines, além de uma abordagem baseada em AutoML com o <strong><em>PyCaret</em></strong>.</p><h4>O conjunto de dados</h4><p>Foram reunidos dados de exames de CTG de diversas partes do mundo por um grupo de cientistas, visando construir um sistema automatizado de análise de cardiotocografias [<a href="https://pubmed.ncbi.nlm.nih.gov/11132590/">1</a>].</p><p>O conjunto de dados é composto por <strong>2126 entradas e 22 variáveis</strong>, que correspondem a características fisiológicas analisadas pelo exame, como batimentos cardíacos, movimentos e contrações uterinas, entre outros.</p><p>A seguir, você pode conferir o dicionário de variáveis:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/769/1*rEKZTNtOROayHImpY51aAg.png" /></figure><h3>1. Análise exploratória e visualização dos dados</h3><p>Na análise exploratória, iremos entender melhor o contexto dos dados e como os diferentes atributos se correlacionam para ajudar na determinação da saúde do bebê.</p><p>Numa análise inicial, foi verificado que o conjunto de dados <strong>não possui valores ausentes</strong>,<strong> todos os atributos são numéricos do tipo <em>float64 </em>e a maioria são contínuos.</strong></p><h4>Variável-alvo</h4><p>A variável-alvo chama-se fetal_health e retorna as classes de diagnóstico da saúde do bebê: (1) <em>Normal</em>, (2) <em>Suspeito</em> e (3) <em>Patológico</em>. Dentre essas classes, a mais frequente é a normal, com 1655 exemplos, seguido de casos suspeitos com 295 e, por último, os patológicos, com 176 exemplos.</p><p>Queremos construir um modelo que identifique casos suspeitos e patológicos independentemente da gravidade implícita nessas classes. Isto significa que estaremos tratando dos bebês e das mães ao primeiro sinal de irregularidades na gestação, com exames de rotina e acompanhamento médico.</p><p>Por isso, as duas classes serão reunidas em uma só, denominada <em>Grave</em>., tornando o problema de classificação binário. Para isso, foi criada uma nova variável-alvo, chamada fh_class, enquanto a antiga foi excluída para evitar redundância no conjunto de dados.</p><p>Nessa nova distribuição, teremos 1655 exemplos <strong>normais</strong> e 471 exemplos <strong>graves</strong> no conjunto de dados. A Figura 1.1 abaixo mostra essas distribuições.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PSFTE9y5HaxQaA6UbhYNvw.png" /><figcaption>Figura 1.1 — Distribuição das classes na variável-alvo. (a) Original e (b) reunindo as classes de casos suspeitos e patológicos numa classe só.</figcaption></figure><p>Nota-se que o problema é bastante desbalanceado, como esperado.</p><h4>Correlações</h4><p>Vamos analisar as correlações que cada um dos atributos tem com a variável-alvo, buscando compreender quais variáveis podem influenciar mais ou menos para a determinação de um caso grave.</p><p>Definimos as correlações como segue:</p><pre># definindo as correlações para todas as variáveis<br>corr = df_new.corr()<br><br># definindo uma variável para as correlações com o alvo apenas<br>corr_target = corr[&#39;fh_class&#39;][:-1].sort_values(ascending = False)</pre><p>Em seguida, o gráfico foi construído a partir do da biblioteca <em>Matplotlib, </em>resultando na Figura 1.2 abaixo<em>:</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TWPWKkTBaLkceu_Yuu62EA.png" /><figcaption>Figura 1.2 — Correlações dos atributos com a variável-alvo.</figcaption></figure><p>No gráfico de correlações, temos dispostas o quão relacionadas estão as variáveis independentes com o alvo, tanto positivamente quanto negativamente. <strong>Valores positivos</strong> da correlação apontam para uma maior probabilidade daquela variável prever a classe 1 (<strong>Grave</strong>), ao passo que <strong>valores negativos</strong> apontam para a probabilidade das variáveis ajudarem na previsão da classe 0 (<strong>Normal</strong>).</p><p>É importante lembrar que correlação não implica necessariamente causalidade, ou seja, não é porque duas variáveis estão correlacionadas que uma seja a causa da outra. Com isso em mente, as variáveis que mais se correlacionam <strong>positivamente</strong> com o alvo são:</p><ol><li><strong>Variabilidade anormal de curto prazo</strong> (abnormal_short_term_variability) (+ 0.493)</li><li><strong>Variabilidade anormal de longo prazo </strong>(abnormal_long_term_variability) (+ 0.489)</li><li><strong>Desacelerações prolongadas</strong> (prolongued_decelerations) (+ 0.340)</li><li><strong>Valor de base</strong> (baseline_value) (+ 0.252)</li></ol><p>As variáveis mais correlacionadas <strong>negativamente</strong> são:</p><ol><li><strong>Acelerações</strong> (accelerations) (- 0.395)</li><li><strong>Contrações uterinas</strong> (uterine_contractions) (- 0.264)</li><li><strong>Valor médio da variabilidade de curto prazo</strong> (mean_value_short_term_variability) (- 0.208)</li><li><strong>Valor médio da variabilidade de longo prazo</strong> (mean_value_long_term_variability) (- 0.172)</li></ol><p>Como é possível constatar, as <strong>variabilidades anormais</strong> se correlacionam mais fortemente com o alvo, de modo que convém visualizar a dispersão dos dados com relação a essas variáveis.</p><p>A seguir, iremos visualizar como estão distribuídos esses dados, buscando construir uma intuição mais robusta acerca de como cada atributo é capaz de dividir os dados entre as classes.</p><h4>O que são as medidas de variabilidades anormais?</h4><p>Antes de seguir, vamos esclarecer alguns termos técnicos importantes, como os de variabilidades anormais.</p><p><strong>Variabilidade anormal de curto prazo</strong> refere-se às flutuações dos batimentos cardíacos do bebê, que acontecem num período de segundos.</p><p>Pequenas variações são consideradas <strong>sinais positivos,</strong> visto que mostra <strong>atividade do sistema nervoso autônomo do bebê</strong>. Em um bebê saudável, é esperado que a taxa de batimentos cardíacos varie ligeiramente em comparação com os valores de base.</p><p>As variações se tornam motivo de preocupação quando indicam <strong>redução ou inexistência de batimentos com maior frequência e por períodos mais longos</strong>. Elas podem indicar que o bebê sofre de hipóxia (falta de oxigênio), ou acidemia (aumento da acidez do sangue), entre outras condições que podem afetar seu sistema nervoso.</p><p>De maneira análoga, a <strong>variabilidade anormal de longo prazo</strong> se refere a variações na taxa de batimentos cardiácos do bebê que ocorrem em intervalos de minutos. Elas representam desvios significativos dos padrões de base para os batimentos cardíacos por longos períodos.</p><p>Essa condição pode indicar falta de oxigênio ou compressão do bebê pelo cordão umbilical.</p><p>A medida de variabilidade está associada também às <strong>desacelerações prolongadas</strong>, quando a taxa de batimentos do bebê cai para valores muito abaixo dos padrões por longos períodos de tempo.</p><h4>Contrações uterinas e variabilidades anormais</h4><p>A Figura 1.3 mostra a relação entre as variabilidades de curto e longo prazo e as contrações uterinas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*G8hIUAnEAf7bs98HBBwawg.png" /><figcaption>Figura 1.3 — Relação entre os atributos de contrações uterinas e variabilidade de (a) curto e (b) longo prazo.</figcaption></figure><p>Para <strong>variações anormais de curto prazo</strong>, note que é normal por alguns segundos não haver contrações uterinas, sem que isso signifique que o bebê esteja em risco. Se o bebê está a mais de 60% do tempo com variações anormais de curto prazo, e sem contrações uterinas, então muito provavelmente ele está em risco.</p><p>Para <strong>variações anormais de longo prazo</strong>, a tolerância é bem menor para contrações uterinas nulas. Se o bebê está a mais de 15% do tempo com variações anormais de longo prazo e sem contrações uterinas, significa que ele está em risco.</p><p>Há maior probabilidade de bebês com saúde normal apresentarem contrações uterinas medidas entre 0.002 e 0.011, como pode ser visto nos gráficos ao observar a densidade de pontos relacionados à classe normal nesse intervalo.</p><h4>Movimentos fetais e variabilidades anormais</h4><p>A Figura 1.4 mostra como o movimento fetal se relaciona com as variabilidades.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Y_dDo3m4F7uA_zfvoKDntg.png" /><figcaption>Figura 1.4 —Movimento fetal relacionado às variações de (a) curto prazo e (b) longo prazo.</figcaption></figure><p>Para variações de curto prazo, nota-se que:</p><ul><li>Pouco movimento fetal para até 50% de variação é considerado normal. A partir de 60% do tempo com variações anormais e sem movimento, maiores as chances de risco.</li><li>Movimento fetal acima de 0.3 é um sinal de risco, independente de haver ou não muitas variações de curto prazo.</li></ul><p>Para variações de longo prazo, nota-se que:</p><ul><li>Nenhum movimento fetal até 20% de variações anormais são, em sua maioria, casos normais.</li><li>Se o bebê não se move e apresenta variações anormais dos batimentos cardíacos por longos períodos, então ele está em risco.</li><li>Novamente, vemos que se o bebê está muito agitado, com medidas de movimento fetal acima de 0.3, então ele provavelmente está em risco.</li></ul><h4>Acelerações e variabilidades anormais</h4><p>As acelerações se referem a aumentos momentâneos da taxa de batimentos cardíacos do bebê acima dos valores padrões. Elas são consideradas um sinal positivo de que o bebê está responsivo e recebendo oxigênio e nutrientes suficientes. A presença das acelerações frequentemente indicam, portanto, que o bebê não está sob estresse no momento.</p><p>No exame de CTG, as acelerações são medidas observando-se o aumento e o retorno dos batimentos para o valor básico. Usualmente, essas acelerações acontecem por um curto período, tipicamente 15 segundos, mas podem variar.</p><p>A Figura 1.5 mostra a relação entre as variáveis.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HvS2VFmpPJIUAR0VRmqaSQ.png" /><figcaption>Figura 1.5 — Relação entre as variáveis de acelerações e variabilidades de (a) curto e (b) longo prazo.</figcaption></figure><p>Como vimos acima, as acelerações indicam que o bebê é saudável e, quanto mais acelerações, maiores são as chances da saúde do bebê estar boa. De fato, é o atributo que mais se correlaciona negativamente com a classe de risco.</p><p>As incidências de risco para a saúde do bebê ocorrem justamente para valores de acelerações baixas (&lt; 0.005) ou nulas.</p><h4>Como as variabilidades se relacionam entre si</h4><p>A Figura 1.6 mostra a correlação entre as duas variabilidade anormais de curto e longo prazo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/883/1*URaoaviFv5MVaMxnp3Syzg.png" /><figcaption>Figura 1.6 — Relação entre as variabilidades anormais.</figcaption></figure><p>Note que todos os casos de risco se encontram na região de alta porcentagem de tempo com variabilidades anormais, tanto no curto (&gt; 60%) quanto no longo prazo (&gt; 20%). Estes dois atributos são de fato bem informativos para nossa análise e distinguem bem entre os casos normais e graves.</p><h3>2. Pré-processamento dos dados</h3><p>Seguindo da análise exploratória, o pré-processamento dos dados envolveu a criação de uma cópia de backup do Dataframe e a divisão entre matriz de atributos e variável-alvo.</p><p>Com isso, pôde-se dividir os conjuntos de treino e teste, utilizando o método train_test_split do <strong><em>Scikit-learn</em></strong>. Para os testes, foram separados 30% dos dados, restando 70% dos exemplos para treino.</p><pre>df_proc = df_new.copy()<br><br># Matriz de atributos X e a variável-alvo y<br>X = df_proc.drop(&#39;fh_class&#39;, axis = 1)<br>y = df_proc[&#39;fh_class&#39;]<br><br>from sklearn.model_selection import train_test_split<br><br># Separação dos conjuntos de treino e teste<br>X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = .3, stratify = y, random_state = 42)</pre><h3>3. Modelo de base</h3><p>O modelo de base fornecerá a performance de referência de um classificador básico sem otimizações, que no caso será o de árvore de decisão. A partir dele, iremos testar novos modelos e comparar os respectivos desempenhos.</p><p>Temos duas situações, uma com dados desbalanceados para a variável-alvo, havendo uma proporção maior de exemplos da classe que indica a saúde normal do bebê, e outra com dados balanceados. Para este último caso, iremos utilizar o argumento class_weight = &#39;balanced&#39; para assegurar o balanceamento feito pelo algoritmo do classificador.</p><pre># Baseline desbalanceado<br>dt = DecisionTreeClassifier(criterion = &#39;gini&#39;, <br>                            max_depth = 5, random_state = 42)<br><br>dt.fit(X_train, y_train)<br><br># Baseline balanceado<br>dt_bal = DecisionTreeClassifier(max_depth = 5, class_weight = &#39;balanced&#39;, <br>                                random_state = 42)<br><br>dt_bal.fit(X_train, y_train)</pre><p>A <em>performance</em> dos dois modelos pode ser visualizada a partir da matriz de confusão na Figura 3.1.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KDBcgUKH4FzDZGxPlfDhmA.png" /><figcaption>Figura 3.1 — Matrizes de confusão dos modelos básicos de árvore de decisão com dados (a) desbalanceados e (b) balanceados.</figcaption></figure><p>Obtivemos um <em>recall</em> maior para o modelo de base balanceado, de 84%. A precisão, contudo, para a classe 1 foi de 0.89 para 0.78, o que é de se esperar sempre que se faz a troca pela diminuição da taxa de falsos negativos.</p><p>A Figura 3.2 mostra a importância de cada atributo para a previsão das classes. Note que, assim como pudemos inferir a partir da análise exploratória dos dados, as variáveis relacionadas com <strong>variabilidades anormais de curto prazo</strong>, <strong>acelerações</strong> e <strong>desacelerações prolongadas</strong> são muito informativas na previsão dos casos normais e de risco.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/790/1*90dUWh_eU5iLEkdkH08-sg.png" /><figcaption>Figura 3.2 — Feature importances para o modelo de base balanceado.</figcaption></figure><blockquote><strong><em>Veja como esse gráfico foi construído acessando o </em></strong><a href="https://github.com/gabrielrflopes/Fetal_Health_Classification/blob/main/PROJETO_Classifica%C3%A7%C3%A3o_de_Sa%C3%BAde_Fetal.ipynb"><strong><em>notebook do projeto</em></strong></a><strong><em>.</em></strong></blockquote><p>O modelo de <em>baseline</em> de árvore de decisão mostra que a abordagem com dados balanceados é a indicada para melhorar a métrica de <em>recall</em>, enquanto mantemos um nível aceitável de acurácia e precisão. Porém, ainda há 16% de casos falsos negativos, ou seja, que são de risco mas foram classificados como normais.</p><p>É preciso diminuir a taxa erros do tipo II para o mínimo possível e, para isso, vamos utilizar das técnicas de busca em grade (<strong><em>Grid Search</em></strong>) e validação cruzada (<strong><em>Cross Validation</em></strong>), visando construir novos modelos e aumentar as <em>performances</em> baseadas na métrica <em>recall</em>.</p><h3>4. Construção de modelos com Grid Search e Validação Cruzada</h3><p>Seguindo agora para a construção dos modelos e as comparações de <em>performance </em>de cada um, iremos definir algumas funções que nos ajudarão em três etapas. São elas: (I) a criação de um <em>pipeline </em>para padronização dos dados e implementação do classificador, (II) uma função para implementar o objeto de <strong><em>Grid Search CV</em></strong> voltado para maximizar a métrica <em>recall </em>e (III) uma função para ajustar os dados de treino e teste, retornando os melhores desempenhos.</p><h4>4.1 Pipeline</h4><p>A primeira função é bem simples, trata-se da função para criar um pipeline com passos de padronização dos dados e implementação do modelo com classes balanceadas.</p><p>A função recebe o modelo do classificador que se quer trabalhar, por exemplo, RandomForestClassifiere retorna o <em>pipeline</em>.</p><p>Iremos testar 4 modelos. São eles: <strong><em>Logistic Regression</em></strong>, <strong><em>Random Forest</em></strong>, <strong><em>SVM </em></strong>e <strong><em>Extra Trees Classifier</em></strong>.</p><pre>def create_pipeline(classifier):<br><br>  &#39;&#39;&#39;<br>  Cria um pipeline com etapas de normalização e implementação do classificador<br>  &#39;&#39;&#39;<br><br>  pipe = Pipeline([(&#39;std&#39;, StandardScaler()),<br>                   (&#39;clf&#39;, classifier(class_weight = &#39;balanced&#39;, random_state = 42))])<br><br>  return pipe</pre><h4>4.2 GridSearchCV</h4><p>Após implementar o modelo via pipeline, iremos aplicar a função que instancia o objeto de <strong><em>GridSearchCV</em></strong> para realizar a otimização com a técnica de busca em grade e validação cruzada. Em vista disso, para cada modelo foi montado um dicionário de parâmetros a serem otimizados.</p><p>Para cada um dos modelos, os dicionários foram os seguintes:</p><pre>param_range = np.arange(1, 11)<br>param_small = [1.0, .5, .1, .01]<br><br># Regressão Logística<br>param_lr = [{&#39;clf__penalty&#39;: [&#39;l1&#39;, &#39;l2&#39;],<br>             &#39;clf__C&#39;: param_small,<br>             &#39;clf__solver&#39;: [&#39;lbgfs&#39;, &#39;liblinear&#39;]}]<br><br># Random Forest<br>param_rf = [{<br>             &#39;clf__criterion&#39;: [&#39;gini&#39;, &#39;entropy&#39;],<br>             &#39;clf__max_depth&#39;: param_range<br>           }]<br><br># SVM<br>param_svm = [{<br>              &#39;clf__C&#39;: param_range,<br>              &#39;clf__kernel&#39;: [&#39;linear&#39;, &#39;rbf&#39;],<br>            }]<br><br># Extra Trees Classifier<br>param_et = [{<br>             &#39;clf__criterion&#39;: [&#39;gini&#39;, &#39;entropy&#39;],<br>             &#39;clf__max_depth&#39;: param_range,<br>             &#39;clf__min_samples_split&#39;: param_range[1:],<br>             &#39;clf__min_samples_leaf&#39;: param_range<br>           }]</pre><p>A função recebe como estimador o <em>pipeline</em> criado anteriormente, juntamente com o dicionário de parâmetros, e realiza a busca em grade visando maximizar a métrica <em>recall </em>em 10 dobras de validação cruzada.</p><pre>def make_grid(pipeline, params):<br><br>  &#39;&#39;&#39;<br>  Função que recebe o classificador e implementa o objeto de busca em grade<br>  com validação cruzada utilizando a função GridSearchCV, otimizada<br>  para a métrica recall.<br><br>  clf: classificador<br>  params: dicionário de hiperparâmetros<br>  &#39;&#39;&#39;<br><br>  return GridSearchCV(<br>                      estimator = pipeline,<br>                      param_grid = params,<br>                      scoring = &#39;recall&#39;,<br>                      cv = 10,<br>                      n_jobs = -1<br>                     )</pre><h4>4.3 Encontrar a melhor configuração para a métrica <strong><em>recall</em></strong></h4><p>Com todas as etapas de preparação feitas, a função abaixo realiza o ajuste dos dados a partir do objeto de busca em grade, otimizando para a métrica de <em>recall</em>. Ela então imprime o conjunto de hiperparâmetros que resulta no melhor desempenho, juntamente com a pontuação no conjunto de treino.</p><p>A partir disso, a função ajusta o modelo nos dados de teste, imprime as métricas no relatório de classificação e, por fim, cria a matriz de confusão.</p><pre>def find_best_recall(grid_search):<br><br>  &#39;&#39;&#39;<br>  Realiza o Grid Search com os dados balanceados e retorna a<br>  melhor configuração de hiperparâmetros para ajustar o modelo<br>  com base na métrica de recall.<br><br>  Passos:<br>  1. Ajusta os dados de treino para realizar o GridSearch<br>  2. Imprime os melhores hiperparâmetros<br>  3. Imprime o melhor recall para os dados de treino<br>  4. Realiza previsões nos dados de teste<br>  5. Imprime o melhor recall nos dados de teste<br>  6. Imprime o relatório de classificação<br>  7. Imprime o AUC<br>  8. Plota a matriz de confusão<br><br>  grid_search: Objeto de GridSearchCV para o classificador<br>  &#39;&#39;&#39;<br><br>  # Ajuste dos dados de treino balanceados para GridSearch<br>  grid_search.fit(X_train, y_train)<br><br>  # Imprimir os melhores hiperparâmetros<br>  print(f&#39;Melhores parâmetros: {grid_search.best_params_}&#39;)<br><br>  # Imprime o melhor recall de treino<br>  best_recall = grid_search.best_score_<br>  print(f&#39;\nMelhor recall de treino: {best_recall:.3f}&#39;)<br><br>  # Previsões nos dados de teste<br>  y_pred = grid_search.predict(X_test)<br><br>  # Melhor recall para os dados de teste<br>  best_recall = recall_score(y_test, y_pred)<br>  print(f&#39;\nMelhor recall de teste: {best_recall:.3f}&#39;)<br><br>  #I Imprimir o relatório de classificação<br>  print(&#39;\nRelatório de classificação&#39;,<br>         classification_report(y_test, y_pred),<br>         f&#39;\nAUC: \t{roc_auc_score(y_test, y_pred):.3f}&#39;)<br><br>  # Plotar matriz de confusão<br>  plot_confusion_matrix(y_pred)</pre><p>Esse procedimento todo é repetido para os 4 modelos testados no projeto. As Figura 4.1 e 4.2 mostram as matrizes de confusão para cada classificador testado. Nelas, note os valores de <em>recall</em> para cada modelo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*y3TQT4P1NYFL5PU3f03czg.png" /><figcaption>Figura 4.1 — Matrizes de confusão (a) de regressão logistica e (b) random forest.</figcaption></figure><p>Observando a matriz de confusão para o modelo de <strong><em>Regressão Logística</em></strong>, note que o <strong><em>recall</em></strong> foi de <strong>0.95</strong>, com uma taxa baixa de <strong>falsos negativos de 5%</strong>. Um ótimo resultado, considerando um algoritmo relativamente simples. Contudo, a <strong>precisão</strong> do modelo foi muito baixa, de <strong>0.49</strong>, o que significa que o custo para minimizar o erro do tipo II é ter um modelo que não performa bem para a classe negativa, tampouco consegue distinguir satisfatoriamente entre as classes.</p><p>Já para o segundo modelo de <strong><em>Random Forest, </em></strong>vemos um resultado de <strong><em>recall </em></strong>um pouco pior do que o de regressão logística, igual a 0.92 e uma taxa de falsos negativos de 0.08<strong><em>. </em></strong>O custo de maximizar a métrica <em>recall </em>foi uma <strong>precisão</strong> de <strong>0.82</strong>, o que é significativamente melhor do que a precisão do primeiro modelo.</p><p>De fato, se notarmos a métrica de AUC, o modelo de <strong><em>Random Forest</em></strong> obteve 0.93, apontando o fato de conseguir distinguir melhor entre as classes.</p><p>Entretanto, estamos lidando com as vidas de mães e bebês que dependem da identificação da classe positiva pelo modelo. O custo para a taxa de falsos negativos é muito alta, pois põe em risco as duas vidas, de modo que não estamos nem um pouco interessados em equilibrar todas as métricas, mas sim em maximizar a sensibilidade, ou <em>recall</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*J5jr8VpozBq4JceY5i1Hjw.png" /><figcaption>Figura 4.2 — Matrizes de confusão para os modelos de (a) SVM e (b) Extra Trees Classifier.</figcaption></figure><p>Seguindo para os últimos dois modelos, o<strong><em> SVM</em></strong> otimizado atingiu um <em>recall </em>de 0.94 e uma taxa de falsos negativos de aproximadamente 6%. A precisão neste caso foi de 0.69, que é uma troca um pouco maior do que aquela observada no modelo de floresta aleatória. A AUC atingiu o valor de 0.91, o que mostra que o modelo é muito bom em distinguir entre as classes.</p><p>Por fim, o modelo de <strong><em>Extra Trees </em></strong>foi o que melhor performou no pipeline construído, atingindo um <em>recall</em> de 96% com uma precisão de 0.70. O AUC desse classificador foi de 0.92, o que é um ótimo resultado. Não obtivemos uma taxa de erros falsos positivos muito alta, havendo muitos acertos na classe negativa enquanto maximizamos os acertos também na positiva, que era o nosso objetivo.</p><p>O algoritmo do <strong><em>Extra Trees</em></strong> é similar ao da floresta aleatória, no sentido de que é criado um conjunto de árvores de decisão cujas variáveis e dobras dos dados são escolhidos aleatoriamente. A diferença entre os dois, contudo, é que adiciona-se mais um fator de aleatoriedade no <strong><em>Extra Trees</em></strong> ao lidar com os limiares (<em>thresholds</em>) para <em>split</em> dos dados. Esse limiar define se determinado exemplo fará parte de uma classe ou de outra.</p><p>Enquanto no algoritmo de floresta aleatória temos um cálculo para encontrar o melhor limiar, a estratégia do <strong><em>Extra Trees</em></strong> consiste em testar diversos limiares diferentes aleatoriamente, criando diversas árvores fracas e enviesadas para, ao final, somar as contribuições de cada uma e retornar um modelo mais generalizável.</p><h4>4.4 Desempenho do Extra Trees a partir da curva de precisão-recall</h4><p>As curvas de <em>precisão-recall</em> fornecem uma relação entre o poder preditivo do modelo para a classe positiva (<strong>precisão</strong>) e a proporção de positivos que o modelo previu corretamente (<strong><em>recall</em></strong>). A Figura 4.3 mostra a curva de precisão-<em>recall </em>para o modelo de Extra Trees<em>.</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/810/1*BhbsTv_fFVdrEzI1OEqbrA.png" /><figcaption>Figura 4.3 — Curva de precisão-recall para o modelo de Extra Trees.</figcaption></figure><p>O classificador sem habilidade (<em>no skill</em>) é aquele que não consegue discriminar entre as classes, de modo que só seria capaz de prever aleatoriamente, caso o problema fosse balanceado, ou de forma constante, fornecendo apenas a proporção da classe positiva no conjunto de teste. Portanto, a linha do classificador <em>no skill</em> muda de acordo com a distribuição da classe positiva, que no nosso caso é de 22%.</p><p>Analisando a curva para o modelo de <em>Extra Trees</em>, vemos claramente a troca da precisão pelo <em>recall</em>, de modo que obtemos uma precisão menor que 70% para um <em>recall</em> acima de 95%.</p><p>Como estamos buscando minimizar a taxa de falsos negativos, de modo a não cometer erros que custem a vida da mãe e do bebê, essa troca se faz necessária e a curva mostra que o modelo está se comportando bem na sua capacidade preditiva.</p><h4>4.5 Resumo das performances</h4><p>A Tabela 4.1 abaixo resume todas as performances dos modelos discutidos na seção anterior.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/433/1*b8_GhyjoCuzJMDrFzdxtaw.png" /><figcaption>Tabela 4.1 — Resumo das performances dos classificadores.</figcaption></figure><h3>5. Abordagem com Auto Machine Learning</h3><p>Depois de ter construído 4 modelos manualmente desde a análise exploratória até o pré-processamento e ajuste dos classificadores, vamos usar agora uma abordagem de aprendizado automatizado com o PyCaret.</p><p>O PyCaret permite configurar o treinamento de modelos, realizando todo o processo de análise e pré-processamento dos dados. Com os diversos algoritmos contidos na biblioteca, é possível comparar os modelos de base e otimizar os melhores com relação a algum critério.</p><h4>5.1 Configuração do ambiente</h4><p>Neste caso, iremos buscar por classificadores que <strong>maximizem a métrica <em>recall</em></strong>, como feito anteriormente. Inicialmente, vamos utilizar o método setup para configurar o ambiente. A partir do <em>Dataframe </em>original, escolhemos uma amostra de 30% dos dados para servirem como um conjunto de teste. O restante será usado como conjunto de treino e validação na construção dos modelos automatizados.</p><pre>test_df = df_new.sample(frac = .3, random_state = 42)<br>train_df = df_new.drop(test_df.index)</pre><pre>clf = setup(<br>            data = train_df,<br>            target = &#39;fh_class&#39;,<br>            train_size = .7,<br>            fix_imbalance = True,<br>            fix_imbalance_method = &#39;ADASYN&#39;,<br>            normalize = True,<br>            normalize_method = &#39;robust&#39;,<br>            session_id = 42,<br>            experiment_name = &#39;FHC_09_2023&#39;<br>            )</pre><p>Note que, na configuração, selecionamos a mesma proporção para os conjuntos de treino e validação, i.e 70/30, respectivamente. Também foi necessário realizar o balanceamento dos dados e, mediante testes com diversos métodos de <em>under</em> e <em>oversampling</em>, o ADASYN foi o que melhor performou para maximizar o <em>recall.</em></p><p>Além disso, configuramos a normalização dos dados com o método robusto, que lida melhor com <em>outliers</em>. Isso se faz necessário pois muitas variáveis se encontram em diferentes escalas, e também porque a maioria é fortemente enviesada para valores pequenos.</p><p>Com o ambiente configurado, seguimos para a comparação de modelos de base, com a função compare_models, que retornou o melhor algoritmo para a métrica <em>recall, </em>que no caso foi o LDA (<em>Linear Discriminant Analysis</em>).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/845/1*ydQ3lVcYf71SOhzf90aj_g.png" /><figcaption>Tabela 5.1 — Os 5 melhores modelos de base para classificação de saúde fetal, segundo o PyCaret.</figcaption></figure><p>O LDA é uma técnica que combina redução de dimensionalidade com classificação ao encontrar o subespaço linear que maximiza a separação de classes. Nesse sentido, ele busca uma combinação linear de atributos que conseguem fazer essa divisão da melhor maneira possível.</p><p>O algoritmo, entretanto, assume que as variáveis seguem uma distribuição normal e necessita que as classes estejam balanceadas para um melhor desempenho. Além disso, por ser um algoritmo que trata combinações lineares, ele pode falhar em identificar relações não-lineares complexas nos dados.</p><p>No caso dos dados de treino em questão, eles não seguem distribuições normais, mas estão balanceados. Alguma perda de performance deve haver, porém vamos testar o modelo otimizado, uma vez que o básico obteve um resultado muito bom para o <em>recall</em>.</p><h4>5.2 Criação e otimização do modelo</h4><p>Utilizando as funções create_model e tune_model, iremos ajustar os dados de treino e utilizar da validação cruzada para ter uma média da performance do modelo.</p><p>Os resultados em 10 dobras foram de 0.952 para o <em>recall </em>do modelo base e 0.957<em> </em>para o otimizado. A precisão foi de 0.625 para o primeiro e 0.631 para o segundo, ou seja, uma melhora discreta nas duas métricas.</p><h4>5.3 Previsão no conjunto de validação</h4><p>Com o modelo otimizado criado, seguimos para as previsões no conjunto de validação utilizando a função predict_model. Os resultados são dispostos na Tabela 5.2 abaixo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/708/1*SfunFSWHoNMVSYkGgPUBzA.png" /><figcaption>Tabela 5.2 — Resultados da previsão do modelo otimizado no conjunto de validação.</figcaption></figure><p>Obtivemos um <em>recall </em>bem alto, de aproximadamente 97%, e uma precisão de 60%, o que não é um mal resultado. Basta agora testarmos o modelo finalizado no conjunto de treino com dados nunca vistos pelo algoritmo para termos ideia da capacidade de generalização do modelo.</p><p>A matriz de confusão no conjunto de validação é mostrada na Figura 5.1. Note que de 99 casos graves, o algoritmo previu 96 corretamente.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/627/1*dPVMXkd3BR50Z0nJjt2l6w.png" /><figcaption>Figura 5.1 — Matriz de confusão do modelo de LDA para o conjunto de validação.</figcaption></figure><p>A Figura 5.2 mostra a curva de precisão-<em>recall para o LDA, </em>evidenciando a troca de precisão pelo aumento do <em>recall</em>. O comportamento é similar ao observado para o modelo de <em>Extra Trees</em>, porém a queda na precisão é maior no LDA.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/555/1*uVAvArxto5WrDS2bSSIi1Q.png" /><figcaption>Figura 5.2 — Curva de precisão-recall para o LDA.</figcaption></figure><h4>5.4 Finalização do modelo</h4><p>Para finalizar o modelo, iremos utilizar a função finalize_model. Em seguida, para testá-lo em dados nunca antes vistos pelo modelo, iremos aplicar o método predict_model sobre os dados do conjunto de testes reservados no início da seção. Assim, teremos uma noção do comportamento do classificador mediante novos exemplos, notando a variação de performance com relação ao obtido durante o treino.</p><pre>final_lda = finalize_model(tuned_lda)<br><br>&#39;&#39;&#39;<br>Previsão no conjunto test_df separado no início da seção<br>&#39;&#39;&#39;<br>unseen_pred = predict_model(final_lda, data = test_df, round = 3)</pre><p>A Tabela 5.3 mostra os resultados do desempenho do modelo de LDA no conjunto de teste.</p><p>Note que obtivemos uma performance um pouco pior para o conjunto de teste em exemplos novos. <strong>O <em>recall</em> caiu de 97% para ficar em torno de 94%</strong>. Da mesma forma ocorreu para as outras métricas, como acurácia, AUC e precisão, principalmente. Este tipo de variação na performance não é um sinal ruim, mas mostra que o modelo conseguiu generalizar e ter capacidade de classificar exemplos de dados diversos num conjunto menor.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/669/1*aHMKjN4FsjSdXF1tJ2taCA.png" /><figcaption>Tabela 5.3 — Desempenho do modelo LDA nos dados inéditos de treino.</figcaption></figure><p>O desempenho nos dados de teste é mais realista pois trata de dados novos, que refletem o desbalanço original entre as classes e não passou pelas etapas de otimização, que podem fazer o modelo superestimar resultados durante o treino. Contudo, o custo de precisão foi maior para o modelo gerado com AutoML se comparado ao modelo de <em>Extra Trees</em>, sem ainda atingir um <em>recall</em> tão alto quanto deste último.</p><h3>Conclusão</h3><p>Neste projeto, investigamos como o exame de CTG pode ter seus dados utilizados para a classificação da saúde fetal, buscando salvaguardar a vida da mãe e do bebê através de uma abordagem com <em>machine learning</em>.</p><p>De fato, foi observado que o CTG fornece as informações necessárias para realizar as previsões sobre a saúde do bebê, destacando atributos informativos como <strong>variações anormais de curto e longo prazo, acelerações, desacelerações prolongadas, contrações uterinas e movimentos fetais</strong>. Durante a análise exploratória e visualização dos dados, pôde-se observar como essas variáveis se correlacionam entre si, separando bem os casos normais dos graves.</p><p>Por exemplo, vimos que <strong>contrações uterinas</strong> e <strong>movimentos fetais</strong> podem indicar risco do bebê caso ele esteja imóvel por algum tempo e com variações anormais nos batimentos cardíacos. Por outro lado, bebês que estejam muito agitados tem também maiores chances de estarem correndo risco.</p><p>Além desses fatores, as <strong>desacelerações prolongadas</strong> provaram ser muito informativas quanto ao risco, pois a maioria dos casos com <strong>desacelerações ligeiramente maiores do que zero já indicavam um caso grave</strong>. Todas essas informações puderam ser inferidas a partir da análise exploratória dos dados do exame de CTG.</p><p>Para a construção dos modelos de <em>machine learning</em>, duas abordagens foram utilizadas.</p><p>A primeira consistiu na construção de um pipeline para pré-processamento e ajuste dos modelos, com a utilização de técnicas como a <strong>busca em grade</strong> com <strong>validação cruzada</strong> (<strong>GridSearchCV</strong>) e análise de desempenho através da curv<strong>a de precisão-recall</strong>. Foram testados os modelos de <strong>regressão logística, random forest, SVM e extra trees classifier</strong>, buscando minimizar a taxa de falsos negativos. O melhor desempenho, com maior recall, foi do modelo de <strong><em>Extra Trees</em></strong>, que alcançou uma taxa de falsos negativos de aproximadamente 3% em dados nunca antes vistos.</p><p>A segunda abordagem consistiu na aplicação de machine learning automatizado através da biblioteca <strong>PyCaret</strong>. Neste caso, buscou-se configurar o pipeline automatizado para o balanceamento e normalização dos dados, resultando na construção de diversos classificadores e posterior comparação entre eles. Foi escolhido aquele que obteve o <strong>maior recall</strong>, que no caso foi o algoritmo de <strong>Análise de Discriminante Linear</strong>, ou <em>Linear Discriminant Analysis (LDA)</em>. Na validação, o modelo otimizado atingiu 97% de <em>recall</em>, enquanto que nos testes de desempenho com dados nunca antes vistos, obteve um recall de aproximadamente 94%.</p><p>Como houve um custo maior na precisão para o modelo construído via AutoML — não atingindo ainda um <em>recall</em> tão alto quanto o obtido na primeira abordagem — escolheu-se o modelo de <em>Extra Trees</em> como sendo o melhor na classificação de saúde fetal.</p><p>A tabela abaixo mostra a relação das métricas entre os modelos construídos:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/353/1*-7r5GNbPl_j7jn0ZUR017Q.png" /></figure><p>O projeto como um todo ajudou a clarificar pontos importantes de atenção para o diagnóstico da saúde fetal que podem ser usados por médicos obstetras e neonatologistas. Alguns atributos do exame de CTG foram destacados como sendo informativos para a previsão de casos graves, como aceleração e movimentos do bebê, contrações uterinas, variações anormais de curto e longo prazo e desacelerações severas.</p><p>Além disso, a recomendação é que o <strong>exame de CTG seja feito o mais frequente possível durante o período de gestação</strong>, principalmente por sua simplicidade e facilidade de interpretação. Os exames de CTG são capazes de prever a saúde fetal e reduzir a mortalidade tanto materna quanto do bebê, tornando-se uma <strong>opção de custo efetivo baixo para evitar fatalidades</strong>.</p><p>Da parte de inteligência de dados, modelos de classificação como o <strong><em>Extra Trees</em></strong> fornecem uma boa capacidade preditiva e um nível de personalização que permite identificar casos suspeitos ou patológicos com o mesmo nível de precisão, para que o tratamento comece o mais rápido possível. É recomendada uma abordagem que diminua o limiar para a classe positiva, visando que, ao menor sinal de suspeita de risco, os pacientes sejam checados.</p><h4>Referências</h4><ol><li>Ayres-de Campos, D.; Bernardes, J.; Garrido, A.; Marques-de Sa, J.; Pereira-Leite, L. SisPorto 2.0: A program for automated analysis of cardiotocograms. J. Matern.-Fetal Med. 2000, 9, 311–318.</li><li>Elizabeth, C.W.G <em>et al</em>. Fetal Mortality in the United States: Final 2019–2020 and 2020–Provisional 2021. (2021)</li><li>Elizabeth, C.W.G <em>et al</em>. Fetal Mortality: United States, 2020. (2020)</li><li>Tenorio, D. S. <em>et al</em>. High maternal mortality rates in Brazil: Inequalities and the struggle for justice. (2021)</li></ol><h3>Obrigado pela leitura!</h3><p>Me acompanhe nas redes sociais e confira outros projetos no meu portfólio do GitHub, ou através dos artigos aqui no Medium.</p><ul><li><strong>LinkedIn</strong>: <a href="https://www.linkedin.com/in/gabrielrflopes/">https://www.linkedin.com/in/gabrielrflopes/</a></li><li><strong>GitHub</strong>: <a href="https://github.com/gabrielrflopes">https://github.com/gabrielrflopes</a></li><li><strong>Instagram</strong>: <a href="https://www.instagram.com/gabrielr.lopes/">https://www.instagram.com/gabrielr.lopes/</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d470b4e321c1" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Por que a otimização é importante no Machine Learning?]]></title>
            <link>https://grflopes.medium.com/por-que-a-otimiza%C3%A7%C3%A3o-%C3%A9-importante-no-machine-learning-53cd4ace03f?source=rss-b609a33bd460------2</link>
            <guid isPermaLink="false">https://medium.com/p/53cd4ace03f</guid>
            <category><![CDATA[data-science-training]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[optimization]]></category>
            <dc:creator><![CDATA[Gabriel Ribeiro Ferreira Lopes]]></dc:creator>
            <pubDate>Fri, 21 Jul 2023 00:47:02 GMT</pubDate>
            <atom:updated>2023-07-21T00:47:56.359Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/846/1*DxLdvcFssQAF_X35VwY1Bg.png" /></figure><p>Machine Learning trata da prática de treinar algoritmos capazes de generalizar resultados a partir de dados históricos, para então realizar previsões com novos exemplos.</p><p>Usualmente, temos um conjunto de <em>inputs</em> e <em>outputs</em> que fornecem ao modelo os parâmetros para se construir uma função capaz de realizar as previsões. Quanto mais informações e sutilezas a respeito do problema essa função for capaz de absorver, melhores serão as predições realizadas.</p><p>Assim, é necessário que a função que mapeia os exemplos de entrada em resultados na saída seja bem otimizada, significando que o algoritmo que interpretou os dados é capaz de compreender a estrutura subjacente do problema.</p><p>O algoritmo de <em>Machine Learning</em> define, portanto, uma função parametrizada que mapeia, de forma ponderada, os exemplos de <em>input</em>, enquanto um algoritmo de otimização é usado para encontrar os valores dos coeficientes dessa função que <strong>minimizam o erro</strong> ao fazer as previsões.</p><p>Neste artigo, iremos discutir a importância da otimização no aprendizado de máquina. Também iremos discutir a diferença entre otimização de função e aproximação de função, além de como a otimização se manifesta na preparação dos dados, nos ajustes de hiperparâmetros e na seleção de modelos.</p><h3>Machine Learning e Otimização</h3><p>Por trás de cada algoritmo, está uma estrutura funcional que aproxima uma solução, retornando uma estimativa de valor, no caso de problemas de regressão, ou um rótulo de classe, para problemas de classificação.</p><p>No cerne do <em>Machine Learning</em> está a tarefa de <strong>aproximação de função: </strong>o<strong> </strong>algoritmo constrói uma função a partir da distribuição dos dados e dos padrões identificáveis. Em outras palavras, uma definição seria:</p><blockquote>A aproximação de função trata da generalização de uma função capaz de mapear outputs a partir de um conjunto limitado de inputs, com o objetivo de realizar previsões em dados novos.</blockquote><p>O problema reside no fato da estrutura dessa função ser, muitas vezes, não-linear, ruidosa, ou carecer de exemplos para a sua construção. Nisto entra a necessidade de otimização, que ocorre em múltiplas camadas, das quais podemos destacar:</p><ul><li>A escolha de hiperparâmetros para o modelo;</li><li>A escolha de transformações dos dados;</li><li>A escolha de um pipeline para modelagem final.</li></ul><p>Nesse sentido, a otimização de função é o problema de encontrar um conjunto de <em>inputs </em>para uma função objetiva que busca <strong>minimizá-la</strong> ou <strong>maximizá-la, </strong>segundo algum parâmetro ou métrica, resultando em melhores previsões.</p><p>Sendo assim, tanto a aproximação de função, que trata do aprendizado pelo algoritmo, quanto a otimização de função, que ocorre nos diversos processos de preparação dos dados e modelagem, tratam basicamente do mesmo problema e estão muito relacionadas entre si.</p><h4>O Aprendizado como Otimização</h4><p>A função mapeadora <strong><em>f</em></strong> é aquela que recebe o conjunto de<em> inputs</em> e retorna os<em> outputs </em>estimados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/136/1*-DFo88VA1e722wXG-chxXg.png" /></figure><p>Porém, <strong>é importante ter em mente que as previsões serão sempre imperfeitas</strong>, seja pela dificuldade do problema, pelo ruídos nos dados observados ou pela escolha do algoritmo de aprendizado.</p><p>Algoritmos de aprendizado resolvem o problema do mapeamento das funções ao resolver os respectivos problemas de otimização. Ou seja, dado um conjunto de exemplos de <em>inputs </em>e <em>outputs</em>, retorne a configuração ou conjunto de <em>inputs </em>que resulta na <strong>menor perda</strong>, no <strong>menor custo </strong>ou no <strong>menor erro</strong>.</p><p>Quanto mais <strong>enviesada e restrita</strong> a escolha da função, <strong>mais fácil é a otimização</strong>, pois existe menos liberdade na escolha dos parâmetros. Além disso, uma função enviesada aponta a tendência dos resultados para uma direção particular.</p><p>Veja, por exemplo, a <strong>regressão linear</strong>. O problema de otimização é resolvido analiticamente através da Álgebra Linear, ao determinar os coeficientes.</p><p>Um problema de <strong>classificação</strong>, por sua vez, é um pouco mais complexo, pois é menos restrito que um problema de regressão linear. Porém, ainda existem restrições inerentes do modelo que indicam a estrutura da otimização. Uma <strong>regressão logística</strong>, por exemplo, está restrita pelo uso da <strong>função sigmóide</strong>, que sabemos ser a função objetiva.</p><p>Neste caso, para cada exemplo, temos um conjunto de parâmetros que devem ser pesados pelos coeficientes do modelo, de modo a retornar uma probabilidade de que aquele exemplo pertença a uma classe específica. A otimização, nesse caso, requer um <strong>algoritmo de busca local iterativo</strong>.</p><p><strong>Esse tipo de algoritmo começa com uma solução inicial e segue realizando pequenos ajustes, até encontrar a melhor configuração</strong>. A ideia por trás é a de encontrar a solução ótima para determinada região do espaço de busca. A cada iteração a solução atual é avaliada, as mudanças são implementadas segundo a melhora na performance e, por fim, a solução é atualizada.</p><p>Agora, um exemplo em que as restrições à otimização são brandas, com muita liberdade para manipulação de parâmetros e construção de soluções, são as <strong>redes neurais</strong>. Por esse motivo, são utilizados os algoritmos de busca global, que procuram por máximos ou mínimos em todo o espaço de busca.</p><p>Diferentemente de modelos como a regressão logística — cuja estrutura subjacente do problema indica uma função objetiva — com as redes neurais o espaço de busca pode ser multimodal (possuir diversos máximos e mínimos) e altamente não-linear, significando que um algoritmo de busca local só seria capaz de retornar uma otimização com performance pobre.</p><p>Enfim, nota-se que cada modelo aponta para um tipo de função mapeadora e que, conhecendo-se o comportamento esperado dessa função, o caminho a ser tomado durante a otimização fica mais claro.</p><h3>Otimização na Preparação dos Dados</h3><p>A otimização através da preparação dos dados ocorre quando se faz a transformação dos dados crus em uma forma mais apropriada para a interpretação do algoritmo.</p><p>Um conjunto de dados pode necessitar de limpeza de variáveis nulas, padronização ou normalização através de técnicas de <em>feature scaling</em>, ou criação de novas variáveis por meio de <em>feature engineering. </em>De qualquer forma, faz parte do trabalho do cientista de dados testar quais tipos de transformações melhora a estrutura dos dados para aquela que o algoritmo espera.</p><p>É possível, porém, automatizar essa etapa com o uso de <strong>algoritmos de busca global</strong>, em que os <em>inputs </em>para a função de otimização são os <strong>tipos e a ordem de cada transformação</strong> a ser efetuada nos dados.</p><p>De qualquer modo, é importante ter em mente que a otimização na etapa de preparação de dados envolve, basicamente, melhor expor a estrutura subjacente dos dados ao algoritmo de aprendizado.</p><h3>Otimização no Ajuste de Hiperparâmetros</h3><p>Ajuste de hiperparâmetros pode ser uma tarefa dispendiosa. Para um determinado modelo de aprendizado, conhecemos a dinâmica de seus hiperparâmetros, mas desconhecemos o efeito que a mudança em cada um deles terá sobre a performance no conjunto de dados sendo treinado.</p><p>A natureza estocástica desses ajustes é algo que demanda tentativa e erro, testando uma variedade de combinações dos hiperparâmetros principais, até encontrar um intervalo de confiança para a performance.</p><p>A otimização nesse caso passa pelo uso de técnicas como <strong><em>Grid Search</em></strong> e <strong>Validação Cruzada</strong>. Contudo, está se tornando comum o uso de algoritmos de busca global para economizar tempo e recursos nesses processos, como por exemplo os algoritmos de otimização Bayesiana, que são capazes de aproximar uma função objetiva ao mesmo tempo em que otimiza seus hiperparâmetros.</p><h3>Otimização na Seleção do Modelo</h3><p>A otimização na seleção do modelo consiste em escolher, entre os modelos candidatos, aquele que melhor atinge o objetivo da análise preditiva.</p><p>Isso pode envolver a escolha do algoritmo de <em>Machine Learning </em>específico, ou o <em>pipeline</em> que produziu o modelo. Este pipeline é utilizado com os dados de treinos para ser, então, utilizado em novas previsões.</p><p>O processo de seleção de modelo é normalmente realizado por um cientista de dados manualmente, pois envolve todas as tarefas de coleta, preparação, escolha de modelos, ajuste fino de parâmetros e escolha do modelo final.</p><p>Contudo, o desenvolvimento de tecnologias, como os <strong>algoritmos de <em>Machine Learning </em>automatizados</strong> (<strong>AutoML</strong>), está permitindo a construção de modelos que passam por todas essas etapas, e com pouca intervenção do usuário.</p><p>Apesar de ser uma abordagem rápida e eficiente, elas ainda são incapazes de superar o nível de performance de modelos construídos à mão por cientistas de dados experientes.</p><h3>Conclusão</h3><p>Espero que toda essa exposição tenha ficado clara, uma vez que se trata de um assunto extenso e complexo. Porém, vimos que a otimização está presente em todas as etapas de um projeto de <em>Machine Learning</em>, de modo que devemos conhecer as diferentes abordagens para os diferentes algoritmos de aprendizado.</p><p>Além disso, a otimização abre portas para economia de recursos e tempo através da automatização de tarefas, como no ajuste de hiperparâmetros ou através do AutoML.</p><p>Leia mais sobre o assunto nos seguintes artigos:</p><ul><li><a href="https://machinelearningmastery.com/local-optimization-versus-global-optimization/#:~:text=A%20global%20optimization%20algorithm%2C%20also,the%20extrema%20of%20the%20function.">Local Optimization VS Global Optimization</a></li><li><a href="https://machinelearningmastery.com/why-optimization-is-important-in-machine-learning/">Why Optimization Is Importante In Machine Learning?</a></li></ul><p><strong>Agradeço a sua leitura e atenção e, se quiser me acompanhar, deixo abaixo minhas redes sociais.</strong></p><ul><li>LinkedIn: <a href="https://www.linkedin.com/in/gabrielrflopes/">https://www.linkedin.com/in/gabrielrflopes/</a></li><li>GitHub: <a href="https://github.com/gabrielrflopes">https://github.com/gabrielrflopes</a></li><li>Instagram: <a href="https://www.instagram.com/gabrielr.lopes/">https://www.instagram.com/gabrielr.lopes/</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=53cd4ace03f" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Machine Learning Aplicado à Previsão de Rotatividade de Clientes]]></title>
            <link>https://grflopes.medium.com/machine-learning-aplicado-%C3%A0-previs%C3%A3o-de-rotatividade-de-clientes-1d29c491ed3a?source=rss-b609a33bd460------2</link>
            <guid isPermaLink="false">https://medium.com/p/1d29c491ed3a</guid>
            <category><![CDATA[churn-prediction]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Gabriel Ribeiro Ferreira Lopes]]></dc:creator>
            <pubDate>Tue, 27 Jun 2023 22:10:24 GMT</pubDate>
            <atom:updated>2023-06-30T13:41:33.370Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TRbSFCv-qRULodnWYkfcng.png" /></figure><h3>Retenção é a alma do negócio</h3><p>Tenho certeza que você já ouviu que <strong>dados são o novo petróleo.</strong> Decorrendo deste fato, a construção de modelos de aprendizado de máquina para problemas reais de negócios são a maneira mais inteligente de criar estratégias robustas, tomar decisões confiantes e evitar perdas desnecessárias.</p><p>Muitas empresas sofrem devido a falta de previsibilidade com relação à rotatividade dos clientes. Muitas dependem de assinaturas, com um modelo de recorrência, para manter alguma margem de lucro nos serviços. Ainda assim, algumas empresas vivem no escuro sem conhecer a fundo alguns padrões de comportamentos próprios de seus clientes.</p><p>Os dados históricos são muito úteis na hora de analisar tais comportamentos e padrões. Neste projeto, o estudo desses dados numa análise exploratória completa, com visualização de dados dos atributos informativos, foi capaz de trazer insights valiosos e informações das métricas e serviços que mais se relacionam com a rotatividade, tanto positiva quanto negativamente.</p><p>Mas, para além disso, o projeto descrito neste artigo traz a construção de modelos de <em>Machine Learning</em> otimizados para a detecção de padrões de clientes propensos à rotatividade, prevendo a ocorrência desses casos com eficácia em exemplos novos.</p><p>No contexto real da empresa, isto significa a capacidade de identificar com antecedência possíveis perdas na receita líquida, de modo a tomar providências para reter mais clientes.</p><h4>O que é a taxa de Churn?</h4><p>No contexto de negócios, <strong><em>Churn</em></strong> se trata da <strong>taxa de rotatividade da base de clientes</strong>. Ela calcula a evasão através da comparação entre o número de clientes no início e no final de um período. A fórmula para o cálculo é a seguinte:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/207/1*MlMdFmQAL9xnkhVTkoJZCw.png" /></figure><p>em que <em>C0</em> é a quantidade de clientes no início do período e <em>Cf</em> a quantidade ao final do mesmo período.</p><p>Empresas como Netflix e Spotify medem a rotatividade dos clientes de acordo com o número de cancelamentos de assinaturas, mas outras empresas investigam os clientes que foram para o competidor ou que deixaram de usar o produto ou serviços de uma vez.</p><p>Os impactos negativos da rotatividade são observados para além da perda de receita e fluxo de caixa. Como conquistar novos clientes é mais caro do que reter os antigos, é comum uma redução no lucro por causa do custo de aquisição de novos clientes.</p><p>Outro problema é a diminuição da reserva de mercado da empresa. Uma alta taxa de rotatividade aumenta as incertezas dos investidores, fazendo o valor de mercado cair. Além disso, a reputação da empresa pode ser prejudicada, caso a evasão esteja associada a uma má experiência do cliente.</p><p>Sendo assim, fica claro a relevância desse problema que muitos negócios enfrentam, e que muitos buscam solução justamente na construção de modelos que possam prever a rotatividade, diminuindo a taxa de <em>Churn</em>.</p><h4>Sobre o Conjunto de Dados</h4><p>Os dados utilizados neste projeto foram originalmente disponibilizados na plataforma de ensino da <strong>IBM Developer</strong>, e tratam de um problema típico de uma companhia de telecomunicações. O conjunto de dados completo pode ser encontrado <a href="https://github.com/gabrielrflopes/Churn_Prediction/blob/main/Dataset/WA_Fn-UseC_-Telco-Customer-Churn.csv">neste link</a>.</p><p>O <em>dataset</em> possui<strong> 7043 entradas e 21 variáveis</strong>, sendo a maioria categóricas e apenas 3 numéricas. Com relação ao conteúdo dessas variáveis, temos a variável-alvo (<em>Churn</em>)<em>, </em>com a informação de que determinado cliente saiu ou não da empresa. Outras variáveis estão relacionadas aos serviços oferecidos pela empresa que o cliente específico contratou, como Internet, múltiplas linhas telefônicas, suporte técnico, proteção de aparelho, etc.</p><p>Além destas, temos informações sobre as contas dos clientes, como método de pagamento, cobranças mensais e totais, e <em>tenure</em>, que é o tempo de permanência de determinado cliente com a empresa. Por fim, o conjunto de dados apresenta informações demográficas sobre os clientes, como idade, parceiros e dependentes.</p><h3>1. Resultados da Análise Exploratória dos Dados</h3><p>O objetivo desta análise exploratória, além de tratar dados ausentes e limpar o dataset, foi o de preparar os dados para interpretação dos algoritmos e ter uma noção mais clara dos atributos informativos mais relevantes para as conclusões sobre rotatividade.</p><h4>1.1 Correlações</h4><p>Como temos uma quantidade muito grande de variáveis categóricas, algumas binárias e outras não, foi necessário criar um DataFrame com dados processados <em>(mais sobre essa etapa na seção 1.5)</em>. Assim, utilizou-se do <em>LabelEncoder</em> para as variáveis binárias, e do método <em>.getdummies()</em> do <em>Pandas</em>, para as categóricas com mais de 2 valores únicos.</p><p>A partir disto, e com o intuito de visualizar quais variáveis se correlacionavam mais fortemente com o alvo (<em>Churn</em>), foi calculada a <strong>matriz de correlação</strong>, cujos resultados são dispostos no gráfico de barras da Figura 1.1.</p><p>Em tons de azul, estão as variáveis que se correlacionam positivamente com o alvo, significando que a ocorrência dessas variáveis apontam para uma maior probabilidade da classe ser <em>Churn</em>, com o cliente saindo da empresa.</p><p>Por outro lado, estão as variáveis que se correlacionam negativamente com o alvo, de modo que suas ocorrências indicam uma tendência do cliente a não rotacionar. É importante notar, entretanto, que <strong>à correlação não corresponde uma causalidade</strong>. Ou seja, o fato de uma variável estar mais correlacionada ao alvo não significa que a ocorrência dela gera necessariamente o efeito ou não de <em>Churn</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*b5ofNoG32h35Te2OAxF9AA.png" /><figcaption>Figura 1.1 — Correlação das variáveis com a rotatividade.</figcaption></figure><p>Contudo, <strong>essa análise é muito útil para direcionarmos a visualização dos dados e a busca por padrões que melhorariam a performance dos modelos de previsão</strong>. Fica claro, por exemplo, que clientes com contratos mensais tendem a rotacionar mais, enquanto que clientes com mais tempo na empresa e contratos mais longos tendem a permanecer.</p><p>Isto faz sentido lógico e corrobora nossa intuição inicial a respeito das relações entre as variáveis.</p><p>Outras correlações mostram implicações menos óbvias como, por exemplo, o fato de haver uma tendência maior ao Churn quando o cliente possui Internet de fibra óptica, ou de que clientes que não contratam serviços de Internet são aqueles que acabam rotacionando menos.</p><p>De qualquer modo, podemos listar a partir dessa análise os <strong>5 atributos que mais contribuem positiva e negativamente para o <em>Churn</em></strong>, respectivamente. São eles:</p><ol><li>Contrato de mês a mês;</li><li>Falta de segurança online;</li><li>Falta de suporte tecnológico;</li><li>Serviço de Internet de fibra óptica;</li><li>Método de pagamento de cheque eletrônico.</li></ol><p>Os 5 atributos que influenciam negativamente, diminuindo a propensão à rotatividade, em direção à retenção do cliente, são:</p><ol><li>Tempo de permanência com a empresa (<em>tenure</em>);</li><li>Contrato de dois anos;</li><li>Não ter serviços de Internet;</li><li>Cobranças totais;</li><li>Contrato de um ano.</li></ol><h4>1.2 Variáveis Binárias</h4><p>Analisamos algumas variáveis binárias para investigar como a ocorrência delas influencia na rotatividade dos clientes. Primeiramente, visualizamos as distribuições dos gêneros dos clientes e a relação com o alvo, como pode ser visto na Figura 1.2.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/675/1*Hpj5OmsIV-JsXtSpTIJhhw.png" /><figcaption>Figura 1.2 — Taxa de rotatividade para cada gênero</figcaption></figure><p>O gráfico acima mostra que o gênero do cliente não influencia na taxa de rotatividade, além de que os dados estão bem divididos entre homens e mulheres.</p><p>A Figura 1.3 mostra outras variáveis binárias como funções do <em>Churn</em>. Estas estão mais relacionadas a serviços contratados e dados demográficos dos clientes.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3qLhNKooKxt21FKE0ONRhQ.png" /><figcaption>Figura 1.3 — Relações de dados demográficos e serviços com a taxa de rotatividade.</figcaption></figure><p>Os dois gráficos superiores mostram como é o comportamento dos clientes com respeito à rotatividade quando eles têm parceiros ou dependentes. Clientes com parceiros tendem a rotacionar menos do que os solteiros, o que indica que a estabilidade de uma união favorece um comprometimento de longo prazo com a empresa.</p><p>Clientes com dependentes também são menos propensos a sair da empresa. Apesar da taxa positiva aumentar, a taxa negativa - dos clientes que não rotacionam - aumenta proporcionalmente muito mais.</p><p>Com relação a serviços, nos gráficos inferiores, vemos que o serviço de telefone aumenta a taxa de <em>Churn</em>, enquanto que a conta digital diminui. Contudo, é interessante notar que o serviço de telefone está fracamente correlacionado com o <em>Churn</em>, como se pode observar na Figura 1.1, ao passo que a conta sem papel está relacionada positivamente, indicando maior tendência a rotatividade.</p><h4><strong>1.3 Relação do Tempo de Permanência do Cliente com a Rotatividade</strong></h4><p>O atributo que mais influencia negativamente a rotatividade é o <em>tenure</em>. A palavra em inglês tem raíz no latim <em>tenere</em>, que significa ter posse, ou o período de tempo que uma pessoa permanece na posse de algo. Logo, no contexto de negócios que estamos lidando, significa a permanência da pessoa com aqueles serviços, como cliente da empresa.</p><p>A Figura 1.4 mostra a distribuição do número de clientes como função do tempo de permanência na empresa. Note que temos um volume mais alto de clientes com até 6 meses de empresa, e com mais de 70 meses. Os primeiros são aqueles que acabaram de contratar os serviços, e o gráfico mostra que pelo menos um terço deles saem da empresa nos primeiros dois meses.</p><p>Os último são os clientes mais fidelizados, que por estarem a mais tempo na empresa, tem a menor propensão em deixá-la. Entre esses dois extremos, o número de clientes se distribui de maneira homogênea após 18 meses na empresa, indicando certa estabilidade.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/666/1*hxxrl0OKpAhLmBWZQw6T5w.png" /><figcaption>Figura 1.4 — Número de clientes como função do tempo de permanência dos clientes na empresa, em meses.</figcaption></figure><p>Avançando nossa análise, iremos filtrar agora a permanência na empresa como função dos contratos escolhidos pelos clientes. A Figura 1.5 mostra três gráficos com o número de clientes que assinaram contratos mensais, anuais e bianuais.</p><p>Fica mais claro o comportamento dos clientes com os respectivos contratos. Quem acabou de chegar na empresa, opta por contratos mensais, por ser um período mais voltado para testes e construção de confiança. À medida que o tempo passa, menores são as chances do cliente escolher o contrato mensal.</p><p>A próxima escolha mais provável é o contrato anual, e vemos de fato que ele tem uma tendência a aumentar a partir dos 20 meses do cliente na empresa. Por fim, o contrato bianual é muito mais frequente e se destaca para clientes com mais de 50 meses na empresa. Estes, por sua vez, são os mais fiéis e habituados com os serviços, possuindo, portanto, a menor propensão à rotatividade.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tjObhzOPkSytk-BuMWC1pg.png" /><figcaption>Figura 1.5 — Tempo de permanência dos clientes na empresa, por tipo de contrato.</figcaption></figure><p>Para finalizar, vamos analisar a rotatividade por tipo de contrato. As análises anteriores já apontavam que clientes mais novos, que optavam por contratos mensais, tinham maiores chances de rotacionar. Porém, agora, podemos observar claramente essa tendência.</p><p>A Figura 1.6 mostra que, dos que estão no contrato mensal, 43% rotacionam. Enquanto que essa taxa cai abruptamente para os contratos de mais longo prazo (11% para anual, e apenas 3% para bianual). Isso significa uma redução de 93% da taxa de rotatividade, apenas pelo tempo de permanência na empresa.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/704/1*9uHipKRA1haHH_MfQn9HhA.png" /><figcaption>Figura 1.6 — Influência do tipo de contrato na taxa de rotatividade dos clientes.</figcaption></figure><p>Não é à toa que essa variável apresenta a maior correlação negativa com a variável-alvo. O boxplot da Figura 1.7 mostra as diferenças nas distribuições estatísticas entre as duas classes com relação à variável <em>tenure</em>. Note como a classe de Churn está mais concentrada nos valores menores de <em>tenure. </em>De fato, 50% dos clientes que saíram da empresa, o fizeram nos primeiros 10 meses e, em 30 meses, a maioria já tinha saído.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/676/1*ufoMj6CfmHCFB6T2VMVsXA.png" /><figcaption>Figura 1.7 — Diferenças nas distribuições estatísticas de tenure com relação à rotatividade.</figcaption></figure><h4>1.4 Relação entre Cobranças e Rotatividade</h4><p>Para completar nossa discussão sobre os atributos que mais influenciam nos padrões de rotatividade, vamos analisar a relação com as cobranças.</p><p>Na Figura 1.8, a distribuição das cobranças mensais mostra que quanto maior for seu valor, maiores são as chances de rotatividade. Para valores maiores que US$ 60, vemos um aumento na taxa de <em>Churn</em>, enquanto que para cobranças menores que US$ 30 mensais, vemos que a taxa de rotatividade fica bem baixa.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/705/1*e23crha814vHCDf9_fYGlw.png" /><figcaption>Figura 1.8 — Distribuição das cobranças mensais e seus impacto sobre a rotatividade.</figcaption></figure><p>Na Figura 1.9, vemos outra perspectiva, agora com relação às cobranças totais, ou seja, a soma dos valores de cobrança em todo o período em que o cliente ficou com a empresa. Neste caso, temos que a taxa de rotatividade é maior para cobranças totais de menor valor. Isto é lógico, uma vez que a maioria dos clientes sai da empresa em até 10 meses, somando uma cobrança total relativamente baixa.</p><p>Os clientes mais fidelizados tem mais tempo com a empresa e, portanto, somam cobranças maiores. Por isso, vemos a prevalência da classe que não rotaciona para valores altos de cobranças totais, enquanto a classe de <em>Churn</em> tende a zero.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/721/1*T-XPhbE08qkqSXV4ecenrA.png" /><figcaption>Figura 1.9 — Cobranças totais e sua influência na taxa de rotatividade.</figcaption></figure><h4>1.5 Pré-Processamento dos Dados — Codificação das Variáveis</h4><p>O procedimento de feature engineering envolve a manipulação das variáveis de forma a criar novos atributos informativos e tratar aqueles já existentes. Com isto, os algoritmos se tornam mais capazes de interpretar as informações e capturar os padrões necessários à previsão.</p><p>Um dos processos realizados com esse conjunto de dados em específico foi o de codificação das variáveis categóricas. Lidamos com variáveis categóricas, múltiplas e binárias, que precisaram ser tratadas a partir de técnicas como <em>LabelEncoder</em> e <em>OneHotEncoder,</em> ou métodos como o <em>.getdummies()</em>.</p><p>Utilizamos o <em>LabelEncoder</em> (LE) para as variáveis binárias. A escolha decorre do fato de que o LE associa valores para cada uma das classes que, no caso binário, são os valores de 0 ou 1.</p><p>Não utilizou-se o LE para variáveis categóricas com mais de 2 valores únicos, pois ele apenas atribui valores inteiros para cada categoria na mesma coluna. Se, por exemplo, uma variável com 4 categorias únicas for codificada, teríamos valores de 0 a 3 na coluna codificada. Um algoritmo poderia interpretar, a partir desses números, alguma hierarquia de valores ou ordenamento que na realidade não existem entre as categorias.</p><p>Por esse motivo, para variáveis categóricas com mais de 2 valores únicos, utilizou-se o método <em>.getdummies(), </em>que distribui as diferentes categorias de uma determinada variável em novas colunas com valores binários. Portanto, se uma variável tiver três categorias distintas, o método criará três novas colunas, uma para cada categoria, onde os valores serão 0 ou 1 para indicar se a categoria está presente ou não em cada observação.</p><p>As Figuras 1.10 e 1.11 mostram como ficou o DataFrame processado, após a codificação das variáveis categóricas. O primeiro, dá foco nos atributos binários que passaram por LE, enquanto o segundo foca nos que tinham mais de 2 categorias.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*f7ZzlS4mRpWGRl0VSsI25w.png" /><figcaption>Figura 1.10 — DataFrame com as variáveis binárias processadas e codificadas.</figcaption></figure><p>A variável Contract, por exemplo, continha três categorias — <em>Month-to-month, Oneyear, Twoyear </em>— que se tornaram três colunas binárias independentes.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*54gQnjKKsZF26GWQenIrRg.png" /><figcaption>Figura 1.11 — Porção do mesmo DataFrame com variáveis categóricas processadas pelo método .getdummies()</figcaption></figure><p><a href="https://github.com/gabrielrflopes/Churn_Prediction/blob/main/Previs%C3%A3o_de_Rotatividade_em_uma_Empresa_de_Telecomunica%C3%A7%C3%B5es.ipynb"><em>Clique aqui para o passo-a-passo do procedimento, com o código completo.</em></a></p><h3>2. Construção dos Modelos de Machine Learning</h3><p>Nesta seção, iremos construir os modelos para previsão de rotatividade, testando vários algoritmos de classificação diferentes. O objetivo é conseguir a maior taxa de <em>recall</em>, buscando também um equilíbrio na performance relacionada a outras métricas.</p><p>A seção está dividida como segue:</p><ul><li>Balanceamento dos Dados</li><li>Modelo Baseline e Testes de Desempenho sem Otimização</li><li>Otimização de Hiperparâmetros</li><li>Desempenho nos Dados de Teste e Estatísticas Finais</li><li>Escolha do Modelo Adequado</li></ul><h4>2.1 Balanceamento dos Dados</h4><p>Em uma empresa, espera-se que o número de clientes que saíram sejam uma parcela menor da população. Sendo assim, lidamos com dados desbalanceados, tendo como classe majoritária os clientes que não praticaram <em>Churn</em>.</p><p>De fato, a Figura 2.1 mostra claramente o desbalanceamento das classes da variável-alvo. Aproximadamente 3/4 do <em>dataset </em>se refere à classe majoritária e 1/4 à minoritária.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/672/1*dgXMd2RRn60_nGesByMcjg.png" /><figcaption>Figura 2.1 — Desbalanceamento das classes da variável-alvo no conjunto de dados.</figcaption></figure><p>Para realizar o balanceamento, foi escolhido a técnica de <em>RandomUnderSampling</em>. Este método envolve a seleção aleatória e posterior remoção de exemplos na classe majoritária, até que as duas classes estejam com a mesma proporção de 50:50.</p><p>Foi escolhida essa técnica pois, com a classe minoritária representando 1/4 do dataset, temos exemplos suficientes para compor um bom subconjuntos para testes. Sendo assim, a alternativa de <em>oversampling</em>, com a criação de exemplos artificiais, não é necessária nem traria melhorias de performance significativas.</p><p>Obviamente, há um <em>trade-off</em> envolvido nessa escolha, uma vez que toda técnica de <em>undersampling</em> gera uma perda de informações do conjunto de dados usado como treino.</p><p>Antes ainda do balanceamento, foi realizada uma padronização das variáveis contínuas <em>tenure, TotalCharges </em>e<em> MonthlyCharges</em>. A padronização mapeia todos os valores dessas colunas para que a distribuição tenha média zero e desvio-padrão unitário, enquanto mantém a forma de sua distribuição.</p><p><a href="https://github.com/gabrielrflopes/Churn_Prediction/blob/main/Previs%C3%A3o_de_Rotatividade_em_uma_Empresa_de_Telecomunica%C3%A7%C3%B5es.ipynb"><em>Clique aqui para o passo-a-passo do balanceamento, com o código completo.</em></a></p><p>A Figura 2.2 mostra o resultado do balanceamento após a padronização do conjunto de teste.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/683/1*4obShkkWZoGpXelNkJHZBA.png" /><figcaption>Figura 2.2 — Resultados das classes balanceadas através da técnica de RandomUnderSampling.</figcaption></figure><h4>2.2 Modelo Baseline e Testes de Desempenho sem Otimização</h4><p>Para podermos ter uma base de comparação dos desempenhos dos diferentes modelos que serão testados, iremos construir um <strong>baseline simples</strong>. Um modelo <em>baseline</em> serve como <strong>ponto de referência para medir a performance de modelos mais complexos</strong>. Ele estabelece um nível de performance mínimo que os modelos devem ter, visto que se trata da pontuação de um modelo sem otimização alguma.</p><p>Abaixo, vamos criar uma função que utiliza dos dados de treino e de um classificador para calcular a média das pontuações de <em>recall</em> obtidas através de <strong>validação cruzada</strong>.</p><p>Os dados de treino utilizados estão desbalanceados e não-padronizados, apenas com a codificação das variáveis categóricas.</p><pre>def eval_model(X, y, clf, report = True, std = True):<br><br>  if std == True:<br><br># X: DataFrame, variáveis independentes<br># y: Series, variável-alvo<br># clf: modelo de classificador<br># report: bool, indica se a função deve imprimir ou não os resultados<br><br>    pipeline = make_pipeline(StandardScaler(), # Criar a pipeline com um passo de pré-processamento e com o modelo<br>                             clf)<br><br>    scores = cross_val_score(pipeline, X, y, scoring = &#39;recall&#39;, cv = 5) # Realizar validação cruzada com 5 dobras<br><br>    if report == True:<br>      print(f&#39;Recall {scores.mean():.2f} (+/- {scores.std():.2f})&#39;) # Imprimir resultado da média do recall<br><br>    return scores.mean() # Retorna a média dos scores da validação cruzada<br><br>  else:<br><br>    model = clf.fit(X, y)<br><br>    scores = cross_val_score(model, X, y, scoring = &#39;recall&#39;, cv = 5) # Realizar validação cruzada com 5 dobras<br><br>    if report == True:<br>      print(f&#39;Recall {scores.mean():.2f} (+/- {scores.std():.2f})&#39;) # Imprimir resultado da média do recall<br><br>    return scores.mean() # Retorna a média dos scores da validação cruzada</pre><pre>rf = RandomForestClassifier()<br><br>print(&#39;Performance do modelo de baseline&#39;)<br>score_baseline = eval_model(X_train, y_train, rf)</pre><p>Instanciamos para o teste o RandomForestClassifier sem nenhum tipo de otimização, para termos como base a performance. O resultado para a métrica de <strong><em>recall</em></strong><em> </em>foi de <strong>0,49 (+/- 0.02)</strong>, indicando uma chance de meio a meio para cada classe, nos dados desbalanceados e sem otimização.</p><p>A seguir, iremos realizar um teste de desempenho com vários modelos de classificação, buscando aqueles que melhor performam na predição de casos de rotatividade de clientes.</p><p>Dentre os modelos, iremos testar os seguintes:</p><ul><li><strong>SVC (<em>Support Vector Classifier</em>):</strong> classificador de vetores de suporte, algoritmo de aprendizado supervisionado;</li><li><strong>SGDC (<em>Stochastic Gradient Descent Classifier</em>):</strong> algoritmo de classificação linear para <em>datasets</em> grandes, baseado na técnica de gradiente descendente;</li><li><strong>DTC (<em>Decision Tree Classifier</em>): </strong>algoritmo de aprendizado supervisionado não-paramétrico para prever as classes através de regras de decisão;</li><li><strong>Regressão Logística: </strong>algoritmo de aprendizado supervisionado para classificação binária ou multi-classe, baseado em modelo estatístico;</li><li><strong>XGBC (<em>XGBoost Classifier</em>): </strong>algoritmo de impulsionamento de gradiente otimizado;</li><li><strong><em>Random Forest Classifier: </em></strong>classificador de floresta aleatória, um método de aprendizagem conjunta que combina múltiplas árvores de decisão para melhorar a classificação;</li><li><strong><em>LGBM Classifier</em> (<em>Light Gradient Boosting Machine Classifier</em>): </strong>uma estrutura de impulsionamento de gradiente voltado para alta performance e eficiência em datasets grandes.</li></ul><pre># Instanciar os modelos<br>svc = SVC()<br>sgdc = SGDClassifier()<br>dtc = DecisionTreeClassifier()<br>lr = LogisticRegression()<br>xgbc = XGBClassifier()<br>rf = RandomForestClassifier()<br>lgbm = LGBMClassifier()<br><br># Inicializar listas vazias para armazenar scores de recall e os nomes dos respectivos modelos<br>recall = []<br>model = []<br><br># Armazenar os modelos numa lista<br>models = [svc, sgdc, dtc, lr, xgbc, rf, lgbm]<br><br>for clf in models:<br>  model.append(clf.__class__.__name__) # Armazenar os nomes dos modelos em model<br>  recall.append(eval_model(X_rus, y_rus, clf, report = False, std = False)) # Armazenar os valores das médias de validação cruzada para cada modelo em recall<br><br># Armazenar os resultados em um DataFrame<br>pd.DataFrame(data = recall, index = model, columns = [&#39;Recall&#39;]).sort_values(by = &#39;Recall&#39;, ascending = False)</pre><p>A Tabela 1 abaixo mostra a média das pontuações de <em>recall</em> para os modelos de classificadores. O <em>recall</em> foi escolhido porque ele mostra a <strong>proporção de positivos classificados corretamente com relação ao total de positivos</strong>. Como queremos minimizar a rotatividade, queremos um modelo que tenha o maior <em>recall</em>, isto é, a maior taxa de verdadeiros positivos e a menor taxa de falsos negativos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/275/1*pLYrwxWfC-ws7VYESR6GiA.png" /><figcaption>Tabela 1 — Testes de desempenho com vários modelos de classificação.</figcaption></figure><p>Dessa análise, vemos que o<strong> Classificador de Vetor de Suporte (SVC)</strong> e a <strong>Regressão Logística</strong> são os modelos que apresentam maior <em>recall</em>.</p><p>Entretanto, queremos trabalhar com algoritmos que permitam maior flexibilidade na otimização de hiperparâmetros para melhora da performance. Por esse motivo, neste projeto foram testados os algoritmos de otimização <em>SGDClassifier</em> e os modelos de boost por gradiente baseados em árvores de decisão, i.e, <em>LGBMClassifier</em> e <em>XGBoost Classifier</em>.</p><p>O <em>SGDClassifier</em> é um classificador linear otimizado com a técnica de gradiente descendente estocástico (SGD). Ele tem como objetivo <strong>minimizar a função de perda de modelos de classificação linear</strong>, como Regressão Logística e SVC. Justamente por trabalhar com esse método de otimização, ele é uma escolha melhor para problemas de larga escala, em <em>datasets</em> maiores.</p><p>A busca por hiperparâmetros foi feita utilizando o <strong><em>GridSearchCV</em></strong>, que combina a técnica de <strong>validação cruzada</strong> para retornar medidas de desempenho mais precisas, realizadas sobre dobras de treino e validação balanceadas e randomizadas. Isto traz maior consistência ao teste dos modelos e sua posterior avaliação.</p><h4>2.3 Otimização de Hiperparâmetros</h4><p>A construção de modelos de<em> Machine Learning </em>nunca se apoia em apenas um algoritmo. O processo envolve a escolha de uma série de algoritmos que de alguma forma se relacionam com o problema, fornecendo uma solução. A partir da avaliação do desempenho de cada modelo, segundo uma métrica específica, escolhemos aquele mais adequado para lidar com o problema.</p><p>Com o modelo mais adequado definido, é possível melhorar ainda mais sua performance aplicando métodos que o testam sob diversas configurações de hiperparâmetros, selecionando aqueles que resultarem na melhor performance. Disto se trata a otimização de hiperparâmetros nesta seção.</p><h4><strong>2.3.1 Procedimento Realizado</strong></h4><p>Durante a otimização, foi selecionado, para cada um dos três modelos, alguns dos hiperparâmetros mais comuns e com maior impacto na performance dos respectivos algoritmos.</p><p>Em seguida, instanciamos o modelo sem nenhum tipo de otimização e criamos o primeiro dicionário de hiperparâmetros para serem utilizados no <em>GridSearchCV</em>.</p><pre># Instanciar o SGD Classifier padrão<br>sgdc = SGDClassifier(learning_rate = &#39;optimal&#39;)</pre><p>A otimização ocorreu por partes, criando dicionários com poucos hiperparâmetros. A razão disso foi que, com a realização de testes, notou-se uma tendência a <em>overfitting</em> sempre que todos os hiperparâmetros eram passados de uma vez para o <em>GridSearchCV</em>.</p><p>Cada vez que se repetia o procedimento, os dados de treino eram embaralhados utilizando a função <em>KFold</em>, que prepara os dados para validação cruzada utilizada no <em>GridSearchCV</em>. A melhor performance do modelo era exibida, juntamente com a configuração otimizada para o respectivo hiperparâmetro.</p><pre>sgdc = SGDClassifier(learning_rate = &#39;optimal&#39;)<br><br>sgdc_grid = [<br>             {&#39;alpha&#39;: [0.001, 0.01, 0.1, 1, 10, 100, 1000]}<br>            ]<br><br># Estabelecer número de dobras randomizadas com as mesmas proporções de classes<br>kfold = KFold(n_splits = 5, shuffle = True)<br># Instanciar o objeto GridSearchCV<br>grid = GridSearchCV(sgdc, sgdc_grid, scoring = &#39;recall&#39;, cv = kfold, n_jobs = -1)<br># Realizar a busca por hiperparâmetros nas variáveis de treino<br>grid_res = grid.fit(X_rus, y_rus)<br><br># Imprimir melhores resultados<br>print(f&#39;Melhor performance: {grid_res.best_score_:.3f}&#39;,<br>      f&#39;\nHiperparâmetros: {grid_res.best_params_}&#39;, &#39;\n&#39;)</pre><p>O modelo era então instanciado novamente, já com o valor para o hiperparâmetro otimizado definido. Assim, o <em>GridSearchCV</em> era rodado para uma nova otimização.</p><pre>sgdc = SGDClassifier(learning_rate = &#39;optimal&#39;, alpha = 1)<br><br>sgdc_grid = [<br>             {&#39;penalty&#39;: [&#39;l1&#39;, &#39;l2&#39;, &#39;elasticnet&#39;]}<br>            ]<br><br># Estabelecer número de dobras randomizadas com as mesmas proporções de classes<br>kfold = KFold(n_splits = 5, shuffle = True)<br># Instanciar o objeto GridSearchCV<br>grid = GridSearchCV(sgdc, sgdc_grid, scoring = &#39;recall&#39;, cv = kfold, n_jobs = -1)<br># Realizar a busca por hiperparâmetros nas variáveis de treino<br>grid_res = grid.fit(X_rus, y_rus)<br><br># Imprimir melhores resultados<br>print(f&#39;Melhor performance: {grid_res.best_score_:.3f}&#39;,<br>      f&#39;\nHiperparâmetros: {grid_res.best_params_}&#39;, &#39;\n&#39;)</pre><p><a href="https://github.com/gabrielrflopes/Churn_Prediction/blob/main/Previs%C3%A3o_de_Rotatividade_em_uma_Empresa_de_Telecomunica%C3%A7%C3%B5es.ipynb"><em>Clique aqui para o passo-a-passo da otimização, com o código completo.</em></a></p><p>Com todos os hiperparâmetros de determinado modelo otimizados, o modelo era ajustado aos dados balanceados de treino e, então, realizava-se outra validação cruzada para determinar a média de performance do modelo, com cálculo de erro por desvio-padrão.</p><pre>sgdc_final = SGDClassifier(learning_rate = &#39;optimal&#39;, alpha = 1,<br>                           penalty = &#39;l2&#39;, loss = &#39;hinge&#39;, max_iter = 200)<br><br># Ajuste do modelo<br>sgdc_final.fit(X_rus, y_rus)<br><br># Validação cruzada em 5 dobras e 10 repetições<br>kfold = RepeatedKFold()<br>scores = cross_validate(sgdc_final, X_rus, y_rus, scoring = [&#39;recall&#39;, &#39;roc_auc&#39;], cv = kfold)<br><br># Imprimir resultados das métricas de recall e AUC<br>print(&#39;Performance SGD - Treino&#39;,<br>      &#39;\nRecall: {:.3f}&#39;.format(scores[&#39;test_recall&#39;].mean()), &#39;+/-&#39;, &#39;{:.3f}&#39;.format(scores[&#39;test_recall&#39;].std()),<br>      &#39;\nAUC: {:.3f}&#39;.format(scores[&#39;test_roc_auc&#39;].mean()), &#39;+/-&#39;, &#39;{:.3f}&#39;.format(scores[&#39;test_roc_auc&#39;].std()), &#39;\n&#39;)</pre><p>Isto se fez necessário para que pudéssemos lidar com a natureza estocástica dos algoritmos de classificação sendo utilizados. Como, a cada vez que se roda o programa, temos uma nova divisão e randomização dos dados, os modelos resultam em performances ligeiramente diferentes, que precisam estar compreendidas dentro de um intervalo de valores esperados.</p><p>Assim, para cada modelo, foi possível determinar a partir dos dados de treino este intervalo que leva em conta a randomização natural que existe nos próprios dados, que é carregada para o pré-processamento e que também está presente na estrutura dos algoritmos.</p><p>Dessa forma, para a métrica recall que nos interessa, obtivemos os seguintes intervalos para cada um dos modelos com hiperparâmetros otimizados:</p><h4><strong>SGD Classifier</strong></h4><pre># Modelo SGD Final<br>sgdc_final = SGDClassifier(learning_rate = &#39;optimal&#39;, alpha = 1,<br>                           penalty = &#39;l2&#39;, loss = &#39;hinge&#39;, max_iter = 200)</pre><p><em>Recall</em>: 0.826 ± 0.018</p><h4><strong>LightGBM Classifier</strong></h4><pre># Modelo final de LightGBM<br>lgbm_final = LGBMClassifier(random_state = 100, <br>                            n_estimators = 50, learning_rate = 0.01,<br>                            subsample = 0.7, min_child_samples = 1,<br>                            min_child_weight = 0.001, max_depth = 5)</pre><p><em>Recall</em>: 0.784 ± 0.022</p><h4><strong>XGBoost Classifier</strong></h4><pre># Modelo XGBoost Final<br>xgb_final = XGBClassifier(learning_rate = 0.001,<br>                          n_estimators = 50, max_depth = 1, <br>                          min_child_weight = 1, gamma = 0.0)</pre><p><em>Recall</em>: 0.890 ± 0.014</p><h4>2.4 Desempenho nos Dados de Teste e Estatísticas Finais</h4><p>Ao aplicar os modelos sobre os dados de teste, buscamos ter o mesmo cuidado quanto a natureza estocástica dos algoritmos e a randomização natural dos dados.</p><p>Os hiperparâmetros otimizados que obtivemos no treinamento dos modelos apontam um caminho. Porém, a melhor performance para o objetivo que buscamos pode representar a variação de algum hiperparâmetro para aquele conjunto de dados específico.</p><p>Por isso, nos testes, tomou-se o cuidado de também realizar repetições, porém variando-se alguns hiperparâmetros. As repetições foram feitas manualmente e somaram um total de 10, de modo que tivéssemos uma boa amostragem para realizar o cálculo das estatísticas de média e desvio-padrão.</p><p>Alguns modelos, como o XGBoost Classifier, manteve muita consistência entre os hiperparâmetros otimizados durante o treino e durante o teste. O LightGBM e o SGD, por outro lado, tinha 2 ou 3 hiperparâmetros que variavam a cada rodada.</p><p>Contudo, essa metodologia foi capaz de reduzir as incertezas e providenciar intervalos de performance que representam robustamente cada um dos modelos. A intenção era de capturar a variabilidade intrínseca que ocorre nos algoritmos e nos dados.</p><p>Assim, após 10 repetições, obtivemos os seguintes intervalos de performance para a métrica <em>recall</em> nos dados de teste:</p><h4><strong><em>SGD Classifier</em></strong></h4><p><em>Recall</em>: 0.835 ± 0.019</p><p>A Figura 2.3 mostra a matriz de confusão para o modelo SGD nos dados de teste, em uma das repetições.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/607/1*xN_XxV_7G3g2lrqekaN-Kg.png" /><figcaption>Figura 2.3 — Matriz de Confusão para o SGD Classifier</figcaption></figure><h4><strong><em>LightGBM Classifier</em></strong></h4><p><em>Recall</em>: 0.793 ± 0.019</p><p>A Figura 2.4 mostra a matriz de confusão para o LightGBM Classifier em uma das repetições realizadas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/588/1*a0rNoIuqzwSkyYebX0NR7Q.png" /><figcaption>Figura 2.4 — Matriz de Confusão para o LightGBM Classifier</figcaption></figure><h4><strong><em>XGBoost Classifier</em></strong></h4><p><em>Recall</em>: 0.883 ± 0.022</p><p>A Figura 2.5 mostra a matriz de confusão para o XGBoost Classifier em uma das repetições nos dados de teste.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/595/1*uLldSMQ_AGtefhxlataWzA.png" /><figcaption>Figura 2.5 — Matriz de Confusão do XGBoost Classifier</figcaption></figure><p>Estes valores capturam o quanto o modelo pode variar, como função da mudança de alguns hiperparâmetros e de dados novos. Temos, portanto, resultados mais confiáveis considerando-se a natureza estocástica dos algoritmos que suportam os modelos.</p><p>Se compararmos os intervalos obtidos no treino e no teste, vamos notar que eles se sobrepõem, reafirmando a robustez da metodologia.</p><p>O resultado são três modelos de previsão de rotatividade que podem ser utilizados para diferentes objetivos, se adequando às circunstâncias impostas pelo problema de negócio em questão.</p><h4>2.5 Escolha do Modelo Adequado</h4><ul><li>O <strong>SGD Classifier</strong> apresentou uma performance equilibrada, providenciando uma boa previsão na rotatividade, com uma taxa de Falsos Negativos de aproximadamente 16% e uma taxa de Falsos Positivos entre 30 e 35%.</li><li>O <strong>LightGBM</strong> não performa tão bem quanto os outros dois na previsão de rotatividade, com uma taxa de Falsos Negativos de aproximadamente 20%. Porém, ele é melhor na distinção correta das classes, com o maior AUC dentre todos os modelos. Isso torna sua taxa de FP a menor dentre os três. Se a empresa tem a maior preocupação em não incomodar clientes já fidelizados com estratégias anti-<em>Churn</em>, então este é o modelo mais indicado.</li><li>Por fim, o <strong>XGBoost</strong> apresenta a melhor previsão de rotatividade dos modelos, com um <em>recall</em> médio de 0,88 nos testes. Isso significa que se a maior fonte de perdas de lucro da empresa for realmente do <em>Churn</em>, e ela não se importar em oferecer estratégias anti-<em>Churn</em> para cliente fiéis, então este é o modelo mais correto. Isto porque ele é mais assertivo na detecção de <em>Churn</em>, com uma baixa taxa de FN, mas uma alta taxa de FP em contrapartida.</li></ul><h3>3. Conclusão</h3><p>Este projeto buscou conhecer melhor os motivos para as taxas de rotatividade em uma empresa de telecomunicações, utilizando-se de dados históricos de seus clientes.</p><p>O <em>Churn</em> é fonte de muita preocupação para empresas dos mais diversos nichos, desde entretenimento até prestações de serviços, pois se relaciona diretamente com a perda de lucro devido à saída de clientes.</p><p>Por este motivo, é relevante utilizar dos dados para ter uma consciência situacional maior dos motivos por trás da saída de um cliente. Com a construção de modelos de <em>Machine Learning</em> através de dados históricos, a empresa é capaz de identificar os perfis dos clientes mais propensos à rotatividade e, a partir disso, tomar iniciativas voltadas para mantê-los e fidelizá-los.</p><p>A análise exploratória de dados, juntamente com a visualização, destacou os atributos mais informativos, providenciando <em>insights</em> e jogando luz na correlação entre as variáveis.</p><p>O pré-processamento foi necessário para codificar as muitas variáveis categóricas presentes no <em>dataset</em>, preparando-as para que os algoritmos de <em>Machine Learning</em> tenham uma melhor performance. O balanceamento dos dados foi realizado utilizando a técnica de <em>RandomUnderSampling</em>, igualando as proporções entre as classes.</p><p>Na construção dos modelos, foram testadas várias alternativas a partir de uma performance de baseline para a métrica <em>recall</em>. Três modelos foram escolhidos para otimização, segundo a capacidade de manipulação de seus hiperparâmetros e os objetivos do projeto. Devido a natureza estocástica dos algoritmos, fez-se necessário um cuidado estatístico com relação aos resultados decorrentes de cada treinamento, considerando cada configuração de hiperparâmetros através do GridSearchCV. Utilizou-se de cálculos estatísticos e da técnica de validação cruzada.</p><p>Tanto no treinamento quanto nos testes, as repetições asseguraram que os modelos apresentassem valores para a métrica de <em>recall</em> dentro de um intervalo confiável, garantindo mais robustez de resultados e clareza de escolha.</p><p>Os três modelos preveem a rotatividade de maneira eficiente, porém com diferenças que podem ser proveitosas segundo as circunstâncias específicas da empresa e do problema de negócios.</p><ul><li>O <strong>SGD Classifier</strong> possui uma performance equilibrada, com uma boa previsão de rotatividade, e uma taxa razoável de Falsos Negativos.</li><li>O <strong>LightGBM Classifier</strong> é o menos capaz de prever a rotatividade, com uma taxa de Falsos Negativos de aproximadamente 20%. Porém, ele é o melhor na distinção de classes e sua taxa de Falsos Positivos é a mais baixa.</li><li>Por último, o <strong>XGBoost Classifier</strong> é o melhor modelo para previsão de rotatividade, com uma taxa de quase 90%. Contudo, é o que pior performa na taxa de Falsos Positivos.</li></ul><p>Cada um dos modelos possuem pós e contras que devem ser levados em conta ao considerar a implementação num problema de negócios. Porém, o projeto mostrou um grande potencial para, a partir de dados históricos, construir modelos que preveem a rotatividade eficientemente.</p><p><strong>Obrigado pela leitura!</strong></p><p>Me acompanhe nas redes para mais artigos, insights e projetos.</p><ul><li>LinkedIn: <a href="https://www.linkedin.com/in/gabrielrflopes/">https://www.linkedin.com/in/gabrielrflopes/</a></li><li>GitHub: <a href="https://github.com/gabrielrflopes">https://github.com/gabrielrflopes</a></li><li>Instagram: <a href="https://www.instagram.com/gabrielr.lopes/">https://www.instagram.com/gabrielr.lopes/</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1d29c491ed3a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Aprendizado supervisionado aplicado à detecção de fraudes em cartões de crédito]]></title>
            <link>https://grflopes.medium.com/aprendizado-supervisionado-aplicado-%C3%A0-detec%C3%A7%C3%A3o-de-fraudes-em-cart%C3%B5es-de-cr%C3%A9dito-d74501220ec2?source=rss-b609a33bd460------2</link>
            <guid isPermaLink="false">https://medium.com/p/d74501220ec2</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[technology]]></category>
            <dc:creator><![CDATA[Gabriel Ribeiro Ferreira Lopes]]></dc:creator>
            <pubDate>Mon, 22 May 2023 18:52:06 GMT</pubDate>
            <atom:updated>2023-06-27T22:56:38.553Z</atom:updated>
            <content:encoded><![CDATA[<p><strong>Resumo — </strong><em>Este artigo mostra os resultados do projeto de aprendizado supervisionado feito com o objetivo de detectar fraudes em cartões de crédito. O conjunto de dados foi separado entre treino e teste, e dois modelos de classificação foram construídos: regressão logística e árvore de decisão. Os modelos foram antes validados no conjunto de treino e, então, tiveram seus desempenhos comparados no conjunto de teste, com novas observações. A partir disto, decidiu-se que o modelo de regressão logística é o que fornece as melhores previsões, do ponto de vista do contexto de dados e do problema de negócios em questão.</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*o85jZokOvfc59XMHbORY3w.png" /></figure><h3>Contexto do estudo</h3><p>Na era digital em que vivemos, fraudes em cartões de crédito se tornaram uma preocupação importante para instituições financeiras, empresas e, claro, para os consumidores. De acordo com estudos recentes, as fraudes representam <strong>bilhões de dólares em perdas anualmente</strong>, e o problema continua a crescer à medida que os fraudadores se tornam mais sofisticados em suas táticas.</p><p>Para combater esse problema, muitas instituições financeiras e negócios estão recorrendo a <strong>modelos de</strong> <strong>aprendizado de máquina para ajudar a detectar e prevenir transações fraudulentas nos cartões</strong>. Para isso, essas empresas vêm investindo na aquisição e mineração de uma grande quantidade de dados, para que profissionais possam implementar modelos de algoritmos avançados, capazes de analisar vastas quantidades de dados, além de identificar padrões e anomalias que possam indicar atividade fraudulenta.</p><p>Ao criar modelos de aprendizado de máquina para detectar fraudes em cartões de crédito, as empresas não somente salvaguardam suas reputações, como também garantem a integridade dos dados dos clientes, protegendo-os de perdas financeiras e danos de reputação. Com a detecção em tempo real de transações fraudulentas e legítimas, torna-se possível tomar ações imediatas frente a esse problema.</p><p>Graças à capacidade dos modelos de se adaptarem a novos dados, e aprenderem novos padrões continuamente, o investimento nessa tecnologia — sobretudo em cientistas de dados profissionais capazes de implementá-la — torna-se essencial e até mesmo obrigatório.</p><p>À medida que a economia digital cresce, por vezes mais rapidamente do que preveem as projeções, a necessidade de ferramentas eficazes na detecção e prevenção de fraudes se tornará ainda mais crítica, e os modelos de aprendizado de máquina desempenharão um papel crucial na abordagem desse problema.</p><p><strong>Este artigo tem como objetivo, portanto, caminhar o leitor pelo processo de construção de modelos de <em>Machine Learning </em>do zero — visando a detecção fraudes em cartões de crédito através do aprendizado supervisionado.</strong></p><h3>Sobre o conjunto de dados</h3><p>O conjunto de dados utilizado neste projeto consiste de transações realizadas na Europa em setembro de 2013, correspondendo a dois dias de coleta de dados e um total de 284 mil exemplos.</p><p><strong>Dimensões do conjunto original</strong></p><ul><li>Entradas: 284807</li><li>Variáveis: 31</li></ul><p>Para a construção dos modelos, os dados foram divididos entre <strong>conjuntos de treino e teste</strong>, numa proporção de <em>80:20</em>, ou seja, 80% do conjunto original se destinou ao treino, enquanto 20% ficou reservado para testes.</p><p>As dimensões dos conjuntos de treino e teste são as seguintes:</p><p><strong>Treino (80%)</strong></p><ul><li>Entradas: <strong>227846</strong></li><li>Variáveis: <strong>31</strong></li></ul><p><strong>Teste (20%)</strong></p><ul><li>Entradas: <strong>56961</strong></li><li>Variáveis: <strong>31</strong></li></ul><p>O conjunto de treino servirá não somente para construir o modelo, como também para validá-lo com observações que não fizeram parte do ajuste. Dessa forma, garantimos que o modelo terá um potencial de generalização maior quando se deparar com dados novos. Sendo assim, dividimos o conjunto de treino em subconjuntos de ajuste e validação, na mesma proporção <em>80:20</em>.</p><p>A Figura 1.1 abaixo ilustra como ficaram as divisões dos dados para este projeto.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*z5NrVX_ebNgjixJwmFvEFg.png" /><figcaption>Figura 1.1 — Divisão dos dados do conjunto original entre treino e teste.</figcaption></figure><h4>Dicionário de variáveis</h4><ul><li>Time - Tempo transcorrido desde o início da coleta de dados;</li><li>Amount - Valores das transações;</li><li>Class - Variável-alvo que define se uma transação foi fraudulenta ou não: <strong>Normal = 0</strong>, <strong>Fraude = 1</strong>;</li><li>(V1, V2, …, V28) - Valores que caracterizam as transações, obtidos a partir da transformação <strong>PCA</strong>, uma técnica de redução de dimensionalidade que visa, nesse contexto, preserva a confidencialidade de dados dos clientes.</li></ul><h3>Objetivos do projeto</h3><p>Neste projeto, buscamos analisar os dados das transações para construir modelos de Machine Learning que sejam capazes de prever fraudes para novos dados de forma efetiva.</p><p>Para isso, é necessário que:</p><ul><li>Seja feita uma <strong>análise exploratória</strong> visando conhecer a <strong>distribuição e características gerais dos dados</strong>;</li><li><strong>Avaliar se o conjunto de dados precisa ser balanceado</strong>, de modo que o modelo resultante saiba <strong>identificar corretamente os padrões</strong> que representam transações normais e fraudulentas;</li><li>O modelo seja treinado utilizando métodos de classificação e otimização que garantam o <strong>equilíbrio com relação a sobreajustes e à generalização para novos dados</strong>, de modo a manter a complexidade em um grau aceitável.</li></ul><p>Em resumo, iremos:</p><ul><li>Entender as distribuições e padrões que os dados oferecem;</li><li>Balancear as classes meio a meio (50:50), com a mesma proporção de exemplos de transações legítimas e fraudulentas;</li><li>Determinar os modelos de classificadores que serão utilizados;</li><li>Ajustar os dados de treino para construção do modelo, e testá-lo com dados novos do conjunto de testes;</li><li>Comparar o desempenho de cada modelo.</li></ul><h3>Análise Exploratória dos Dados</h3><p>A análise exploratória tem como objetivo investigar as distribuições dos dados e visualizar padrões visíveis nas variáveis. Assim, é possível obter uma noção melhorada do contexto dos dados, além de definir os atributos mais informativos para a construção do modelo.</p><h4>Dados desbalanceados</h4><p>Numa análise inicial, foi observado que o <em>dataset</em>, constituído apenas de variáveis numéricas, não possui nenhum valor ausente para as 31 variáveis. Contudo, <strong>os exemplos que definem cada classe são altamente desbalanceados</strong>, como se pode ver na Figura 1.2.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/630/1*S5uHc1BlOqg7KcxWtxikyQ.png" /><figcaption>Figura 1.2 — Desbalanceamento dos dados.</figcaption></figure><p>A classe majoritária, que descreve as transações legítimas, constitui <strong>227455</strong> entradas, ou <strong>99,83%</strong> do <em>dataset</em>. A classe minoritária, que corresponde às transações fraudulentas, possui <strong>391 </strong>exemplos, ou <strong>0,17%</strong> do conjunto.</p><p>Assim, nota-se que os dados necessitam de balanceamento antes de iniciar a construção de modelo. Se isto não acontecer, o modelo não será capaz de identificar razoavelmente os padrões que se referem à classe minoritária. Isto acarreta uma <em>performance </em>baixa por parte do classificador para detectar fraudes, uma vez que ele irá identificar a maioria dos exemplos como sendo da classe majoritária. Um modelo construído assim tende a sofrer com sobreajuste em excesso, memorizando as respostas e com baixa capacidade de generalização para novos dados.</p><h4>Análise da Variável ‘Time’</h4><p>Em seguida, analisamos a <strong>distribuição das classes ao longo do tempo, com relação à frequência das transações</strong>. A ideia aqui é de identificar padrões no tempo que diferenciem as ocorrências normais daquelas que caracterizam fraude. A Figura 1.3 mostra essa distribuição durante o período de 48 horas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/712/1*KzPyRFC0_rmqoyJAzgFqHQ.png" /><figcaption>Figura 1.3 — Frequência de transações para cada classe ao longo do tempo.</figcaption></figure><p>Note que a classe normal (em azul) segue um padrão no tempo, com acúmulo de transações ocorrendo em momentos específicos do dia, provavelmente relacionados ao horário comercial. Em contrapartida, as fraudes (em vermelho) ocorrem em tempos aleatórios, indicando um comportamento anormal e imprevisível.</p><p>A Figura 1.4 ilustra mais essa diferença observada, através do ajuste do estimador gaussiano sobre os dados.</p><p>O estimador de densidade gaussiano é uma técnica estatística de ajuste sobre dados cuja distribuição é desconhecida. Para isso, o estimador tenta ajustar uma curva de probabilidade gaussiana sobre cada observação e, depois, soma as contribuições individuais para obter uma estimativa da distribuição de densidade total.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/712/1*aKmlmN6Z5iMIRn_rxXPv5g.png" /><figcaption>Figura 1.4 — Frequência das transações utilizando o estimador gaussiano para ajustar as distribuições.</figcaption></figure><blockquote>Para ver detalhes da construção desse gráfico, utilizando as bibliotecas Matplotlib e Scipy, <a href="https://github.com/gabrielrflopes/credit_card_fraud_detection/blob/main/Detec%C3%A7%C3%A3o_de_Fraudes_em_Cart%C3%B5es_de_Cr%C3%A9dito.ipynb">clique aqui</a>.</blockquote><p>Com o estimador gaussiano, fica mais claro como as distribuições dos dados de transações se diferem no tempo. A função tem muito mais facilidade de lidar com a variabilidade dos dados na classe <strong>Normal</strong>, se comparado com a classe de <strong>Fraude</strong>.</p><p>Com essa análise, podemos constatar que a variação dos dados para cada classe com relação ao tempo é um ótimo atributo informativo para a construção do modelo.</p><h4>Análise da Variável ‘Amount’</h4><p>A variável <em>Amount</em> nos informa com relação ao valor das transações realizadas no período. A Figura 1.5 compara as distribuições dos valores das transações entre as classes que representam as transações legítimas (<strong>Normal)</strong> e fraudulentas (<strong>Fraude)</strong>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/989/1*a19IQe0l8N50PzFNws_QLg.png" /><figcaption>Figura 1.5 — Distribuição dos valores das transações, em escala absoluta, para as classes de transações normais e fraudulentas.</figcaption></figure><p>As escalas dos gráficos foram mantidas no mesmo intervalo para melhor comparação. Note que as transações normais se concentram em valores baixos, assim como as ilegítimas. Contudo, há maior ocorrência de transações no intervalo que varia de aproximadamente €250 até €1000 no caso das fraudes, além de que, entre €1000 e €1500, existem mais transações fraudulentas que não ocorrem na classe normal.</p><p>Para avaliar as diferenças estatísticas entre as duas classes com relação à variável <em>Amount</em>, a Figura 1.6 mostra os respectivos <em>boxplots</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/630/1*CMHT0aTTE6W22_-h3uwavQ.png" /><figcaption>Figura 1.6 — Boxplots para a variável Amount</figcaption></figure><p>Os <em>boxplots</em> acima mostram algumas diferenças estatísticas entre as classes com relação à variável <em>Amount</em>. Note que as transações normais apresentam média menor com relação aos casos de fraude (€88,6 contra €125,6). A média no gráfico é representada pelo triângulo acima do limite superior de cada <em>boxplot</em>.</p><p>Além disso, quando comparado com a classe de <strong>Fraude</strong>, o intervalo entre quartis (IQR) para a classe <strong>Normal</strong> é menor, assim como o valor máximo do limite superior do IQR.</p><p>Por fim, o fato de haver muitos <em>outliers</em> para ambas as classes significa que devemos fazer algum tipo de <strong>padronização sensível a <em>outliers</em></strong> para esses dados, antes de implementarmos o modelo. A normalização é importante por alguns motivos. Dentre eles, destacamos três:</p><ol><li><strong>Outliers podem influenciar desproporcionalmente os dados </strong>— Como os valores extremos desviam muito do intervalo padrão dos dados, sua presença no treinamento do modelo pode levar ao enviesamento dos resultados;</li><li><strong>A padronização facilita a comparação entre atributos — </strong>Os modelos muitas vezes combinam atributos para fazer uma previsão. Se cada atributo individual se encontra numa escala, fica difícil para o modelo medir a importância relativa entre eles;</li><li><strong>Melhorar a performance do modelo</strong> — Ao garantir escalas consistentes e reduzir o impacto que os <em>outliers</em> têm sobre o viés do modelo, é possível obter melhores performances, com um treinamento mais efetivo e maior convergência dos resultados.</li></ol><p>Com esse tipo de cuidado, o modelo será capaz de aprender mais eficientemente e realizar melhores predições.</p><p>Em suma, a variável <em>Amount</em> apresenta padrões nos dados que distinguem as duas classes, sendo um atributo informativo relevante para a construção do modelo.</p><h4>Correlação entre as componentes principais</h4><p>Agora vamos explorar as correlações existentes entre as componentes principais, que carregam a maior parte das informações estatísticas sobre as transações.</p><p>Para realizar essa visualização, utilizamos a <strong>Estimativa de Densidade Kernel (KDE)</strong> para as duas classes da variável-alvo.</p><p>A Estimativa de Densidade Kernel é uma maneira não-paramétrica de estimar a função densidade de probabilidade de uma variável aleatória. No contexto de detecção de anomalias no uso cartões de crédito, <strong>a KDE é útil para visualizar e comparar a distribuição de diferentes variáveis, em diferentes períodos de tempo ou grupo de transações, como é o nosso caso</strong>.</p><p>Ao sobrepor os plots da KDE, é possível identificar rapidamente variações na distribuição de probabilidades subjacente que pode ser indicativo de uma mudança nos padrões ou no comportamento.</p><p>Aplicada às componentes principais, podemos estimar, portanto, a distribuição de probabilidade do conjunto de dados em um espaço de menor dimensão. Por exemplo, podemos identificar regiões de alta densidade da classe que determina fraude e que distoa da distribuição para a classe normal. Isto pode ser indicativo de que aquele atributo é mais informativo para previsão de fraudes do que outros.</p><p>A Figura 1.7 mostra a correlação entre as componentes principais.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KvRClwwPyBvuK17Mo0fRGg.png" /><figcaption>Figura 1.7 — Correlação entre as componentes principais V1, V2, …, V28.</figcaption></figure><p>A partir da análise dos gráficos acima, podemos distinguir aquelas variáveis em que as classes tem uma maior correspondência, daquelas em que as classes distoam o suficiente para sugerir uma atividade incomum.</p><p>Conforme explicado anteriormente, quanto maior for essa discrepância entre as probabilidades subjacentes, maiores são as chances daqueles atributos serem bons preditores de fraudes para o modelo de aprendizagem de máquina.</p><p>Note que as componentes mais <strong>discrepantes</strong> são a <em>V3, V4, V10, V11, V12, V14, V16, V17 e V18</em>. Ao observarmos essas variáveis, nota-se que as curvas das duas classes dificilmente se sobrepõem, estando ou deslocadas entre si ou espalhadas com relação à média.</p><p>Por outro lado, as que mais estão <strong>coincidentes</strong> são a <em>V6, V13, V15, V22, V25, V26</em> e <em>V28</em>. Para essas variáveis, temos que as duas curvas são correspondentes até certo grau.</p><h3>Resumo da Análise Exploratória</h3><p>O conjunto de dados é composto de variáveis numéricas que caratacterizam transações de cartões de crédito. Os atributos passaram por uma redução de dimensionalidade através da técnica do <strong>PCA</strong> (Principal Component Analysis), com o intuito de manter o sigilo de dados e a confidencialidade dos compradores.</p><p>Apenas as variáveis <em>Time, Amount</em> e <em>Class</em> não foram transformadas pelo <strong>PCA</strong>, mantendo suas características originais. A variável-alvo é <em>Class</em> e classifica as transações entre normais (<strong>0</strong>) e fraudulentas (<strong>1</strong>).</p><ul><li>O conjunto de dados não possui valores nulos;</li><li>O conjunto é altamente desbalanceado, com 99,83% de transações normais e 0,17% de fraudes;</li><li>As variáveis <em>Time</em> e <em>Amount </em>apresentam <em>outliers</em> que deverão ser tratados para a construção do modelo;</li><li>Destacou-se alguns atributos mais informativos para a construção do modelo.</li></ul><h3>Preparação dos dados</h3><p>Nesta etapa, iremos realizar três procedimentos de preparação de dados:</p><ol><li>Padronizar as variáveis Time e Amount, para que sejam robustas a <em>outliers</em>;</li><li>Dividir os dados do conjunto de treino entre ajuste e validação;</li><li>Balancear em meio a meio os exemplos das duas classes.</li></ol><h4>Padronização das variáveis</h4><p>Como vimos anteriormente, as duas variáveis apresentam <em>outliers</em> que não queremos que influenciem na construção do modelo, enviesando qualquer tipo de identificação de padrões e posterior classificação. Por esta razão, iremos utilizar uma técnica de<strong> normalização robusta a <em>outliers</em></strong>.</p><p>Iremos utilizar o RobustScaler da biblioteca Scikit-Learn. O RobustScaler usa a mediana e o IQR para normalizar os dados, lidando com os valores extremos. Com isto, espera-se que o modelo tenha uma performance melhorada, já que todas as variáveis estaram numa escala comparável e não enviesada.</p><p>Abaixo, o código em Python para implementar o RobustScaler:</p><pre>from sklearn.preprocessing import RobustScaler<br><br># Criando uma cópia do DataFrame limpo<br>df_clean = df.copy()<br><br># Criando o objeto a partir da classe RobustScaler<br>rob_scaler = RobustScaler()<br><br># Ajustar os dados de Time e Amount para a normalização robusta a outliers<br>df_clean[&#39;norm_time&#39;] = rob_scaler.fit_transform(df_clean[&#39;Time&#39;].values.reshape(-1, 1))<br>df_clean[&#39;norm_amount&#39;] = rob_scaler.fit_transform(df_clean[&#39;Amount&#39;].values.reshape(-1, 1))<br><br># Excluindo as duas colunas não normalizadas<br>df_clean.drop([&#39;Time&#39;, &#39;Amount&#39;], axis = 1, inplace = True)<br><br># Reposicionar as colunas das variáveis normalizadas, para as primeiras posições do DataFrame<br>norm_time = df_clean[&#39;norm_time&#39;]<br>norm_amount = df_clean[&#39;norm_amount&#39;]<br><br>df_clean.drop([&#39;norm_time&#39;, &#39;norm_amount&#39;], axis = 1,  inplace = True)<br><br># Posicionando as colunas nas primeiras posições do dataframe<br>df_clean.insert(0, &#39;Norm_Time&#39;, norm_time)<br>df_clean.insert(1, &#39;Norm_Amount&#39;, norm_amount)<br><br>df_clean.head()</pre><p>A Figura 1.8 abaixo mostra o resultado antes (a) e depois (b) da transformação para as 5 primeiras entradas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/385/1*uVgoZieUXGcxhHgkEmXxvA.png" /><figcaption>Figura 1.8 — Resultado da padronização das variáveis Time e Amount através do RobustScaler. (a) Antes; (b) depois.</figcaption></figure><h4><strong>Divisão dos dados para ajuste e validação</strong></h4><p>Em seguida, foram divididos os dados do conjunto de treino de modo a definir as variáveis que serão utilizadas no ajuste e na validação dos modelos de classificação. Para isso, utilizou-se a função train_test_split do módulo sklearn.model_selection.</p><p>Todas as variáveis <em>X </em>representam a matriz de atributos (ou<em> feature matrix)</em>, enquanto as variáveis<em> y </em>representam o alvo, com a classe determinada para os respectivos exemplos. O código abaixo mostra a divisão.</p><pre>from sklearn.model_selection import train_test_split<br><br># Separar os dados entre a matriz de atributos e a variável-alvo<br>X = df_clean.drop(&#39;Class&#39;, axis = 1)<br>y = df_clean[&#39;Class&#39;]<br><br># Instanciar a função que divide os dados entre os conjunto de treino e teste, <br># armazenando-os nas respectivas variáveis<br>X_train, X_val, y_train, y_val = train_test_split(X, y, <br>                                                  test_size = 0.2, <br>                                                  shuffle = True, stratify = y)</pre><p>Com os argumentos <em>‘shuffle’</em><strong> </strong>e <em>‘stratify’</em>, nosso objetivo é, respectivamente, embaralhar randomicamente os dados antes da divisão e manter a proporção da variável-alvo em ambos os conjuntos de ajuste e validação.</p><p>As dimensões dos conjuntos de ajuste e validação são as seguintes:</p><p><strong>Ajuste:</strong></p><ul><li>X_train: <strong>(182276, 30)</strong></li><li>y_train: <strong>(182276, )</strong></li></ul><p><strong>Validação:</strong></p><ul><li>X_val: <strong>(45570, 30)</strong></li><li>y_val: <strong>(45570, )</strong></li></ul><h4>Balanceamento dos dados</h4><p>Por fim, precisamos balancear o conjunto de treino para que o modelo seja capaz de detectar padrões e tomar decisões sem ser afetado por problemas de sobreajuste, enviesando os resultados para a classe majoritária.</p><p>Em vista disso, iremos utilizar uma técnica de <em>undersampling</em> aleatório, ou seja, de<strong> redução da amostragem da classe majoritária</strong>, até que tenhamos um número equivalente de exemplos de transações normais e fraudulentas.</p><p>Abaixo, importamos a função RandomUnderSampler a partir do módulo imblearn.under_sampling. O <em>RandomUnderSampler</em> <strong>remove exemplos existentes da classe majoritária, de modo que cada ponto tenha a mesma probabilidade de ser removido</strong>. O <em>trade-off</em> dessa abordagem é a perda de informação por redução da amostragem na classe majoritária.</p><pre><br>from imblearn.under_sampling import RandomUnderSampler<br><br># Definindo o objeto RandomUnderSampler()<br>rus = RandomUnderSampler()<br><br># Aplicando o undersampling nos conjuntos de treino da matriz de atributos e da variável-alvo<br>X_rus, y_rus = rus.fit_resample(X_train, y_train)<br><br>print(&#39;Dimensões do conjunto de treino após o Undersampling:&#39;,<br>      &#39;\nX_rus:\t&#39;, X_rus.shape,<br>      &#39;\ny_rus:\t&#39;, y_rus.shape)</pre><p>As dimensões do conjunto de ajuste após o <em>Undersampling</em>:</p><ul><li>X_rus: <strong>(626, 30)</strong></li><li>y_rus: <strong>(626, )</strong></li></ul><p>Na Figura 1.9, é possível comparar as mudanças nos dados com relação às classes. Utilizamos duas componentes principais (V13 e V15) que se mostraram fortemente correlacionadas, visualizando a proporção das duas classes da variável-alvo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/979/1*S9JOVYul7EaMAr77RXlNaQ.png" /><figcaption>Figura 1.9 — Comparando o efeito da redução de dimensionalidade nas proporções de exemplos para cada classe (Normal = 0, Fraude = 1)</figcaption></figure><p>Fica evidente que, antes, a maioria dos pontos correspondiam à classe <strong>Normal</strong>, e depois os dados ficaram balanceados, com os pontos em vermelho (<strong>Fraude</strong>) ficando mais evidentes.</p><p>A Figura 1.10 coloca esses resultados num gráfico de barras que mostra claramente o balanceamento meio a meio.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/630/1*w1YKG20l6101GXdJDOyBJQ.png" /><figcaption>Figura 1.10 — Balanceamento entre as classes Normal (0) e Fraude (1), numa proporção meio a meio para o conjunto de dados de ajuste.</figcaption></figure><h4>Matrizes de correlação</h4><p>Para finalizar esta seção, vamos comparar as matrizes de correlação antes, com dados desbalanceados, e depois, com os dados balanceados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8H80i2BLDtUhS83nYHY9jg.png" /><figcaption>Figura 1.11 — Matrizes de correação para dados desbalanceados (à esquerda) e para dados balanceados (à direita). Note a grande diferença na detecção de correlações entre as componentes principais.</figcaption></figure><p>A diferença entre as duas matrizes é muito grande. À esquerda, para dados desbalanceados, vemos que é muito difícil identificar qualquer correlação entre as componentes principais, que fornecem de fato os dados necessários para a detecção de fraudes.</p><p>Na matriz para dados balanceados, nota-se que a resolução para identificação de padrões melhorou grandemente. É possível distinguir as componentes principais correlacionadas positiva e negativamente. Do ponto de vista da construção do modelo de aprendizado de máquina, essa distinção será crucial para uma boa performance, sem excesso de complexidade e sobreajuste.</p><h3>Construção do modelo de Regressão Logística</h3><p>Agora que já temos uma visão geral do conjunto, com os dados preparados e balanceados, podemos prosseguir para a construção dos modelos. O primeiro será o de regressão logística.</p><p>Para a construção do modelo de regressão logística, iremos utilizar o módulo sklearn.linear_model, selecionando a função <em>LogisticRegression</em>.</p><p>A Regressão Logística é baseada na função sigmoide, e aceita relações não-lineares entre as variáveis para prever um resultado de classificação binária, que reside entre 0 e 1. A função sigmoide é definida da seguinte forma:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/181/1*LpKzRD_bW_Q7kngir25MPA.png" /></figure><p>em que <em>z</em> é uma combinação linear das variáveis independentes, com seus coeficientes ajustados pelo modelo. Todo valor que a função <em>z</em> assume é mapeado dentro do intervalo de probabilidades, entre 0 e 1, definido por <em>p(x)</em> para novas observações.</p><p>As bibliotecas utilizadas foram as seguintes:</p><pre># Importando as bibliotecas para ajuste do modelo e avaliação de desempenho<br>from sklearn.linear_model import LogisticRegression<br>from sklearn.metrics import confusion_matrix<br>from sklearn.metrics import roc_auc_score, roc_curve, accuracy_score, log_loss<br>from sklearn.metrics import classification_report</pre><p>Com as bibliotecas de regressão logística e as métricas para avaliar seu desempenho importadas, vamos prosseguir com a construção do modelo. Na seção anterior, já realizamos três passos importantes nesse procedimento, que foram (1) a padronização das variáveis <em>Time</em> e <em>Amount</em>, (2) a divisão dos dados para ajuste e validação e (3) o balanceamento dos subconjuntos.</p><pre># Instanciar o modelo<br>model_1 = LogisticRegression(random_state = 42)<br><br># Realizar o fit do modelo nos dados de treinamento balanceados<br>model_1.fit(X_rus, y_rus)<br><br># Utilizar o modelo para fazer previsões com os dados de validação<br>y_pred_1 = model_1.predict(X_val)<br><br># Estimar probabilidade de classe<br>y_proba_1 = model_1.predict_proba(X_val)</pre><p>Realizamos os seguintes passos no código acima: primeiro, instanciamos o modelo de regressão logística. Em seguida, fizemos o ajuste sobre os dados de treinamento balanceados (<em>X_rus, y_rus</em>) e, por fim, fizemos o modelo prever as classes dos novos exemplos (<em>y_pred_1</em>), bem como a probabilidade deles pertencerem à classe determinada (<em>y_proba_1</em>).</p><p>Para avaliar o desempenho do modelo de regressão logística, vamos visualizar a matriz de confusão, identificando a taxa de erros e acertos, de falsos positivos e falsos negativos. Essa fase é crucial, uma vez que iremos determinar a qualidade do modelo segundo nossos objetivos e a solução desejada para o problema de negócios específico.</p><p>A Figura 1.12 mostra a matriz de confusão para o modelo de regressão logística.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/497/1*1Hf2bBkpHaiqCbB20VmaQA.png" /><figcaption>Figura 1.12 — Matriz de confusão para o modelo de regressão logística em dados balanceados. A taxa de acertos foi de 96%, enquanto a taxa de erros ficou em torno de 4% tanto para falsos positivos quanto para falsos negativos.</figcaption></figure><p>De modo geral, o modelo teve uma ótima taxa de acertos, prevendo corretamente 96% das transações fraudulentas. Na classe majoritária, ele também conseguiu prever 96% das transações legítimas, que é um ótimo sinal de que o modelo consegue distinguir muito bem entre as classes da variável-alvo.</p><p>No contexto de problemas de negócios, devemos nos atentar à taxa de <strong>Falsos Positivos</strong> (FP) e <strong>Falsos Negativos</strong> (FN).</p><ul><li>Falsos Positivos (FP): 4%</li><li>Falsos Negativos (FN): 4%</li></ul><p>Este modelo resultou na mesma proporção de FP e FN. Cada um desses erros tem implicações distintas que serão sentidas pela empresa. Se a taxa de FP é muito alta, haverá situações de muitos cartões sendo bloqueados sem haver fraude, ocasionando problemas de má experiência do usuário.</p><p>Por outro lado, se a taxa de FN for alta, teremos situações de fraudes identificadas como transações legítimas, que lesam os clientes e fazem a empresa perder confiabilidade, podendo levá-la até a processos judiciais.</p><p>Neste caso, o modelo performou muito bem em ambos os erros para os dados de validação.</p><h4>Relatório de classificação do modelo de regressão logística</h4><p>Além da análise de erros e acertos através da matriz de confusão, utilizamos também métricas de avaliação baseadas na acurácia, área sob a curva e perda logística do modelo. Aplicando as funções do módulo sklearn.metrics obtivemos:</p><ul><li>Acurácia: <strong>95,8%</strong></li><li>AUC: <strong>96,0%</strong></li><li>Log Loss: <strong>16,2%</strong></li></ul><p><strong>O modelo teve um ótimo desempenho segundo as métricas</strong>.</p><p>A <strong>acurácia</strong> alta mostra que o modelo faz uma boa previsão das classes, detectando corretamente 95,8% das transações e, como os dados são balanceados, essa métrica é mais confiável como indicativo do desempenho do modelo.</p><p>A <strong>AUC (<em>Area Under the Curve</em>)</strong> mede a capacidade do modelo distinguir entre casos positivos e negativos. Ela varia de 0 a 1, sendo o valor máximo indicativo de um classificador perfeito. Neste caso, o valor de 96% indica que o modelo tem uma boa capacidade de diferenciar entre transações legítimas e fraudulentas.</p><p>Por último, o<strong> <em>Log Loss</em> (Perda logística)</strong> mostra o desempenho do modelo em termos das probabilidades de classe previstas. Quanto mais próximo de zero, melhor o desempenho do modelo e, neste caso, ele está relativamente baixo em 16,2%.</p><p>Por último, se avaliamos o intercepto ajustado pelo modelo, temos uma medida do viés, que indica a probabilidade-base de uma nova observação ser classificada como um caso positivo (<strong>Fraude</strong>), desconsiderando as outras variáveis.</p><p>Obtivemos, para este modelo, um intercepto de -3,24 que corresponde a uma probabilidade-base de <strong>3,8%</strong>. Ou seja, dada uma nova observação, ela será classificada como <strong>Normal </strong>96,2% das vezes, desconsiderando os pesos das outras variáveis.</p><h4>Modelo de regressão logística em dados desbalanceados</h4><p>Apenas para motivos de comparação, podemos verificar a matriz de confusão num modelo de regressão logística construído a partir dos dados desbalanceados. A Figura 1.13 mostra o resultado.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/497/1*MM2gViBe5nc3_g0ndtWRaA.png" /><figcaption>Figura 1.13 — Matriz de confusão do modelo de regressão logística para os dados desbalanceados. Note que o modelo sobreajustou os dados da classe majoritária, resultando em 100% de acertos. Já para a classe minoritária, ele obteve 56% dos acertos e uma taxa de falsos negativos de 44%.</figcaption></figure><p>Discutimos anteriormente que a necessidade da preparação dos dados, com seu balanceamento, se dava para evitar o sobreajuste na classe majoritária. Como a ocorrência de fraudes corresponde a uma proporção muito pequena das transações, é claro que o modelo ajustado sobre dados desbalanceados favoreceu a classificação da classe <strong>Normal</strong>.</p><p>Porém, isto não é sinal de que o modelo é bom, ou seja, capaz de obter a mesma taxa de acertos para novas observações. O excesso de exemplos e acertos para as transações legítimas se reflete num excesso de erros e falsos negativos para a classe minoritária. Sendo assim, um modelo como esse se mostraria incapaz de fazer generalizações e previsões confiáveis.</p><p>As métricas mostram claramente a tendência de sobreajuste e a baixa capacidade de generalização:</p><ul><li>Acurácia: <strong>99,9%</strong></li><li>AUC: <strong>78,2%</strong></li><li>Log Loss: <strong>0,4%</strong></li></ul><p>A <strong>AUC </strong>indica que esse modelo é pior ao distinguir entre as classes, dados novos exemplos. Calculando a probabilidade-base através do intercepto, poderemos constatar que a probabilidade de uma nova observação ser <strong>Fraude </strong>é de apenas 0,0176%, desconsiderando o peso das outras variáveis.</p><p>Isso demonstra empiricamente que os dados desbalanceados forçaram o viés do modelo para identificar a classe majoritária, resultando em um problema clássico de sobreajuste.</p><h3>Construindo o modelo de árvore de decisão</h3><p>Vamos construir um segundo modelo de classificação baseado no algoritmo da árvore de decisão.</p><p>No caso dos modelos de árvore de decisão, é necessário definir a profundidade máxima da árvore, para que o modelo não seja desnecessariamente complexo e sofra sobreajuste ao tentar subdividir os nós-folhas da árvore até que sejam puros.</p><p>Para decidir qual profundidade a árvore deve ter, vamos utilizar a técnica de <strong>validação cruzada</strong>.</p><pre>from sklearn.tree import DecisionTreeClassifier<br>from sklearn.model_selection import cross_val_score<br><br>depths = range(1, 11)<br>mean_scores = []<br><br>for depth in depths:<br>  model_3 = DecisionTreeClassifier(criterion = &#39;entropy&#39;, max_depth = depth, random_state = 42)<br>  scores = cross_val_score(model_3, X_rus, y_rus, cv = 5)<br>  mean_score = np.mean(scores)<br>  mean_scores.append(mean_score)</pre><p>Com o código acima, podemos ter uma amostragem das acurácias do modelo testando diferentes profundidades. Para isto, avalia-se a média da pontuação obtida em cada dobra usada na validação cruzada.</p><p>A Figura 1.14 mostra o resultado dessa análise.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/630/1*CaCB0hmlz5gheCmzASmVkQ.png" /><figcaption>Figura 1.14 — Análise da profundidade da árvore de decisão, utilizando a média da pontuação obtida na validação cruzada. Para este modelo, utilizaremos a profundidade máxima igual a 4.</figcaption></figure><p>Implementando o modelo nos dados de ajuste balanceados, utilizando como critério de decisão o grau de entropia dos nós, obtivemos a árvore mostrada na Figura 1.15.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yJJ-3MNFqlhxf07YfmPhvA.png" /><figcaption>Figura 1.15 — Árvore de decisão para a detecção de fraudes em cartões de crédito.</figcaption></figure><p>Como é possível notar, a árvore não é complexa demais, com excesso de galhos e decisões, nem sofre de sobreajuste, com nós-folhas puros demais. Certamente, se a profundidade da árvore fosse maior, a complexidade seria aumentada e, como pudemos ver, a acurácia diminuiria.</p><p>Em seguida, a Figura 1.16 mostra a matriz de confusão para este modelo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/497/1*I68-jTZldWar-QVw1CM0dQ.png" /><figcaption>Figura 1.16— Matriz de confusão para o modelo de árvore de decisão.</figcaption></figure><p>A árvore de decisão obteve uma taxa de 96% de acertos para transações legítimas e 90% para fraudes. A taxa de falsos positivos e falsos negativos ficou em 4% e 10%, respectivamente. O desempenho para detecção de fraudes e falsos negativos é pior que o modelo de regressão logística, que obteve 96% de acertos para transações fraudulentas.</p><p>Avaliando as métricas, obtemos:</p><ul><li>Acurácia: <strong>96,3%</strong></li><li>AUC: <strong>93,0%</strong></li></ul><p>Ou seja, apesar de ter mais acurácia que o modelo de regressão logística, a AUC mostra que a árvore é menos capaz de distinguir entre as classes, resultando numa taxa de erros maior para falsos negativos.</p><p>No contexto do problema de negócio que queremos solucionar, isto poderia reduzir as incidência de fraude, porém teríamos ainda 10% dos casos não sendo detectados, causando perdas aos clientes.</p><h3>Avaliando os modelos no conjunto de testes</h3><p>Agora que temos os dois modelos construídos e validados, podemos testá-los com novas observações, utilizando o conjunto de teste reservado desde o início do projeto.</p><p>Este conjunto passou pelos mesmos procedimentos de padronização das variáveis, de modo que os dados sejam coerentes. Além disso, os dados foram divididos da mesma forma entre a matriz de atributos (<em>feature matrix</em>) e a variável-alvo.</p><p>Para relembrar, o conjunto de teste representa 20% do conjunto original, com 57 mil novas observações para o modelo. A Figura 1.17 mostra as matrizes de confusão resultantes da implementação dos modelos sobre os dados novos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TLqS-NdBanfsH47fBLhP5w.png" /><figcaption>Figura 1.17 — Matriz de confusão para os modelos de regressão linear (à esquerda) e árvore de decisão (à direita) sobre os dados de teste.</figcaption></figure><p>Fica claro que o modelo de regressão logística obteve maior sucesso, com uma taxa de acertos de 96% para transações normais e de 95% para fraudes. A taxa de falsos positivos e falsos negativos se mantiveram baixas, em 4% e 5% respectivamente.</p><p>A árvore de decisão obteve a mesma proporção de acertos para transações normais, de 96%. Porém, a taxa de falsos negativos aumentou para 11% nos dados de teste, e a detecção de fraudes foi acertada em 89% dos casos.</p><p>Avaliando as métricas de desempenho, obtivemos:</p><h4>Regressão logística</h4><ul><li>Acurácia: <strong>95,8%</strong></li><li>AUC: <strong>95,4%</strong></li><li>Log Loss: <strong>16,1%</strong></li></ul><h4>Árvore de decisão</h4><ul><li>Acurácia:<strong> 96,4%</strong></li><li>AUC: <strong>92,8%</strong></li></ul><p>Através dessas métricas, fica claro que o primeiro modelo tem uma capacidade maior de especificar as classes e determinar corretamente se uma nova transação é fraude ou não, a partir dos padrões dos dados.</p><p>Apesar de haver maior acurácia na árvore de decisão, a AUC aponta para essa incapacidade de distinguir entre as classes, que se reflete na taxa de erros maior observada para esse modelo.</p><h3>Conclusão</h3><p>Neste projeto, avaliamos os dados de transações em cartões de crédito visando construir modelos de classificação capazes de detectar fraudes. Os modelos de regressão logística e árvore de classificação foram construídos a partir dos dados de treino e validados.</p><p>Em seguida, foram testados com novas observações, que correspondiam a 20% do conjunto de dados original. Com isso, fomos capazes de comparar os desempenhos de cada modelo, segundo métricas como matriz de confusão, acurácia, AUC e perda logística. Como resultado dessas análises, pudemos constatar a eficácia do modelo de regressão logística sobre o de árvore de decisão, uma vez que fomos capazes de ter maior taxa de acertos, minimizando a taxa de falsos positivos e negativos no primeiro.</p><p><strong>Obrigado pela leitura!</strong></p><p>Me acompanhe nas redes para mais artigos, insights e projetos.</p><ul><li>LinkedIn: <a href="https://www.linkedin.com/in/gabrielrflopes/">https://www.linkedin.com/in/gabrielrflopes/</a></li><li>GitHub: <a href="https://github.com/gabrielrflopes">https://github.com/gabrielrflopes</a></li><li>Instagram: <a href="https://www.instagram.com/gabrielr.lopes/">https://www.instagram.com/gabrielr.lopes/</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d74501220ec2" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[O dicionário de conceitos fundamentais em Data Science]]></title>
            <link>https://grflopes.medium.com/o-dicion%C3%A1rio-de-conceitos-fundamentais-em-data-science-c818b04e3a2b?source=rss-b609a33bd460------2</link>
            <guid isPermaLink="false">https://medium.com/p/c818b04e3a2b</guid>
            <category><![CDATA[technology]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[education]]></category>
            <dc:creator><![CDATA[Gabriel Ribeiro Ferreira Lopes]]></dc:creator>
            <pubDate>Sat, 06 May 2023 19:07:43 GMT</pubDate>
            <atom:updated>2023-05-06T19:07:43.024Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bx9q92Ga6take2fqdt-yZg.png" /></figure><h4><strong>Resumo</strong></h4><p><em>Neste artigo você irá aprender sobre a importância de se criar um mapa do aprendizado, além de conceitos fundamentais de Data Science, como mineração de dados, segmentações supervisionada e não-supervisionada, seleção de atributos e machine learning.</em></p><h3>Construindo um mapa do aprendizado</h3><p><strong>O primeiro passo para conseguir a fluência em qualquer habilidade é conhecer os princípios que a regem.</strong></p><p>Você pode enxergar o aprendizado de qualquer coisa como um processo de familiarização com conceitos-chave que esclarecem e apontam para novos aprendizados.</p><p>Esse processo pode ser entendido como o início da construção de um mapa. Este mapa vai te ajudar a entender como uma área de conhecimento funciona, que tipos de habilidades e informações devem ser dominadas e quais métodos existem para fazer isso com mais eficácia.</p><p>Particularmente, os conceitos entram na construção desse mapa como sendo tudo aquilo que precisa ser <strong>compreendido com flexibilidade</strong>, para que possam ser <strong>aplicados em coisas úteis</strong>.</p><p>Quando digo flexibilidade, me refiro à sua capacidade de abstrair e entender o conhecimento a ponto de conseguir <strong>distinguir as diferentes situações para aplicá-lo</strong>.</p><p>Portanto, pensando em desenvolver isso em conjunto com todos que estão lendo esse artigo, aqui está um <strong>dicionário de conceitos fundamentais em Data Science</strong>, que pode ajudar você a constuir o seu <strong>mapa de aprendizado</strong>.</p><h4>Dicionário de conceitos básicos</h4><p><strong><em>1.</em> <em>Data Science</em></strong></p><p>Antes de tudo, é preciso ficar claro do que se trata o objeto do nosso estudo. A ciência de dados é uma área que surge a partir de um <strong>problema atual</strong>: como lidar com o grande volume e variedade de dados, de modo que deles se extraiam informação e conhecimento?</p><p>O livro <strong><em>Data Science para Negócios</em></strong><em> </em>define <em>Data Science</em> da seguinte forma:</p><blockquote>Conjunto de princípios que fundamentam a extração de conhecimentos a partir de dados.</blockquote><p>Trata-se de uma ciência, pois, para lidar com o problema citado acima, é necessário uma <strong>metodologia científica</strong>. Ou seja, é respaldada por dados empíricos que demandam testes, erros e ajustes frente a novas evidências.</p><p>O livro <strong><em>Data Science para Negócios</em></strong> complementa que, por trás do cientista de dados, está a necessidade de um <strong>pensamento estruturado</strong>, isto é:</p><blockquote>A capacidade de extrair conhecimento útil a partir de dados para resolver problemas de negócios de forma sistemática, seguindo um proceesso com etapas razoavelmente bem definidas.</blockquote><p>Para esse propósito, o <em>Data Science</em> comporta uma variedade de áreas, que utilizam de técnicas estatísticas, computacionais e de negócios para analisar, interpretar e apresentar dados. Além disso, para cada problema, existem etapas e abordagens bem definidas, que abrangem desde a coleta e preparação dos dados, até o desenvolvimento e validação de um modelo.</p><p><strong><em>2. Mineração de Dados</em></strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/512/0*V0Id_ToaY5kSu49b.jpeg" /><figcaption>Steve após um dia de longas análises exploratórias.</figcaption></figure><p>A mineração de dados diz respeito ao <strong>conjunto de técnicas utilizadas para extrair conhecimentos de dados</strong>, ou seja, representa etapas de <strong>coleta e preparação de dados</strong>, de modo que ao final seja possível resolver aquela informação em conhecimento.</p><p>Você já ouviu falar sobre o <strong>método de Descartes</strong> para resolução de problemas?</p><p>Basicamente, <strong>o método consiste em decompor um problema em partes menores e mais manejáveis</strong>, analisando com cuidado cada parte para entender o problema como um todo.</p><p>Na mineração de dados, o raciocínio é o mesmo.</p><p>Ao lidar com a tarefa de encontrar padrões em um grande volume de dados, torna-se necessário decompor o problema em sub-tarefas.</p><p>Ao final, basta reunir as soluções de cada sub-tarefa para compor a solução do problema geral. No contexto de Data Science e mineração de dados, algumas tarefas são comuns a todos os problemas de negócios, como a <strong>classificação</strong>, <strong>regressão</strong>, <strong>agrupamentos</strong>, <strong>redução de dimensionalidade</strong>, entre outros.</p><p>Ter uma boa noção do conceitos de mineração de dados pode representar uma <strong>vantagem estratégica para negócios</strong>, pois economiza tempo e recursos, além de dar mais foco para tarefas que envolvam a criatividade do cientista.</p><p>O livro <strong><em>Data Science para Negócios </em></strong>diz muito bem:</p><blockquote>Mineração de dados é uma arte. Por trás da arte há uma estrutura que possibilita a consistência, repetitividade e objetividade ao abordar os problemas.</blockquote><blockquote>Veja mais sobre mineração de dados estudando o Ciclo CRISP.</blockquote><p><strong><em>3. Segmentação Supervisionada e Não-Supervisionada</em></strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*v1XqixNoC507X72n" /></figure><p>Uma das fases iniciais da mineração de dados, voltada para a criação de um modelo, é a definição da linha de ataque supervisionada ou não-supervisionada.</p><p>Uma técnica supervisionada consiste em trabalhar com dados classificados com base em um conjunto de rótulos conhecidos. Isto é, os próprios dados já fornecem informações com relação ao atributo que queremos analisar, <em>i.e</em>, a variável alvo.</p><p><strong>Com relação à variável alvo, queremos observar a tendência dos outros atributos com relação a ela, de modo que cada atributo independente nos informe e ajude o modelo a compreender — e prever — o alvo.</strong></p><p>Por outro lado, <strong>a abordagem não-supervisionada não se apoia no conhecimento prévio do alvo</strong>, mas, ao invés, busca identificar padrões nos dados e, por meio de técnicas como <strong>agrupamento</strong>, <strong>perfilamento</strong> e <strong>combinação por similaridade</strong>, tenta definir e estimar a probabilidade de classes nas quais novos dados podem se encaixar.</p><p><strong><em>4. Seleção de Atributos (Feature Selection ou Feature Extraction)</em></strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*mcuKwZGEW0Mpr_eT" /></figure><p>Na <strong>segmentação supervisionada</strong>, buscamos dividir a população para conseguir informações mais precisas com relação à variável alvo que queremos prever ou estimar.</p><p>Assim entendida, <strong>a variável alvo se torna aquilo que sintetiza e direciona a busca por atributos informativos que reduzem a incerteza</strong>, a fim de criar um modelo preditivo eficiente para novos dados nunca antes vistos.</p><p>Portanto, principalmente na abordagem supervisionada, a seleção de atributos é crucial para a performance de um modelo. <strong>É preciso saber julgar quais variáveis contém informações importantes, relevantes e não redundantes</strong>, que possam impactar negativamente a acurácia e a generalidade do modelo.</p><p>Para alcançar esse objetivo, muitas técnicas podem ser aplicadas que fogem do escopo desse artigo, mas podemos citar a classificação pelo <strong>ganho de informação</strong>, em que se buscam variáveis que mais se correlacionam com o alvo e que criam grupos homogêneos, com baixo grau de impureza, ou <strong>entropia</strong>.</p><p>Esse tipo de abordagem é muito comum em <strong>modelos de árvore de decisão</strong>, em que cada nó da árvore corresponde a uma escolha de atributos que melhor direcionem a uma decisão.</p><p><strong><em>5. Machine Learning</em></strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/0*_On5CxUaRyOIbtKE.jpeg" /></figure><p>Por fim, um dos conceitos mais fundamentais da ciência de dados é o <strong><em>Machine Learning</em></strong>. Na era das inteligências artificiais, o aprendizado de máquina está na centralidade de todos os modelos e programas em alta.</p><p>O <em>Machine Learning</em> permite que algoritmos aprendam a partir dos dados sem serem explicitamente programados. É uma área de ampla aplicação, desde o reconhecimento de imagem e fala, até detecção de fraudes em sistemas de crédito, previsão de rotatividade, detecção de câncer e sistemas de recomendação.</p><p>Todos os conceitos discutidos até aqui são encontrados nos estudos de <em>Machine Learning</em>, pois a construção de modelos está no cerne das previsões que a máquina é capaz de realizar. Conhecer bem os alicerces, conceitos e técnicas que constroem essa tecnologia é essencial para qualquer cientista de dados.</p><p>Espero que com esse artigo você tenha alcançado um pouco mais de clareza nos estudos de <em>Data Science</em>. Sem dúvidas, é uma área fascinante para quem tem curiosidade e fome por inovação, já que o cientista de dados é a ponta de lança capaz de explorar todo esse potencial.</p><p>Pretendo fazer uma série de artigos com mais conceitos de <em>Data Science</em>. Se gostou, não se esqueça de deixar seus aplausos nesse artigo, para eu saber que devo continuar.</p><p><strong>Obrigado pela leitura!</strong></p><p>Me acompanhe nas redes para mais artigos, insights e projetos.</p><ul><li>LinkedIn: <a href="https://www.linkedin.com/in/gabrielrflopes/">https://www.linkedin.com/in/gabrielrflopes/</a></li><li>GitHub: <a href="https://github.com/gabrielrflopes">https://github.com/gabrielrflopes</a></li><li>Instagram: <a href="https://www.instagram.com/gabrielr.lopes/">https://www.instagram.com/gabrielr.lopes/</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c818b04e3a2b" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>