<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Luis Guilherme Ribeiro on Medium]]></title>
        <description><![CDATA[Stories by Luis Guilherme Ribeiro on Medium]]></description>
        <link>https://medium.com/@luisguicomp?source=rss-eaef384e3be2------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*wBzb92hkPcD4oTyq</url>
            <title>Stories by Luis Guilherme Ribeiro on Medium</title>
            <link>https://medium.com/@luisguicomp?source=rss-eaef384e3be2------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 12:08:23 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@luisguicomp/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[De Modelos Para Decisões: A Nova Era da Ciência de Dados]]></title>
            <link>https://luisguicomp.medium.com/de-modelos-para-decis%C3%B5es-a-nova-era-da-ci%C3%AAncia-de-dados-4c329d17f9fc?source=rss-eaef384e3be2------2</link>
            <guid isPermaLink="false">https://medium.com/p/4c329d17f9fc</guid>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[data-visualization]]></category>
            <category><![CDATA[decision-making]]></category>
            <category><![CDATA[impact]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[Luis Guilherme Ribeiro]]></dc:creator>
            <pubDate>Mon, 27 Apr 2026 00:33:31 GMT</pubDate>
            <atom:updated>2026-04-27T00:33:31.812Z</atom:updated>
            <content:encoded><![CDATA[<p>Existe uma ideia que dominou a ciência de dados por anos — e que talvez nunca tenha sido totalmente verdadeira.</p><p>A ideia de que o trabalho do cientista de dados é <strong>construir modelos</strong>.</p><p>Mas se você parar para pensar, modelos nunca foram o objetivo final.</p><p>Eles sempre foram apenas um meio.</p><p>O verdadeiro objetivo da ciência de dados sempre foi outro:</p><blockquote><strong><em>ajudar pessoas e empresas a tomar melhores decisões.</em></strong></blockquote><h3>O grande equívoco da ciência de dados</h3><p>Durante muito tempo, a evolução da área foi guiada por métricas técnicas:</p><ul><li>AUC</li><li>KS</li><li>LogLoss</li><li>Accuracy</li></ul><p>E isso fez com que muitos profissionais passassem a otimizar modelos como se isso, por si só, gerasse valor.</p><p>Mas aqui está o problema:</p><p>Um modelo com performance excelente pode gerar <strong>zero impacto</strong> se não estiver conectado a uma decisão real.</p><p>Por outro lado, um modelo simples, imperfeito, mas bem aplicado, pode gerar <strong>milhões em impacto</strong>.</p><p>A diferença está na decisão.</p><h3>Modelos são meios, decisões são o fim</h3><p>Toda aplicação de ciência de dados, no fundo, responde a uma pergunta de decisão:</p><ul><li>Aprovar ou não um crédito?</li><li>Oferecer qual limite?</li><li>Detectar fraude ou não?</li><li>Recomendar qual produto?</li></ul><p>O modelo não resolve o problema.</p><p>Ele apenas <strong>informa a decisão</strong>.</p><p>E essa distinção muda tudo.</p><p>Porque significa que o valor do cientista de dados não está em prever melhor.</p><p>Está em <strong>decidir melhor</strong>.</p><h3>A virada: AI está automatizando a execução</h3><p>Com o avanço recente de ferramentas de IA como copilots de código e agentes mais avançados, grande parte do trabalho operacional está sendo acelerado — ou até substituído.</p><p>Hoje já é possível:</p><ul><li>gerar código de análise automaticamente</li><li>construir pipelines de machine learning com poucas instruções</li><li>automatizar testes e validações</li><li>documentar experimentos com IA</li></ul><p>Isso reduz drasticamente o tempo gasto com:</p><p><strong>execução técnica repetitiva.</strong></p><p>E cria um novo cenário:</p><blockquote><em>o gargalo deixa de ser técnico e passa a ser </em><strong><em>intelectual e estratégico</em></strong></blockquote><p>Ou seja, o diferencial não é mais “saber fazer”.</p><p>É <strong>saber o que fazer — e por quê</strong>.</p><h3>O cientista de dados mais próximo do negócio</h3><p>À medida que a execução se torna mais automatizada, o papel do cientista de dados se desloca naturalmente para mais perto do negócio.</p><p>Isso envolve:</p><ul><li>definir corretamente o problema</li><li>escolher as métricas certas</li><li>entender trade-offs (risco vs retorno, precisão vs cobertura)</li><li>interpretar resultados no contexto real</li><li>influenciar decisões</li></ul><p>Em outras palavras:</p><p><strong>menos código, mais contexto.</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PRZOAeJTVHQw5jUtTIBbKg.png" /></figure><h3>O surgimento de novas funções</h3><p>Com essa transformação, o papel tradicional do cientista de dados está se desdobrando em funções mais especializadas.</p><p>Algumas das principais:</p><h3>Analytics Engineer</h3><p>Responsável por estruturar e modelar os dados para análise.</p><ul><li>cria camadas confiáveis de dados</li><li>organiza métricas e definições de negócio</li><li>garante consistência para análises e dashboards</li></ul><p>É quem transforma dados brutos em <strong>dados utilizáveis</strong>.</p><h3>AI Engineer</h3><p>Focado em construir aplicações usando modelos de IA (especialmente LLMs).</p><ul><li>integra modelos em produtos</li><li>desenvolve agentes e copilots</li><li>trabalha com APIs de modelos e sistemas inteligentes</li></ul><p>É quem leva a IA para <strong>uso real em produtos</strong>.</p><h3>Applied Scientist</h3><p>Mais próximo da pesquisa aplicada.</p><ul><li>desenvolve novos métodos e algoritmos</li><li>explora melhorias mais profundas em modelagem</li><li>trabalha em problemas complexos que exigem inovação</li></ul><p>É quem empurra a fronteira do <strong>estado da arte aplicado</strong>.</p><h3>Decision Scientist</h3><p>Talvez o papel mais alinhado com o futuro da área.</p><ul><li>foca diretamente em decisões de negócio</li><li>define experimentos e testes (A/B, causalidade)</li><li>traduz modelos em ações</li><li>mede impacto real (ROI, receita, risco)</li></ul><p>É quem garante que dados e modelos gerem <strong>decisões melhores</strong>.</p><h3>O cientista de dados de 2030</h3><p>Com todas essas mudanças, o perfil do cientista de dados está evoluindo.</p><p>Em 2030, o profissional mais valioso não será aquele que sabe treinar o modelo mais complexo.</p><p>Será aquele que consegue conectar dados, IA e negócio de forma inteligente.</p><p>Algumas habilidades-chave:</p><h3>1. Pensamento crítico</h3><p>Capacidade de questionar hipóteses, evitar vieses e estruturar problemas corretamente.</p><h3>2. Pensamento causal</h3><p>Ir além de correlação.</p><p>Entender <strong>o que realmente causa impacto</strong> e como medir isso.</p><h3>3. Entendimento de negócio</h3><p>Saber como a empresa ganha dinheiro, quais são os riscos e onde estão as alavancas de valor.</p><h3>4. Comunicação</h3><p>Traduzir análises complexas em decisões claras.</p><p>Influenciar stakeholders será tão importante quanto modelar.</p><h3>5. Uso avançado de IA</h3><p>Saber utilizar ferramentas de IA para:</p><ul><li>acelerar análises</li><li>automatizar tarefas</li><li>explorar mais hipóteses</li><li>aumentar produtividade</li></ul><p>IA não será diferencial.</p><p>Será <strong>pré-requisito</strong>.</p><h3>Conclusão</h3><p>A ciência de dados não está deixando de existir.</p><p>Mas a forma como entendemos o papel do cientista de dados precisa evoluir.</p><p>Modelos continuam importantes.</p><p>Mas nunca foram o fim.</p><blockquote><em>O verdadeiro valor sempre esteve — e continuará estando — nas decisões.</em></blockquote><p>E em um mundo onde a execução técnica está cada vez mais automatizada, aqueles que se destacarem serão os que conseguem fazer algo muito mais difícil:</p><p><strong>pensar melhor, decidir melhor e gerar impacto real.</strong></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4c329d17f9fc" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Sem Esforço: como alcançar mais fazendo menos]]></title>
            <link>https://luisguicomp.medium.com/sem-esfor%C3%A7o-como-alcan%C3%A7ar-mais-fazendo-menos-bcdc3e5cccdd?source=rss-eaef384e3be2------2</link>
            <guid isPermaLink="false">https://medium.com/p/bcdc3e5cccdd</guid>
            <category><![CDATA[productivity]]></category>
            <category><![CDATA[mindfulness]]></category>
            <category><![CDATA[personal-development]]></category>
            <category><![CDATA[careers]]></category>
            <category><![CDATA[simplicity]]></category>
            <dc:creator><![CDATA[Luis Guilherme Ribeiro]]></dc:creator>
            <pubDate>Tue, 16 Sep 2025 18:45:18 GMT</pubDate>
            <atom:updated>2025-09-16T18:51:12.657Z</atom:updated>
            <content:encoded><![CDATA[<p>Recentemente li o livro <em>“Sem Esforço”</em> de Greg McKeown, e ele trouxe uma visão transformadora sobre produtividade. Em vez de associar sucesso a mais esforço, o autor mostra que o verdadeiro diferencial está em <strong>simplificar o caminho</strong> — alcançar grandes resultados com leveza, clareza e constância. O Livro é divido em 3 partes:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pEc6IVRZpDU1K21PxRGvfQ.png" /></figure><h3>1. O Estado sem Esforço</h3><p>Tudo começa pela mente. O autor nos lembra que quando estamos presentes e leves, até as tarefas mais importantes se tornam agradáveis. <strong>O estado sem esforço é usar o poder da presença</strong>, reduzindo a sobrecarga mental para que possamos focar no que realmente importa.</p><h3>2. Ação sem Esforço</h3><p>Trabalhar duro não é o mesmo que trabalhar bem. Para agir de forma sem esforço, McKeown sugere:</p><ul><li><strong>Defina metas claras</strong>: saber exatamente para onde ir.</li><li><strong>Dê o primeiro passo mínimo</strong>: em vez de esperar o perfeito, comece simples.</li><li><strong>Aprenda com os erros</strong>: cada falha é parte do processo.</li><li><strong>Estabeleça um ritmo</strong>: consistência importa mais do que intensidade.</li></ul><p>Assim, o progresso acontece de forma natural, sem desgaste desnecessário.</p><h3>3. Resultados sem Esforço</h3><p>O objetivo final é criar um ciclo em que os resultados fluem de forma contínua. Para isso, o autor sugere:</p><ul><li><strong>Aplique a principalidade</strong>: foque no que realmente gera valor, não se apegue em métodos.</li><li><strong>Viva o que ensina</strong>: a autenticidade cria impacto.</li><li><strong>Automatize tarefas</strong>: tire da sua mente o que pode rodar sozinho.</li><li><strong>Construa confiança</strong>: relações sólidas tornam tudo mais leve.</li><li><strong>Antecipe problemas</strong>: preparar-se antes evita crises depois.</li></ul><p>Com isso, você não apenas realiza mais, mas colhe frutos repetidamente a partir de ações bem estruturadas.</p><h3>Reflexão Final</h3><p>O maior insight do livro é simples: <strong>não precisamos sofrer para alcançar grandes conquistas</strong>. Quando simplificamos o processo e buscamos a leveza, descobrimos que o progresso pode ser natural — quase inevitável.</p><p>Se você já se sentiu sobrecarregado por acreditar que só o esforço extremo gera resultado, talvez seja hora de se perguntar: <em>“</em><strong><em>Como posso tornar isso mais fácil?</em></strong><em>”</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=bcdc3e5cccdd" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Decisões Inteligentes: Como usar Reinforcement Learning para otimizar limites de crédito]]></title>
            <link>https://luisguicomp.medium.com/aumentando-o-limite-de-cr%C3%A9dito-com-reinforcement-learning-um-exemplo-pr%C3%A1tico-7f9176a969a8?source=rss-eaef384e3be2------2</link>
            <guid isPermaLink="false">https://medium.com/p/7f9176a969a8</guid>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[credit]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[credit-score]]></category>
            <category><![CDATA[reinforcement-learning]]></category>
            <dc:creator><![CDATA[Luis Guilherme Ribeiro]]></dc:creator>
            <pubDate>Sat, 19 Oct 2024 18:18:16 GMT</pubDate>
            <atom:updated>2024-10-28T00:38:12.644Z</atom:updated>
            <content:encoded><![CDATA[<p>O aumento do limite de crédito é uma estratégia importante para instituições financeiras, pois pode incentivar o uso contínuo dos serviços de crédito e melhorar a relação com os clientes. Mas, como decidir quando e para quem aumentar o limite, evitando riscos desnecessários? Uma solução poderosa é o <strong><em>Reinforcement Learning (RL)</em></strong>, uma técnica de aprendizado de máquina que pode otimizar esse processo de forma dinâmica e inteligente.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*b7UaBkHRLUNPThXeS6CoFw.png" /></figure><p>Neste artigo, vou explicar como o <strong>Reinforcement Learning</strong> funciona, com um foco na <strong><em>Q-Table</em></strong>, uma abordagem fundamental dessa técnica, e vou mostrar como aplicar essa estratégia em um exemplo prático, usando scripts em Python, para tomar decisões sobre o aumento de crédito para seus clientes.</p><h3>O que é Reinforcement Learning?</h3><p>O <strong>Reinforcement Learning</strong> é um método de aprendizado baseado em interações entre um agente e o ambiente. Em vez de aprender a partir de exemplos rotulados, como no aprendizado supervisionado, o agente aprende por <strong>tentativa e erro</strong>, tomando ações no ambiente, recebendo <strong>recompensas</strong> ou <strong>penalidades</strong>, e ajustando suas decisões futuras com o objetivo de maximizar a recompensa acumulada ao longo do tempo.</p><h4>Componentes Principais:</h4><ul><li><strong>Estado</strong>: Representa a situação atual do ambiente. Em nosso exemplo, o estado pode conter informações sobre um cliente, como sua renda, score de crédito, e o valor dos seus gastos no cartão.</li><li><strong>Ação</strong>: A decisão que o agente toma. Em nosso caso, as ações podem incluir aumentar, diminuir ou manter o limite de crédito de um cliente.</li><li><strong>Recompensa</strong>: O feedback que o agente recebe após realizar uma ação. Se a ação resultar em um bom comportamento, como o cliente pagando suas contas em dia após o aumento do limite, o agente recebe uma recompensa positiva.</li><li><strong>Política</strong>: A estratégia usada pelo agente para escolher as ações. O agente ajusta sua política à medida que aprende com suas experiências.</li></ul><h3>Q-Table: Como o agente aprende a melhorar suas decisões?</h3><p>A <strong>Q-Table</strong> (ou Tabela Q) é uma matriz onde o agente armazena o “valor” de cada par de <strong>estado-ação</strong>. Esses valores são chamados de <strong>Q-values</strong>. Cada <strong>Q-value</strong> representa a expectativa de recompensa futura para uma ação específica, dada a condição do estado atual. O objetivo do agente é maximizar esses Q-values, ou seja, aprender quais ações resultam em maiores recompensas a longo prazo.</p><h4>Estrutura da Q-Table</h4><p>A Q-Table é organizada da seguinte forma:</p><ul><li>As <strong>linhas</strong> representam os <strong>estados</strong> possíveis.</li><li>As <strong>colunas</strong> representam as <strong>ações</strong> possíveis.</li><li>Os valores da tabela (Q-values) indicam o valor esperado de cada ação em cada estado.</li></ul><p>Por exemplo, se um cliente tem uma renda alta e um score de crédito excelente, o modelo pode atribuir um valor alto para a ação de <strong>aumentar o limite</strong>. Já se o cliente tem um histórico de inadimplência, o valor da ação de <strong>diminuir o limite</strong> será maior.</p><h4>Como a Q-Table é atualizada?</h4><p>O agente começa com uma Q-Table inicializada com valores arbitrários (ou zeros). A cada interação com o ambiente, ele usa a <strong>fórmula de Bellman</strong> para atualizar os valores com base na recompensa recebida e na estimativa de recompensa futura. A fórmula é:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/762/1*JEORuIdUmCGtlVbDlFnTew.png" /></figure><p>Onde:</p><ul><li><strong><em>Q(s,a)</em></strong>: O valor atual para o estado <strong><em>s</em></strong> e a ação <strong><em>a</em></strong>.</li><li><strong><em>α</em></strong>: Taxa de aprendizado, controlando o quanto o valor é atualizado.</li><li><strong><em>R</em></strong>: Recompensa imediata recebida após tomar a ação <strong>a</strong> no estado <strong><em>s</em></strong>.</li><li><strong><em>γ</em></strong>: Fator de desconto, que controla a importância das recompensas futuras.</li><li><strong><em>max⁡Q(s′,a)</em></strong>: O valor máximo da Q-Table no próximo estado <strong><em>s′</em></strong>, indicando a melhor ação futura.</li></ul><h3>Exemplo Prático: Aplicando RL para Aumentar Limite de Crédito</h3><p>Agora que entendemos a função da Q-Table, vamos ver como aplicar isso em um exemplo prático. Vamos criar um cenário onde usamos <strong><em>Reinforcement Learning</em></strong> para decidir se devemos ou não aumentar o limite de crédito de um cliente.</p><h4>1. Gerando Dados Simulados</h4><p>Aqui, vamos gerar um conjunto de dados fictício de clientes, contendo informações como <strong>renda</strong>, <strong>score de crédito</strong>, <strong>gastos no cartão</strong>, e o <strong>limite ofertado</strong>. Essas variáveis nos ajudarão a treinar o agente.</p><pre>import pandas as pd<br>import numpy as np<br><br># Gerando um DataFrame simulado de clientes<br>np.random.seed(42)<br>dados_clientes = pd.DataFrame({<br>    &#39;renda&#39;: np.random.randint(2000, 10000, 100),<br>    &#39;score_credito&#39;: np.random.randint(300, 850, 100),<br>    &#39;gastos_cartao&#39;: np.random.randint(100, 5000, 100),<br>    &#39;limite_ofertado&#39;: np.random.randint(1000, 20000, 100),<br>    &#39;utilizacao_limite&#39;: np.random.uniform(0.1, 1.0, 100),<br>    &#39;historico_pagamento&#39;: np.random.choice([&#39;em dia&#39;, &#39;atrasado&#39;], 100)<br>})<br><br># Exemplo de visualização dos dados<br>print(dados_clientes.head())</pre><h4>2. Treinando o Modelo com Q-Learning</h4><p>Usaremos uma abordagem <strong>Off-Policy</strong>, onde o modelo aprende com dados históricos e simula diferentes cenários, atualizando a Q-Table à medida que o agente toma ações e recebe recompensas.</p><pre>import pickle<br>from collections import defaultdict<br><br># Função para inicializar a Q-Table com valores padrão<br>def init_q_table():<br>    return [0, 0, 0]  # 3 ações: manter, aumentar, diminuir<br><br># Função de treinamento Q-Learning<br>def treinar_q_table(df, alpha=0.1, gamma=0.9, epsilon=0.1):<br>    q_table = defaultdict(init_q_table)<br>    for i, row in df.iterrows():<br>        estado = processar_cliente(row)<br>        acao = np.random.choice([0, 1, 2])  # Ação aleatória<br>        recompensa = calcular_recompensa(row)<br>        q_table[estado][acao] += alpha * (recompensa + gamma * np.max(q_table[estado]) - q_table[estado][acao])<br><br>    # Salvando a Q-Table<br>    with open(&#39;q_table.pkl&#39;, &#39;wb&#39;) as f:<br>        pickle.dump(dict(q_table), f)<br><br># Função de recompensa (simplificada)<br>def calcular_recompensa(cliente):<br>    if cliente[&#39;historico_pagamento&#39;] == &#39;em dia&#39;:<br>        return 10<br>    else:<br>        return -10<br><br># Função para processar o estado de um cliente (discretização)<br>def processar_cliente(cliente):<br>    estado = (<br>        1 if cliente[&#39;renda&#39;] &gt; 5000 else 0,<br>        1 if cliente[&#39;score_credito&#39;] &gt; 600 else 0,<br>        1 if cliente[&#39;utilizacao_limite&#39;] &lt; 0.5 else 0,<br>        1 if cliente[&#39;gastos_cartao&#39;] &gt; 2000 else 0<br>    )<br>    return estado<br><br># Treinando o modelo com dados simulados<br>treinar_q_table(dados_clientes)</pre><h4>3. Inferindo a Melhor Ação para Novos Clientes</h4><p>Com a Q-Table treinada, podemos fazer inferências para novos clientes e decidir se devemos aumentar, manter ou diminuir o limite de crédito com base em suas características.</p><pre># Função para inferir a ação para um novo cliente<br>def inferir_acao(novo_cliente):<br>    estado_cliente = processar_cliente(novo_cliente)<br>    with open(&#39;q_table.pkl&#39;, &#39;rb&#39;) as f:<br>        q_table = pickle.load(f)<br><br>    melhor_acao = np.argmax(q_table[estado_cliente])<br>    if melhor_acao == 0:<br>        return &#39;Manter o limite&#39;<br>    elif melhor_acao == 1:<br>        return &#39;Aumentar o limite&#39;<br>    else:<br>        return &#39;Diminuir o limite&#39;<br><br># Exemplo de inferência para um novo cliente<br>novo_cliente = {<br>    &#39;renda&#39;: 6000,<br>    &#39;score_credito&#39;: 720,<br>    &#39;utilizacao_limite&#39;: 0.4,<br>    &#39;gastos_cartao&#39;: 3000,<br>    &#39;limite_ofertado&#39;: 10000,<br>    &#39;historico_pagamento&#39;: &#39;em dia&#39;<br>}<br><br>decisao = inferir_acao(novo_cliente)<br>print(f&quot;Ação recomendada para o cliente: {decisao}&quot;)</pre><h3>Conclusão</h3><p>Usar <strong>Reinforcement Learning</strong> para aumentar o limite de crédito é uma abordagem poderosa que permite tomar decisões mais dinâmicas e inteligentes com base em dados. A <strong>Q-Table</strong>, que armazena os valores esperados de cada ação, é a chave para o aprendizado do agente, ajudando-o a identificar quais decisões oferecem maior retorno, minimizando os riscos e maximizando o valor gerado pelo cliente.</p><p>Além do cenário mostrado, onde o modelo foi treinado com dados históricos (aprendizado<em> off-policy</em>), é possível estender esse sistema para aprender em <strong>tempo real</strong>, aplicando uma estratégia de <strong>on-policy learning</strong>. Nesse tipo de configuração, o agente pode continuar ajustando suas ações à medida que novos dados de clientes são processados.</p><p>Em um sistema em produção, o modelo poderia <strong>monitorar continuamente</strong> o comportamento dos clientes após o ajuste dos limites. Por exemplo, se um cliente recebeu um aumento no limite e, depois disso, continuou pagando suas faturas em dia, o modelo reforçaria essa decisão atribuindo uma recompensa positiva. Por outro lado, se o aumento resultou em inadimplência, o agente penalizaria essa escolha, ajustando a política para decisões futuras mais cautelosas em casos similares.</p><p>Com o aprendizado em tempo real, o modelo não apenas evolui, mas também responde a mudanças no <strong>comportamento de mercado</strong> ou nas <strong>tendências de crédito</strong>, garantindo que as decisões sejam sempre atualizadas e relevantes para o ambiente econômico atual.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7f9176a969a8" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Prevendo o fechamento do bitcoin com deep learning (LSTM)]]></title>
            <link>https://luisguicomp.medium.com/prevendo-o-fechamento-do-bitcoin-com-deep-learning-lstm-1f33dea85ee1?source=rss-eaef384e3be2------2</link>
            <guid isPermaLink="false">https://medium.com/p/1f33dea85ee1</guid>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[bitcoin]]></category>
            <dc:creator><![CDATA[Luis Guilherme Ribeiro]]></dc:creator>
            <pubDate>Wed, 12 Jan 2022 02:04:40 GMT</pubDate>
            <atom:updated>2022-01-12T02:04:40.888Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*SawkhQVIGvXQ8-zj.jpg" /></figure><p><em>O </em><strong><em>Bitcoin </em></strong>é uma <strong><em>criptomoeda </em></strong>que possui alta variabilidade e tem crescido muito nos últimos anos. Isso faz com que aumente o interesse de investidores, tanto para fazer <strong><em>day trade</em></strong> quanto para <strong><em>swing trade</em></strong>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/890/1*8rKqSjvkp1rFv-RvlCC85A.png" /></figure><p>Na área de <em>trade </em>existem diversos métodos auxiliam para uma decisão de compra ou venda. Quando a previsão do fechamento tem alta acurácia, pode ser uma importante variável para à tomada de decisão.</p><p>Portanto, neste artigo vamos abordar um modelo de <strong><em>deep learning</em></strong> conhecido como <strong><em>Long Short Time Model </em>(LSTM)</strong> para prever o fechamento diário da criptomoeda <strong><em>BTC-USD</em></strong>.</p><h3>BTC-USD</h3><h4>Variáveis</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*7DZW-ErbEjH8fCL8.jpg" /></figure><p>No mercado de ações as variáveis comuns são: <strong>abertura, fechamento, alta, baixa e volume</strong>. Ao se aprofundar mais existem uma diversidade de variáveis que podemos considerar como por exemplo as médias móveis, <em>Volume Weighted Average Price </em>(VWAP), Índice de força relativa (IFR), etc.</p><p>Como o foco deste artigo é aplicar uma técnica de<em> deep learning</em>, vamos abordar as variáveis básicas e testar o desempenho do <strong>modelo multivariado, </strong>tendo como alvo o<strong> fechamento.</strong></p><h3>Long and Short Term Memory (LSTM)</h3><p>O <strong>LSTM</strong>, ou memória de longo prazo é uma arquitetura de rede neural recorrente (<strong><em>RNN</em></strong>) usada no campo do aprendizado profundo. Sua principal vantagem é a compreensão de relações não lineares complexas que podem nos ajudar a tomar decisões mais inteligentes.</p><h4><strong>Arquitetura</strong></h4><p>Em um alto nível, o LSTM consiste em<strong> três partes</strong>, conforme mostrado na imagem abaixo. A primeira parte escolhe se as informações devem ser <strong>lembradas </strong>ou são irrelevantes e podem ser <strong>esquecidas</strong>. Na segunda parte, a célula tenta aprender novas informações da entrada para esta célula. Por fim, na terceira parte, a célula passa as informações atualizadas do <strong><em>timestamp </em></strong>atual para o próximo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/768/1*QUGFL2xOWQVObxLoSjIigA.png" /></figure><p>Essas três partes de uma célula LSTM são conhecidas como <strong>portas</strong>. A primeira parte é chamada de porta de esquecimento <strong><em>(Forget Gate)</em></strong>, a segunda parte é conhecida como porta de entrada (<strong><em>Input Gate</em></strong>) e a última é a porta de saída (<strong><em>Output Gate</em></strong>). Conforme mostrado na figura, temos o estado da célula <strong><em>C </em></strong>e o estado oculto <strong><em>H</em></strong>, que representam informações de longo e curto prazo, respectivamente. O <strong><em>t</em></strong> e <strong><em>t-1</em></strong> representam a linha temporal da informação atual e passada.</p><p>Essas células estão contidas dentro de diferentes camadas (<em>layers</em>) e ai é onde a mágica começa acontecer. Ao criar um modelo LSTM, deve ser configurado o número de camadas e quantas células (<strong><em>units</em></strong>) cada uma delas vai ter. Além disso, temos o <em>timestep, </em>que indica o comprimento de passos temporais que o modelo vai usar para aprender.</p><h4><strong>Codificando o modelo</strong></h4><p>Para implementar um modelo LSTM em <em>Python </em>é necessário utilizar a biblioteca do <strong><em>keras</em></strong><em>. </em>No código abaixo temos uma função que constrói e treina o modelo.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/43750ce0b0a754fc223f01fdb4a9e11d/href">https://medium.com/media/43750ce0b0a754fc223f01fdb4a9e11d/href</a></iframe><p>Para treinar um modelo LSTM os dados devem estar transformados em séries sequenciais, por isso chamamos a função “<strong><em>to_sequential_data</em></strong>” passando como parâmetros os dados e o <strong><em>timesteps</em></strong><em>, </em>que é responsável por configurar o período de aprendizagem a curto e longo prazo.</p><p>Na linha 9 temos a primeira camada, também conhecida como camada de entrada, note que o número de unidades desta camada é referente ao número de variáveis utilizadas no modelo. Em seguida, da linha 10 até à12 temos o laço que constrói as camadas conforme os valores do parâmetro<strong> “<em>hidden layers</em>” (hl)</strong>. Além disso, para cada camada aplicamos a função de<em> </em><strong><em>Dropout(0.2)</em></strong> a fim de reduzir o <strong><em>overfitting</em></strong><em>. </em>E por fim, utilizamos a função <strong><em>ReLu </em></strong>para ativação dos neurônios e o <strong>otimização de <em>Adam</em></strong>.</p><p>Com relação aos demais parâmetros (<em>lr</em>, <em>batch </em>e <em>epochs</em>) são referentes a taxa de aprendizagem <strong><em>(lr)</em></strong>, o tamanho do lote <strong><em>(batch) </em></strong>e o número de épocas <strong><em>(epochs)</em></strong> que a rede vai utilizar para construir e treinar o modelo. Na imagem abaixo é mostrado os valores de cada parâmetro obtidos empiricamente.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/243/1*TarQFoMbcHRAFB3TIt3C2Q.png" /><figcaption>Parâmetros</figcaption></figure><h3>Experimento</h3><p>Para avaliar nosso modelo vamos coletar os dados dos <strong>últimos 5 anos do BTC-USD (</strong>de 2017 à 2022). Vamos separar nossa base em subconjuntos com <strong>120 dias</strong> cada. Conforme mostrado na imagem abaixo, até o início de 2020 vamos utilizar os dados para treinar o modelo (<strong><em>train</em></strong>), os 120 dias seguintes vamos utilizar para validar (<strong><em>val</em></strong>). Em seguida vamos usar 5 subconjuntos (<strong><em>splits</em></strong>) diferentes para realizar a validação cruzada.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/946/1*iSyCKJcGa72qSmKZmq4joQ.png" /><figcaption>Divisão do conjunto de dados</figcaption></figure><h4>Métricas</h4><p>Como estamos prevendo o valor numérico do fechamento do BTC, vamos utilizar <strong>métricas de regressão</strong> para avaliar o desempenho do modelo, são elas:</p><ul><li><strong>R-Quadrado: </strong>ou coeficiente de determinação<strong>, </strong>calcula qual a porcentagem da variância que pôde ser prevista pelo modelo.</li><li><strong>MAE: </strong>O Erro Absoluto Médio, ou <em>Mean Absolute Error,</em> consiste na média das distâncias entre valores preditos e reais.</li><li><strong>MSE: </strong>O<strong> </strong>Erro Quadrático Médio, ou <em>Mean Squared Error, </em>consiste na média do erro das previsões ao quadrado.</li><li><strong>RMSE: </strong>A Raiz do<strong> </strong>Erro Quadrático Médio, ou <em>Root Mean Squared Error, </em>consiste na raiz do MSE, melhorando a interpretabilidade da métrica.</li></ul><h4>Validação cruzada</h4><p>Um dos métodos mais recomendados para avaliar o desempenho de modelo em séries temporais, é a validação cruzada <strong><em>walk forward</em></strong>, que treina e testa avançando em passos sobre o conjunto de dados de teste. Abaixo temos o código dessa validação e uma imagem ilustrando seu esquema.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/86e353b2f57aedb1107371aca7cd5350/href">https://medium.com/media/86e353b2f57aedb1107371aca7cd5350/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/622/1*Fh7vVjjaBe3uRMxxUf_y0A.png" /><figcaption>Validação cruzada<strong> walk forward</strong></figcaption></figure><p>Conforme mostrado na imagem acima, essa validação faz com que cada avanço de teste o modelo aprenda mais com os dados do passado (<em>train</em>).</p><h3>Resultados</h3><h4>Construção do modelo</h4><p>No processo de construção e validação do modelo foi obtido um <strong>R-Quadrado </strong>de <strong>0,72</strong>. Na imagem abaixo é mostrado o valor atual e predito do conjunto de validação.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/907/1*Twc9A8dBM43sJcmQHqJIcw.png" /><figcaption>Construindo e validando o modelo</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/242/1*f8jOiIZcmKBFqK0J01TLQw.png" /></figure><p>Nesta fase de validação o modelo nunca havia visto dados diferentes do seu treino, e mesmo assim demonstrou resultados razoáveis.</p><h4>Validação Cruzada</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/907/1*YfetnyPbqvqjiFH61HLjsQ.png" /><figcaption>SPLIT I</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/900/1*zCDxeMCj8c4b_DbLNp0R7g.png" /><figcaption>SPLIT II</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/900/1*q8t49n3H0Diif7b3bR2gkw.png" /><figcaption>SPLIT III</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/900/1*8j6y9fMZAzjIff3iK_6HFg.png" /><figcaption>SPLIT IV</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/907/1*449eVfst2lfdlXJvBRPtqA.png" /><figcaption>SPLIT V</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/902/1*GijHtD5de6-_jDETV68aeA.png" /></figure><p>Ao analisar os resultados, graficamente é possível notar que o modelo obteve um bom desempenho. Entretanto, ao analisar os valores da tabela, nota-se que do <strong><em>split 1 até o 3 </em></strong>seu desempenho está em ascensão, isso ocorre pela fato do modelo utilizar os dados anteriores para retreinar. Assim no<strong><em> split 4</em></strong> foi onde obteve seu melhor desempenho, e no <strong><em>split 5 </em></strong>houve uma leve queda no desempenho, devido anormalidades que ocorreram neste subconjunto temporal (conforme visto na imagem de divisão do conjunto de dados).</p><h3>Conclusão</h3><p>O modelo LSTM abordado obteve um coeficiente de <strong>determinação médio de 0,83</strong> que é um valor aceitável, visto que as métricas de erro obtiveram ótima performance.</p><p>Além disso, ao obter essa performance com a aplicação da validação cruzada mostra que o modelo tende <strong>a não a ter <em>overfitting.</em></strong></p><p>Por fim, mesmo que fatores externos afetem o valor do fechamento, o uso do <strong>LSTM </strong>como modelo de predição pode ser uma excelente ferramenta para auxiliar na <strong>tomada de decisão</strong>.</p><h4>Projeto no GitHub</h4><p><a href="https://github.com/luisguicomp/datascience/blob/main/bitcoin_lstm/LSTM-M%20BTC-USD.ipynb">datascience/LSTM-M BTC-USD.ipynb at main · luisguicomp/datascience</a></p><h3>Trabalhos Futuros</h3><ul><li>Explorar o uso de diferentes variáveis: VWAP, IFR, Médias Móveis, etc</li><li>Analisar o modelo em diferentes períodos de aprendizagem, variando seu parâmetro de <em>timesteps</em>.</li><li>Abordar diferentes arquiteturas de redes recorrentes, tais como: GRU (<em>Gated Recurrent Unit</em>), CNN (<em>Convolutional Neural Networks</em>)</li></ul><h3>Referências</h3><p>https://colah.github.io/posts/2015-08-Understanding-LSTMs/</p><p><em>https://medium.com/neuronio/predicting-stock-prices-with-lstm-349f5a0974d4</em></p><p><em>https://medium.com/analytics-vidhya/long-short-term-memory-networks-23119598b66b</em></p><p><em>https://machinelearningmastery.com/tune-lstm-hyperparameters-keras-time-series-forecasting/</em></p><p><em>https://levelup.gitconnected.com/predicting-bitcoins-price-with-recurrent-neural-networks-a27b4d2d839</em></p><p>https://towardsdatascience.com/what-are-the-best-metrics-to-evaluate-your-regression-model-418ca481755b</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1f33dea85ee1" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Análise multi-objetivo de Pareto para avaliar métricas de machine learning]]></title>
            <link>https://luisguicomp.medium.com/an%C3%A1lise-multi-objetivo-de-pareto-para-avaliar-m%C3%A9tricas-de-machine-learning-3b4b5d269e8c?source=rss-eaef384e3be2------2</link>
            <guid isPermaLink="false">https://medium.com/p/3b4b5d269e8c</guid>
            <category><![CDATA[pareto]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[classification-metrics]]></category>
            <category><![CDATA[classification-algorithms]]></category>
            <category><![CDATA[accuracy]]></category>
            <dc:creator><![CDATA[Luis Guilherme Ribeiro]]></dc:creator>
            <pubDate>Sat, 26 Jun 2021 19:47:10 GMT</pubDate>
            <atom:updated>2021-11-30T23:33:37.279Z</atom:updated>
            <content:encoded><![CDATA[<p>Um dos paradigmas na hora da escolha de modelos <em>machine learning</em> é saber qual a melhor métrica a se comparar. Porém, em alguns casos temos duas ou três métricas que se demonstram relevantes.</p><p>Considerando isso, neste artigo vou mostrar como avaliar várias métricas ao mesmo tempo, utilizando à análise multi-objetivo de Pareto.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*y8FxWP-3EKENsnbsYrrkFQ.png" /></figure><p>A análise multi-objetivo de Pareto, também conhecida como &quot;fronteira ótima de Pareto&quot;, se trata de uma comparação de dois ou mais objetivos, com diferentes valores a fim de obter os melhores desempenhos em termos de vários objetivos. Em<em> machine learning, </em>é comum comparar à acurácia dos modelos. Com esta análise é possível comparar à acurácia, sensibilidade e precisão, ao mesmo tempo.</p><h3>Fronteira ótima de Pareto</h3><p>Ao considerar a otimização de múltiplos objetivos, a fronteira ótima de Pareto é o conjunto de pontos onde um objetivo não pode ser melhorado sem prejuízo de outro. Esses pontos também são chamados de &quot;não dominados&quot;.</p><p>Em contraste, pontos que não estão na fronteira de Pareto, ou pontos “dominados”, representam pontos onde é possível melhorar um ou mais objetivos sem perda de desempenho de outro objetivo.</p><h3>Função da fronteira ótima de Pareto</h3><p>Agora, vamos definir a função para identificar os pontos que estão na fronteira de Pareto. Primeiramente, assumimos que todos os pontos estão na fronteira. Então usamos dois loops para mudar o status dos pontos que não pertencem fronteira de Pareto. O loop externo (‘i’) pega todos os pontos e compara com todos os outros (a comparação é feita usando o loop interno, ‘j’). Para qualquer ponto ‘i’, se qualquer outro ponto é pelo menos tão bom em todos os objetivos e é melhor em um, esse ponto ‘i’ é conhecido como ‘dominado’ e não pertence a fronteira de Pareto, fazendo que com loop interno seja parado. Quando o ponto ‘i’, não é dominado por nenhum ponto ‘j’, indica que este é um ponto ótimo, e pertence a fronteira de Pareto.</p><p>Abaixo segue o código da função:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/87604bec35806fd649d2fd03e6c2602f/href">https://medium.com/media/87604bec35806fd649d2fd03e6c2602f/href</a></iframe><h3>Aplicando na prática</h3><p>Agora, vamos realizar um simples experimento para entendermos melhor a aplicação desta análise.</p><p>Primeiramente, vamos gerar uma base de dados sintética, em seguida vamos avaliar os seguintes algoritmos: <em>K-Nearest Neighborhood (</em><strong><em>KNN</em></strong><em>), Support Vector Machine (</em><strong><em>SVM</em></strong><em>), Random Forest (</em><strong><em>RF</em></strong><em>), Multi-Layer Perceptron (</em><strong><em>MLP</em></strong><em>), Logistic Regression (</em><strong>LR</strong><em>), Classification and Regression Decision Tree (</em><strong>CART</strong><em>) e Naive Bayes (</em><strong><em>NB</em></strong><em>).</em></p><p>Umas das métricas mais visadas na área de <em>machine learning</em> é a acurácia, porém existe uma dificuldade em obter modelos com alta perfomance em acurácia sem sofrer de <em>overfitting. </em>Portanto neste experimento vamos considerar as métricas de <strong>acurácia </strong>e o <strong><em>overfitting</em> </strong>(em termos de acurácia). Caso queira entender melhor como avaliar o <em>overfitting</em>, <a href="https://luisguicomp.medium.com/como-avaliar-o-overfitting-de-um-modelo-machine-learning-51e339fac214">clique aqui</a>.</p><p>Abaixo segue o código do experimento:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/0cc7c3f75dae9e017ac0547ac1bf7bc2/href">https://medium.com/media/0cc7c3f75dae9e017ac0547ac1bf7bc2/href</a></iframe><p>Na figura abaixo temos o gráfico de barras gerado no experimento. Conseguimos perceber que alguns modelos foram melhor em termos de acurácia e outros em termos de <em>overfitting. </em>Mas de modo geral, é difícil dizer quais modelos foram dominantes ao avaliar as duas métricas ao mesmo tempo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rNpQwVpPnxkDI-zHKAd6Sw.png" /><figcaption>Gráfico de comparação de acurácia e overfitting</figcaption></figure><p>Agora, na figura abaixo temos o gráfico da fronteira de Pareto. É possível destacar os modelos que foram dominantes (ótimos de Pareto), formando assim a famosa &quot;fronteira ótima de Pareto&quot;.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LlIAulO_X88qJ9lmNC-JQw.png" /><figcaption>Gráfico da fronteira de Pareto</figcaption></figure><p>Como visto no gráfico acima, os modelos <strong><em>RF</em></strong> e <strong><em>LR</em></strong> foram aqueles que na análise multi-objetiva em termos de acurácia e <em>overfitting</em>, se demostraram dominantes. Já os demais modelos (<strong><em>KNN</em></strong>, <strong><em>CART</em></strong>, <strong><em>SVM</em></strong>, <strong><em>PE</em></strong><em> </em>e <strong><em>NB</em></strong>) foram os dominados.</p><p>Portanto, neste caso se fossemos escolher os modelos em termos de multi-objetivo, seriam <strong><em>RF</em></strong> e <strong><em>LR</em></strong><em>.</em> Um destaque interessante é que o <strong><em>RF</em></strong> foi dominante devido sua performance em termos de acurácia, e o <strong><em>LR</em></strong> em termos de <em>overfitting</em>.</p><h3><strong>Conclusões</strong></h3><p>Sabendo que é difícil encontrar um modelo que é superior em todas as métricas, a análise multi-objetivo de Pareto se torna fundamental na hora da escolha dos modelos.</p><p>Quando vários modelos estiverem na fronteira de Pareto, é necessário escolher aquele que é superior na métrica mais relevante para o problema em questão.</p><p>Importante ressaltar que com esta análise é possível avaliar N métricas ao mesmo tempo, no entanto só é possível a visualização gráfica para duas (2D) ou três (3D) métricas.</p><h3><strong>Referências</strong></h3><p>[1]: Michael Allen (2018). Python for healthcare modelling and data science. <a href="https://pythonhealthcare.org/tag/pareto-front/">https://pythonhealthcare.org/tag/pareto-front/</a></p><p>[2]: Luís Guilherme Ribeiro (2021). Como avaliar overfitting de um modelo machine learning. <a href="https://luisguicomp.medium.com/como-avaliar-o-overfitting-de-um-modelo-machine-learning-51e339fac214">https://luisguicomp.medium.com/como-avaliar-o-overfitting-de-um-modelo-machine-learning-51e339fac214</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3b4b5d269e8c" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Como avaliar o overfitting de um modelo machine learning]]></title>
            <link>https://luisguicomp.medium.com/como-avaliar-o-overfitting-de-um-modelo-machine-learning-51e339fac214?source=rss-eaef384e3be2------2</link>
            <guid isPermaLink="false">https://medium.com/p/51e339fac214</guid>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[data]]></category>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[overfitting]]></category>
            <dc:creator><![CDATA[Luis Guilherme Ribeiro]]></dc:creator>
            <pubDate>Mon, 24 May 2021 11:28:50 GMT</pubDate>
            <atom:updated>2021-05-24T22:08:52.187Z</atom:updated>
            <content:encoded><![CDATA[<p>Primeiramente, precisamos compreender o que é o tão falado <strong><em>overfitting</em></strong>, ou em português “sobre-ajuste”.</p><p><em>O termo</em><strong><em> Overfitting </em></strong><em>se trata de</em> quando um modelo se ajusta muito bem em um conjunto já observado (treino), mas quando é aplicado em um conjunto ainda não visto (teste) se demonstra ineficaz.</p><figure><img alt="Exemplo modelo &quot;decorando&quot; o padrão dos dados" src="https://cdn-images-1.medium.com/max/373/1*XHVNloJvujdt_TYxE3pljQ.png" /></figure><p>Em outras palavras, é como se o modelo <strong>decorasse </strong>os padrões da base de treinamento. Assim ele terá um desempenho muito alto com amostras da base de treino, mas ao se deparar com amostras que ainda não viu, seu desempenho tende a piorar drasticamente.</p><h3><strong>Métricas</strong></h3><p>Na literatura temos algumas possíveis métricas para avaliar <em>overfitting </em>de modelos. Todas são baseadas no desempenho dos modelos na base de treino e teste.</p><p>Umas delas é baseada na diferença entre a performance de treino e teste. Neste caso <strong>quanto mais próximo de 0 melhor será o modelo em termos de <em>overfitting</em>.</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/594/1*zW5GTcM_8Sd_rzFjiwwlFA.png" /><figcaption>Equação baseada na diferença entre treino e teste</figcaption></figure><p>Outra métrica de <em>overfitting</em> que vem sendo utilizada na literatura, é a baseada na razão entre o teste e o treino. Neste caso <strong>quanto mais próximo de 1 melhor será o modelo em termos de <em>overfitting</em>.</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/594/1*TmDG6HAf3hsuqQeHcBFiOQ.png" /><figcaption>Equação baseada na razão entre teste e treino</figcaption></figure><h3>Mão na massa</h3><p>Para avaliar o <em>overfitting</em> vamos utilizar a segunda equação apresentada anteriormente, baseado na razão entre teste e treino. Pois esta abordagem facilita a visualização, quando pensamos em maximizar o valor de uma métrica.</p><p>No primeiro experimento, estamos gerando uma base de dados sintética, com 1000 amostras, 20 atributos e separando o conjunto em 30% teste e 70% treino. Conforme é mostrado no código abaixo</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/8e372d1f8e55da69baaa6404454490d5/href">https://medium.com/media/8e372d1f8e55da69baaa6404454490d5/href</a></iframe><p>Para visualizarmos a métrica do <em>overfitting</em> vamos fazer um experimento bem simples usando dois algoritmos de classificação: kNN e Árvore de decisão.</p><p>Para o algoritmo kNN vamos variar o k (número de vizinhos) de 1 à 30, e avaliar o desempenho na base de treino e teste. Conforme é mostrado no código abaixo:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/12071675d584070d43b519412db401da/href">https://medium.com/media/12071675d584070d43b519412db401da/href</a></iframe><p>Já para o algoritmo da árvore de decisão, vamos variar a profundidade da árvore de 1 à 20, e avaliar os desempenhos. Conforme é mostrado no código abaixo:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/b0d882bd45f3c7f620bd704979f5ff17/href">https://medium.com/media/b0d882bd45f3c7f620bd704979f5ff17/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/640/1*brbrNhwONWwBR4MLoiZWqQ.png" /></figure><p>Os resultados do algoritmo <strong><em>KNN</em></strong> mostram que <strong>quanto maior é <em>K</em> menor é o desempenho em termos de acurácia</strong>, tanto na base de treino quanto de teste. Mas em termos de <em>overfitting</em> o modelo tende a melhorar. Portanto, neste caso o <strong><em>K</em></strong> ideal seria igual a 3, onde o modelo performa melhor em termos de acurácia (teste) e <em>overfitting</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/640/1*FyMPmQvWNx-suwDWz34c1g.png" /></figure><p>No algoritmo de árvore de decisão, é possível notar que<strong> quanto maior a profundidade da árvore melhor é o desempenho em termos de acurácia </strong>tanto na base de treino como de teste. Mas em termos de <em>overfitting o </em>modelo tende a piorar. Neste caso, a profundidade ideal está entre 5 e 9, onde os desempenho de acurácia e <em>overfitting</em> são balanceados.</p><h3>Avaliando diferentes modelos</h3><p>Agora vamos avaliar o <em>overfitting</em> de diferentes modelos em termos de acurácia. Os modelos avaliados são: <em>K-Nearest Neighborhood (</em><strong><em>KNN</em></strong><em>), Support Vector Machine (</em><strong><em>SVM</em></strong><em>), Random Forest (</em><strong><em>RF</em></strong><em>), Multi-Layer Perceptron (</em><strong><em>MLP</em></strong><em>) e Naive Bayes (</em><strong><em>NB</em></strong><em>).</em></p><p>Neste segundo experimento, vamos gerar um conjunto de dados com 5000 amostrar e 30 atributos. Conforme mostrado no código a seguir:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/6e614d25e9366608d8b7f2a085028aeb/href">https://medium.com/media/6e614d25e9366608d8b7f2a085028aeb/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xKiK-rIB_o6KlTEtOGsrqg.png" /></figure><p>Geralmente se estivéssemos avaliando <strong>apenas</strong> o desempenho na base de teste, os melhores modelos seriam <strong><em>SVM</em></strong> e <strong><em>RF</em></strong>, (ambos com acurácia de 0,96). No entanto, ao comparar o desempenho em termos de <em>overfitting</em> é possível notar que o <strong><em>SVM</em></strong> obteve melhor desempenho (1), já o <strong><em>RF</em></strong> tende a ter mais <em>overfitting</em> em comparação ao <strong><em>SVM</em></strong>.</p><p>Projeto no GitHub: <a href="https://github.com/luisguicomp/overfitting_evaluation">https://github.com/luisguicomp/overfitting_evaluation</a></p><h3>Conclusões</h3><p>A análise de desempenho do <em>overfitting</em> é umas das métricas mais importantes para avaliar modelos, pois modelos com alto desempenho que tende a ter <em>overfitting</em> geralmente não são opções confiáveis.</p><p>O desempenho de <em>overfitting</em> pode ser aplicado em qualquer métrica, tais como: sensibilidade, precisão, f1-score, etc.</p><p>O ideal é avaliar o <em>overfitting</em> em conjunto com outras métricas durante a escolha do melhor modelo. Para isso, pode-se utilizar a análise multi-objetivo de pareto.</p><h3><strong>Referências</strong></h3><p>[1]: Jason Brownlee (2020).<strong> </strong>How to Identify Overfitting Machine Learning Models in Scikit-Learn. <a href="https://machinelearningmastery.com/overfitting-machine-learning-models/">https://machinelearningmastery.com/overfitting-machine-learning-models</a></p><p>[2]: Will Koehrsen (2018). Overfitting vs. Underfitting: A Complete Example. <a href="https://towardsdatascience.com/overfitting-vs-underfitting-a-complete-example-d05dd7e19765">https://towardsdatascience.com/overfitting-vs-underfitting-a-complete-example-d05dd7e19765</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=51e339fac214" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>