<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Ederson Oliveira on Medium]]></title>
        <description><![CDATA[Stories by Ederson Oliveira on Medium]]></description>
        <link>https://medium.com/@edersonoliveira?source=rss-c6d9c8b2744b------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*crUE3Ge5AgZpoO6drAtvwQ.jpeg</url>
            <title>Stories by Ederson Oliveira on Medium</title>
            <link>https://medium.com/@edersonoliveira?source=rss-c6d9c8b2744b------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 12:22:48 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@edersonoliveira/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Avaliando vinhos com Ciência de Dados]]></title>
            <link>https://medium.com/@edersonoliveira/avaliando-vinhos-com-ci%C3%AAncia-de-dados-2ea9c86723df?source=rss-c6d9c8b2744b------2</link>
            <guid isPermaLink="false">https://medium.com/p/2ea9c86723df</guid>
            <dc:creator><![CDATA[Ederson Oliveira]]></dc:creator>
            <pubDate>Fri, 11 Apr 2025 18:32:35 GMT</pubDate>
            <atom:updated>2025-04-12T16:13:44.967Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Cu3Wi3QNWJutb194i8QxFw.jpeg" /></figure><p>O vinho é uma das bebidas mais apreciadas no mundo. Só em 2023 a Organização Internacional da Vinha e do Vinho (OIV) estimou o consumo mundial em 221 milhões de hectolitros (disponível <a href="https://www.oiv.int/sites/default/files/2024-04/2024_OIV_April_PressConference_PPT.pdf">aqui</a>). Isso representa quase 30 bilhões de garrafas!</p><p>Com tantas garrafas disponíveis, quais serão as principais características que as pessoas utilizam para avaliar os vinhos? Tipo de uva, o país de origem, a relação entre o preço e a qualidade?</p><p>Este projeto surgiu como parte do programa de capacitação de novos talentos da UFRJ Analytica, tendo sido idealizado para avaliar e aprimorar as habilidades analíticas dos trainees em um cenário real de ciência de dados. Para isso, utilizou‑se o conjunto de dados “Wine Reviews” disponível no Kaggle (winemag-data_first150k.csv), que reúne informações detalhadas sobre avaliações de vinhos de diversas regiões do mundo.</p><p>A responsabilidade pela resolução deste desafio coube à Nicole, trainee selecionada para conduzir todas as etapas do trabalho: desde a extração e limpeza dos dados até a construção de modelos e a interpretação dos resultados. Ao longo do projeto, ela aplicou técnicas de pré‑processamento, análise exploratória e modelagem preditiva, demonstrando domínio de ferramentas estatísticas e de programação</p><p>Vamos usar a Ciência de Dados para tentar responder algumas dessas questões.</p><h3>📊 Existe relação entre preço e pontuação?</h3><p>O senso comum é relacionar o preço com a qualidade. Quem nunca imaginou que um vinho seria mais melhor por ser o mais caro da prateleira? Para avaliar essa questão, vamos explorar o nosso banco de dados.</p><p>Primeiro, plotamos um gráfico comparando <strong>preço e pontuação dos vinhos</strong>:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xvmaxDZbrfPJgoQydtFO2Q.png" /></figure><p>Podemos avaliar que a <strong>maior concentração de vinhos</strong> está na faixa de <strong>US$ 10 a US$ 30</strong>, com pontuações variando entre <strong>85 e 90 pontos</strong>. Isso indica que há <strong>muitos vinhos acessíveis com boas notas</strong>, tornando essa faixa de preço um excelente custo-benefício.</p><p>À medida que o preço do vinho aumenta <strong>(acima de US$ 50–100)</strong>, o número de avaliações diminui. Isso pode indicar que vinhos muito caros são menos populares ou que menos pessoas os avaliam.</p><p>Há uma <strong>tendência geral de que vinhos mais caros tenham notas mais altas</strong>, mas essa relação não é linear. Existem vinhos baratos com boas notas e vinhos caros que não necessariamente têm avaliações muito melhores.</p><h3>📊 Existem tipos de uvas melhores avaliados?</h3><p>Será que algumas variedades de uvas possuem melhor avaliação do que outras? Criamos um gráfico para verificar quais são aquelas mais queridas de acordo com o dataset utilizado e o quão consistentes são as preferências por elas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ev3aYlT4k0LUN-RBI6wpNA.png" /></figure><p>Algumas uvas têm notas mais consistentes. <strong>Tinta del Pais e Gelber Traminer</strong> apresentam caixas pequenas e sem muitos outliers, indicando que os vinhos dessas uvas <strong>são consistentemente bem avaliados</strong>. Isso significa que se você escolher um vinho feito com essas uvas, <strong>há uma boa chance de obter uma alta pontuação</strong>.</p><p>Por outro lado, outras uvas não possuem notas mais consistentes. <strong>Muscadelle e Bual</strong> mostram uma ampla dispersão das notas, o que indica que há <strong>tanto vinhos excelentes quanto vinhos medianos feitos com essas uvas</strong>. O longo intervalo da caixa e a presença de <strong>outliers</strong> (pontos fora da caixa) mostram que a qualidade dos vinhos dessas variedades pode variar bastante.</p><p><strong>Muscadelle e Bual</strong> possuem outliers bem destacados, o que indica que <strong>alguns vinhos dessas variedades receberam pontuações excepcionalmente altas ou baixas</strong>. Uma possibilidade é que <strong>existem rótulos premium dessas uvas que se destacam muito</strong> dos demais, é preciso avaliar melhor sobre quais são esses rótulos.</p><p>Esses insights são valiosos tanto para apreciadores iniciantes quanto para os mais experientes, pois ajudam a tomar decisões mais embasadas na hora de escolher um vinho. Mais do que preço ou rótulo, entender os padrões por trás das avaliações pode nos levar a experiências mais satisfatórias — e tudo isso é possível graças à Ciência de Dados.</p><p>No fim das contas, esse projeto não só aprofundou nosso entendimento sobre os vinhos, como também reforçou a importância de combinar análise estatística e curiosidade para extrair conhecimento de dados do mundo real. Saúde — e até o próximo desafio! 🍷📈</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2ea9c86723df" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Data Science e detecção de fraudes em cartão — Parte 1]]></title>
            <link>https://medium.com/@edersonoliveira/data-science-e-detec%C3%A7%C3%A3o-de-fraudes-em-cart%C3%A3o-parte-1-2e0bb3dbed5?source=rss-c6d9c8b2744b------2</link>
            <guid isPermaLink="false">https://medium.com/p/2e0bb3dbed5</guid>
            <category><![CDATA[cientista-de-dados]]></category>
            <category><![CDATA[analytics]]></category>
            <category><![CDATA[ciencia-de-dados]]></category>
            <category><![CDATA[fraud-detection]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[Ederson Oliveira]]></dc:creator>
            <pubDate>Fri, 21 Jul 2023 19:09:11 GMT</pubDate>
            <atom:updated>2023-07-21T22:43:16.992Z</atom:updated>
            <content:encoded><![CDATA[<h3>Data Science e detecção de fraudes em cartão — Parte 1</h3><p>Primeiro artigo introdutório sobre modelos de Machine Learning usados para detecção de fraude em cartões de créditos (CCFD, <em>Credit card fraud detection</em>).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*baxiIJdhvBWffGl0.png" /></figure><p>Recentemente, enfrentei uma situação desagradável ao ter meu cartão de crédito bloqueado duas vezes em menos de um mês, devido a tentativas de fraude. Ao investigar o tema, descobri que não estou sozinho nessa história. Segundo <a href="https://br.clear.sale/mapa-da-fraude">Mapa da Fraude</a>, um estudo realizado pela consultoria ClearSale, só em 2022 foram 5,6 milhões de tentativas de fraudes no Brasil. Essa situação pessoal e os números crescentes de fraudes me motivaram a estudar e desenvolver um projeto de Machine Learning para prever transações fraudulentas em cartões de créditos.</p><p>Pensando nisso, decidi me decruçar sobre o tema e compartilhar com vocês os meus estudos. Neste primeiro artigo, fornecerei uma visão geral do assunto, apresentando conceitos-chave e introduzindo os temas relacionados aos modelos de detecção de fraudes. Nos artigos subsequentes, ainda em número indefinido, compartilharei detalhes sobre o modelo que desenvolvi, explicando o código e as decisões tomadas em cada etapa do projeto.</p><h3>Tipos de fraudes em cartões</h3><p>Existem dois cenários possíveis quando se pensa em fraudes em cartões: O primeiro é o <em>card-present (CP) scenario</em>, que se caracteriza por transações que demandam um cartão físico para serem concluídas; e o<em> card-not-present (CNP) scenario</em>, que são as situações em que as transações são feitas sem a necessidade de um cartão físico, como em comprar pela internet.</p><p>Essa distinção é importante para quem quer se dedicar a modelos de detecção de fraude pois o cenário CNP é o que possui o maior número de transações fraudulentas, e, por isso, deve requerer maior atenção dos cientista de dados. Dentre os motivos que contribuem para o menor número de problemas no cenário CP, destaca-se a maturidade da tecnologia, que foi desenvolvida ao longo de mais de 20 anos, além do uso de chips nos cartões, que constituem uma sólida barreira contra ataques.</p><p>É importante mencionar que, apesar da maturidade da tecnologia CP, ainda é possível ocorrer fraudes nesse cenário, e que os criminosos têm se adaptado e buscado novas formas de burlar as medidas de segurança existentes. Portanto, mesmo com o CP sendo menos vulnerável em comparação ao CNP, a vigilância e atualizações contínuas são necessárias para garantir a segurança das transações.</p><h3>Sistema de Detecção de Fraude (FDS, Fraud Detection System)</h3><p>Antes de pensarmos em modelos de Machine Learning, é importante entender como o FDS (<em>Fraud Detection System</em>) funciona como um todo. Ele possui duas primeiras camadas que funcionam em tempo-real: Terminal e Regras de Bloqueio de Transações. As duas próximas, <em>Scoring Rules</em> e <em>Data-Driven Model</em> (DDM) são as que trabalham quase em tempo-real para bloquear os cartões. Por fim, a última camada, chamada <em>Investigators</em>, é a única feita por pessoas e offline. Abaixo temos uma representação visual mais detalhadas dessas camadas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/998/0*CvCausTLR9m8wiEY.jpg" /><figcaption>Esse é um diagrama representando as camadas de um Sistema de Detecção de Fraude, disponível <a href="https://dalpozz.github.io/static/pdf/Dalpozzolo2015PhD.pdf">aqui</a>. Fonte: Andrea Dal Pozzolo. <em>Adaptive machine learning for credit card fraud detection</em>. Université libre de Bruxelles, 2015.</figcaption></figure><p>A etapa onde o cientista de dados trabalha, principalmente, é a <em>Data-Driven Model</em> (DDM), pois é nela que os modelos serão implementados para estimar a probabilidade das transações serem fraudulentas. Essa etapa do sistema não depende de regras necessariamente interpretáveis, geralmente ditadas por expressões não lineares.</p><p>Existem muitos métodos utilizados para treinar modelos de previsão de fraude em cartão de crédito. O artigo de revisão de Priscilla <em>et al.</em> mostrou, que os mais utilizados, dentro do seu universo amostral de cem artigos, foram <em>Random Forest, Support Vector Machine, Bayesian Network Classifier, Logistic Regression</em> e <em>Decision Tree</em>, nessa ordem. No trabalho, disponível <a href="https://link.springer.com/chapter/10.1007/978-3-030-38501-9_29">aqui</a>, ela elenca as principais vantagens e desvantagens de cada modelo.</p><h3>Principais desafios</h3><p>Existem algumas dificuldades em Machine Learning para detecção de fraude em cartões de créditos (CCFD, <em>Credit Card Fraud Detection</em>). Vamos conhecer as principais e entender o motivo desse ser um campo com tantos desafios.</p><ul><li><strong>Dataset desequlibrado:</strong> a quantidade de transações fraudulentas nos dataset costuma ser muito pequena, abaixo de 1%, justamente pela baixa frequência desse tipo de problema no mundo real. Isso é um problema, já que vários modelos tem dificuldade em lidar com bancos de dados com classes tão desbalanceadas assim.</li><li><strong><em>Concept drift</em>:</strong> os hábitos dos usuários dos cartões estão sempre em mudança, bem como os padrões de transação e fraude mudam ao longo do tempo. Além disso, os fraudadores adotam novas técnicas à medida que as antigas se tornam obsoletas. Essas alterações que variam no tempo se encaixam no conceito de <em>concept drift</em> (ou deriva do conceito) e gera a necessidade das soluções de ML serem capaz de lidar com as mudanças temporais.</li><li><strong>Tempo real:</strong> uma fraude precisa ser detectada em tempo real para evitar que o usuário seja vítima, portanto essa é mais uma dificuldade importante para os modelos. É fundamental pensar na paralelização e escalabilidade dos sistemas de detecção de fraudes, lembrando que o volume de transações é enorme, milhões por dia.</li><li><strong><em>Features</em> categóricas:</strong> muitas das variáveis disponíveis nos datasets de transações financeiras são categóricas, como o ID do usuário e o tipo do cartão, por exemplo. É importante transformar essas variáveis em numéricas, para que os algoritmos tenha maior facilidade de trabalhar.</li><li><strong>Modelagem sequencial:</strong> cada cliente gera um fluxo de dados sequencial, e o modelo precisa usar essas informações para gerar uma caracterização do seu comportamento e, assim, conseguir detectar uma ação anormal.</li><li><strong>Métricas de desempenho: </strong>por conta da complexidade da questão, ainda não existe um consenso sobre qual ou quais são as melhores métricas de desempenho a serem utilizadas nesse contexto. O desequilibrio entre as classes que citamos acima e a estrutura de custos faz com que não seja uma tarefa simples escolher as métricas mais adequadas. O ideal é maximizar o número de transações fraudulentas corretamente identificas ao mesmo tempo em que se minimiza os falsos positivos.</li><li><strong>Poucos dados públicos reais:</strong> lidar com dados bancários gera um problema sério de confidencialidade. Dessa forma, são raros os dados públicos de transações com cartão de crédito do mundo real.</li></ul><h3>Resumindo</h3><p>Detecção de fraudes em cartões de crédito (CCFD) é um desafio complexo que requer a análise de grandes volumes de dados de transações para identificar padrões de fraude. A quantidade significativa de dados, aliada às técnicas em constante evolução dos fraudadores, torna impossível para humanos abordarem eficientemente esse problema.</p><p>Na última década, a CCFD tem sido complementada cada vez mais com algoritmos Machine Learning, o que permite buscar e detectar padrões em grandes quantidades de dados. Algoritmos de ML têm demonstrado melhorar significativamente a eficiência dos sistemas de detecção de fraudes e auxiliar os investigadores na identificação de transações fraudulentas.</p><p>Nos próximos artigos vou detalhar melhor os modelos utilizados nesse contexto, discutindo as métricas de avaliação de performance e a questão importante dos desbalanceamento dos dados. Também irei detalhar o código de um modelo, deixando claro cada etapa e escolha feita. Até breve!</p><h3>Referências</h3><p>Aderemi O Adewumi and Andronicus A Akinyelu. A survey of machine-learning and nature-inspired based credit card fraud detection techniques. <em>International Journal of System Assurance Engineering and Management</em>, 8(2):937–953, 2017.</p><p>Andrea Dal Pozzolo. <em>Adaptive machine learning for credit card fraud detection</em>. Université libre de Bruxelles, 2015.</p><p>C Victoria Priscilla and D Padma Prabha. Credit card fraud detection: a systematic review. In <em>International Conference on Information, Communication and Computing Technology</em>, 290–303. Springer, 2019.</p><p>Fabrizio Carcillo. <em>Beyond Supervised Learning in Credit Card Fraud Detection: A Dive into Semi-supervised and Distributed Learning</em>. Université libre de Bruxelles, 2018.</p><p>Statistic Brain Research Institute. Credit card fraud statistics. April 2018. [Online; Last consulted 30-March-2021]. URL: <a href="https://www.statisticbrain.com/credit-card-fraud-statistics/">https://www.statisticbrain.com/credit-card-fraud-statistics/</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2e0bb3dbed5" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Regressão logística versus regressão linear]]></title>
            <link>https://medium.com/@edersonoliveira/regress%C3%A3o-log%C3%ADstica-versus-regress%C3%A3o-linear-6589e9160c0e?source=rss-c6d9c8b2744b------2</link>
            <guid isPermaLink="false">https://medium.com/p/6589e9160c0e</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[regressão-logística]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[ciencia-de-dados]]></category>
            <category><![CDATA[analytics]]></category>
            <dc:creator><![CDATA[Ederson Oliveira]]></dc:creator>
            <pubDate>Wed, 19 Apr 2023 15:23:42 GMT</pubDate>
            <atom:updated>2023-04-19T15:23:42.621Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gXYbU-sMxwVKogJ9zOSOSw.jpeg" /></figure><p>Para introduzir uma série de artigos que escreverei sobre regressão logística, vamos discutir brevemente a diferença entre a regressão linear e a regressão logística para problemas de classificação.</p><h4>Relembrando a regressão linear</h4><p>A regressão linear possui o pressuposto de que a variável resposta, aquela que queremos prever, é composta por dados quantitativos. Porém, em inúmeros casos, os dados com os quais iremos trabalhar são qualitativos (ou categóricos). Nessas situações estamos falando de problemas de classificação e os métodos utilizados nesse contexto, muitas vezes, se comportam como métodos de regressão, uma vez que primeiro fazem uma predição da probabilidade de uma observação pertencer a uma das categorias da variáveis qualitativa e depois usam isso para gerar a classificação.</p><p>Existem vários classificadores que podemos usar para prever respostas categóricas. <strong>Esse é o primeiro artigo de vários nos quais iremos conversar sobre o modelo de regressão logística</strong> (que é um modelo de classificação). Ele fornece fundamentos para os modelos lineares generalizados, que lidam com variáveis de resposta que não são normalmente distribuídas, ou que não atendem a outras suposições da regressão linear (regressão de Poisson, por exemplo).</p><h3>Em qual situação não usar a Regressão Linear?</h3><p>Já sabemos que a regressão linear não é o melhor caminho quando estamos querendo prever dados qualitativos. Mas, porque? O livro “An Introduction to Statistical Learning”, que venho utilizando como referência para os últimos textos, traz um exemplo muito interessante, que veremos abaixo.</p><p>Vamos pensar em uma situação na área médica. Imagine que uma pessoa chegou na emergência de um hospital e a equipe precisa prever a sua condição a partir do conjunto de sintomas apresentados. Nesse exemplo teremos 3 opções de variáveis respostas (ou diagnósticos): crise epilética, overdose de drogas e AVC.</p><p>Vamos codificar nosso Y da seguinte maneira:</p><ul><li>Y = 1 (se AVC)</li><li>Y = 2 (se overdose)</li><li>Y = 3 (se crise epilética)</li></ul><p>Seguindo a lógica da regressão linear, a equipe poderia usar o método dos mínimos quadrados (que é o método utilziados pela regressão lienar) para encontrar a melhor linha reta que se ajusta aos pontos de dados e prever Y de acordo com o conjunto de preditores X1,… Xn (os sintomas). Porém, ao utilizar esse caminho existe o <strong>pressuposto de ordenamento</strong>. Ou seja, o modelo assume que a diferença entre AVC e overdose de drogas é a mesma que a diferença entre overdose de drogas e ataque epiléptico.</p><p>Se nossa codificação fosse outra, colocando overdose como 1, AVC como 2 e crise epilética como 3, a relação linear gerada seria completamente diferente e as previsões seriam fundamentalmente distintas. Se tratando de doenças até podemos pensar em uma codificação que diminua essa lacuna, como “leve”, “moderado” e “grave”, porém não há uma maneira natural e universal de converter uma variável de resposta qualitativa com mais de dois níveis em uma resposta quantitativa pronta para regressão linear.</p><p>E se tivermos apenas dois níveis? Ou seja, uma resposta qualitativa binária a partir dos dados disponíveis. Vamos supor que o paciente possa ter derrame ou overdose. Podemos aplicar a seguinte codificação: Y = 1 (se derrame) e Y = 2 (se overdose de drogas). Nesse caso, de resposta binária, fica claro que a previsão para Y não vai mudar se a codificação fosse invertida.</p><p>Com esse exemplo fica claro a problemática de utilizar a regressão para lidar com previsões qualitativas com mais de duas classes. V<strong>ale lembrar que o modelo de regressão logística, apesar do nome, é um modelo de classificação.</strong></p><h4>Entendendo melhor</h4><p>Existem, pelos menos, dois problemas em realizar a classificação utilizando um método de regressão:</p><ul><li>Vimos no texto que o método de regressão pode ter problemas quando nossos dados qualitativos apresentam mais de duas classes, ele não lida bem com variáveis de resposta contínuas e não categóricas;</li><li>Mesmo com apenas duas classes, Pr(Y |X) pode não fornecer boas estimativas. É melhor utilizar um método de classificação que seja realmente adequado para valores de resposta qualitativa.</li></ul><p>A regressão logística, sobre a qual iremos conversar nessa série de artigos, é uma opção adequada de modelo de classificação para situações de previsões qualitativas binárias, como a previsão de churn. Existem outros métodos mais adequados para respostas qualitativas com mais classes, como support vector machine.</p><p>Até o próximo artigo!</p><p>Esse texto foi produzido usando como fonte principal a segunda edição do livro “An Introduction to Statistical Learning”, dos autores Gareth James, Daniela Witten, Trevor Hastie e Rob Tibshirani. É possível baixar gratuitamente a obra através <a href="https://www.statlearning.com/">deste</a> link.</p><p>Vemos nos conectar no LinkedIn! Clique <a href="https://www.linkedin.com/in/edersonliver/">aqui</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6589e9160c0e" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Avaliando a precisão do modelo: classificação]]></title>
            <link>https://medium.com/@edersonoliveira/avaliando-a-precis%C3%A3o-do-modelo-classifica%C3%A7%C3%A3o-3202e28fe706?source=rss-c6d9c8b2744b------2</link>
            <guid isPermaLink="false">https://medium.com/p/3202e28fe706</guid>
            <category><![CDATA[data]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[ciencia-de-dados]]></category>
            <dc:creator><![CDATA[Ederson Oliveira]]></dc:creator>
            <pubDate>Mon, 06 Mar 2023 11:47:14 GMT</pubDate>
            <atom:updated>2023-03-06T11:53:53.966Z</atom:updated>
            <content:encoded><![CDATA[<p>Nos dois artigos anteriores nós pensamos em questões relacionadas à precisão de modelos de regressão. Porém, essas questões também podem ser pensadas para modelos de classificação, com algumas alteração relacionadas ao fato dos dados não serem mais quantitativos. Esses três artigos sobre a precisão do modelo são baseados no livro “An Introduction to Statistical Learning” (link disponível no final do texto).</p><p>Já sabemos que a maneira mais usual de quantificar a nossa estimativa f é através da taxa de erro de treino, ou seja, a proporção de erros cometidos se aplicarmos nossa estimativa f às observações de treinamento. A equação abaixo calcula a proporção de classificações erradas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bvVW0XQH-6mWStIdBy-MPA.jpeg" /><figcaption>Equação que calcula a taxa de erro de treinamento.</figcaption></figure><p>Essa equação nos fornece a taxa de erro de treinamento, porém nosso maior interesse está nos erros cometidos quando submetemos os nossos modelos à dados que não foram usados no treino. A equação <strong>Ave (I(y0 ̸= ˆy0))</strong> mede a taxa média de erro de classificação do modelo em relação aos dados de teste. <strong>Um bom classificador é aquele para o qual o erro de teste é menor.</strong></p><h3><strong>Bayes</strong></h3><p>A taxa de erro do teste que citamos acima é minimizada, em média, por um classificador muito simples que atribui cada observação à classe mais provável, dada seus valores de previsão.</p><p>A equação Pr(Y = j | X = x0) representa a probabilidade condicional de uma variável aleatória Y tomar um determinado valor j, dado que outra variável aleatória X tomou um determinado valor x0. Este classificador muito simples é chamado de<strong> classificador de Bayes</strong>. Vamos ver um exemplo, da figura 01, usando um conjunto de dados simulado em um espaço bidimensional que consiste nos preditores X1 e X2.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*krV8gXSwCUymHcacatv8Bw.jpeg" /><figcaption>Figura 01 — Um conjunto de dados simulados que consiste em 100 observações em cada um dos dois grupos, indicados em azul e laranja. A linha tracejada roxa representa o limite de decisão de Bayes. A grade de fundo laranja indica a região em que uma observação de teste será atribuída à classe laranja, e a grade de fundo azul indica a região em que uma observação de teste será atribuída à classe azul. Imagem adaptada do livro “An Introduction to Statistical Learning”, segunda edição, dos autores Gareth James, Daniela Witten, Trevor Hastie e Rob Tibshirani.</figcaption></figure><p>Os círculos laranja e azul correspondem a observações de treinamento que pertencem a duas classes diferentes. Para cada valor de X1 e X2, há uma probabilidade diferente de a resposta ser laranja ou azul. Sabemos como os dados foram gerados e podemos calcular as probabilidades condicionais para cada valor de X1 e X2, já que se trata de dados simulados.</p><p>A região sombreada em laranja reflete o conjunto de pontos para os quais Pr(Y = orange|X) é maior que 50 %, enquanto a região sombreada em azul indica o conjunto de pontos para os quais a probabilidade é inferior a 50%.</p><h4><strong>limite de decisão de Bayes</strong></h4><p>A linha tracejada roxa representa os pontos onde a probabilidade é exatamente 50%. Isso é chamado de <strong>limite de decisão de Bayes</strong>. A previsão do classificador do limite de decisão de Bayes Bayes é determinada pelo limite de decisão de Bayes; uma observação que caia no lado laranja do limite será atribuída à classe laranja e, da mesma forma, uma observação no lado azul do limite será atribuída à classe azul. O classificador de Bayes produz a menor taxa de erro de teste possível, chamada de <strong>taxa de erro de Bayes</strong>.</p><p>A taxa de erro de Bayes geralmente é dada pela equação abaixo. Para os dados simulados que foram usados para construir a figura acima, a taxa de erro de Bayes é 0,133. É maior que zero, porque as classes se sobrepõem na população verdadeira, então maxj Pr(Y = j|X = x0) &lt; 1para alguns valores de x0. <strong>A taxa de erro de Bayes é análoga ao erro irredutíve</strong>l, como vimos no artigo anterior (<a href="https://medium.com/@edersonoliveira/avaliando-a-precis%C3%A3o-do-modelo-trade-off-vi%C3%A9s-vari%C3%A2ncia-195cd2e07683">clique aqui</a>).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*vKPN2pOUCesGcXIuMchNeQ.jpeg" /></figure><h3>K-Nearest Neighbors</h3><p>Nos casos da vida real não é possível calcular o classificador de Bayes, já que nem sempre conhecemos a distribuição condicional de Y dado X. Por isso consideramos Bayer um padrão-ouro, que deve ser utilizado para comparação com outros métodos.</p><p>Muitas abordagens tentam estimar a distribuição condicional de Y dado X e, depois, classificar uma determinada observação para a classe com maior probabilidade estimada. Um desses métodos é o classificador K-Nearest Neighbors (KNN).</p><p>Dado um inteiro positivo K e uma observação de teste x0, o classificador KNN primeiro identifica os K pontos nos dados de treinamento que estão mais próximos de x0, representados por N0. Em seguida, estima a probabilidade condicional para a classe j como a fração de pontos em N0 cujos valores de resposta são iguais a j:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PtFRXsX95_F93bSqOFYxkA.jpeg" /></figure><p>Então, o KNN classifica a observação de teste x0 para a classe com a maior probabilidade a partir da equação acima.</p><p>Vamos ver um exemplo de uso do KNN, na figura 02. O painel a esquerda representa um pequeno conjunto de dados de treinamento que consiste em seis observações azuis e seis laranjas. Queremos fazer uma previsão para o ponto marcado pelo x preto. Suponha que escolhemos K = 3. Então KNN identificará primeiro as três observações que estão mais próximas do cruzamento. Esta região está representada pelo círculo verde e consiste em dois pontos azuis e um ponto laranja, resultando em probabilidades estimadas de 2/3 para a classe azul e 1/3 para a classe laranja. Dessa forma, KNN irá prever que o x preto pertence à classe azul. No painel direito aplicamos a abordagem KNN com K = 3 em todos os valores possíveis para X1 e X2 e desenhamos o limite de decisão KNN correspondente.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OQ1XgRXmyA7G_hbG4kzgYA.jpeg" /><figcaption>Figura 02 — A abordagem KNN, usando K = 3, é ilustrada em uma situação simples com seis observações azuis e seis observações laranjas. Esquerda: uma observação de teste na qual um rótulo de classe previsto é desejado é mostrada como um x preto. Os três pontos mais próximos da observação de teste são identificados e prevê-se que a observação de teste pertença à classe de ocorrência mais comum, neste caso azul. Direita: O limite de decisão KNN para este exemplo é mostrado em preto. A grade azul indica a região em que uma observação de teste será atribuída à classe azul, e a grade laranja indica a região em que ela será atribuída à classe laranja. Imagem adaptada do livro “An Introduction to Statistical Learning”, segunda edição, dos autores Gareth James, Daniela Witten, Trevor Hastie e Rob Tibshirani.</figcaption></figure><p>Não pense que a simplicidade do KNN é ineficaz! Muitas vezes ela obtém previsões bem próximas ao padrão-ouro Bayes. A figura 03 mostra o limite de decisão KNN, usando K = 10, quando aplicado ao maior conjunto de dados simulados da figura 01.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GBsHzyqLm8lPqmCjW818vw.jpeg" /><figcaption>Figura 03 — A curva preta indica o limite de decisão KNN nos dados da figura 01, usando K = 10. O limite de decisão de Bayes é mostrado como uma linha tracejada roxa. Os limites de decisão KNN e Bayes são muito semelhantes. Imagem adaptada do livro “An Introduction to Statistical Learning”, segunda edição, dos autores Gareth James, Daniela Witten, Trevor Hastie e Rob Tibshirani.</figcaption></figure><p>Observe que, embora a distribuição real não seja conhecida pelo classificador KNN, o limite de decisão KNN é muito próximo ao do classificador Bayes. A taxa de erro de teste usando KNN é de 0,1363, que está próxima da taxa de erro de Bayes de 0,1304. <strong>A escolha do K tem um efeito drástico no classificador KNN obtido, como veremos abaixo</strong>.</p><p>A figura 04 exibe dois ajustes KNN para os dados simulados da figura 03, usando K = 1 e K = 100. Quando K = 1, o limite de decisão é excessivamente flexível e encontra padrões nos dados que não correspondem ao limite de decisão de Bayes. Isso corresponde a um classificador com baixo viés, mas variância muito alta. À medida que K cresce, o método se torna menos flexível e produz um limite de decisão próximo do linear. Isso corresponde a um classificador de baixa variância, mas de alto viés. Neste conjunto de dados simulado, nem K = 1 nem K = 100 fornecem boas previsões: eles têm taxas de erro de teste de 0,1695 e 0,1925, respectivamente.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WglThFB3B1094K8E5YxWQw.jpeg" /><figcaption>Figura 04 — Uma comparação dos limites de decisão KNN (curvas pretas sólidas) obtidas usando K = 1 e K = 100 nos dados da figura 01. Com K = 1, o limite de decisão é excessivamente flexível, enquanto com K = 100 não é suficientemente flexível. O limite de decisão de Bayes é mostrado como uma linha tracejada roxa. Imagem adaptada do livro “An Introduction to Statistical Learning”, segunda edição, dos autores Gareth James, Daniela Witten, Trevor Hastie e Rob Tibshirani.</figcaption></figure><p>Assim como na configuração de regressão, não há uma forte relação entre a taxa de erro de treinamento e a taxa de erro de teste. Com K = 1, a taxa de erro de treinamento KNN é 0, mas a taxa de erro de teste pode ser bastante alta.</p><p>Em geral, à medida que usamos métodos de classificação mais flexíveis, a taxa de erro de treinamento diminuirá, mas a taxa de erro de teste não necessariamente.</p><p>A figura 05 representa o teste KNN e os erros de treinamento em função de 1/K. À medida que 1/K aumenta, o método se torna mais flexível. Como na configuração de regressão, a taxa de erro de treinamento diminui consistentemente à medida que a flexibilidade aumenta. No entanto, o erro de teste exibe uma característica em forma de U, diminuindo no início (com um mínimo em aproximadamente K = 10) antes de aumentar novamente quando o método se torna excessivamente flexível e com overfitting.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*O7ZYc9PfhTU6iThWo37JXg.jpeg" /><figcaption>Figura 05 — A taxa de erro de treinamento KNN (azul, 200 observações) e a taxa de erro de teste (laranja, 5.000 observações) nos dados da figura 01, conforme o nível de flexibilidade (avaliado usando 1/K na escala logarítmica) aumenta, ou equivalentemente conforme o número de vizinhos K diminui. A linha tracejada preta indica a taxa de erro de Bayes. O salto das curvas é devido ao pequeno tamanho do conjunto de dados de treinamento. Imagem adaptada do livro “An Introduction to Statistical Learning”, segunda edição, dos autores Gareth James, Daniela Witten, Trevor Hastie e Rob Tibshirani.</figcaption></figure><p>Nas configurações de regressão e classificação, <strong>escolher o nível correto de flexibilidade é fundamental para o sucesso de qualquer método de aprendizado estatístico</strong>. A compensação de viés-variância e a forma de U resultante no erro de teste podem tornar essa tarefa difícil.</p><p>Esse texto foi produzido usando como fonte principal a segunda edição do livro “An Introduction to Statistical Learning”, dos autores Gareth James, Daniela Witten, Trevor Hastie e Rob Tibshirani. É possível baixar gratuitamente a obra através <a href="https://www.statlearning.com/">deste</a> link.</p><p>Vemos nos conectar no LinkedIn! Clique <a href="https://www.linkedin.com/in/edersonliver/">aqui</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3202e28fe706" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Avaliando a precisão do modelo: Trade-off viés-variância]]></title>
            <link>https://medium.com/@edersonoliveira/avaliando-a-precis%C3%A3o-do-modelo-trade-off-vi%C3%A9s-vari%C3%A2ncia-195cd2e07683?source=rss-c6d9c8b2744b------2</link>
            <guid isPermaLink="false">https://medium.com/p/195cd2e07683</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[dados]]></category>
            <category><![CDATA[aprendizado-de-maquina]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[ciencia-de-dados]]></category>
            <dc:creator><![CDATA[Ederson Oliveira]]></dc:creator>
            <pubDate>Wed, 22 Feb 2023 22:43:20 GMT</pubDate>
            <atom:updated>2023-02-23T00:55:16.537Z</atom:updated>
            <content:encoded><![CDATA[<p>Como saber qual dos modelos de aprendizagem produz os melhores resultados para o seu dataset? Essa pergunta não é simples de ser respondida. Vamos entender melhor juntos alguns conceitos relacionados a esse tema através de três artigos que irei produzir sobre a precisão do modelo, baseados no livro “An Introduction to Statistical Learning”. Este segundo artigo trata do trade-off entre o viés e avariância. <a href="https://medium.com/@edersonoliveira/avaliando-a-precis%C3%A3o-do-modelo-mensurando-a-qualidade-do-fit-35009918981a">Clique aqui</a> para ler o primeiro.</p><p>No artigo anterior vimos que a curva relacionando o Erro Quadrático Médio (MSE) com a flexibilidade do modelo (ou seja, os graus de liberdade) possui a forma de U, resultado de duas propriedades dos métodos de aprendizado estatístico. A gente também sabe que o MSE de teste esperado é composto por três aspectos:</p><ul><li><strong>Viés ao quadrado:</strong> é a diferença entre a média dos valores previstos pelo modelo e a média dos valores reais na população. O viés mede a capacidade do modelo de capturar a relação entre as variáveis preditoras e a variável de resposta. Quanto menor o viés, melhor é a capacidade do modelo de fazer previsões precisas.</li><li><strong>Variância:</strong> é a variabilidade das previsões do modelo para diferentes conjuntos de dados. A variância mede a sensibilidade do modelo às flutuações nos dados de treinamento. Quanto maior a variância, maior é a probabilidade de overfitting, ou seja, o modelo pode se ajustar muito bem aos dados de treinamento, mas terá um desempenho pior com novos dados.</li><li><strong>Erro irredutível:</strong> é a parte do erro que não pode ser reduzida, mesmo com o melhor modelo possível. Isso inclui fatores como ruído nos dados, incerteza nas medições ou variabilidade natural da variável de resposta. O erro irredutível representa o limite inferior para o desempenho do modelo.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zUr5C_q-qWI579XabUEsbQ.jpeg" /><figcaption>Equação do Erro Quadrático da previsão, evidenciando as três partes que compõe o conceito.</figcaption></figure><p>Se quisermos minimizar o erro de teste esperado, temos que buscar um método que tenha, ao mesmo tempo, uma baixa variância e um baixo viés. É isso que podemos observar na equação acima.<strong> Mas… o que é a variância e o viés de um método de aprendizado estatístico?</strong></p><h4>Variância</h4><p>A variância representa o quanto a função (^f) mudaria se usássemos um outro conjunto de treino. Uma alta variância pode indicar que a função estimada é muito sensível aos dados de treinamento e, portanto, pode não se generalizar bem para novos dados, resultando em overfitting. O ideal é que a variância não sofra muita alteração entre os conjuntos de treino. <strong>Se o método que você está utilizando apresenta uma variância muito alta, pequenas alterações nos dados de treino podem resultar em grandes alterações na função estimada</strong>.</p><p>Os métodos mais flexíveis, de modo geral, possuem uma variância menor. Na figura 01, que já vimos no artigo anterior, isso fica evidente. A curva verde é muito flexível, segue cada observação. O motivo da sua alta variância está no fato de que alterar algum desses pontos de dados pode fazer com que a estimativa ˆf mude bastante. Por outro lado, a linha de MSE laranja é relativamente inflexível e tem baixa variância, pois mover qualquer observação única provavelmente não irá mudar muito a linha.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Jz0UcDBVSb-X1HxdIrEWMQ.jpeg" /><figcaption>Figura 01. Esquerda: Três estimativas de f : a linha de regressão linear (curva laranja) e dois ajustes de spline de suavização (curvas azul e verde). Direita: MSE de treino (curva cinza), MSE de teste (curva vermelha) e menor MSE de teste alcançável (linha tracejada). Os quadrados representam os MSEs de treinamento e teste para os três ajustes mostrados no painel esquerdo. Imagem adaptada do livro “An Introduction to Statistical Learning”, segunda edição, dos autores Gareth James, Daniela Witten, Trevor Hastie e Rob Tibshirani</figcaption></figure><h4>Viés</h4><p>Já o viés está relacionado com ao erro que introduzimos ao utilizarmos um modelo que faz alguma aproximação de um problema da vida real, que pode ser muito mais complicado do que nosso método pode abarcar. Usando novamente a figura 02, já vista no primeiro artigo que escrevi, podemos entender melhor: a função real não é nem um pouco linear, então não conseguimos fazer uma boa previsão usado uma regressão linear (linha amarela), mesmo com muitos dados de treino. Nesse caso a regressão linear produz um alto viés. <strong>De modo geral, métodos mais flexíveis resultam em menos viés.</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QVrGEbjhtCrbskfM2zgfkg.jpeg" /><figcaption>Figura 02. Mesmos detalhes da figura 01, porém com o f verdadeiro altamente não linear. Imagem adaptada do livro “An Introduction to Statistical Learning”, segunda edição, dos autores Gareth James, Daniela Witten, Trevor Hastie e Rob Tibshirani.</figcaption></figure><p>Conforme usamos métodos mais flexíveis, a variância cai e o viés sobe, de modo geral. Conforme aumentamos a flexibilidade de uma classe de métodos, o viés tende inicialmente a diminuir mais rapidamente do que a variância aumenta. Consequentemente, o MSE de teste esperado cai. No entanto, em algum ponto, o aumento da flexibilidade tem pouco impacto no viés, mas começa a aumentar significativamente a variância. Quando isso acontece, o MSE de teste aumenta.</p><p>Vamos analisar os gráficos da figura 03, abaixo. Em cada caso, a curva azul representa o viés quadrado, para diferentes níveis de flexibilidade, enquanto a curva laranja corresponde à variância. A linha tracejada horizontal representa Var(ε), o erro irredutível. E a curva vermelha, correspondente MSE de teste, é a soma dessas três grandezas. <strong>O que é comum aos gráficos? Em todos a variância aumenta e o viés diminui à medida que a flexibilidade do método aumenta.</strong> No entanto, o nível de flexibilidade correspondente ao MSE de teste ideal difere consideravelmente entre os três conjuntos de dados, porque o viés quadrado e a variância mudam em taxas diferentes em cada um dos conjuntos de dados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*v0y0GZRFR0KqFgAL2PAPqg.jpeg" /><figcaption>Figura 03. Viés (curva azul), variância (curva laranja), Var(ε) (linha tracejada) e MSE de teste (curva vermelha) para os três conjuntos de dados das figuras anteriores. A linha pontilhada vertical indica o nível de flexibilidade correspondente ao menor MSE de teste. Imagem adaptada do livro “An Introduction to Statistical Learning”, segunda edição, dos autores Gareth James, Daniela Witten, Trevor Hastie e Rob Tibshirani.</figcaption></figure><h3>Resumindo</h3><p>Essa relação entre o viés, a variância e o MSE de teste é o que chamamos de trade-off viés-variância. É mais simples obter um método com viés muito baixo, porém com a variância alta. Também é mais simples um método com variância muito baixa, mas com o viés alto. O que é muito mais complicado é encontrar um método para o qual ambos sejam baixos. É sempre importante ter esse trade-off em mente ao trabalhar em seus modelos de aprendizagem estatística.</p><p>Esse texto foi produzido usando como fonte principal a segunda edição do livro “An Introduction to Statistical Learning”, dos autores Gareth James, Daniela Witten, Trevor Hastie e Rob Tibshirani. É possível baixar gratuitamente a obra através <a href="https://www.statlearning.com/">deste</a> link.</p><p>Vemos nos conectar no LinkedIn! Clique <a href="https://www.linkedin.com/in/edersonliver/">aqui</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=195cd2e07683" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Avaliando a precisão do modelo: a qualidade do ajuste]]></title>
            <link>https://medium.com/@edersonoliveira/avaliando-a-precis%C3%A3o-do-modelo-mensurando-a-qualidade-do-fit-35009918981a?source=rss-c6d9c8b2744b------2</link>
            <guid isPermaLink="false">https://medium.com/p/35009918981a</guid>
            <category><![CDATA[data]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[ciencia-de-dados]]></category>
            <dc:creator><![CDATA[Ederson Oliveira]]></dc:creator>
            <pubDate>Wed, 08 Feb 2023 17:33:19 GMT</pubDate>
            <atom:updated>2023-02-22T22:28:26.707Z</atom:updated>
            <content:encoded><![CDATA[<p>Como saber qual dos modelos de aprendizagem produz os melhores resultados para o seu <em>dataset</em>? Essa pergunta não é simples de ser respondida. Vamos entender melhor juntos alguns conceitos relacionados a esse tema através de três artigos que irei produzir sobre a precisão do modelo, baseados no livro “An Introduction to Statistical Learning”. Este primeiro trata da mensuração da qualidade do ajuste.</p><h4>O Erro Quadrático Médio (MSE)</h4><p>Para saber se um modelo está performando bem no seu conjunto de dados é preciso avaliar o nível de assertividade das suas previsões. Isso quer dizer que precisamos saber o quão perto dos valores reais estão os valores previstos. Quem já tem alguma familiaridade com o assunto sabe que a medida mais usada para isso em regressões é o <strong>Erro Quadrático Médio</strong> (vou usar a sigla em inglês, MSE).</p><blockquote>MSE pequeno: previsão próxima do real<br>MSE grande: previsão com diferença significativa do real</blockquote><p>O MSE é calculado usando os dados de treinamento, porém o que realmente nos interessa são os resultados quando aplicamos os modelos a dados para os quais ele ainda não foi exposto, certo? Por exemplo, se estou trabalhando em um modelo que prevê o cancelamento de reservas de hotéis, eu uso as informações do dataset (com informações sobre cancelamentos anteriores, antecedência da reserva, etc) para treinar o modelo. Porém, o meu objetivo final é fazer previsões para futuros hóspedes que não estão incluídos nesse banco de dados.</p><p>Queremos, então, <strong>um modelo que tenha o menor MSE para dados de teste</strong>. Mas, e se nós apenas tivermos os dados de treino? Podemos pensar em buscar um método de aprendizado estatístico que nos retorne o menor MSE de treinamento possível. Porém, existe uma questão crucial:</p><blockquote><strong>Um valor de MSE pequeno nos dados de treino não garante um MSE baixo nos dados de teste.</strong></blockquote><p>Vários métodos minimizam o MSE especificamente no conjunto de treino, mas para o conjunto de teste ele geralmente é bem maior. Na figura 01, adaptada do livro “An Introduction to Statistical Learning”, a gente consegue entender melhor essa questão.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Jz0UcDBVSb-X1HxdIrEWMQ.jpeg" /><figcaption>Figura 01. Esquerda: Três estimativas de f : a linha de regressão linear (curva laranja) e dois ajustes de spline de suavização (curvas azul e verde). Direita: MSE de treino (curva cinza), MSE de teste (curva vermelha) e menor MSE de teste alcançável (linha tracejada). Os quadrados representam os MSEs de treinamento e teste para os três ajustes mostrados no painel esquerdo. Imagem adaptada do livro “An Introduction to Statistical Learning”, segunda edição, dos autores Gareth James, Daniela Witten, Trevor Hastie e Rob Tibshirani.</figcaption></figure><p>Do lado esquerdo, a curva preta representa o f verdadeiro. Cada uma das demais curvas (laranja, azul e verde) representam estimativas para esse f usando modelos com níveis crescentes de flexibilidade. A regressão linear (linha laranja) é mais inflexível, enquanto as outras duas linhas foram feitas usando splines de suavização (veja mais sobre <em>smoothing splin</em> <a href="https://medium.com/towards-data-science/splines-for-feature-selection-and-data-smoothing-python-ed5ad31436d5">aqui</a>) com níveis crescentes de flexibilidade. A curva verde é a mais flexível, se adaptando muito bem aos dados, porém se ajustando mal ao f verdadeiro (linha preta). Adaptar esses níveis de flexibilidade pode ajustar melhor os resultados, como o exemplo da linha azul, bem mais parecida com o f verdadeiro.</p><p>Vamos agora olhar para o lado direito da figura. A curva cinza representa o MSE de treino em função da flexibilidade (graus de liberdade). Os quadrados laranja, verde e azul são associados às curvas do gráfico a esquerda. Uma curva mais suave tem menos graus de liberdade (menos flexibilidade) do que uma curva mais sinuosa. O MSE de treino cai muito conforme a flexibilidade aumenta. A gente sabe que o f verdadeiro não é linear, então o modelo representado pela linha laranja não é bom, pois ele não é flexível o suficiente para estimar bem o f. A curva verde tem o MSE de treino baixo entre os três modelos, pois ele é o mais flexível entre eles (conforme vemos no gráfico à esquerda).</p><p>A linha vermelha represente o MSE de teste. Ele também começa e diminuir conforme a flexibilidade aumenta, porém, em um certo momento, ele volta a subir. As curvas laranja e verde têm MSE de teste alto. A azul tem o menor MSE e isso é bem fácil de ser observado no gráfico a esquerda, pois ele se ajusta muito bem.</p><p>A linha tracejada horizontal indica Var(ε), o erro irredutível, que corresponde ao menor teste MSE alcançável entre todos os métodos possíveis.</p><h4>O que é o famoso overfitting, então?</h4><p>Se o modelo usado gera um MSE de treino baixo, mas um MSE de teste alto, ele está causando o overfitting. Ou seja, ele está encontrando padrões nos dados de treino que podem ser frutos do puro acaso. Os padrões encontrados simplesmente não existem nos dados de teste, isso acarreta em um MSE de teste elevado.</p><p>Vale ressaltar que o MSE de treino ser menor que o MSE de teste é algo esperado. <strong>O overfitting está relacionado ao fato do modelo menos flexível entre os três ter gerado um MSE de teste menor.</strong></p><p>Agora vamos ver um exemplo no qual o f é aproximadamente linear, na figura 02.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IQWrm3ZehQDgUO5xr0IFzA.jpeg" /><figcaption>Figura 02. Mesmo detalhes da figura 01, porém agora com o f verdadeiro aproximadamente linear. Imagem adaptada do livro “An Introduction to Statistical Learning”, segunda edição, dos autores Gareth James, Daniela Witten, Trevor Hastie e Rob Tibshirani.</figcaption></figure><p>Nesse caso, o MSE de treino também diminui muito conforme a flexibilidade aumenta e o MSE de teste também tem o certo formato de U. A diferença é que agora o MSE de teste diminui apenas um pouco pois o f verdadeiro é aproximadamente linear.</p><p>Como um último exemplo, vamos ver uma situação em que o f é altamente não linear na figura 03. Podemos perceber que as curvas, em geral, seguem o mesmo padrão. Porém, ocorre uma diminuição rápida em ambas antes que o MSE de teste comece a subir devagar.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QVrGEbjhtCrbskfM2zgfkg.jpeg" /><figcaption>Figura 03. Mesmos detalhes da figura 01 e 2, porém com o f verdadeiro altamente não linear. Imagem adaptada do livro “An Introduction to Statistical Learning”, segunda edição, dos autores Gareth James, Daniela Witten, Trevor Hastie e Rob Tibshirani.</figcaption></figure><h3>Resumindo</h3><p>É relativamente simples calcular o MSE de treino, porém o mesmo não acontece em relação ao MSE de teste pela possível ausência de <em>dataset</em> de teste disponível. Vimos que o nível de flexibilidade do modelo de MSE de teste pode variar bastante entre os datasets e existem algumas maneiras de estimar o ponto mínimo (<em>cross validantion</em>, por exemplo). Nos próximos dois textos sobre avaliação de precisão vamos falar sobre o trade-off viés-variância e sobre configuração de classificação.</p><p>Esse texto foi produzido usando como fonte principal a segunda edição do livro “An Introduction to Statistical Learning”, dos autores Gareth James, Daniela Witten, Trevor Hastie e Rob Tibshirani. É possível baixar gratuitamente a obra através <a href="https://www.statlearning.com/">deste</a> link.</p><p>Vemos nos conectar no LinkedIn! Clique <a href="https://www.linkedin.com/in/edersonliver/">aqui</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=35009918981a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Previsão de cancelamento de reservas]]></title>
            <link>https://medium.com/@edersonoliveira/previs%C3%A3o-de-cancelamento-de-reservas-2d1746d033ec?source=rss-c6d9c8b2744b------2</link>
            <guid isPermaLink="false">https://medium.com/p/2d1746d033ec</guid>
            <category><![CDATA[ciencia-de-dados]]></category>
            <category><![CDATA[aprendizado-de-maquina]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[data]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Ederson Oliveira]]></dc:creator>
            <pubDate>Wed, 01 Feb 2023 00:18:44 GMT</pubDate>
            <atom:updated>2023-02-03T10:51:02.741Z</atom:updated>
            <content:encoded><![CDATA[<p>Hotéis que conseguem prever se um futuro hóspede irá cancelar ou não sua reserva podem se preparar melhor logisticamente e, também, buscar atender as demandas que possam causar esse cancelamento antes que ele aconteça. Pensando nisso, eu utilizei um modelo de previsão que pode auxiliar os hotéis nessa questão. Neste artigo irei detalhar o modelo e discutir alguns conceitos e decisões tomadas ao longo do seu desenvolvimento.</p><h3>Entendendo o problema</h3><p>Existem alguns problemas relacionado ao cancelamento de reservas em hotéis e outros tipos de hospedagens. Um deles é o prejuízo ao planejamento logístico do estabelecimento, uma vez que ele pode perder tempo e dinheiro organizando sua estrutura para hospedes que não irão efetivamente se hospedar.</p><p>Outro aspecto me parece ainda mais interessante: se um hotel prevê que seu futuro hóspede irá cancelar a reserva, ele pode tentar descobrir quais são as demandas que não estão sendo atendidas e que podem estar levando ao cancelamento. Buscar atender a essas demandas pode ser uma boa estratégia para aumentar a satisfação do cliente.</p><p>Pensando nisso, eu utilizei um modelo de Machine Learning capaz de prever com um bom grau de certeza se uma reserva será ou não cancelada. Ao longo do artigo eu irei detalhar quais foram as escolhas de modelo feitas e as métricas utilizadas para decidir se os resultados foram bons o suficiente para recomendar a implementação do modelo.</p><p>O dataset utilizado está disponível neste <a href="https://www.kaggle.com/datasets/jessemostipak/hotel-booking-demand">link</a>. Ele possui dados sobre reservas ocorridas entre os anos 2015 e 2017, na Europa. O código está disponível <a href="https://github.com/edersonolive/prevendo_cancelamentos_de_reserva">neste</a> link.</p><h3>Análise Exploratória dos dados (EDA)</h3><p>O meu primeiro passo foi entender os dados e obter os principais insights que eles foram capazes de fornecer. Para isso, realizei uma Análise Exploratória dos Dados (EDA) que irei detalhar a seguir.</p><p>A primeira coisa que fiz foi traduzir todos os dados para Português. Como não sei qual a composição da possível equipe de dados que irá utilizar esse material, essa é uma boa prática para facilitar o uso. Abaixo está um exemplo do código utilizado para traduzir as informações sobre os meses das reservas:</p><pre># traduzindo a coluna com os meses<br>new_values = {&#39;January&#39;: &#39;Janeiro&#39;, &#39;February&#39;: &#39;Fevereiro&#39;, &#39;March&#39;: &#39;Março&#39;, &#39;April&#39;: &#39;Abril&#39;, &#39;May&#39;: &#39;Maio&#39;, &#39;June&#39;: &#39;Junho&#39;,<br>             &#39;July&#39;: &#39;Julho&#39;, &#39;August&#39;: &#39;Agosto&#39;, &#39;September&#39;: &#39;Setembro&#39;, &#39;October&#39;: &#39;Outubro&#39;, &#39;November&#39;: &#39;Novembro&#39;,<br>             &#39;December&#39;: &#39;Dezembro&#39;}<br>dados[&#39;mes_da_viagem&#39;] = dados[&#39;mes_da_viagem&#39;].map(new_values)</pre><h4>Dados nulos e duplicados</h4><p>É importante se atentar aos dados nulos e duplicados do seu dataset antes de pensar em implementar qualquer modelo de ML.</p><pre># verificando se existem dados nulos em todos os features do dataset<br>dados.isnull().sum()<br><br># retirando toda a coluna &quot;companhia&quot;, já que não é importante e possui muitos dados nulos<br>dados.drop([&#39;companhia&#39;], axis=1, inplace=True)<br><br># no caso das colunas &quot;pais&quot; e &quot;crianças&quot;, vou retirar somente as linhas com dados faltantes, não são muitas<br>dados.dropna(subset=[&#39;pais&#39;],inplace=True)<br>dados.dropna(subset=[&#39;criancas&#39;],inplace=True)<br><br># retirando a coluna &quot;agente&quot;, pois não é importante para as análises, apesar de conter poucos dados nulos<br>dados.drop([&#39;agente&#39;], axis=1, inplace=True)<br><br># conferindo se todos os dados nulos foram retirados<br>dados.isnull().sum()<br><br># verificando dados duplicados<br>dados.duplicated().sum()<br><br># retirando dados duplicados<br>dados.drop_duplicates(keep = &#39;first&#39;, inplace = True)<br><br># verificando se foram retirados<br>dados.duplicated().sum()</pre><h4>Convertendo o tipo e unindo colunas</h4><p>Algumas features podem estar em formatos que não são compatíveis com o uso que faremos delas futuramente. Então, eu verifiquei quais são os tipos de todos e converti a coluna “crianças” de float64 para int64.</p><pre># verificando os tipos dos features<br>dados.dtypes<br><br># convertendo a coluna &quot;criancas&quot; para int64<br>dados[&#39;criancas&#39;]=dados[&#39;criancas&#39;].astype(&#39;int64&#39;)</pre><p>Criei duas novas colunas. Uma chamada “tamanho_da_familia”, contendo a soma de crianças, adultos e bebês, e outra chamada “total_permanencia”, contendo a soma dos dias de semana e de final de semana das reservas.</p><pre># criando uma coluna nova com o tamanho total das famílias<br>dados[&#39;tamanho_da_familia&#39;]=dados[&#39;adultos&#39;]+dados[&#39;criancas&#39;]+dados[&#39;bebes&#39;]<br><br># criando uma coluna nova com o número total de dias das reservas<br>dados[&#39;total_permacencia&#39;]=dados[&#39;no_de_noites_fds&#39;]+dados[&#39;no_de_noites_diadesemana&#39;]<br></pre><p>Criei uma outra coluna separando a data em três: ano, mês e dia. Isso irá facilitar as análises posteriores.</p><pre># Separando a data em três colunas: ano, mês e dia<br><br>dados[&#39;data_do_ultimo_status&#39;] = pd.to_datetime(dados[&#39;data_do_ultimo_status&#39;])<br>dados[&#39;ano&#39;] = dados[&#39;data_do_ultimo_status&#39;].dt.year<br>dados[&#39;mes&#39;] = dados[&#39;data_do_ultimo_status&#39;].dt.month<br>dados[&#39;dia&#39;] = dados[&#39;data_do_ultimo_status&#39;].dt.day<br>dados.drop([&#39;data_do_ultimo_status&#39;], axis=1, inplace=True)Qual o tamanho do problema?</pre><p>Qual a proporção de reservas que são canceladas em comparação com as que são efetivadas? Essa é uma pergunta importante para enteder o tamanho do problema que os hotéis precisam resolver. Para responder eu plotei um gráfico de barras comparando os valores, utilizando o código abaixo.</p><pre>cancelamentos = dados[&#39;se_cancelou&#39;].value_counts(normalize=True)*100<br>nome_cancelou = [&#39;Não Cancelou&#39;, &#39;Cancelou&#39;]<br>cancelamentos.rename({&#39;Canceled&#39;: &#39;Canceladas&#39;, &#39;Not_Canceled&#39;:&#39;Não Canceladas&#39;}, inplace=True)<br><br>fig = plt.figure(figsize=(5,4))<br>eixo = fig.add_axes([0,0,1,1])<br><br>indice = range(len(cancelamentos))<br><br>eixo.bar(indice, cancelamentos)<br>eixo.set_title(&#39;Taxa de cancelamento das reservas entre 2015 e 2017&#39;, fontsize=10, pad=10)<br>eixo.set_ylabel(&#39;Porcentagem de cancelamento(%)&#39;, fontsize=10)<br>eixo.set_xticks(indice)<br>eixo.set_xticklabels(nome_cancelou)<br>eixo.grid(True)<br>eixo.set_axisbelow(True)</pre><p>O gráfico, logo abaixo, nos mostrou que a taxa de cancelamento de reservas nesse dataset se aproxima de 30%. Apesar de não parecer um valor muito elevado, é alto o suficiente para causar potenciais prejuízos aos hotéis que não se planejarem para esses cancelamentos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/567/1*rm8q-LtBrQ73AIBuqWOKQw.jpeg" /></figure><h4>Quais são meses em que os hotéis e os resorts são mais frequentados?</h4><p>A pergunta acima foi outra que resolvi responder usando as informações do dataset. A resposta, como eu esperava, é que os meses do verão são os que apresentam uma maior taxa de ocupação dos hotéis e resorts do dataset. Lembrando que são dados do hemisfério norte, portanto o verão ocorre entre junho e setembro.</p><pre># plotando o gráfico com a frequência por meses nos hotéis e resorts do dataset<br>sns.countplot(x =&#39;mes_da_viagem&#39;,hue=&#39;hotel&#39;, data = dados[(dados[&#39;se_cancelou&#39;] == 0)],)<br>sns.set(rc = {&#39;figure.figsize&#39;:(20,20)})<br>plt.xlabel(&#39;Mês&#39;, fontsize=20)<br>plt.ylabel(&#39;Quantidade de reservas&#39;, fontsize=20)<br>plt.title(&quot;Movimento por mês&quot;, fontsize=25, pad=10)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*m72lgvIJEGhULafv_57TNA.png" /></figure><h4>Quais são os principais países de origem?</h4><p>Usei o código abaixo para plotar um gráfico mostrando de quais países a maioria das pessoas vão. A maioria dos hóspedes dos hotéis do dataset são de Portugal, porém no caso dos resorts o segundo lugar é Reino Unido, enquanto no caso dos hotéis é França.</p><pre># plotando o gráfico com os países de origem, separando entre hotéis e resorts<br><br>temp = dados[(dados[&#39;se_cancelou&#39;]==0)]<br>lista_de_paises=top_paises.pais.unique()<br>origem_dos_hospedes_por_tipo = temp[temp[&#39;pais&#39;].isin(lista_de_paises)]<br><br>sns.countplot(x =&#39;pais&#39;,hue=&#39;hotel&#39;, data = origem_dos_hospedes_por_tipo)<br>sns.set(rc = {&#39;figure.figsize&#39;:(15,10)})<br>plt.xlabel(&#39;Países&#39;, fontsize=20)<br>plt.ylabel(&#39;# de hóspedes&#39;, fontsize=20)<br>plt.title(&quot;Principais países de origem dos hóspedes&quot;, fontsize=25, pad=10)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*L5-o2afNX_XjxLQ2oNb8hw.png" /></figure><h3>Preparando o dataset para aplicar os modelos de ML</h3><h4>Variáveis Dummy</h4><p>Se vamos utilizar um modelo numérico não podemos incluir variáveis categóricas nele. Por isso criamos as chamadas variáveis dummy, que representam de forma numérica essas variáveis categóricas.</p><p>Cada categoria é transformada em uma nova coluna com um valor binário (1 ou 0), onde 1 indica que a observação tem a categoria correspondente e 0 indica que não tem.</p><pre># criando as variáveis dummy<br>dummies = pd.get_dummies(dados, columns=[&#39;hotel&#39;,&#39;refeicao&#39;,&#39;pais&#39;,&#39;segmento&#39;,&#39;canal_de_distribuicao&#39;,&#39;tipo_de_quarto&#39;,&#39;tipo_de_deposito&#39;,&#39;tipo_de_reserva&#39;])<br>dummies<br><br># retirando as demais variáveis<br>dummies.drop([&#39;dias_entre_reserva_e_chegada&#39;,&#39;no_de_noites_fds&#39;,&#39;no_de_noites_diadesemana&#39;,&#39;adultos&#39;,&#39;criancas&#39;,&#39;bebes&#39;,<br>              &#39;ja_cancelou&#39;,&#39;reservas_anteriores_nao_canceladas&#39;,&#39;no_mudancas_na_reserva&#39;,&#39;tarifa_diaria_media&#39;,<br>              &#39;estacionamento&#39;,&#39;total_de_pedidos_especiais&#39;,&#39;total_permacencia&#39;,&#39;tamanho_da_familia&#39;], axis=1, inplace=True)</pre><h4>Normalizando os dados</h4><p>Algumas técnicas de aprendizado de máquina são sensíveis ao tamanho dos valores de entrada. Quando uma feature tem valores muito grandes em comparação com as outras, isso pode criar um viés no modelo e afetar sua capacidade de generalização. A normalização corrige esse problema ao garantir que todas as features tenham valores comparáveis.</p><p>Outro motivo que nos leva a normalizar os dados é que quando as features são normalizadas, suas importâncias relativas ficam mais claras. Isso pode ser útil na interpretação dos resultados e na seleção de features.</p><p>Além disso, algumas técnicas de aprendizado de máquina são suscetíveis a outliers. A normalização pode ajudar a reduzir a influência de outliers no modelo. Vamos ao código utilizado para essa normalização:</p><pre># verificando se existe muita variação no dataset<br>dados.var().sort_values(ascending=False).head(30)<br><br># como existe uma grade variação, as colunas indicadas serão normalizadas<br>dados_a_normalizar=dados.loc[:, [&#39;dias_entre_reserva_e_chegada&#39;,&#39;no_de_noites_fds&#39;,&#39;no_de_noites_diadesemana&#39;,&#39;adultos&#39;,&#39;criancas&#39;,&#39;bebes&#39;,<br>              &#39;ja_cancelou&#39;,&#39;reservas_anteriores_nao_canceladas&#39;,&#39;no_mudancas_na_reserva&#39;,&#39;tarifa_diaria_media&#39;,<br>              &#39;estacionamento&#39;,&#39;total_de_pedidos_especiais&#39;]] <br>dados_normalizados = (dados_a_normalizar-dados_a_normalizar.min())/(dados_a_normalizar.max()-dados_a_normalizar.min())<br><br># unindo as variáveis dummy com os dados normalizados<br>dados_final = pd.merge(dummies, dados_normalizados, left_index=True, right_index=True)</pre><h4>Verificando a correlação entre a variáveis</h4><p>Existem alguns problemas em utilizar variáveis com alto valor de correlação em um modelo de Machine Learning. Eles são:</p><ol><li>Multicolinearidade: A multicolinearidade ocorre quando duas ou mais features são altamente correlacionadas entre si. Isso pode afetar a interpretação dos resultados, já que a importância relativa das features fica incerta. Além disso, a multicolinearidade pode levar a instabilidade no modelo, já que pequenas mudanças nas features podem causar grandes mudanças nas previsões.</li><li>Overfitting: A presença de features altamente correlacionadas pode levar a overfitting, especialmente se o modelo tiver muitas features em relação ao número de observações. O modelo pode começar a se ajustar demais aos dados de treinamento e não conseguir generalizar bem para novos dados.</li><li>Redução da performance: Features altamente correlacionadas podem levar a uma performance reduzida no modelo, já que elas podem estar transmitindo informações similares. Isso pode levar a uma diminuição da precisão do modelo e a uma maior complexidade computacional.</li></ol><p>Pelos motivos acima, vamos fazer o controle dessas features muito correlacionadas. O primeiro passo é calcular a correlação entre elas.</p><pre>#  calculando a correlação entre as variáveis do dataset<br>correlacao = dados_final.corr()</pre><p>Agora eu optei por plotar um heatmap, pois acredito que seja mais fácil de analisar de maneira visual quais variáveis são mais correlacioandas entre si. Utilizei o código abaixo.</p><pre># plotando o heatmap<br>plt.figure(figsize=(33,20))<br>paleta = sns.color_palette(&#39;light:salmon&#39;, as_cmap=True)<br>sns.heatmap(correlacao.round(1), annot=True, cmap=paleta)<br>plt.title(&quot;Mapa de calor com a correlação entre as variáveis&quot;, fontsize=10, pad=10)<br>plt.savefig(&#39;mapacalor.png&#39;, format=&#39;png&#39;)<br>plt.show()</pre><p>O heatmap obtido foi:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jcCf73nrHqq-7OQyQip4rQ.png" /></figure><p>Utilizei o critério de o valor de correlação ser superior a 0.6 para eliminar uma das variáveis correlacionadas. Fiz isso utilizando o código abaixo.</p><pre># contando quantas variáveis tenho inicialmente<br>cols_before = dados_final.shape[1]<br><br># calculando a matrix de correlação<br>corr_matrix = dados_final.corr()<br><br># Armazenando as colunas cuja correlação é maior que 0.6 em uma lista<br>to_drop = []<br>for column1 in corr_matrix.columns:<br>    for column2 in corr_matrix.columns:<br>        if column1 != column2 and abs(corr_matrix[column1][column2]) &gt; 0.6:<br>            to_drop.append(column2)<br><br># Removendo as colunas da lista &quot;to_drop&quot; do dataset, mantendo apenas as colunas únicas<br>to_drop = list(set(to_drop))<br>dados_final = dados_final.drop(columns=to_drop)<br><br># contando quantas variáveis sobraram<br>cols_after = dados_final.shape[1]<br><br># contando quantas variáveis foram eliminadas<br>cols_removed = cols_before - cols_after<br><br>column_names = dados_final.columns</pre><h3>Os modelos de Machine Learning</h3><p>O primeiro passo foi determinar qual é a variável dependente e qual é a independente. A ideia é que as variáveis independentes sejam usadas para prever a variável dependente.</p><ul><li><strong>Variável dependente</strong> é aquela que queremos prever ou explicar. Ela é também chamada de variável resposta ou variável alvo.</li><li><strong>Variáveis independentes</strong> são aquelas que usamos para explicar a variável dependente. Elas também são conhecidas como variáveis explicativas, características ou features.</li></ul><p>No caso do nosso modelo, queremos prever se o cliente irá cancelar a sua reserva no hotel. Logo, essa será a nossa variáveis dependente, enquanto as demais serão as independentes ou explicativas.</p><pre># definindo a variável dependente e independente<br><br>Y = dados_final[&#39;se_cancelou&#39;]<br>X = dados_final.drop([&#39;se_cancelou&#39;], axis=1)</pre><p>O próximo passo foi separar o dataset em sets de treino e de teste. <strong>Atenção: você NÃO deve utilizar os dados separados para teste quando estiver treinando o seu modelo. </strong>Isso pode causar overfitting no modelo, ele não será capaz de generalizar bem para novos dados.</p><pre># importando a função train_test_split do scikit-learn, que é usada para dividir os dados em conjuntos de treino e teste<br>from sklearn.model_selection import train_test_split<br><br># dividindo, efetivamente, os dados em conjuntos de treino e teste<br># o argumento &quot;test_size&quot; 0.3 significa que estamos separando 30% dos dados para teste<br>x_training_data, x_test_data, y_training_data, y_test_data = train_test_split(X, Y, test_size = 0.3)</pre><p>Agora o código abaixo mostra como foi feita a normalização dos dados.</p><pre># importando a classe StandardScaler do módulo preprocessing do pacote scikit-learn<br>from sklearn.preprocessing import StandardScaler<br><br># instanciando e fitando os dados<br>scaler = StandardScaler()<br>scaler.fit(x_training_data)<br><br>#normalizando os dados de treinamento<br>x_training_data = scaler.transform(x_training_data)<br><br>#normalizando os dados de teste<br>x_test_data = scaler.transform(x_test_data)</pre><h4>Treinando os modelos</h4><p>Vamos utilizar três modelos para avaliar qual terá o melhor desempenho: Regressão Logística, Árvore de decisão e Support Vector Machine.</p><ul><li><strong>Regressão Logística: </strong>é um modelo de classificação usado para prever a probabilidade de ocorrência de um evento categórico, como sim ou não, verdadeiro ou falso. Ele assume que a relação entre a variável dependente e independentes é linear, ou seja, o resultado é uma equação matemática que relaciona as variáveis independentes a uma probabilidade.</li><li><strong>Árvore de Decisão:</strong> é um modelo de aprendizado de máquina que funciona como uma árvore, onde cada nó representa uma decisão a ser tomada com base nas features dos dados. A árvore segue caminhos com base nas condições das features, levando a uma previsão na folha.</li><li><strong>Support Vector Machine (SVM):</strong> é um modelo de classificação que procura maximizar a margem de separação entre duas classes de dados, definida por uma fronteira de decisão. O SVM usa vetores de suporte para definir a fronteira de decisão, o que o torna robusto mesmo em casos de dados com ruído ou ruído de outliers. É uma boa escolha para classificações não lineares e também pode ser usado para tarefas de regressão.</li></ul><p>Vamos testar os três modelos com validação cruzada e dados balanceados.</p><pre># importando a função cross_validate do módulo model_selection, para validação cruzada<br>from sklearn.model_selection import cross_validate<br><br># importando a classe RandomUnderSampler do módulo under_sampling, uma técnica de subamostragem que remove aleatoriamente exemplos da classe majoritária<br>from imblearn.under_sampling import RandomUnderSampler<br><br># importando a classe LogisticRegression do sklearn<br>from sklearn.linear_model import LogisticRegression<br><br># importando a classe DecisionTreeClassifier do módulo tree, que é um modelo de árvore de decisão.<br>from sklearn.tree import DecisionTreeClassifier<br><br>#  importando a classe SVC (Support Vector Classification) do módulo svm<br>from sklearn.svm import SVC<br><br># instanciando um objeto da classe RandomUnderSampler<br>rus = RandomUnderSampler()<br><br># aplicando a técnica de subamostragem aos dados de treinamento, para equilibrar as classes, e armazenando os dados resultantes nas variáveis X_rus e y_rus<br>X_rus, y_rus = rus.fit_resample(x_training_data, y_training_data)<br><br>logreg_balanced = cross_validate(LogisticRegression(), X_rus, y_rus, cv=5, scoring=[&#39;recall&#39;, &#39;precision&#39;, &#39;accuracy&#39;])<br>trees_balanced = cross_validate(DecisionTreeClassifier(), X_rus, y_rus, cv=5, scoring=[&#39;recall&#39;, &#39;precision&#39;, &#39;accuracy&#39;])<br>svm_balanced = cross_validate(SVC(), X_rus, y_rus, cv=5, scoring=[&#39;recall&#39;, &#39;precision&#39;, &#39;accuracy&#39;])</pre><p>Agora eu plotei uma tabela com as métricas dos três modelos acima, com o objetivo de avaliar qual teve uma melhor performace.</p><pre>summary = pd.DataFrame({<br>&#39;labels&#39;: [&#39;recall&#39;, &#39;precision&#39;, &#39;accuracy&#39;],<br>&#39;logreg_balanced&#39;: [logreg_balanced[&#39;test_recall&#39;].mean(), logreg_balanced[&#39;test_precision&#39;].mean(), logreg_balanced[&#39;test_accuracy&#39;].mean()],<br>&#39;trees_balanced&#39;: [trees_balanced[&#39;test_recall&#39;].mean(), trees_balanced[&#39;test_precision&#39;].mean(), trees_balanced[&#39;test_accuracy&#39;].mean()],<br>&#39;svm_balanced&#39;: [svm_balanced[&#39;test_recall&#39;].mean(), svm_balanced[&#39;test_precision&#39;].mean(), svm_balanced[&#39;test_accuracy&#39;].mean()],<br>}<br>).set_index(&#39;labels&#39;)<br>summary.index.name=None<br><br>summary.style.applymap(lambda x: &#39;background-color: gray&#39; if x &gt;= 0.7 else &#39;&#39;)</pre><p>O resultado foi:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/808/1*_GC4P0h91rXM_RE2XY4q9g.jpeg" /></figure><p>Como podemos notar, o modelo de Support Vector Machine (SVM) com validação cruzada e dados balanceados foi o que obteve o melhor valor de Recall, seguido pelo modelo de Árvore de Decisão e, por fim, o modelo de Regressão Logística.</p><h3>Métricas do modelo</h3><p>As métricas permitem avaliar a eficiência do modelo que acabamos de usar em relação aos nossos dados. Como vamos testar outros modelos, as métricas nos permitirão escolher qual o melhor para nossa situação.</p><h4>E agora, qual métrica usar?</h4><p>A métrica a ser utilizada para avaliar o modelo de Machine Learning depende do problema e dos objetivos específicos. No nosso caso, optei por utilizar o Recall e vou explicar o motivo.</p><p><strong>Recall</strong> é uma métrica de avaliação de modelos de classificação que mede a capacidade do modelo em identificar corretamente as instâncias positivas. É calculado como a proporção de instâncias positivas corretamente identificadas (verdadeiros positivos) em relação ao número total de instâncias positivas (verdadeiros positivos + falsos negativos). A fórmula para o cálculo do recall é:</p><p>Recall = Verdadeiros Positivos / (Verdadeiros Positivos + Falsos Negativos).</p><p>Para o nosso modelo de previsão, não existe tantos problemas com falsos positivos, o importante é que o máximo de positivos sejam determinados. Isso quer dizer que o modelo precisa prever muito bem quem irá cancelar para que o hotel tome alguma previdência que impeça o fato de ocorrer. Se o modelo disser que vai ocorrer o cancelamento por parte de alguém que não vai cancelar de fato, o prejuízo para o hotel é muito menor.</p><h3>Ajuste de hiperparâmetros</h3><p>Os hiperparâmetros são valores que precisam ser definidos antes de treinar um modelo de Machine Learning. Eles podem ser, por exemplo, o número de árvores em um modelo de Random forests ou número de vizinhos próximos em um algoritmo KNN (K-Nearest Neighbors). Vamos ajustar essas características nos nossos modelos para verificar se é possível melhorar ainda mais a performace.</p><p><strong>GridSearchCV</strong> é uma técnica de otimização de hiperparâmetros que automatiza a busca por valores ótimos de hiperparâmetros em uma grade de valores. O GridSearchCV tenta todas as combinações de hiperparâmetros fornecidos e seleciona a melhor combinação baseada em uma métrica de avaliação especificada.</p><p>Vamos começar com o modelos de <strong>Support Vector Machine</strong></p><pre># importando a classe StratifiedKFold do módulo model_selection<br>from sklearn.model_selection import StratifiedKFold<br><br># importando a classe GridSearchCV do módulo model_selection<br>from sklearn.model_selection import GridSearchCV<br><br># criando uma instância da classe StratifiedKFold com 5 partições (n_splits=5) e com embaralhamento (shuffle=True)<br># StratifiedKFold é uma técnica de validação cruzada estratificada que divide os dados em partições de forma equilibrada, mantendo a proporção de rótulos em cada partição.<br>kfold = StratifiedKFold(n_splits=5, shuffle=True)<br><br># criando uma instância da classe SVC (Support Vector Classification)<br>svm = SVC()<br><br># definindo um dicionário com dois parâmetros hiperparâmetros para o SVC: &quot;kernel&quot; e &quot;C&quot;<br># O parâmetro &quot;kernel&quot; especifica o tipo de kernel a ser usado pelo SVC (linear, polinomial, RBF ou sigmóide) e o parâmetro &quot;C&quot; é o fator de regularização, que controla a complexidade do modelo<br>param_grid = {&#39;kernel&#39;: [&#39;linear&#39;, &#39;poly&#39;, &#39;rbf&#39;, &#39;sigmoid&#39;],<br>              &#39;C&#39;: [0.001, 0.01, 1, 10, 100]<br>              }<br># criando uma instância da classe GridSearchCV que é uma busca em grade em cima dos hiperparâmetros especificados em &quot;param_grid&quot;.<br># A pontuação &quot;recall&quot; é usada para avaliar as configurações de hiperparâmetros durante a busca e &quot;cv=kfold&quot; especifica que a validação cruzada estratificada deve ser usada para avaliar o modelo com os dados de treinamento<br>search = GridSearchCV(svm, param_grid, scoring=&#39;recall&#39;, cv=kfold)<br><br>#treinando o modelo SVC com os dados de treinamento balanceados (X_rus e y_rus) e realizando a busca em grade nos hiperparâmetros especificados em &quot;param_grid&quot;<br>result = search.fit(X_rus, y_rus)<br><br>print(f&#39;Best recall: {result.best_score_} for {result.best_params_}&#39;)</pre><p>O resultado obtido foi:</p><pre>Best recall: 0.9864543516023785 for {&#39;C&#39;: 0.001, &#39;kernel&#39;: &#39;poly&#39;}</pre><p>Agora para o modelo de <strong>Regressao Logística</strong></p><pre>#  instanciando a classe LogisticRegression, que é um modelo de regressão logística, para ser usada como base para a otimização de hiperparâmetros.<br>log_reg = LogisticRegression()<br><br># definindo uma grade de valores para dois hiperparâmetros do modelo de regressão logística: &quot;solver&quot; e &quot;C&quot;.<br># &quot;solver&quot; especifica o algoritmo de otimização a ser usado e &quot;C&quot; é um parâmetro de regularização que controla o trade-off entre ajuste e complexidade do modelo.<br>param_grid_reg = {&#39;solver&#39;: [&#39;newton-cg&#39;, &#39;lbfgs&#39;, &#39;liblinear&#39;],<br>              &#39;C&#39;: [0.001, 0.01, 1, 10, 100]}<br><br># instanciando uma classe GridSearchCV usando o modelo log_reg e a grade de hiperparâmetros param_grid_reg, especificando &quot;recall&quot; como a métrica de avaliação e &quot;kfold&quot; como o objeto de validação cruzada a ser usado.<br>search_reg = GridSearchCV(log_reg, param_grid_reg, scoring=&#39;recall&#39;, cv=kfold)<br><br># ajustando o modelo usando o GridSearchCV e as amostras de treinamento X_rus e y_rus.<br>result_reg = search_reg.fit(X_rus, y_rus)<br><br>print(f&#39;Best recall: {result_reg.best_score_} for {result_reg.best_params_}&#39;)</pre><p>O resultado obtido foi:</p><pre>Best recall: 0.7797474162594573 for {&#39;C&#39;: 0.001, &#39;solver&#39;: &#39;liblinear&#39;}</pre><p>Por fim, o modelo de <strong>Árvore de Decisão</strong></p><pre># instanciando a classe DecisionTreeClassifier, que é um modelo de árvore de decisão, para ser usada como base para a otimização de hiperparâmetros.<br>trees_balanced = DecisionTreeClassifier()<br><br># definindo uma grade de valores para três hiperparâmetros da árvore de decisão: &quot;criterion&quot;, &quot;max_depth&quot; e &quot;min_samples_leaf&quot;.<br># &quot;criterion&quot; especifica a medida de impureza a ser usada para fazer as divisões, &quot;max_depth&quot; define o nível máximo de profundidade da árvore e &quot;min_samples_leaf&quot; especifica o número mínimo de amostras em um nó folha.<br>param_grid_tree = {&#39;criterion&#39;: [&#39;gini&#39;, &#39;entropy&#39;],<br>              &#39;max_depth&#39;: np.arange(1, 30),<br>              &#39;min_samples_leaf&#39;: [1, 2, 4, 6]}<br><br># instanciando a classe GridSearchCV usando o modelo trees_balanced e a grade de hiperparâmetros param_grid_tree, especificando &quot;recall&quot; como a métrica de avaliação e &quot;5&quot; como o número de dobras na validação cruzada a ser usado.<br>search_tree = GridSearchCV(trees_balanced, param_grid_tree, cv=5, scoring=&#39;recall&#39;)<br><br># ajustando o modelo usando o GridSearchCV e as amostras de treinamento x_training_data e y_training_data.<br>result_tree = search_tree.fit(x_training_data, y_training_data)<br><br><br>print(f&#39;Best recall: {result_tree.best_score_} for {result_tree.best_params_}&#39;)</pre><p>O resultado obtido foi:</p><pre>Best recall: 0.718105395817442 for {&#39;criterion&#39;: &#39;entropy&#39;, &#39;max_depth&#39;: 28, &#39;min_samples_leaf&#39;: 1}</pre><p><strong>Conforme podemos notar analisando os resultados acima, o modelo de Support Vector Machine foi o que alcançou o maior valor de Recall entre os três: 0.98. </strong>Ou seja, ele consegue identificar corretamente 98% dos casos verdadeiros de cancelamento de reserva usando os <strong>dados de treino</strong>.</p><h4>Agora vamos avaliar usando os dados de teste</h4><p>A nossa última etapa é utilizar o conjunto de teste para avaliar se o modelo escolhido performa bem ou se apresenta alguma diferença significativa nos resultados gerados durante o treinamento.</p><pre>from sklearn.metrics import classification_report<br><br># criando um objeto de modelo de SVM (Support Vector Machine) com kernel polinomial e parâmetro de regularização C igual a 0,01.<br>model_svm = SVC(kernel=&#39;poly&#39;, C=0.01)<br><br># treinando o modelo SVM no conjunto de dados X_rus e y_rus<br>model_svm.fit(X_rus, y_rus)<br><br># prevendo as classificações para o conjunto de dados de teste.<br>y_pred_svm = model_svm.predict(x_test_data)<br><br># imprimindo o relatório de classificação para as previsões feitas pelo modelo (y_pred_svm) e os verdadeiros rótulos (y_test_data).<br>print(classification_report(y_test_data, y_pred_svm))<br></pre><p>O relatório com as métricas do modelos SVM utilizando os dados de treino:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/822/1*_0r3Wi2L2R5eEg6uo48m5w.jpeg" /></figure><p>O valor do Recall diminui um pouco, como é o normal quando se aplica o modelo nos dados de treino. Porém, ele ainda se mantém em um bom valor para as necessidades do nosso modelo.</p><h4>Matriz de confusão</h4><p>Uma matriz de confusão é uma ferramenta usada para avaliar a qualidade de classificação de um modelo de aprendizado de máquina. É uma tabela de dois eixos que mostra quantos casos foram classificados corretamente ou incorretamente por um modelo. As linhas representam as verdadeiras classes de um conjunto de dados de teste, enquanto as colunas representam as classes previstas pelo modelo.</p><p>Assim, a matriz de confusão permite a visualização de como o modelo está lidando com cada classe, incluindo a quantidade de verdadeiros positivos, verdadeiros negativos, falsos positivos e falsos negativos. Vamos plotar a matriz do nosso modelo:</p><pre>from sklearn.metrics import confusion_matrix<br><br>fig, ax = plt.subplots()<br>sns.heatmap(confusion_matrix(y_test_data, y_pred_svm, normalize=&#39;true&#39;), annot=True, ax=ax)<br>ax.set_title(&#39;Confusion Matrix&#39;)<br>ax.set_ylabel(&#39;True&#39;)<br>ax.set_xlabel(&#39;Predicted&#39;)<br><br>plt.show()</pre><p>O resultado:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*S-5RpzxL9AMc7zWCiCEqKg.png" /></figure><p>True Positive (TP): 0.93 — isso significa que 93% dos exemplos que o modelo previu como positivos realmente são positivos.</p><p>False Positive (FP): 0.69 — isso significa que 69% dos exemplos que o modelo previu como positivos são na verdade negativos.</p><p>False Negative (FN): 0.072 — isso significa que 7,2% dos exemplos que o modelo previu como negativos são na verdade positivos.</p><p>True Negative (TN): 0.31 — isso significa que 31% dos exemplos que o modelo previu como negativos realmente são negativos.</p><h3><strong>Conclusão</strong></h3><p>Os resultados apresentados acima nos mostram que o modelo de Support Vector Machine (SVM) com validação cruzada, dados balanceados e ajuste de hiperparâmetros que utilziamos é eficaz em prever se um hóspede vai cancelar a sua reserva no hotel. Com uma taxa de recall de 0.93, o modelo acertou em prever 93% das vezes que o hóspede realmente cancelou a reserva.</p><p>Esses resultados são úteis para um hotel pois eles podem ajudar a gerenciar as reservas de forma mais eficiente. Por exemplo, o hotel pode tomar medidas preventivas para evitar cancelamentos de reservas previstos pelo modelo, ou pode ajustar sua estratégia de marketing para incentivar hóspedes a não cancelarem suas reservas.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2d1746d033ec" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Análise exploratória de dados — NBB (Novo Basquete Brasil)]]></title>
            <link>https://medium.com/@edersonoliveira/an%C3%A1lise-explorat%C3%B3ria-de-dados-nbb-novo-basquete-brasil-a2d86184d681?source=rss-c6d9c8b2744b------2</link>
            <guid isPermaLink="false">https://medium.com/p/a2d86184d681</guid>
            <category><![CDATA[ciencia-de-dados]]></category>
            <category><![CDATA[basquete]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[analytics]]></category>
            <category><![CDATA[nbb]]></category>
            <dc:creator><![CDATA[Ederson Oliveira]]></dc:creator>
            <pubDate>Sun, 25 Dec 2022 15:56:17 GMT</pubDate>
            <atom:updated>2022-12-25T16:09:12.070Z</atom:updated>
            <content:encoded><![CDATA[<h3>Análise exploratória de dados — NBB (Novo Basquete Brasil)</h3><p>Eu tenho me interessado muito pelo basquete brasileiro nos últimos tempos. Tenho frequentado, inclusive, as partidas do NBB (Novo Basquete Brasileiro) que acontecem no Rio de Janeiro. Acho que a dinâmica e a velocidade dos jogos são coisas que realmente me deixam muito animado em assistir.</p><p>Me lembrei de uma <a href="https://exame.com/tecnologia/na-nba-analise-de-dados-orienta-ate-jogadas-na-quadra/">reportagem</a> antiga falando sobre a importância que o Daryl Morey, então Gerente Geral do Houston Rockets , atribui aos dados dentro da NBA. Desde “onde parar para arremessar na quadra até quem deve ser negociado no meio da temporada”, tudo pode ser orientado pelos dados.</p><p>Pensando nisso, resolvi conhecer e realizar uma análise exploratória preliminar dos dados do NBB. É possível que eu retorne a esses dados em breve para algo mais aprofundado, mas, por enquanto, foi divertido conhecer melhor os números e a dinâmica do campeonato.</p><p>O link para o código que fiz para realizar as análises está disponível no meu perfil no GitHub, clique <a href="https://github.com/edersonolive/analise-exploratoria-NBB-basquete">aqui</a> para acessar. O banco de dados foi retirado do <a href="https://www.kaggle.com/datasets/gabrielpastorello/novo-basquete-brasil-nbb-stats-all-seasons">Kaggle</a>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/752/1*GWjGgA7-SBUrgOU8y2xbfw.png" /></figure><h3>Entendendo e tratando os dados</h3><p>Vamos, inicialmente, entender o nosso banco de dados. É importante conhecer bem a estrutura com a qual iremos trabalhar. São dois bancos utilizados nessa análise:</p><ul><li>Métricas de todos os jogadores de todas as equipes (Fig. 1);</li><li>Métricas de classificação por equipes (Fig. 2).</li></ul><p>Em relação ao segundo banco, com a classificação, eu fiz um tratamento para separar corretamente os valores dentro das colunas. No link do GitHub disponibilizado é possível entender melhor.</p><p>Utilizei a função <em>.head() </em>para ter uma visão inicial dos dois.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Vm2JMBUOZfcAp_JaMujFpQ.jpeg" /><figcaption>Figura 1 — As primeiras linhas e colunas do primeiro banco de dados utilizado.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/731/1*9baCWyvI42zWp1P_stjfTA.png" /><figcaption>Figura 2 — As primeiras linhas e colunas do segundo banco de dados utilizado.</figcaption></figure><h4>As siglas</h4><p>O primeiro banco de dados possui 36 colunas com variáveis e cada linha representa um jogador. Temos, ao todo, a participação de todos os jogadores das 40 equipes que já participaram do NBB. Os dados são de todas as 14 temporadas do campeonato, de 2008/2009 até 2021/2022.</p><p>Abaixo estão os significados de cada sigla.</p><p><strong>JO </strong>— Número de partidas; <strong>MIN</strong> — Minutos em quadra;<br><strong>PTS</strong> — Pontos; <strong>3P</strong> — Cestas de 3 pontos; <strong>2P</strong> — Cestas de 2 pontos;<br><strong>LL </strong>— Lances livres; <strong>RT</strong> — Rebotes; <strong>RD</strong> — Rebotes defensivos;<br><strong>RO</strong> — Rebotes ofensivos;<strong> IA%</strong> — Índice de assistências por erros;<br><strong>2P%</strong> — Porcentagem de arremessos de 2 pontos convertidos;<br><strong>2PC</strong> — Arremessos de 2 pontos certos;<br><strong>2PT</strong> — Arremessos de 2 pontos tentados;<br><strong>3P% </strong>— Porcentagem de arremessos de 3 pontos convertidos;<br><strong>3PC</strong> — Arremessos de 3 pontos certos;<br><strong>3PT</strong> — Arremessos de 3 pontos tentados;<br><strong>LL%</strong> — Porcentagem de lances livres convertidos;<br><strong>LLC</strong> — Lances livres certos; <strong>LLT</strong> — Lances livres tentados;<br><strong>EM</strong> — Enterradas; <strong>B/E</strong> — índice de bolas recuperadas por erros;<br><strong>BR</strong> — Bolas recuperadas; <strong>ER</strong> — Erros;<strong> FC</strong> — Faltas cometidas;<br><strong>T/F</strong> — índice de tocos por faltas cometidas; <strong>TO</strong> — Tocos;<br><strong>ET </strong>— Total de erros (soma de erros e violações);<br><strong>VI</strong> — Violações; <strong>EF</strong> — Eficiência ; <strong>AS</strong> — Assistências;<br><strong>DD</strong> — Duplos duplos; <strong>TD</strong> — Triplos duplos.</p><p>Quando foi necessário eu agrupei as métricas pessoais de cada jogador por equipes para obter um dataframe com as médias dos times. Também concatenei o data frame de classificação das equipes com o de métricas por jogadores para avaliar as correlações.</p><p>Além disso, eu eliminei os dados por jogos, deixando apenas as métricas totais de cada equipe. Essas informações são importantes, porém não estão no escopo desta análise. O ideal é otimizar o seu dataframe de acordo com os seus objetivos.</p><h3>Perguntas básicas</h3><p>Com os dados organizados, podemos começar a responder algumas perguntas básicas sobre o desempenho das equipes no NBB.</p><ul><li><strong><em>Quais equipes acumularam mais pontos durante a história do campeonato? Quais cometeram mais erros?</em></strong></li></ul><p>Quando analisamos os pontos feitos por todas as equipes na história do NBB, o Flamengo fica em primeiro lugar (35403 pontos). Em relação aos erros, o flamengo fica em quinto (4891 erros) e a equipe 123 Minas fica em primeiro. Podemos conferir os números na tabela 1.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-J-xhItOHMPdijFFmZ13tw.png" /><figcaption>Tabela 1 — Equipes com mais pontos e mais erros marcados no NBB.</figcaption></figure><ul><li><strong><em>Quem jogou mais partidas?</em></strong></li></ul><p>Essa informação é importante, pois o número de pontos (visto acima), além de outras métricas, estão diretamente relacionadas ao número de partidas que cada time jogou. O Paulistano, Flamengo e 123 Minas são os times que mais jogaram no NBB.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/464/1*ck6i5CIIiKgHQj0dO8GwQg.png" /><figcaption>Tabela 2 — Equipes que mais participaram de jogos do NBB.</figcaption></figure><ul><li><strong>Quais equipes possuem mais jogadores com triplos-duplos?</strong></li></ul><p>Aqui temos uma análise interessante. Para entendermos, pense em 5 itens: pontos, assistências, rebotes, tocos ou roubos de bola. Se um jogador conseguir chegar à casa dos dois dígitos em três itens diferentes dos que citamos, ele fez um triplo-duplo. Ou seja, é um jogador completo, que consegue se sair bem em vários aspectos.</p><p>O Flamengo, líder de pontos, não possui nenhum triplo-duplo. São Paulo, porém, é a equipe que lidera o ranking, conforme podemos observar na tabela 3. Por curiosidade, o atleta Georginho De Paula, então armador do São Paulo, saiu de quadra quatro vezes com um triplo duplo na temporada 2019/2020. Um número impressionante!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/560/1*YRESTvlofMhcXAlrV30lsQ.png" /><figcaption>Tabela 3 — Equipes com mais jogadores com triplos-duplos.</figcaption></figure><ul><li><strong>Quais jogadores acumularam mais pontos em todas as temporadas?</strong></li></ul><p>Vale lembrar que esses jogadores são os que mais pontuaram durante toda a história do NBB, porém nem todos os pontos foram feitos pela mesma equipe. O ex-atleta Jefferson Campos, por exemplo, já passou pelos times Paulistano, Sorocaba, Suzano, Mogi, Pinheiros, Brasília, Minas e Rio Claro.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/492/1*QuyRNYy_JA3RDLoSEuEMTQ.png" /><figcaption>Tabela 4 — Jogadores que mais fizeram pontos durante o NBB.</figcaption></figure><h3>Correlação entre variáveis</h3><p>Podemos analisar quais variáveis dentro do banco de dados possuem uma associação linear entre elas, através de uma regressão. Eu queria saber se determinadas variáveis possuem algum grau de relacionamento. Por exemplo: será que a quantidade de bolas recuperadas possui alguma correlação significativa com a quantidade de cestas de três pontos?</p><p>Aqui é preciso dizer uma coisa muito importante: <strong>o conhecimento sobre o assunto com o qual se está explorando os dados é o diferencial crucial</strong>. Pensar sobre quais variáveis se debruçar envolve conhecer bem o que elas significam e como se relacionam com as demais.</p><h4>Entendendo (brevemente) o coeficiente de correlação de Pearson</h4><p>O coeficiente de correlação de Pearson é uma medida que usamos para avaliar a correlação linear entre duas variáveis quantitativas. Ele pode nos dizer que a correção é positiva, negativa ou nula.</p><p>Na prática, quando calculamos o coeficiente de correlação (utilizando a função <em>corr()</em> no Phyton), obtemos um valor entre -1 e 1. A interpretação é a seguinte:</p><ul><li>-1, correlação perfeita negativa;</li><li>1, correlação perfeita positiva;</li><li>0, não existência de correlação.</li></ul><p>Quanto mais próximo a 1 for o valor do coeficiente, maior a correlação entre as variáveis analisadas. Quanto mais próximo a -1, à medida que o valor de uma variável aumenta, o valor da outra diminui.</p><p>Esse coeficiente também pode ser expresso como percentual. Se o r encontrado for 0.8739, por exemplo, podemos dizer que 87,39% da variabilidade da variável resposta é explicada pela covariável determinada.</p><p><strong>Mas, ATENÇÃO:</strong></p><p><strong>Dizer que duas variáveis possuem uma alta correlação não significa que elas, necessariamente, possuem um relação de causa-efeito</strong>. Esse é um erro muito comum na hora de interpretação.</p><p>Para que possamos dizer que existe uma relação de causalidade é necessário atribuir conhecimento sobre o tema. A expertise na área do negócio, no esporte ou na área científica é o que será usado para avaliar se essa correlação realmente implica em causalidade.</p><h4>Dados do NBB</h4><p>Calculei, então, a correlação entre as variáveis utilizando a função <em>corr() </em>e obtive uma tabela com os resultados. Não é simples avaliar os valores dos coeficientes obtidos dessa maneira. A obtida aqui, por exemplo, possuía 35 linhas e 35 colunas, tornando necessária uma maneira mais visual para facilitar a interpretação.</p><p>Para esse propósito eu construí um <em>heatmap</em> (ou mapa de calor), que nos permite entender melhor como duas dimensões se relacionam através de cores. Vejamos na figura 3:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jXl01Homx9NiD23Ig6sw7w.png" /><figcaption>Figura 3 — <em>heatmap com a correlação entre as variáveis.</em></figcaption></figure><p>As células com as cores mais fortes representam combinações de <em>features </em>que possuem um coeficiente de correlação mais alto, positivo. Conforme a cor vai se tornando mais clara, menor o valor do coeficiente e, logo, menor a correlação entre as variáveis (caso próximo a zero) ou maior a correlação negativa (caso mais próximo a -1). Dessa maneira fica mais fácil fazer uma primeira análise, visual.</p><p>Como esperado em dados relacionados a desempenho esportivo, existem uma grande multicolinearidade. Ou seja, temos diversos fatores correlacionados não apenas à uma variável de resposta, mas também uns aos outros. Se nosso objetivo fosse criar um modelo preditivo, essa questão precisaria ser vista com mais cuidado, talvez removendo as preditoras com alta correlação. Isso seria necessário pois a<strong> multicolinearidade aumenta os erros padrão dos coeficientes.</strong></p><p>Vamos analisar a feature aproveitamento (“AP%”), por exemplo. Ela possui uma alta correlação com duplos-duplos total (“DD_TOTAL”). Esse termo, semelhante ao triplo-duplo, que vimos acima, é usado para quando o jogador consegue pelo menos 10 pontos de duas dessas maneiras: pontos, assistências, rebotes, tocos ou roubos de bola.</p><p>Além disso, o aproveitamento também possui um valor alto de correlação com a eficiência total (“EF_TOTAL”) dos jogadores. Essa é uma mensuração importante no basquete, pois aponta os jogadores com mais acertos e menos erros nas partidas. Também podemos observar essa correlação em um gráfico de dispersão, nesse caso com uma linha de regressão adicionada:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/490/1*hEkpZlQixVjRCatr35aK2Q.png" /><figcaption>Gráfico 1 — gráfico de dispersão mostrando a correlação entre a eficiência e o aproveitamento.</figcaption></figure><h3>Conclusão</h3><p>Essa foi uma análise preliminar dos dados no NBB (Novo Basquete Brasil). É possível extrair ainda mais informações e transformá-las em direcionamentos úteis para as equipes, por exemplo. Saber fazer as perguntas certas e conhecer bem o tema é o diferencial que pode iluminar os dados e gerar insights importantes.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a2d86184d681" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[A arte da estatística — como aprender a partir dos dados (Parte II)]]></title>
            <link>https://medium.com/@edersonoliveira/a-arte-da-estat%C3%ADstica-como-aprender-a-partir-dos-dados-parte-ii-c9750f59e751?source=rss-c6d9c8b2744b------2</link>
            <guid isPermaLink="false">https://medium.com/p/c9750f59e751</guid>
            <category><![CDATA[analytics]]></category>
            <category><![CDATA[ciencia-de-dados]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[books]]></category>
            <category><![CDATA[statistics]]></category>
            <dc:creator><![CDATA[Ederson Oliveira]]></dc:creator>
            <pubDate>Tue, 20 Dec 2022 12:35:22 GMT</pubDate>
            <atom:updated>2022-12-20T12:45:31.920Z</atom:updated>
            <content:encoded><![CDATA[<h3>A arte da estatística — como aprender a partir dos dados (Parte II)</h3><p><strong>Por que estudar os dados?</strong> <strong>O que causa o quê?</strong> É a partir dessas perguntas que o autor continua o raciocínio do livro, no segundo e no terceiro capítulo.</p><p>Uma pesquisa recente na Grã-Bretanha buscou avaliar o número de parceiros sexuais do sexo oposto que a população do país teve durante a vida. Para isso, uma pequena amostra foi utilizada com o objetivo de realizar extrapolações para a população geral. Não é uma tarefa tão simples partir de um grupo reduzido de pessoas e gerar generalizações para toda a Grã-Bretanha.</p><p>Spiegelhalter mostra quais são as etapas para sair dos dados brutos colhidos na pesquisa e chegar em inferências que englobam toda a população:</p><p>1 — As respostas das pessoas da amostra nos dizem que tipo de informação?</p><p>2 — Qual é o número verdadeiro de parceiros da amostra? É preciso assumir que as respostas nem sempre são verdadeiras</p><p>3 — Qual o número de parceiros na população de estudo?</p><p>4 — Qual o número de parceiros de toda a população da Grã-Bretanha?</p><p>O autor aponta a dificuldade de passar do passo 1 para o passo 2: As pessoas podem mentir. Os homens, por exemplo, tendem a superestimar a quantidade de relações enquanto as mulheres tendem a subestimar. Porém, o maior desafio pode estar entre os passos 3 e o 4. É preciso ter certeza que a amostra de pessoas que responderam é realmente representativa em relação a população inteira, uma tarefa nada simples.</p><p>Onde entra a estatística nessa história? Ela nos permite (“com humildade”, usando as palavras do autor) entender o que podemos dizer e o que não podemos dizer a partir dos dados. A inferência indutiva, representada na figura abaixo e proposta inicialmente pelo Wayne Oldford, é o caminho percorrido para irmos dos dados ao alvo das nossas questões.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*w2MQ1Jl2Wk0o4kogi1wSKA.jpeg" /><figcaption>Processo de inferência indutiva, proposta inicialmente por Wayne Oldford.</figcaption></figure><p>Passar dos estágio 2 para o estágio 3 envolve o processo de validação interna, que busca confirmar se a amostra se comporta de modo a representar o grupo estudado.<strong> É essencial evitar a amostragem aleatória. Isso quer dizer que, segundo o autor, é fundamental “ misturar adequadamente” seus componentes.</strong></p><p>Já para passar do estágio 3 (população de estudo) para o estágio 4 (população alvo) é necessário o processo de validação externa. O autor usa um exemplo extremo e, talvez por isso, bem didático para pensar na validação externa: quando uma pesquisa visa entender os resultados em pessoas, porém só pode obter os dados a partir de testes em outros animais.</p><h3>As perguntas certas</h3><p>Tratando de dados provenientes de pesquisas com amostras da população, o livro traz alguns exemplos interessantes de como as perguntas podem influenciar os dados que serão gerados.</p><p>O primeiro exemplo foi de uma companhia aérea que decidiu avaliar o grau de satisfação dos usuários dos seus serviços. A empresa divulgou, baseado no resultado da pesquisa, que 92% dos passageiros estavam satisfeitos com os serviços. Mas, como a pergunta foi feita? Pois bem, a pesquisa dava somente as seguintes opções de resposta: “Excelente”, “muito bom”, “bom”, “razoável” e “ok”. Convenhamos que essas opções são tendenciosas e não deixam espaço para que o público registre insatisfação.</p><p>Outro exemplo interessante apontado pelo autor é em relação ao direito dos jovens de 16 e 17 anos votarem no plebiscito sobre a saída do Reino Unido da União Europeia (dados disponíveis <a href="https://whatukthinks.org/eu/poll/ipsos-mori-141215/">neste</a> link). Quando a população foi questionada usando a expressão “direito de votar dos jovens”, 52% apoiaram a proposta. Entretanto, quando a mesma questão foi apresentada aos mesmos respondentes usando a expressão “redução da maioridade eleitoral”, a porcentagem de aprovação caiu para 37%. A simples formulação diferente da pergunta causou um impacto enorme nos dados finais e isso deixa claro como as perguntas influenciam os resultados obtidos.</p><h3>O conceito de “população” não é tão trivial</h3><p>Achei interessante o esforço do autor em conceituar “população”. Geralmente essa ideia é apresentada como algo simples e completamente entendido por todos, porém não se trata de um conceito tão trivial assim. Existem três tipos de população, segundo o livro, de onde as amostras são retiradas. São elas:</p><p><strong>População literal: </strong>É o caso de quando pegamos uma pessoa ao acaso para realizar uma pesquisa, é um grupo identificável;</p><p><strong>População virtual:</strong> Um bom exemplo é a aferição da pressão arterial. Sabemos que, fazendo a aferição várias vezes, o resultado será ligeiramente diferente por conta da precisão do instrumento ou das condições da pessoa. A ideia é que podemos extrair observações de uma população virtual composta por todas as medições que poderiam ser feitas caso houvesse tempo para isso.</p><p><strong>População metafórica:</strong> Esse é o caso em que não existe nenhuma população maior. É possível que você se lembre do caso das crianças que passaram por cirurgias cardíacas no Reino Unido (caso não se lembre, está presente no primeiro texto sobre o livro, <a href="https://medium.com/@edersonoliveira/a-arte-da-estat%C3%ADstica-como-aprender-a-partir-dos-dados-parte-i-2149b91fa655">aqui</a>). Não existe nenhuma população maior, todas as crianças nessa situação foram amostradas.</p><p>O autor pondera que temos os dados cada vez mais potencialmente disponíveis. Isso quer dizer que lidamos cada vez menos com amostragens aleatórias literais. Devemos, nesses casos, pensar que os dados extraídos vieram de uma população metafórica de eventos que poderiam ter acontecido, mas não aconteceram.</p><blockquote>“Particularmente, gosto de agir como se tudo que ocorre ao nosso redor fosse resultado de alguma escolha aleatória feita entre todas as escolhas possíveis que poderiam acontecer. Cabe a nós escolher acreditar se se trata de acaso, da vontade de algum deus ou de qualquer outra teoria de causalidade: não faz diferença para a matemática. Essa é apenas uma das exigências que ampliam nossa capacidade mental de aprender a partir dos dados”.</blockquote><h3>Correlação e causalidade</h3><p>Ouvimos há tempos os estatísticos enfatizando que “correlação não implica causalidade”, porém seguimos sendo tentados a interpretar dados como se correlação implicasse causalidade. Spiegelhalter suspeita (e eu também) que essa necessidade de buscar explicações fáceis e relações de causa-efeito seja da natureza humana, porém os dados não se comportam assim.</p><p>Falando em correlação e causalidade, o livro me apresentou a um site que me divertiu por vários minutos:<a href="http://www.tylervigen.com/spurious-correlations"> tylervigen.com/spurious-correlations</a>. Ele apresenta correlações completamente descabidas, como a do exemplo abaixo, correlacionando o consumo per capita de queijo nos EUA com o número de pessoas que morreram se enroscando em seus lençóis (r=0,9470).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CWgoKsT1xquHEcGh4lQ59A.jpeg" /><figcaption>Correlação maluca sem causalidade (sempre bom lembrar) entre o consumo per capita de queijo com o número de pessoas que morreram se enroscando em seus lençóis. Disponível em: <a href="http://www.tylervigen.com/spurious-correlations">Correlações espúrias (tylervigen.com)</a></figcaption></figure><h4>Entendendo a causalidade</h4><p>O livro deixa claro que a causalidade não é determinística. Isso significa que dizer que X causa Y não é a mesma coisa que dizer que todas as vezes que X ocorrer Y irá ocorrer também. Também não quer dizer que Y só ocorre quando X ocorre.</p><blockquote>“Nunca podemos dizer que X causou Y num caso específico, apenas que X aumenta a proporção de vezes que Y ocorre”.</blockquote><p>Logo, para que consigamos acumular confiança suficiente para pensar se alguma coisa causa outra, temos que (1) realizar experimentos e (2) intervir mais de uma vez para acumular evidências. Já pensou na problemática de experimentos se tratando de casos de saúde humana?</p><p>O próprio autor relata usar um fármaco chamado estatina, indicado para diminuir o colesterol e, consequentemente, as chances de AVC e ataques cardíacos. Não podemos dizer que, caso ele nunca tenha um ataque cardíaco, que o fármaco foi o responsável por isso. Da mesma forma, não podemos dizer, caso ele tenha, que a medicação retardou o problema. O que podemos dizer é que, em média, a estatina traz benefícios para um grupo grande de pessoas baseado em uma série de experimentos clínicos. Ele cita vários princípios que devem nortear esses experimentos sejam “testes honestos”, ou seja, que determinem apropriadamente uma causalidade.</p><h4>Nem sempre é fácil perceber</h4><p>A maluquice de considerar causalidade na correlação do consumo <em>per capita</em> de queijo com as mortes em lençóis que citei acima é bem fácil de notar. Porém, nem sempre será tão simples assim perceber que não existe causalidade.</p><p>Um conceito que o autor trás nesse contexto é a <strong>variável de confusão ou confundidor</strong>. Ela representa um fator comum que pode influenciar a associação entre dois resultados. A taxa de afogamentos e o consumo de sorvete, por exemplo, não possuem causalidade, porém seus valores podem ser influenciados por um fator comum que é o clima. Uma saída para isso é usar a técnica de estratificação, que analisa a relação dentro de cada nível da variável de confusão (ou confundidor).</p><h4>Mas, então quando podemos concluir causalidade e chegar a conclusões a partir dos dados?</h4><p>Para responder isso o autor apresenta três tipos de evidências, que foram formuladas por Jeremy Howick: Evidência direta, mecanicista e paralela.</p><p>A <strong>evidência direta</strong> é aquela que tem o tamanho do efeito tão grande que não tem nenhum confundidor capaz de explicar, além de apresentar responsividade (exposição aumenta, efeito aumenta) e reversibilidade (dose reduzida, efeito reduzido).</p><p>Já a <strong>evidência mecanicista</strong> está relacionada com um mecanismo de ação plausível (biológico, químico ou mecânico) com evidência externa para uma cadeia causal.</p><p>A <strong>evidência paralela</strong>, por sua vez, se encaixa no que já é conhecido, tem o efeito reproduzido em replicações dos experimentos e o efeito é encontrado em experimentos parecidos, porém não idênticos.</p><p>Todas essas características representam um conjunto de diretrizes que ajudam a dizer se existe alguma causalidade observada a partir de dados observacionais.</p><p>Existem métodos estatísticos para ajudar a ajustar os resultados levando em conta confundidores e fatores ocultos, porém é preciso estar sempre consciente em relação ao nível de certeza que está associada ao estabelecer uma relação de causalidade.</p><h4>Próximos capítulos</h4><p>Os próximos capítulos falam sobre assuntos super interessantes: modelagem usando regressão, algoritmos, analítica e predição. Sigo tentando falar sobre dois ou três capítulos em cada postagem, porém pode ser que isso mude por conta da densidade de cada conteúdo. Até a próxima!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c9750f59e751" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[A arte da estatística — como aprender a partir dos dados (Parte I)]]></title>
            <link>https://medium.com/@edersonoliveira/a-arte-da-estat%C3%ADstica-como-aprender-a-partir-dos-dados-parte-i-2149b91fa655?source=rss-c6d9c8b2744b------2</link>
            <guid isPermaLink="false">https://medium.com/p/2149b91fa655</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[statistics]]></category>
            <category><![CDATA[estatistica]]></category>
            <category><![CDATA[ciencia-de-dados]]></category>
            <dc:creator><![CDATA[Ederson Oliveira]]></dc:creator>
            <pubDate>Tue, 13 Dec 2022 15:37:41 GMT</pubDate>
            <atom:updated>2022-12-19T01:37:37.022Z</atom:updated>
            <content:encoded><![CDATA[<h3>A arte da estatística — como aprender a partir dos dados (Parte I)</h3><p>A estatística está presente da vida de todo mundo, mesmo sem que você se dê conta. Na análise do crédito que você solicitou, por exemplo, na previsão do tempo que você confere antes de ir à praia ou, ainda, nos dados sobre intenção de votos para o seu candidato político. O livro <strong>“A arte da estatística”</strong>, do David Spiegelhalter, me chamou a atenção à primeira vista justamente pelo enfoque nos problemas e nos desafios que podem ser iluminados pela Estatística.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/452/1*03ycobU56clxUBOo_1yQXQ.jpeg" /><figcaption>Capa do livro “A arte da estatística”, escrito por David Spiegelhalter</figcaption></figure><p>Podemos entender melhor o mundo quando nos munimos do pensamento estatístico e o autor nos mostra inúmeros exemplos de como os dados podem se transformar em boas soluções e insights quando são bem trabalhados nesse sentido. Mesmo os sentimentos podem ser mensurados, apesar da dificuldade ser maior quando comparados com tipos de dados mais objetivos.</p><p>Não preciso falar para quem está lendo esse texto que estamos na era dos dados, porém me reservo o direito de apelar para esse chavão para lembrar que eles também possuem <strong>limitações importantes</strong> quando são usados para representar a complexidade do mundo e das percepções e sentimentos, principalmente. Essas limitações estão presentes nos exemplos que o autor apresentou e sobre os quais irei discutir:</p><ul><li>Eles são imperfeitos em relação ao “real”. Sem entrarmos nas inúmeras questões filosóficas por trás do conceito de realidade, eles são apenas amostras da totalidade e isso possui inerentemente uma perda de informação. Essa limitação se torna ainda mais evidente quando estamos nos debruçando sobre sentimentos e percepções humanas, como a satisfação com um serviço.</li><li>Existe uma variabilidade entre as percepções do que buscamos mensurar e isso faz com que extrair dados significativos exija ferramentas e técnicas mais robustas.</li></ul><h4>Falsas descobertas</h4><p>Ciente dessas limitações fica evidente que a estatística precisa ser encarada como muito mais do que um pacote de ferramentas para resolver problemas. A grande quantidade de softwares disponíveis para análises pode criar a ilusão de que ela se tornou menos necessária, mas é justamente o contrário. As falsas descobertas provenientes do excesso de análise e dos vieses sistemáticos inerentes ao processo deixam claro que o domínio sólido dessa área do conhecimento é um grande diferencial para quem deseja obter respostas mais robustas.</p><p>Eu e você sabemos que a análise dos dados é apenas uma das etapas que um cientista de dados precisa passar para chegar a suas conclusões, porém a maioria dos cursos de estatística parecem ignorar esse fato e focam apenas na fase de análise. Isso, ao meu ver, é mais uma das virtudes desse livro: <strong>deixar claro o ciclo que os dados precisam percorrer para chegar em resoluções de problemas</strong>. O ciclo <strong>PPDAC </strong>é uma ótima abordagem nesse sentido, representado o <strong>P</strong>roblema, o <strong>P</strong>lano, os <strong>D</strong>ados, a <strong>A</strong>nálise e a <strong>C</strong>onclusão.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/775/1*kP_Q_vPdgHWn5_GcCddwqA.jpeg" /><figcaption>Ciclo PPDAC. Disponível no livro “A arte da estatística — Como aprender com dados”, de David Spiegelhalter.</figcaption></figure><p>Dito tudo isso, vamos percorrer os aspectos que eu julguei mais interessantes no livro, deixando claro que meu objetivo não é esgotar toda a informação inserida na obra. Espero, ao final, que vocês se sintam compelidos a lerem o livro completo para que possamos conversar sobre.</p><h3>Comunicação de dados: “Gatos causam câncer”</h3><p>A comunicação dos dados, que pode ser considerada a última etapa do ciclo PPDAC, é a primeira a ser tratada no livro. O autor utiliza a expressão “gatos causam câncer” para se referir à maneira sensacionalista que parte da mídia utiliza para transmitir que algum estudo concluiu que alguma coisa corriqueira aumenta o risco de outra coisa terrível acontecer. Esse é só um exemplo de como os dados e a estatística aplicada a eles precisam ser comunicados de maneira responsável.</p><p><strong>As crianças cardíacas de Bristol</strong></p><p>Um caso conhecido que envolve dados de saúde e estatística aplicada é o do elevado índice de mortalidade de crianças que passaram por cirurgias cardíacas entre os anos 80 e 90 em Bristol, no Reino Unido. O autor do livro comandou a equipe que fez a análise estatística das taxas de sobrevivência dessas crianças entre os anos de 1984 e 1995 por conta de um inquérito oficial iniciado pelo Conselho Geral de Medicina. Essas dados são ótimos para fazer alguma reflexões sobre a maneira de comunicação utilizada.</p><p>O primeiro aspecto interessante é apontado pelo autor em relação ao uso do gráfico de barras horizontais para mostrar a diferença entre a taxa de mortalidade entre vários hospitais. <strong>O erro mais clássico é escolher o início do eixo horizontal muito baixo ou muito alto. </strong>Se na figura abaixo, por exemplo, tivesse optado por iniciar em 0% (e não em em 86%, como está), todas as linhas estariam muito parecidas e seria difícil a comparação. Por outro lado, iniciar em valores muito altos pode gerar a enganosa sensação de que existe uma diferença muito maior entre cada hospital do que o que de fato ocorre.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/785/1*eawBJRAss8K4n94C5YX2VA.jpeg" /><figcaption>Porcentagem de cirurgias cardíacas em crianças em diferentes hospital. Disponível no livro “A arte da estatística — Como aprender com dados”, de David Spiegelhalter.</figcaption></figure><p><strong>Gráficos circulares não são boas opções para representar dados categóricos</strong>, pois<strong> </strong>podem ser muitos confusos. Principalmente quando quem os produz cai na tentação de usar a trágica opção de tridimensionalidade que os softwares possuem, que só faz gerar distorção e dificuldade na comparação entre as categorias.</p><p>O capítulo trás outros exemplos de que mesma uma comunicação “simples” de proporções precisa ser acompanhada de diversos cuidados para que não crie interpretações erradas.</p><h3>A sabedoria das multidões</h3><p>Um primo menos famoso de Darwin, Francis Galton, certa vez participou de uma aposta referente ao peso de um boi após ser abatido. Ele fez a média de todos os pesos apostados e escolheu esse valor para ser sua aposta. O resultado: a carcaça do boi tinha 543 quilos e o seu palpite foi 547, muito próximo. Esse processo de tomada de decisão passou a se chamar <strong>sabedoria das multidões</strong> e o Spiegelhalter utiliza essa história para discutir sobre as formas de apresentar os dados para a sociedade e como valores discrepantes podem interferir no resultado final.</p><p>Uma piada aparentemente conhecida pelos estatísticos sobre o uso da média (e que eu, biólogo, desconhecia) é em relação à quantidade de pernas da população mundial. Quem tem duas pernas está acima da média, que é presumida em 1,999999. Por isso medidas de variabilidade dos dados são tão importantes.</p><p>Quem usa o Phyton certamente conhece o método <em>describe()</em>, que nos retorna diversas formas de síntese sobre a dispersão dos dados: média, moda, mediana, amplitude, quartis, desvio padrão… Os dados podem possuir valores muito discrepantes ou anômalos, portanto usar medidas que não sejam afetadas fortemente por eles é fundamental. O autor mostra vários exemplos interessantes no livro.</p><p><strong>Sua visualização de dados está boa?</strong></p><p>É claro que não existe uma única maneira de fazer boas visualizações de dados, porém Spiegelhalter trás quatro características fornecidas pelo Alberto Cairo que também considero interessantes. São elas:</p><ul><li>As informações usadas são confiáveis;</li><li>O modelo escolhido permite visualizar bem as tendências e padrões relevantes nos dados;</li><li>É atraente sem abrir mão da clareza, integridade e profundidade;</li><li>É organizado de modo a possibilitar explorações, quando for o caso.</li></ul><h3><strong>Contando histórias</strong></h3><p>Para finalizar esse texto com os pontos que julguei mais interessantes nos dois primeiros capítulos do livro, trago duas regras da comunicação apresentadas que podem ser aplicadas à comunicação de dados, quando se pretende contar histórias usando a estatística.</p><p><strong>A primeira regra é ouvir mais a audiência.</strong> Entender quais são as suas limitações e quais pontos podem gerar interpretações equivocadas. Uma história perfeitamente adequada para um público certamente não tem a mesma condição para outros tipos de públicos.</p><p><strong>A segunda regra é ter o objetivo da comunicação bem definido.</strong> Queremos incentivar tomadas de decisões com base nos nossos dados ou estamos apenas querendo informar, sem nenhum pretensão de persuadir? Essa definição vai determinar a melhor abordagem.</p><h3>Próximos capítulos</h3><p>Os próximos temas abordados envolvem o motivo de estudar dados, tópicos interessantes sobre algoritmos, modelos, probabilidade e diversos outros aspectos relacionado os dados com a estatística. Escolhi dividir o livro em vários textos para conseguir desenvolver melhor cada um dos temas e, também, para que vocês consigam ler o livro antes do próximo texto. Que tal? Até mais!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2149b91fa655" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>