<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by João Marcelo Fonseca Cunha on Medium]]></title>
        <description><![CDATA[Stories by João Marcelo Fonseca Cunha on Medium]]></description>
        <link>https://medium.com/@jmfonsecacunha?source=rss-6509535421d------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*rKapX7qm5t9bUGJpjGjVtw.png</url>
            <title>Stories by João Marcelo Fonseca Cunha on Medium</title>
            <link>https://medium.com/@jmfonsecacunha?source=rss-6509535421d------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 09:47:15 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@jmfonsecacunha/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Aplicação de Churn Prediction em Empresa de Telecomunicações com Machine Learning]]></title>
            <link>https://medium.com/@jmfonsecacunha/aplica%C3%A7%C3%A3o-de-churn-prediction-em-empresa-de-telecomunica%C3%A7%C3%B5es-com-machine-learning-2b52aa3a4ef6?source=rss-6509535421d------2</link>
            <guid isPermaLink="false">https://medium.com/p/2b52aa3a4ef6</guid>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[churn-prediction]]></category>
            <dc:creator><![CDATA[João Marcelo Fonseca Cunha]]></dc:creator>
            <pubDate>Mon, 06 Feb 2023 18:53:16 GMT</pubDate>
            <atom:updated>2023-02-06T18:55:43.398Z</atom:updated>
            <content:encoded><![CDATA[<p>Churn rate, ou simplesmente churn, representa a taxa de evasão da sua base de clientes. Em serviços como Spotify ou Netflix, ela representaria a taxa de cancelamento de assinaturas. Ela é de extrema importância para a administração e gestão, e sua análise ao longo do tempo pode mostrar que existe algum problema que deve ser atacado. Essa métrica deve receber atenção pelo fato de que o Custo de Aquisição de Cliente (CAC) é normalmente mais alto que o custo para mantê-los. Ou seja, um alto valor para o churn rate é o que não desejamos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/880/1*78kW6lKgVNl67wJIA_UmMQ.jpeg" /></figure><p>Analisar e compreender grandes quantidades de dados de clientes pode ser complexo, porém o Machine Learning oferece suporte para empresas em sua jornada em desvendar o perfil dos seus clientes e prever o risco de churn antes que seja tarde demais. Neste projeto iremos analisar dados de churn de uma empresa de telecomunicações e criar modelos de Machine Learning para classificar possíveis clientes que possam cancelar seus planos, comparando as métricas e buscando as melhores soluções! Além disso, neste projeto nos concentraremos em garantir a qualidade e a precisão dos nossos modelos, para que possam ser implementados com segurança em situações reais. Para isso, utilizaremos técnicas de validação cruzada, seleção de características e otimização de hiperparâmetros.</p><p>O código do projeto pode ser conferido <a href="https://github.com/joaomarcelofc/Machine_Learning_Churn_Prediction/blob/main/Projeto_Churn_Prediction_Empresa_Telecomunicacoes_JM.ipynb">neste link</a>!</p><h3>1 — Entendimento do Problema</h3><blockquote>A primeira etapa consiste na identificação das necessidades do nosso projeto. De forma resumida, é nessa etapa que fazemos a identificação do tema abordado, entendimento do processo, além de várias outras etapas de análise aprofundada do nosso problema. Ao fim dessa etapa devemos saber qual problema precisamos resolver e quais soluções hipotéticas para temos para que isso aconteça. Em nosso projeto, vamos abordar o Churn Prediction de uma companhia, que representa a taxa de evasão da sua base de clientes.</blockquote><h4>Churn Prediction</h4><p><em>Churn rate</em>, ou simplesmente <em>churn</em>, representa a taxa de evasão da sua base de clientes. Em serviços como Spotify ou Netflix, ela representaria a taxa de cancelamento de assinaturas.</p><p>Ela é de extrema importância para a administração e gestão, e sua análise ao longo do tempo pode mostrar que existe algum problema que deve ser atacado.</p><p><em>Churn</em> também pode ser usado para identificar potenciais cancelamentos, com um tempo de antecedência, e promover ações direcionadas para tentar reter tais clientes. Essa métrica deve receber atenção pelo fato de que o Custo de Aquisição de Cliente (CAC) é normalmente mais alto que o custo para mantê-los.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KBCLoHIf9Ias0ysF6TfhzQ.png" /></figure><p><strong>Como calcular a taxa de churn do seu negócio?</strong></p><p>O cálculo da taxa de churn rate é feito a partir da divisão entre os clientes que interromperam o serviço no fim do período pré-determinado pelo número de clientes no início desse mesmo período, multiplicada por 100, a fim de obtermos a taxa em formato de porcentagem.</p><p>De forma prática, seria algo assim: suponhamos que a sua empresa tenha 1000 clientes no início de um mês. Ao fim desse mesmo mês — ou outro período de análise pré-determinado — , o número de clientes cai para 950.</p><p>Utilizando esses dados, o cálculo do seu churn rate seria:</p><p>50 (número de clientes que interromperam o serviço) / 1000 (clientes no início do processo) x 100 = 5%</p><p>Assim, nesse exemplo, a taxa de churn rate é de 5%. Ou seja, 5% dos clientes daquele mês deixaram de manter parceria com a sua empresa.</p><p>Nosso dataset não apresenta a taxa em percentual do churn para cada cliente. Ele apenas sinaliza como Yes ou No se o cliente poderá cancelar o serviço.</p><h4>Preparando o ambiente</h4><p>Antes de iniciarmos nosso trabalho, precisamos preparar nosso ambiente. Abaixo apresentamos a importação de alguns pacotes necessários em nossas análises.</p><pre><br># instalando algumas bibliotecas no Colab<br>!pip install scikit-plot -q<br>!pip install imbalanced-learn -q<br><br># desconsiderar os warnings<br>from warnings import simplefilter<br>simplefilter(action=&#39;ignore&#39;, category=FutureWarning)<br><br># importando os pacotes necessários<br>import pandas as pd<br>import numpy as np<br>import matplotlib.pyplot as plt<br>import seaborn as sns<br>import scikitplot as skplt<br><br># importando balanceamento RUS<br>from imblearn.under_sampling import RandomUnderSampler<br><br># importando balanceamento SMOTE<br>from imblearn.over_sampling import SMOTE<br><br># importando balanceamento ADASYN<br>from imblearn.over_sampling import ADASYN<br><br># importando métricas<br>from sklearn.metrics import recall_score, roc_auc_score, accuracy_score, f1_score, confusion_matrix, classification_report<br>from scikitplot.metrics import plot_confusion_matrix, plot_roc<br><br><br># importando pacotes de padronização e tratamento de variaveis categóricas<br>from sklearn.preprocessing import StandardScaler, LabelEncoder, RobustScaler<br><br># importando pipeline<br>from sklearn.pipeline import make_pipeline<br><br># importando model_selection<br>from sklearn.model_selection import train_test_split, cross_val_score, StratifiedKFold, GridSearchCV<br><br># importando modelos<br>from sklearn.linear_model import LogisticRegression, SGDClassifier<br>from sklearn.tree import DecisionTreeClassifier<br>from xgboost import XGBClassifier<br>from sklearn.ensemble import RandomForestClassifier<br><br># random seed<br>np.random.seed(42)</pre><h3>2 — Entendimento dos Dados</h3><blockquote>Esta etapa consiste em coletar, organizar e documentar todos os dados que se encontram disponíveis para realizar a análise exploratória. Precisamos identificar os dados importantes para a resolução do problema, analisar a qualidade dos dados, realizar análise descritiva, identificar padrões, obter insights e formular hipóteses.</blockquote><h4>Aquisição dos dados</h4><p>Os dados utilizados neste projeto foram originalmente disponibilizados na <a href="https://developer.ibm.com/technologies/data-science/patterns/predict-customer-churn-using-watson-studio-and-jupyter-notebooks/#">plataforma de ensino da IBM Developer</a>, e tratam de um problema típico de uma companhia de telecomunicações. O <em>dataset</em> completo pode ser encontrado <a href="https://raw.githubusercontent.com/carlosfab/dsnp2/master/datasets/WA_Fn-UseC_-Telco-Customer-Churn.csv">neste link</a>.</p><p>Apesar de não haver informações explícitas disponíveis, os nomes das colunas permitem um entendimento a respeito do problema.</p><p><strong>Dicionário das variáveis</strong></p><ul><li>customerID - Código de identificação do cliente</li><li>gender - Identidade de gênero do cliente</li><li>SeniorCitizen - Identificação de cliente idoso (0 - No/1 - Yes)</li><li>Partner - O cliente possui parceiro(a)? (Yes/No)</li><li>Dependents - O cliente possui dependentes? (Yes/No)</li><li>tenure - Número de meses que o cliente permaneceu na empresa</li><li>PhoneService - O cliente possui serviço de telefonia contratado?(Yes/No)</li><li>MultipleLines - O cliente possui múltiplas linhas telefônicas?(Yes/No/No phone services)</li><li>InternetService - Tipo de serviço de internet contratado (DSL, Fiber optic, No)</li><li>OnlineSecurity - O cliente possui serviço de segurança online contratado?(Yes, No, No internet service)</li><li>OnlineBackup - O cliente possui serviço de backup online contratado?(Yes, No, No internet service)</li><li>DeviceProtection - O cliente possui plano de proteção de dispositivo?(Yes, No, No internet service)</li><li>TechSupport - O cliente possui serviço de suporte tecnológico contratado?(Yes, No, No internet service)</li><li>StreamingTV - O cliente possui serviço de streaming de TV contratado?(Yes, No, No internet service)</li><li>StreamingMovies - O cliente possui serviço de streaming de filmes contratado?(Yes, No, No internet service)</li><li>Contract - Tipo de contrato do cliente(Month-to-month, One year, Two year)</li><li>PaperlessBilling - O cliente recebe suas contas apenas eletronicamente, sem envio de correspondência física?(Yes, No)</li><li>PaymentMethod - Forma de pagamento(Electronic check, Mailed check, Bank transfer (automatic), Credit card (automatic))</li><li>MonthlyCharges - Valor cobrado mensalmente do cliente</li><li>TotalCharges - Valor total cobrado do cliente</li><li>Churn - Cliente identificado com métrica de Churn? (Yes/No)</li></ul><p>Com os dados importados para dentro de uma estrutura Dataframe, e após conhecermos melhor as variáveis do nosso dataset podemos relizar a etapa de análise exploratória a fim de obter algum insight ou informação relevante que possa influenciar em nossos modelos de Machine Learning.</p><h4>Análise exploratória</h4><p>Conforme análises realizadas e documentadas no <a href="https://github.com/joaomarcelofc/Machine_Learning_Churn_Prediction/blob/main/Projeto_Churn_Prediction_Empresa_Telecomunicacoes_JM.ipynb">notebook</a>, podemos observar que:</p><ul><li>Nosso dataset é composto por um total de 7.043 linhas e 21 colunas(features)</li><li>A maioria dos nossos dados são textuais, do tipo object, possuindo de 2 a 4 dados únicos por feature. Mais adiante vamos detalhar esses dados por feature.</li><li>Observamos que a feature TotalCharges, embora seja relacionada a valores númericos, também está como object, o que nos demandará uma conversão para o tipo númerico adequado.</li><li>A feature customerID se refere ao código de identificação de cada cliente, o que não é uma informação relevante em nossas análises, podendo ser descartada.</li><li>Nosso dataset apresenta dados nulos/vazios apenas na feature TotalCharges. São 11 linhas, o que representa um percentual de apenas 0,15% do total do dataset. Verificamos que nenhum deles são de clientes identificados com potenciais cancelamentos. Considerando isso, e levando em conta a baixa representatividade desses dados em nosso dataset, optamos por excluí-los de nossa base de dados.</li></ul><p>Ao verificarmos as distribuições de dados por cada coluna, juntamente com as análises de tipos de cada um desses dados, é possível estruturarmos uma melhor forma de analisar cada uma das features e sua relação na identificação de potenciais cancelamentos dos serviços por parte dos clientes.</p><p>Identificamos que nosso dataset apresenta informações que podem ser separadas em ‘categorias’, para nortear um poucos nossas análises. São elas:</p><ul><li><strong>Vetor alvo</strong> — É a própria coluna de Churn, que identifica potencial cancelamento.</li><li><strong>Informações de valores</strong> — No dataset são representadas pelas colunas de MonhtlyCharges, TotalCharges e tenure. Representam os valores mensais pagos pelo cliente, valores totais já pagos e número de meses que o cliente está na empresa.</li><li><strong>Informações dos clientes</strong> — São informações dos clientes contidas nas features gender, SeniorCitizen, Partner e Dependents.</li><li><strong>Informações dos serviços contratados</strong> — São informações dos serviços contratados por cada cliente contidas nas features PhoneService, MultipleLines, InternetService, OnlineSecurity, OnlineBackup, DeviceProtection, TechSupport, StreamingTV e StreamingMovies.</li><li><strong>Informações dos pagamentos</strong> — São informações relacionadas ao tipo de contrato e formas de pagamento de cada cliente, contidas nas features Contract, PaperlessBilling e PaymentMethod.</li></ul><p>Uma vez que categorizamos nossas features, fica mais fácil analisar cada uma delas.</p><h4><strong>Vetor alvo — Churn prediction</strong></h4><p>Primeiramente, vamos verificar a divisão de nosso dataset e balanceamento considerando a coluna Churn.</p><pre><br># gráfico de distribuição de churn<br>fig, ax = plt.subplots(figsize=(7,5))<br><br>sns.countplot(x=&#39;Churn&#39;, data=df_clean, ax=ax)<br>ax.set_title(&#39;Distribuição de Churn&#39;, loc=&#39;left&#39;, fontsize=16, pad=30)<br>ax.spines[&#39;top&#39;].set_visible(False)<br>ax.spines[&#39;right&#39;].set_visible(False)<br>ax.grid(False)<br><br>porcentagem(ax, df_clean)<br>plt.show();</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/451/1*lcED_xKNluAxJeM1xS-DgA.png" /></figure><p>É possível identificar na feature de Churn que a classe No ocorre com frequência muito superior à classe Yes, evidenciando que nosso dataset está desbalanceado. Isso será corrigido na etapa de construção do modelo de machine learning.</p><h4><strong>Informações de valores</strong></h4><p>A primeira análise interessante a ser feita para as features que contém dados numéricos é a aplicação do método describe, para obtermos as principais informações estatísticas desses números.</p><pre>df_clean[[&#39;MonthlyCharges&#39;, &#39;TotalCharges&#39;, &#39;tenure&#39;]].describe()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/328/1*IBhEyfGuHs9UwEZcfVD2UQ.png" /></figure><p>Verificando o quadro acima, podemos perceber que não existem indícios de outliers nessas features. O desvio padrão de cada uma delas não é um valor alto, sendo até coerente com a própria média, e o valor máximo não se distancia muito do terceiro quartil.</p><p>Isso pode ser corroborado pelo boxplot abaixo das features MonthlyCharges e TotalCharges, que nos mostra a distribuição desses valores sem nenhum plot fora dos limites superior e inferior.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/712/1*Ue8pZoVTYfOXd8U33HAQqw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Lqz2GL8CVujUaz5PX-LFjg.png" /></figure><p>Conforme plot acima podemos perceber, primeiramente, que a distribuição é maior para os dados não identificados como Churn. Evidentemente isso ocorre porque os clientes com churn positive representam apenas 26,5% do dataset. Outro ponto interessante é que a média dos valores mensais cobrados é mais elevada para os casos identificados como churn prediction. Possivelmente esse preço elevado da cobrança pode ser um dos fatores principais para este churn.</p><p>Abaixo fizemos uma análise de densidade das variáveis de TotalCharges, MonthlyCharges e tenure, para verificar a distribuição de cada uma delas relacionada ao churn prediction.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/566/1*rlqR74V49kmFyp0qUoWQjg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/573/1*MYWntariiTuruKTa0khZGA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/572/1*H3OgiXI-BgfDHkNC5fXl8w.png" /></figure><p>Dos plots acima é possível perceber que:</p><ul><li>O churn ocorre com mais frequência em clientes com pouco tempo de plano, em torno de 10 a 20 meses de contrato, sendo menos frequente ao longo do contrato.</li><li>Clientes com cobranças mensais mais altas também têm maior probabilidade de churn.</li><li>O valor de cobrança total tem comportamentos semelhantes em ambos os casos.</li></ul><h4>Informações dos clientes</h4><p>Abaixo fazemos as análises das features relacionadas a informações do cliente, verificando a distribuição de cada uma delas e como elas se relacionam com o churn prediction.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TBXx4ebkGF1KUsbxGzColQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_eyrw7SdiZV19ODFirA0YA.png" /></figure><p>Conforme plots acima podemos verificar que praticamente não existem diferenças em relação ao sexo para definir se o cliente irá cancelar ou não o seu serviço. Verificamos também que clientes sem parceiros e sem dependentes possuem uma taxa maior de churn.</p><h4><strong>Informações dos serviços contratados</strong></h4><p>Abaixo fazemos as análises das features relacionadas a informações dos serviços contratados pelo cliente, verificando a distribuição de cada uma delas e como elas se relacionam com nosso churn prediction.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/991/1*X4OudKSUP6VKE5lHVH_E2A.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/991/1*5icFXrsSkF2myqt2BfMLNA.png" /></figure><p>Com as análises acima, podemos perceber que:</p><ul><li>O churn é menor para os clientes que não possuem serviço telefônico, multíplas linhas ou serviço de internet.</li><li>Os clientes com serviço de fibra óptica tendem a cancelar mais o plano com a operadora.</li><li>A maioria dos clientes não possuem serviços adicionais de segurança e suporte, sendo que a taxa de Churn é menor para os clientes que possuem esses serviços.</li><li>O churn é maior para os clientes que não possuem streaming de Tv e filmes</li></ul><h4>Informações dos pagamentos</h4><p>Abaixo fazemos as análises das features relacionadas ao tipo de contrato e formas de pagamento de cada cliente, verificando a distribuição de cada uma delas e como elas se relacionam com o churn prediction.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/928/1*hi5LEuOZwKZhGrzf8W7MEA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gLt5cD1tr3HHWiG7TMdidQ.png" /></figure><p>Com relação aos tipos de contrato podemos observar que:</p><ul><li>A maioria dos clientes possuem contrato mensal, sendo eles os que possuem a maior taxa de churn.</li><li>A menor taxa de churn é para contratos com vigência de dois anos.</li><li>A maioria dos clientes opta por receber a conta de forma eletrônica, sendo assim a categoria com maior probabilidade de churn.</li><li>O tipo de pagamento com maior taxa de churn é dos clientes que pagam por meio de cheque eletrônico. Observamos também que, dos tipos de contrato de modalidade mensal, o menor churn é para os clientes que realizam pagamento através de cartão de crédito.</li></ul><h3>3 — Preparação dos Dados</h3><blockquote>Nesta etapa precisamos tratar os dados para certificarmos que as informações estão de acordo com o que se espera. Iremos separar as features por tipo de variável e pré-processar as features categóricas.</blockquote><h4>Pré-processamento de features categóricas</h4><p>Nesta etapa de preparação dos dados, será realizado um pré-processamento básico, apenas com a finalidade de construir um modelo base.</p><p>As features binárias (que possuem apenas dois valores únicos) serão processadas utilizando o LabelEncoder, incluindo a variável alvo Churn.</p><p>Em seguida as variáveis serão separadas em categóricas e numéricas, onde as variáveis categóricas serão tratadas com o getDummies, assim poderão ser utilizadas em todos os modelos.</p><pre># separando as colunas por tipo de variável<br>binary_var = df_clean.nunique()[df_clean.nunique() == 2].keys().tolist()<br>num_var = [col for col in df_clean.select_dtypes([&#39;int&#39;, &#39;float&#39;]).columns.tolist() if col not in binary_var]<br>cat_var = [col for col in df_clean.columns.tolist() if col not in binary_var + num_var]<br><br># criando uma copia do dataframe<br>df_proc = df_clean.copy()<br><br><br># Label Encoding para as variáveis binárias<br>le = LabelEncoder()<br>for coluna in binary_var:<br>  df_proc[coluna] = le.fit_transform(df_proc[coluna])<br><br># Encoding com get_dummies para as colunas categóricas com múltiplas classes<br>df_proc = pd.get_dummies(df_proc, columns=cat_var)</pre><h3>4 — Modelos de Machine Learning</h3><blockquote>Nesta etapa definimos e avaliamos os modelos de Machine Learning que vamos testar. Documentamos as técnicas selecionadas, motivo da escolha, avaliação e análise do comportamento das métricas para cada modelo de machine learning escolhido.</blockquote><h4>Modelos escolhidos e métricas avaliadas</h4><p>Com o processamento realizado na etapa anterior, a maioria de nossas features já foram adequadas aos nossos modelos. Precisamos agora padronizar nossas features numéricas e definir os modelos que serão utilizados.</p><p>Para podermos comparar o desempenho e melhora do modelo, criaremos baselines para cada um dos modelos a serem avaliados. Não será feito nenhum ajuste nos hiperparâmetros e nem será pensado ainda em balanceamento de dados, feature engineering ou feature selection (entre outros).</p><p>Também iremos separar os dados que serão utilizados como treino e como teste. Os dados de teste só irão ser usados na última etapa do projeto, para termos uma avaliação mais real.</p><p>Para nosso projeto iremos utilizar os seguintes modelos:</p><ul><li><strong>Random Forest</strong></li><li><strong>Decision Tree</strong></li><li><strong>SGD Classifier</strong></li><li><strong>Logistic Regression</strong></li><li><strong>XGB Classifier</strong></li></ul><p>A ideia é comparar as métrica de cada um dos modelos afim de verificamos o que apresenta os melhores resultados aplicáveis ao nosso problema.</p><p>Com relação as métricas que buscamos avaliar é necessário entender o objetivo do nosso modelo e riscos envolvidos. Em uma projeto de análise de Churn Prediction, caso um cliente seja identificado como possível cancelador do serviço e, na realidade, não pretender realizar nenhum cancelamento, o que pode ocorrer é o recebimento por parte do cliente de e-mails, pesquisas de satisfação, medidas que tentariam mitigar o risco de uma evasão de clientes. No entanto, se um cliente realmente desejar desistir do seu plano de assinatura, e a empresa não detectar isso, deixando de adotar estratégias para reter esse cliente, ela poderá perdê-lo. E não se discute que <strong>a rotatividade de clientes afeta diretamente a receita de uma empresa, e também aumenta os seus custos, porque é mais caro adquirir novos clientes do que manter os existentes.</strong></p><p>Portanto, para para o nosso problema considerando o prejuízo financeiro que um churn não sinalizado e monitorado pode gerar para a empresa, iremos priorizar as métricas de <strong>Recall</strong> em nossas análises.</p><h4>Split dos dados, padronização e avaliação de modelos com Cross-Validation</h4><p>Agora iremos dividir o conjunto de dados entre treino, teste. Assim poderemos testar o modelo com uma base de dados que ele não teve contato.Vamos dividir os dados, de forma estratificada pela classe, da seguinte forma:</p><p>70% treino 30% teste</p><p>Também iremos padronizar nossos dados, isto é, colocar os dados em uma mesma escala e avaliar alguns modelos por meio do Cross Validation, sendo que essa validação será realizada ainda sem otimização de hiperparâmetros. Para a padronização, serão usados 2 métodos, sendo assim poderemos ter uma melhor comparação de como os modelos se saem com esses dados em cada tipo de padronização. Outro detalhe é que iremos avaliar primeiramente os modelos com os dados desbalanceados e posteriormente avaliar com os dados balanceados.</p><p><strong>Split dos dados entre feature matrix e target vector</strong></p><pre># serparar os dados entre feature matrix e target vector<br>X = df_proc.drop(&#39;Churn&#39;, axis=1)<br>y = df_proc.Churn<br><br># dividindo os dados entre treino e teste<br>X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)</pre><p><strong>Verificando necessidade de padronização de variáveis numéricas</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/908/1*tT_Ay0AJpF47i5-Q9VJ0sQ.png" /></figure><p>Conforme verificamos acima, nossas variáveis numéricas estão com escalas de valores diferentes. Observando os valores de TotalCharges com MonthlyCharges fica evidente essa discrepância. Portanto precisamos padronizar nossos dados. Abaixo realizamos um processo de padronização através do StandardScaler.</p><pre><br># plot variáveis numéricas depois da padronização<br># padronizando<br>df_scaler = df_proc.copy()<br>scaler = StandardScaler()<br><br># fit transform<br>df_scaler[&#39;tenure&#39;] = scaler.fit_transform(df_proc[&#39;tenure&#39;].values.reshape(-1,1))<br>df_scaler[&#39;MonthlyCharges&#39;] = scaler.fit_transform(df_proc[&#39;MonthlyCharges&#39;].values.reshape(-1,1))<br>df_scaler[&#39;TotalCharges&#39;] = scaler.fit_transform(df_proc[&#39;TotalCharges&#39;].values.reshape(-1,1))<br><br>#plot<br>fig, ax = plt.subplots(1,3, figsize=(15,5))<br><br>sns.distplot(df_scaler[&#39;tenure&#39;], ax=ax[0])<br>sns.distplot(df_scaler[&#39;MonthlyCharges&#39;], ax=ax[1])<br>sns.distplot(df_scaler[&#39;TotalCharges&#39;], ax=ax[2])<br><br>plt.show();</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/888/1*gbVFXsaj64wiuDKbdPDlqg.png" /></figure><p>Conforme verificamos acima, após o processo de padronização as variáveis passam a ter o mesmo padrão de escala. O plot foi para ilustrar o efeito dessa tratativa nos dados.</p><h4>Avaliando modelos com Cross Validation (Dados Desbalanceados)</h4><p><strong>Avaliando modelos com Cross Validation</strong></p><p>Iremos a cross-validation para estimar o erro da baseline e dos modelos iniciais. Para facilitar e melhorar o código, foi criada uma função val_model. A métrica utilizada para avaliação será recall.</p><pre># função de validação de modelo<br>def val_model(X, y,clf, quite=False):<br>  &quot;&quot;&quot;<br>    Realiza cross-validation com os dados de treino para determinado modelo.<br><br>  # Arguments<br>      X: DataFrame, contém as variáveis independetes.<br>      y: Series, vetor contendo a variável alvo.<br>      clf: modelo classificador do Scikit-learn.<br>      quite: bool, indicando se a função deve imprimir os resultados ou não.<br><br>  # Returns<br>        float, média dos scores da cross-validation.<br>  &quot;&quot;&quot;<br><br>  X = np.array(X)<br>  y = np.array(y)<br><br>  pipeline1 = make_pipeline(StandardScaler(), clf) <br>  pipeline2 = make_pipeline(RobustScaler(), clf)<br>  scores1 = cross_val_score(pipeline1, X, y, scoring=&#39;recall&#39;)<br>  scores2 = cross_val_score(pipeline2, X, y, scoring=&#39;recall&#39;)<br><br>  if quite == False:<br>    print(&#39;Recall StandardScaler: {:.4f} (+/- {:.4f})&#39;.format(scores1.mean(), scores1.std() * 2))<br>    print(&#39;Recall RobustScaler: {:.4f} (+/- {:.4f})&#39;.format(scores2.mean(), scores2.std() * 2))<br>  <br>  return scores1.mean()</pre><p>Aplicaremos a validação cruzada a vários modelos, a fim de identificar o seu desempenho e escolher o(s) melhor(es). Novamente, serão utilizados apenas dados de treino para os modelos escolhidos.</p><pre><br># Instanciando modelos a serem avaliados<br>rf = RandomForestClassifier()<br>dt = DecisionTreeClassifier()<br>sgd = SGDClassifier()<br>lr = LogisticRegression()<br>xgb = XGBClassifier()</pre><pre># printar o desempenho dos modelos com os dados padronizados<br>print(&#39;Cross-validation RF:&#39;)<br>score_teste1 = val_model(X_train, y_train, rf) <br>print(&#39;\nCross-validation DT:&#39;)<br>score_teste2 = val_model(X_train, y_train, dt)<br>print(&#39;\nCross-validation SGD:&#39;)<br>score_teste3 = val_model(X_train, y_train, sgd)<br>print(&#39;\nCross-validation LR:&#39;)<br>score_teste4 = val_model(X_train, y_train, lr)<br>print(&#39;\nCross-validation XGB:&#39;)<br>score_teste5 = val_model(X_train, y_train, xgb)</pre><pre>Cross-validation RF:<br>Recall StandardScaler: 0.4954 (+/- 0.0375)<br>Recall RobustScaler: 0.4947 (+/- 0.0223)<br><br>Cross-validation DT:<br>Recall StandardScaler: 0.5023 (+/- 0.0459)<br>Recall RobustScaler: 0.5015 (+/- 0.0421)<br><br>Cross-validation SGD:<br>Recall StandardScaler: 0.4857 (+/- 0.3456)<br>Recall RobustScaler: 0.4069 (+/- 0.4069)<br><br>Cross-validation LR:<br>Recall StandardScaler: 0.5558 (+/- 0.0441)<br>Recall RobustScaler: 0.5520 (+/- 0.0541)<br><br>Cross-validation XGB:<br>Recall StandardScaler: 0.5367 (+/- 0.0338)<br>Recall RobustScaler: 0.5367 (+/- 0.0338)</pre><p>Como podemos perceber acima, a melhor métrica de recall encontrada foi de 0,55 para o modelo de Regressão Logística. Essa métrica é muito baixa e ocorre em função dos desbalanceamento dos nossos dados, como foi evidenciado anteriormente neste notebook.</p><h4>Padronização e Balanceamento dos dados</h4><p>Para a padronização, serão usados 2 métodos, StandardScaler e RobustScaler sendo assim poderemos ter uma melhor comparação de como os modelos se saem com esses dados em cada tipo de padronização. Após a padronização, os dados padronizados serão combinados com 3 métodos de balanceamento de dados. Sem esse balanceamento nossas métricas ficam muito abaixo do desejável, como mostramos acima.</p><p>Serão utilizados os seguintes métodos de balanceamento:</p><ul><li><strong>RandomUnderSampling (RUS)</strong> — Este método descarta um subjconjunto aleatório da classe majoritária, preservando as características da classe minoritária.</li><li><strong>ADASYN</strong> — A idéia principal do algoritmo ADASYN é usar a distribuição de densidade como um critério para decidir automaticamente o número de dados sintéticos que precisam ser gerados para cada exemplo da classe minoritária.</li><li><strong>SMOTE</strong> — É um dos métodos de sobreamostragem mais comumente usados ​​para resolver o problema de desequilíbrio. O algoritmo Smote cria dados artificiais com base no recurso da semelhança entre os exemplos da classe minoritária existentes.</li></ul><h4>Avaliando modelos com Cross-Validation (Dados Balanceados)</h4><p>Agora iremos avaliar os modelos novamente, mas dessa vez com os dados balanceados, para obtermos as melhores métricas. Para cada balanceamento iremos avaliar o melhor modelo, aquele que apresenta a melhor métrica de recall e melhor oportunidade de melhoria nas etapas de ajustes dos hiperparâmetros. Ressaltando, estamos validando nossos modelos novamente com o cross validation, dessa vez com os dados balanceados, mas ainda sem nenhum ajuste de hiperparâmetros.</p><p>Em nosso <a href="https://github.com/joaomarcelofc/Machine_Learning_Churn_Prediction/blob/main/Projeto_Churn_Prediction_Empresa_Telecomunicacoes_JM.ipynb"><strong>noteboo</strong></a><strong>k</strong> documentamos todo o processo de análise e validação, em que utilizamos uma modelagem para cada balanceamento feito (Random Under-Sampling, SMOTE e ADASYS), para encontrarmos as melhores métricas.</p><p>As melhores métricas de recall foram encontradas nos modelos de XGBoost, para cada balanceamento realizado, vide tabela abaixo:</p><pre>Cross-validation XGB RusRscaled:<br>Recall: 0.8226 (+/- 0.0511)<br><br>Cross-validation XGB SMOScaled:<br>Recall: 0.8573 (+/- 0.3011)<br><br>Cross-validation XGB ADARScaled:<br>Recall: 0.8470 (+/- 0.3122)</pre><p>Comparando as duas tabelas de métricas iniciais encontradas antes e depois do balanceamento, fica evidente que o balanceamento é importante em processos de machine learning porque ajuda a garantir que a representação dos dados seja equilibrada e precisa. Se um determinado conjunto de dados estiver desequilibrado, ou seja, se uma classe ou categoria estiver muito mais presente do que as outras, isso pode prejudicar o treinamento do modelo e levar a resultados enviesados ou ineficazes.</p><p>Agora vamos para etapa de otimização e ajuste fino dos hiperparâmetros do modelo para cada balanceamento, para compararmos os resultados.</p><h3>5 — Otimização dos hiperparâmetros e avaliações finais dos modelos</h3><blockquote>A próxima etapa consiste na otimização dos hiperparâmetros dos modelos. Faremos esse processo para o modelo XGBoost em cada tipo de balanceamento, realizando os ajustes finos necessários. O modelo XGBoost possui inúmeros parâmetros. Alguns afetam mais a qualidade do modelo, outros menos. Uma boa prática é definir uma taxa de aprendizado e número de estimadores, realizar tuning de outros parâmetros e, no final, checar outras taxas de aprendizado.</blockquote><p>Utilizando o grid search para encontrar e otimizar os melhores parâmetros e cross validation para validação das métricas, obtivemos os melhores resultados com os seguintes modelos:</p><h4>Otimização XGBoost — RUSRscaled</h4><pre># modelo final<br>xgb_rus_Rscaled = XGBClassifier(learning_rate=0.001 , n_estimators=50, max_depth=1, min_child_weight=1, gamma=0)<br><br># treinando o modelo<br>xgb_rus_Rscaled.fit(X_train_rus_Rscaled, y_train_rus_Rscaled)<br><br># fazer a previsão<br>X_test_Rscaled = scaler.transform(X_test)<br>X_test_scaled = scaler.transform(X_test)<br>y_pred_xgb_rus_Rscaled = xgb_rus_Rscaled.predict(X_test_Rscaled)<br><br># Classification Report<br>print(classification_report(y_test, y_pred_xgb_rus_Rscaled))<br><br># imprimir a área sob a curva e Recall score<br>print(&quot;AUC: {:.4f}\n&quot;.format(roc_auc_score(y_test, y_pred_xgb_rus_Rscaled)))<br>print(f&#39;Recall:\t\t{recall_score(y_test, y_pred_xgb_rus_Rscaled, pos_label=1):0.4f}&#39;)<br><br># plotar matriz de confusão<br>plot_confusion_matrix(y_test, y_pred_xgb_rus_Rscaled, normalize=True)<br>plt.show();</pre><pre>precision    recall  f1-score   support<br><br>           0       0.92      0.55      0.69      1549<br>           1       0.41      0.87      0.56       561<br><br>    accuracy                           0.64      2110<br>   macro avg       0.67      0.71      0.62      2110<br>weighted avg       0.79      0.64      0.65      2110<br><br>AUC: 0.7108<br><br>Recall:		0.8717</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/309/1*Yve_3wTvMCRz09DwwL4vpg.png" /></figure><h4>Otimização XGBoost — SMOscaled</h4><pre># modelo final<br>xgb_smo_scaled = XGBClassifier(learning_rate=0.1 , n_estimators=50, max_depth=3, min_child_weight=3, gamma=1)<br><br># treinando o modelo<br>xgb_smo_scaled.fit(X_train_smo_scaled, y_train_smo_scaled)<br><br># fazer a previsão<br># X_test_Rscaled = scaler.transform(X_test)<br># X_test_scaled = scaler.transform(X_test)<br>y_pred_xgb_smo_scaled = xgb_smo_scaled.predict(X_test_scaled)<br><br># Classification Report<br>print(classification_report(y_test, y_pred_xgb_smo_scaled))<br><br># imprimir a área sob a curva e Recall score<br>print(&quot;AUC: {:.4f}\n&quot;.format(roc_auc_score(y_test, y_pred_xgb_smo_scaled)))<br>print(f&#39;Recall:\t\t{recall_score(y_test, y_pred_xgb_smo_scaled, pos_label=1):0.4f}&#39;)<br><br># plotar matriz de confusão<br>plot_confusion_matrix(y_test, y_pred_xgb_smo_scaled, normalize=True)<br>plt.show();</pre><pre>precision    recall  f1-score   support<br><br>           0       0.89      0.77      0.83      1549<br>           1       0.54      0.75      0.63       561<br><br>    accuracy                           0.77      2110<br>   macro avg       0.72      0.76      0.73      2110<br>weighted avg       0.80      0.77      0.78      2110<br><br>AUC: 0.7599<br><br>Recall:  0.7451</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/309/1*La_TolHO3pqLq3_YV_vwpA.png" /></figure><h4>Otimização XGBoost — ADARscaled</h4><pre># modelo final<br>xgb_ada_Rscaled = XGBClassifier(learning_rate=0.1 , n_estimators=50, max_depth=3, min_child_weight=3, gamma=3)<br><br># treinando o modelo<br>xgb_ada_Rscaled.fit(X_train_ada_Rscaled, y_train_ada_Rscaled)<br><br># fazer a previsão<br># X_test_Rscaled = scaler.transform(X_test)<br># X_test_scaled = scaler.transform(X_test)<br>y_pred_xgb_ada_Rscaled = xgb_ada_Rscaled.predict(X_test_Rscaled)<br><br># Classification Report<br>print(classification_report(y_test, y_pred_xgb_ada_Rscaled))<br><br># imprimir a área sob a curva e Recall score<br>print(&quot;AUC: {:.4f}\n&quot;.format(roc_auc_score(y_test, y_pred_xgb_ada_Rscaled)))<br>print(f&#39;Recall:\t\t{recall_score(y_test, y_pred_xgb_ada_Rscaled, pos_label=1):0.4f}&#39;)<br><br># plotar matriz de confusão<br>plot_confusion_matrix(y_test, y_pred_xgb_ada_Rscaled, normalize=True)<br>plt.show();</pre><pre>precision    recall  f1-score   support<br><br>           0       0.91      0.68      0.78      1549<br>           1       0.48      0.82      0.61       561<br><br>    accuracy                           0.72      2110<br>   macro avg       0.70      0.75      0.69      2110<br>weighted avg       0.80      0.72      0.74      2110<br><br>AUC: 0.7504<br><br>Recall:  0.8164</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/309/1*f1vsCNvWrtZ85ySX46Shig.png" /></figure><h3>6 — Comparando os modelos finais</h3><blockquote>Agora vamos plotar um comparativo dos resultados dos três modelos de XGBoost aplicados a nossa base de testes, analisando os melhores resultados e melhores aplicabilidades ao nosso problema.</blockquote><pre>Métricas - XGBoost_Rscaled - Random Under Sampling<br>Recall:  0.8717<br>AUC:  0.7108<br><br>Métricas - XGBoost_scaled - SMOTE<br>Recall:  0.7451<br>AUC:  0.7599<br><br>Métricas - XGBoost_rscaled - ADASYN<br>Recall:  0.8164<br>AUC:  0.7504</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*laexKLOik5Eesi4OL0XWzQ.png" /></figure><h3>Conclusão</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/1*zDqGstPW_YfGUDK302wVqQ.jpeg" /></figure><p>Após realizarmos todos os procedimentos de limpeza dos dados, padronização, balanceamento, comparabilidade de modelos baselines e ajustes de hiperparâmetros, podemos considerar que nosso trabalho apresentou um resultado satisfatório.</p><p>Dentre os modelos avaliados, o XGBoost foi o escolhido para ser aplicado em cada balanceamento, justamente pela possibilidade de inúmeros ajustes nos hiperparâmetros. Fizemos poucos ajustes, e até seguimos um padrão para essa etapa de fine-tunning. Mas poderíamos muito bem configurar individualmente cada modelo, para cada balanceamento e ajustar outros pontos que não consideramos. Evidente que isso nos demandaria mais tempo e elevaria o custo do projeto. Por isso é sempre importante e prudente avaliarmos o resultado que queremos atingir, o tempo que vamos levar pra isso, considerando deadlines do projeto e colocar tudo na balança.</p><p>Concluindo, podemos verificar dentre os modelos acima que:</p><ul><li><strong>O melhor modelo para detecção de Churn</strong> na base de testes foi o <strong>XGBoost</strong> com dados padronizados pelo Robust Scaler e balanceados pelo <strong>Random Under Sampling, conseguindo acertar 87% dos casos de churn</strong>.</li><li>Ainda sobre o modelo XGBoost balanceado pelo Random Under Sampling, é interessante observamos as melhorias que os ajustes dos hiperparâmetros trouxeram para o modelo. No modelo baseline, sem nenhum ajuste, a métrica de recall encontrada foi de 0.82. Na aplicação na base de teste, após os ajustes finos, encontramos um resultado 0.87, o que melhorou em aproximadamente 6% nosso recall.</li><li><strong>O melhor modelo para detecção do que não é Churn</strong> é o <strong>XGBoost</strong> com dados padronizados pelo Standar Scaler balanceados pelo Over Sampling <strong>SMOTE , conseguindo acertar esses casos do que não é churn em 77%</strong>.</li><li>O modelo XGBoost balanceado pelo Over Sampling ADASYN também conseguiu um bom resultado, inclusive se saindo melhor que o modelo Random Under Sampling na detecção do que não é Churn. Mas o % de acertos de Churn no Random Under Sampling é maior, e é o que mais pesa em nosso problema.</li></ul><p>Portanto, considerando que estamos priorizando as métricas de <strong>Recall</strong> para para o nosso problema e considerando o prejuízo financeiro que um churn não sinalizado e monitorado pode gerar para a empresa, entendemos que modelo balanceado pelo Random Under Sampling apresentou os melhores resultados.</p><p>Você pode encontrar mais projetos dessa minha jornada de aprendizado em data science neste <a href="https://github.com/joaomarcelofc/Joao_Portfolio">link</a>!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2b52aa3a4ef6" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Detecção de Fraude em Cartão de Crédito com Machine Learning]]></title>
            <link>https://medium.com/@jmfonsecacunha/detec%C3%A7%C3%A3o-de-fraude-em-cart%C3%A3o-de-cr%C3%A9dito-com-machine-learning-8901500e5884?source=rss-6509535421d------2</link>
            <guid isPermaLink="false">https://medium.com/p/8901500e5884</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[fraud-detection]]></category>
            <dc:creator><![CDATA[João Marcelo Fonseca Cunha]]></dc:creator>
            <pubDate>Mon, 06 Feb 2023 18:49:25 GMT</pubDate>
            <atom:updated>2023-02-06T18:49:25.016Z</atom:updated>
            <content:encoded><![CDATA[<p>Neste projeto, iremos abordar o problema das fraudes em cartões de crédito, uma das principais preocupações das instituições financeiras como bancos e <em>fintechs</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yrsc1jk-V1YbHjTfEs78cQ.jpeg" /></figure><h3>Metodologia CRISP-DM</h3><p>Antes de iniciarmos o nosso projeto, pontuamos que as etapas da documentação do nosso trabalho seguem a <a href="https://www.knowsolution.com.br/voce-sabe-o-que-e-metodologia-crisp-dm-descubra-aqui/">Metodologia CRISP-DM</a>, seguindo, ainda que de forma não muito aprofundada, o fluxo abaixo. Vale a pena conferir este <a href="https://medium.com/matgonz/crisp-dm-na-pr%C3%A1tica-65be0ee92ada">artigo</a>, do Matheus Gonzalez, que aborda de forma prática cada etapa dessa metodologia. Inclusive, nos baseamos nele para documentar nosso projeto.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/483/1*uZcfcw7HTgxsUY5xn_YBbA.png" /></figure><h3>1 — Entendimento do problema</h3><blockquote>A primeira etapa consiste na identificação das necessidades do nosso projeto. De forma resumida, é nessa etapa que fazemos a identificação do tema abordado, entendimento do processo, além de várias outras etapas de análise aprofundada do nosso problema. Ao fim dessa etapa devemos saber qual problema precisamos resolver e quais soluções hipotéticas para temos para que isso aconteça. Em nosso projeto, vamos abordar o problema das fraudes em cartões de crédito.</blockquote><h4>Detecção de fraudes em cartões de crédito</h4><p>Neste projeto, iremos abordar o problema das fraudes em cartões de crédito, uma das principais preocupações das instituições financeiras como bancos e <em>fintechs</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/740/1*zkVeytlXAX32RtMzSgxImA.jpeg" /></figure><p>Dentre essas fraudes, aquelas envolvendo cartões de crédito são de grande relevância uma vez que a sua não-detecção acarretará em prejuízos consideráveis, tanto para o consumidor quanto para a instituição financeira.</p><p>Um outro fator a ser considerado é a quantidade de falsos positivos, ou seja, aquelas vezes em que você tentou fazer uma compra e teve seu cartão bloqueado preventivamente — o que provavelmente gerou estresse e constrangimento.</p><p>Por todos esses motivos, o investimento na área de detecção de fraudes por meio de Inteligência Artificial vem crescendo a cada ano, representando uma grande oportunidade em <em>Data Science</em>.</p><h4>Preparando o ambiente</h4><p>Abaixo apresentamos a importação de alguns pacotes necessários em nossas análises. A importação dos pacotes do Scikit Learn será realizada de forma modular, à medida em que aplicarmos nossos modelos e análises.</p><pre><br># desconsiderar os warnings<br>from warnings import simplefilter<br>simplefilter(action=&#39;ignore&#39;, category=FutureWarning)<br><br># instalar a biblioteca scikit-plot<br>!pip install -q scikit-plot<br><br># importando os pacotes necessários<br>import pandas as pd<br>import numpy as np<br>import matplotlib.pyplot as plt<br>import seaborn as sns<br>import scikitplot as skplt<br><br># habilitando google driver para carregar dataset<br>from google.colab import drive<br>drive.mount(&#39;/content/drive&#39;)</pre><h3>2 — Entendimento dos dados</h3><blockquote>Conforme documentado no <a href="https://medium.com/matgonz/crisp-dm-na-pr%C3%A1tica-65be0ee92ada">artigo</a> supracitado, esta etapa consiste em coletar, organizar e documentar todos os dados que se encontram disponíveis para realizar a análise exploratória. Precisamos identificar os dados importantes para a resolução do problema, analisar a qualidade dos dados, realizar análise descritiva, identificar padrões, obter insights e formular hipóteses.</blockquote><h4>Importando os dados</h4><p>Os dados que usaremos neste projeto foram disponibilizados por algumas empresas europeias de cartão de crédito. O <em>dataset</em> representa as operações financeiras que aconteceram no período de dois dias, onde foram classificadas 492 fraudes em meio a quase 290 mil transações.</p><p>Como você pode notar, este é um conjunto de dados extremamente desbalanceado, onde as fraudes representam apenas 0,17% do total.</p><p>Outro detalhe interessante é que as <em>features</em> são todas numéricas, e foram descaracterizadas (por problemas ligados à privacidade e segurança). Assim, os nomes das colunas são representados por [V1,V2,V3…,V28]</p><h4>Análise exploratória</h4><p>Essa é a etapa de análise de dados em que visamos compreender a estrutura e a natureza de um conjunto de dados, identificando padrões, relações, outliers, entre outros aspectos. A análise detalhada, com os códigos utilizados, pode ser conferida no <a href="https://github.com/joaomarcelofc/Machine_Learning_Fraude_Cartao_Credito/blob/main/Projeto_Deteccao_Fraudes_Cartao_de_Credito_JM.ipynb"><strong>notebook</strong></a> do projeto.</p><p>Analisando nosso <em>dataframe</em>, encontramos as seguintes variáveis:</p><p>Time - Número de segundos decorridos entre a transação da linha selecionada e a primeira transação no conjunto de dados.</p><p>V1 - V28 - Pode ser resultado da redução de dimensionalidade por transformação PCA, para proteger dados sensíveis e identidade de usuários.</p><p>Amount - Valor da transação.</p><p>Class - 1 para transações fraudulentas, 0 para caso contrário</p><p>Nas nossas primeiras análises pudemos observar que:</p><ul><li>As colunas Time e Amount foram preservadas, mantendo seu valor original.</li><li>Nosso dataset é composto por um total de <strong>284.807 linhas </strong>e<strong> 31 colunas, </strong>em que cada linha representa uma transação.</li><li>Não existem dados nulos em nosso dataset.</li></ul><pre># verificando a descrição estatística dos dados da variável amount<br>df.Amount.describe()<br><br>count    284807.000000<br>mean         88.349619<br>std         250.120109<br>min           0.000000<br>25%           5.600000<br>50%          22.000000<br>75%          77.165000<br>max       25691.160000<br>Name: Amount, dtype: float64</pre><p>Utilizando o método describe para a variável Amount, conforme documentado acima, podemos notar que o <strong>valor médio</strong> de transações (considerando ambas as classes) é <strong>88.34</strong>, <strong>mediana igual a 22.00</strong> e <strong>desvio padrão de 250.12</strong>. Atingindo o <strong>valor máximo de 25691.16</strong>, a maioria das transações financeiras é composta em sua maioria por quantias menores.</p><pre># verificando dimensão do dataset para dados de fraude<br>df_fraude = df.Amount[df.Class == 1]<br><br>print(&#39;Dados de não fraude&#39;)<br>print(f&#39;Total de linhas:{df_fraude.shape[0]}&#39;)<br>print(f&#39;% sobre o total do dataset:{(df_fraude.shape[0]/<br>df.shape[0])*100:0.2f}%\n&#39;)<br><br># verificando descrição estatística dos dados<br># da variável amount para dados de fraude<br>df_fraude.describe()</pre><pre>Dados de não fraude<br>Total de linhas:492<br>% sobre o total do dataset:0.17%</pre><p>Também podemos observar que <strong>nossos dados estão muito desbalanceados</strong>, visto que as entradas relativas à <strong>transações fraudulentas correspondem a apenas 0,17% do total. </strong>O gráfico de barras abaixo mostra como essa discrepância se torna nítida e visível. Na prática, isso interfere no desempenho do modelo, e será necessário fazer um balanceamento dos dados antes de alimentar o modelo final de classificação.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/519/1*ZuH92R2Y0UfrIFDl4X3hqg.png" /></figure><pre>0    284315<br>1       492<br>Name: Class, dtype: int64<br><br>Fraudes representam 0.17%.</pre><p>Seguindo nossas análises, vamos plotar os boxplots para verificar se existe alguma diferença no padrão das transações em relação à dimensão Amount.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/445/1*mY22fztg78UY8Nazq5taeQ.png" /></figure><p>De uma maneira geral, percebemos uma distribuição diferente para as duas classes, o que provavelmente pode contribuir para o treinamento do modelo de Machine Learning. Podemos observar destacado no boxplot a média que é maior nos dados de transações de fraude.</p><p>Agora vamos plotar um histograma das transações por classe, considerando a evolução dessas movimentações na variável time. Ou seja, um histograma de transações no tempo informado no dataset.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/712/1*bXx_If9RS-ij2G9Lyruvgw.png" /></figure><p>Podemos observar no plot acima que a tendência de ocorrer uma transação de fraudes no tempo do dataset de certa forma acompanha o fluxo de transações normais no dia, evidentemente em suas devidas proporções.</p><p>Outra análise que pode ser feita é analise das transações considerando a hora em que ela ocorreu.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/927/1*oEYPJ011nYFcUKGXMkU-Wg.png" /></figure><p>Podemos verificar no plot acima que há um volume maior de transações entre 08h e 21h, sendo que a partir das 22h até às 07h o volume de operações com cartões é menor. Por outro lado, observamos que as transações fraudulentas com cartão ocorrem com mais intensidade às 02h e 11h, mas não existe um comportamento de um período em que as transações com fraudes ocorram com mais frequência.</p><h3>3 — Preparação dos dados</h3><blockquote>Nesta etapa precisamos tratar os dados para certificarmos que as informações estão de acordo com o que se espera. Consistência de erros e valores ausentes, dados desbalanceados devem ser resolvidos para que possamos selecionar amostras aleatórias e utilizá-las para treino, validação e teste.</blockquote><h4>Padronização dos dados da variável Time e Amount</h4><p>Nessa etapa, iremos normalizar os dados da coluna Time e Amount, que possuíam seus valores originais. Para isso, a padronização será feita por meio da classe StandardScaler.</p><pre><br># importando os pacotes necessários do scikit learn para preparar os dados<br>from sklearn.preprocessing import StandardScaler<br>from sklearn.model_selection import train_test_split<br><br><br># criando uma copia do dataframe<br>df_base = df.copy()<br><br># padronizando as colunas time e amount<br>scaler = StandardScaler()<br>df_base[&#39;Amount_Scaler&#39;] = scaler.fit_transform(df_base[&#39;Amount&#39;].values.reshape(-1,1))<br>df_base[&#39;Time_Scaler&#39;] = scaler.fit_transform(df_base[&#39;Time&#39;].values.reshape(-1,1))<br><br># drop das colunas hora, hora-dia, amount e time<br>df_base.drop([&#39;Time&#39;, &#39;Amount&#39;, &#39;hora&#39;, &#39;hora-dia&#39;], axis=1, inplace=True)</pre><h4>Separar dados entre Treino, Teste e Validação</h4><p>Agora iremos dividir o conjunto de dados entre treino, teste e validação. Assim poderemos testar o modelo com uma base de dados que ele não teve contato. Vamos dividir os dados, de forma estratificada pela classe, da seguinte forma:</p><p><strong>70% treino 15% validação 15% teste</strong></p><pre><br># separando os dados entre feature matrix e target vector<br>X = df_base.drop(&#39;Class&#39;, axis=1)<br>y = df_base.Class<br><br># Dividir o dataset entre treino, teste e validação - separando os dados de treino em 70%<br>X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, stratify=y, shuffle=True)<br><br># Separando os dados de validação e teste em 15% cada<br>X_val, X_test, y_val, y_test = train_test_split(X_test, y_test, test_size=0.5, stratify=y_test, shuffle=True)</pre><h4>Balanceamento dos dados</h4><p>E por último iremos balancear os dados, de forma que nossos modelos apresentem um melhor desempenho na hora de identificar transações fraudulentas. Dessa forma, também evitamos o <em>overfitting</em> (quando um modelo se torna muito bom em dados ja vistos, mas não tem um bom desempenho em dados novos).</p><p>Serão utilizados 3 métodos de balanceamento:</p><ul><li><strong>RandomUnderSampling (RUS)</strong> — Este método descarta um subjconjunto aleatório da classe majoritária, preservando as características da classe minoritária. Ele pode acarretar em uma performance inferior na hora de fazer predições da classe majoritária.</li><li><strong>ADASYN</strong> — A ideia principal do algoritmo ADASYN é usar a distribuição de densidade como um critério para decidir automaticamente o número de dados sintéticos que precisam ser gerados para cada exemplo da classe minoritária.</li><li><strong>SMOTE</strong> — É um dos métodos de sobre amostragem mais comumente usados ​​para resolver o problema de desequilíbrio. O algoritmo Smote cria dados artificiais com base no recurso da semelhança entre os exemplos da classe minoritária existentes.</li></ul><p><strong>Balanceamento dos Dados com Under-Sampling (RUS)</strong></p><pre># Balanceamento dos dados<br>from imblearn.under_sampling import RandomUnderSampler<br>rus = RandomUnderSampler()<br>X_rus, y_rus = rus.fit_resample(X_train, y_train)<br><br># Checar o balanceamento das classes<br>print(pd.Series(y_rus).value_counts())<br><br># Plotar a nova distribuição de Classes<br>fig, ax = plt.subplots()<br>sns.countplot(y_rus, ax=ax)<br>ax.set_title(&#39;Balanceamento com Under-Sampling(RUS)&#39;, loc=&#39;left&#39;, fontsize=14, pad=30)<br>ax.spines[&#39;top&#39;].set_visible(False)<br>ax.spines[&#39;right&#39;].set_visible(False)<br>ax.set_xticklabels([&#39;Normal&#39;, &#39;Fraude&#39;])<br>ax.grid(False)<br>plt.show();</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/389/1*5sgq8xiF_0ho1xAswyFA7A.png" /></figure><pre>0    344<br>1    344<br>Name: Class, dtype: int64</pre><p><strong>Balanceamento dos Dados com Over-Sampling (SMOTE)</strong></p><pre># Balanceamento dos dados<br>from imblearn.over_sampling import SMOTE<br>smo = SMOTE()<br>X_smo, y_smo = smo.fit_resample(X_train, y_train)<br><br># Checar o balanceamento das classes<br>print(pd.Series(y_smo).value_counts())<br><br># Plotar a nova distribuição de Classes<br>fig, ax = plt.subplots()<br>sns.countplot(y_smo, ax=ax)<br>ax.set_title(&#39;Balanceamento com Over-Sampling (SMOTE)&#39;, loc=&#39;left&#39;, fontsize=14, pad=30)<br>ax.spines[&#39;top&#39;].set_visible(False)<br>ax.spines[&#39;right&#39;].set_visible(False)<br>ax.set_xticklabels([&#39;Normal&#39;, &#39;Fraude&#39;])<br>ax.grid(False)<br>plt.show();</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/408/1*OKi8s6pBO5b9ArbDFDS1Cg.png" /></figure><pre>0    199020<br>1    199020<br>Name: Class, dtype: int64</pre><p><strong>Balanceamento dos Dados com Over-Sampling (ADASYN)</strong></p><pre># Balanceamento dos dados<br>from imblearn.over_sampling import ADASYN<br>ada = ADASYN()<br>X_ada, y_ada = ada.fit_resample(X_train, y_train)<br><br># Checar o balanceamento das classes<br>print(pd.Series(y_ada).value_counts())<br><br># Plotar a nova distribuição de Classes<br>fig, ax = plt.subplots()<br>sns.countplot(y_ada, ax=ax)<br>ax.set_title(&#39;Balanceamento com Over-Sampling (ADASYN)&#39;, loc=&#39;left&#39;, fontsize=14, pad=30)<br>ax.spines[&#39;top&#39;].set_visible(False)<br>ax.spines[&#39;right&#39;].set_visible(False)<br>ax.set_xticklabels([&#39;Normal&#39;, &#39;Fraude&#39;])<br>ax.grid(False)<br>plt.show();</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/408/1*FPrjOdsQ-U8vuDOEt6nxiA.png" /></figure><pre>0    199020<br>1    198976<br>Name: Class, dtype: int64</pre><h4>Matriz de correlação das variáveis</h4><p>Uma vez balanceados os dados, podemos ver a matriz de correlação e identificar quais variáveis estão mais fortemente relacionadas com as outras e quais impactam na classificação de fraudes. Cada célula na matriz representa a interseção de duas medidas, e a cor da célula indica o grau de correlação entre essas duas medidas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*56puIa-4G0eDVCXBmK6Uiw.png" /></figure><p>Podemos ver que para o caso com amostra não balanceada as variáveis parecem não possuir correlação. Já nas amostras balanceadas a correlação fica bem clara. É visível também que essa correlação é mais forte nos balanceamentos utilizando o Random Under-Sampling e Over-Sampling SMOTE. No método Over-Sampling ADASYN a correlação é mais evidente apenas na variável V4.</p><p>Observamos os outros balanceamentos podemos observar que:</p><ul><li>V10, V12 e V14 apresentam uma correlação negativa e quanto mais negativo o valor, mais indicará que temos uma transação com fraude</li><li>V2, V4 e V11 apresentam uma correlação positiva e quando mais alto este valor, mais ele indicará que se trata de uma fraude.</li></ul><p>Abaixo plotamos boxplots para essas variáveis, apresentando primeiros as variáveis com correlação negativa e, logo após, as variáveis com correlação positiva.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fid8hCJb-jAG9Yskzi5Brg.png" /></figure><p>Fica evidente no boxplot acima que as variáveis V10, V12 e V14 possuem uma correlação negativa com a variável classe, ou seja, quanto menor o valor maior o indicativo de fraude.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kyJDEIKPIzHM6m5HGRuQ8A.png" /></figure><p>Já no segundo plot, podemos perceber que as variáveis V2, V4 e V11 possuem uma correlação positiva com a variável classe, ou seja, quanto maior o valor, maior o indicativo de fraude.</p><h3>4 — Modelos de Machine Learning</h3><blockquote>Nesta etapa definimos e avaliamos os modelos de Machine Learning que vamos testar. Documentamos as técnicas selecionadas, motivo da escolha, avaliação e análise do comportamento das métricas para cada modelo de machine learning escolhido.</blockquote><h4>Modelos propostos</h4><p>Para nosso projeto iremos utilizar os seguintes modelos:</p><ul><li><strong>Regressão Logística — </strong>A regressão logística é um algoritmo de aprendizado de máquina que é usado para os problemas de classificação, é um algoritmo de análise preditiva e baseado no conceito de probabilidade.</li><li><strong>Decision Tree — </strong>Uma decision tree (árvore de decisão) é um algoritmo de aprendizado de máquina supervisionado que é utilizado para classificação e para regressão. Isto é, pode ser usado para prever categorias discretas (sim ou não, por exemplo) e para prever valores numéricos (o valor do lucro em reais). Assim como um fluxograma, a árvore de decisão estabelece nós (decision nodes) que se relacionam entre si por uma hierarquia.</li><li><strong>Random Forest — </strong>Random Forest (Floresta Aleatória) é um método de aprendizado conjunto. A ideia, porém, é treinar várias árvores de decisão (descorrelacionadas), obtidas a partir de amostras do dataset, e fazer predições utilizando os resultados que mais aparecem em caso de um problema de classificação, ou a média dos valores obtidos em caso de regressão.</li></ul><h4>Métricas avaliadas</h4><p>Buscamos avaliar as seguintes métricas dos nossos modelos:</p><ul><li><strong>Acurácia</strong>: Quantidade de acertos do modelo. É a representatividade do número de previsões corretas sobre o número total de previsões.</li><li><strong>Precisão</strong>: A precisão é a razão TP / (TP + FP) onde TP é o número de verdadeiros positivos e FP o número de falsos positivos. Ela é uma boa métrica quando o falso positivo (FP) tem risco alto. Em nosso problema esse risco seria o nosso modelo classificar como fraude um transação que não é.</li><li><strong>Recall</strong>: O recall é a razão TP / (TP + FN) onde TP é o número de verdadeiros positivos e FN o número de falsos negativos. Ao contrário da precisão, ela é uma boa métrica quando o falso negativo (FN) tem risco alto. Em nosso problema esse risco seria o nosso modelo considerar como normal uma transação que na verdade se trata de uma fraude.</li><li><strong>F1-score</strong>: É a média harmonica entre precisão e recall. O melhor valor possível para 0 F1-score é 1 e o pior é 0.</li><li><strong>Curva ROC-AUC</strong>: A AUC (“area under the ROC curve”) nada mais é que uma maneira de resumir a curva ROC em um único valor, agregando todos os limiares da ROC, calculando a “área sob a curva”. O valor do AUC varia de 0,0 até 1,0 e o limiar entre a classe é 0,5. Ou seja, acima desse limite, o algoritmo classifica em uma classe e abaixo na outra classe. Quanto maior o AUC, melhor.</li></ul><p><strong>Para o nosso problema considerando o prejuízo financeiro elevado que uma transação não identificada corretamente como fraude pode gerar aos bancos, iremos priorizar as métricas de Recall em nossas análises. Outras que também serão priorizadas serão F1-score e a Curva ROC-AUC.</strong></p><p>Em nosso <a href="https://github.com/joaomarcelofc/Machine_Learning_Fraude_Cartao_Credito/blob/main/Projeto_Deteccao_Fraudes_Cartao_de_Credito_JM.ipynb"><strong>notebook</strong></a> documentamos todo o processo de análise e validação, em que utilizamos uma modelagem para cada balanceamento feito (Random Under-Sampling, SMOTE e ADASYS), para encontrarmos as melhores métricas. Após todas as análises feitas, verificamos que:</p><ul><li><strong>Para o modelo de Regressão Logística obtivemos os melhores resultados com o balanceamento pelo método Random-Under-Sampling;</strong></li><li><strong>Para o modelo de Decision Tree encontramos as melhores métricas através do balanceamento pelo método Over-Sampling ADASYS;</strong></li><li><strong>Para o Random Forest utilizamos apenas os dados balanceados pelo Random Under-Sampling, uma vez que, pelos balanceamentos de Over-Sampling o tempo de processamento é muito elevado para o algoritmo.</strong></li></ul><h4>Avaliação dos modelos propostos</h4><p>Após analisarmos os modelos para cada algoritmo e selecionado os melhores balanceamentos, vamos confrontar o melhor modelo de regressão, o melhor modelo de árvore de decisão e o modelo de random forest, avaliando as métricas de cada um e aderência ao nosso problema.</p><p>Conforme documentado acima, para a regressão logísica o melhor resultado foi encontrado com o balanceamento do tipo Random Under-Sampling. Para o algoritmo de árvore de decisão, as melhores métricas são do balanceamentos Over-Sampling ADASYS. Para o algoritmo de random forest, utilizamos apenas o balanceamento under-sampling.</p><p>Abaixo temos documentados as confusion matrix de cada modelo escolhido. Percebemos que todos eles apresentam aproximadamente o mesmo percentual de falsos negativos, acertando em 92% praticamente para todos eles as transações de fraude.</p><pre>Métricas - Regressão Logística - Random Under Sampling<br>AUC:  0.9402<br>Recall:  0.9189<br>Acurácia: 0.9615<br>Precisão: 0.0398<br>F1-Score: 0.9615<br><br>Métricas - Tree Decision - ADASYS<br>AUC:  0.9234<br>Recall:  0.9054<br>Acurácia: 0.9414<br>Precisão: 0.0261<br>F1-Score: 0.9414<br><br>Métricas - Random Forest - Random Under Sampling<br>AUC:  0.9477<br>Recall:  0.9189<br>Acurácia: 0.9763<br>Precisão: 0.0633<br>F1-Score: 0.9763</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hyB2Fw1Ytgkb5NceacQ0xg.png" /></figure><p>Por fim, plotamos abaixo um gráfico da curva ROC — AUC dos classificadores, onde é possível que o modelo de random forest apresenta uma métrica ligeiramente superior as outras.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/617/1*Im3_rBT8GrLGOlkCMRe7pA.png" /></figure><p>Após realizadas as análises das métricas e analisarmos os plots acima, concluímos, portanto, que os melhores resultados são do algoritmo de Random Forest! Dando continuidade ao nosso projeto vamos aplicar nosso modelo aos dados efetivos de testes.</p><h3>5 — Avaliação final do modelo</h3><blockquote>Nessa fase, é preciso avaliar os resultados e levantar todas as possibilidades de variações que os dados possam ter, analisando se existe algum fator que tenha sido negligenciado e até que ponto o modelo atende aos objetivos do negócio. Devemos sumarizar os resultados em termos de critérios de sucesso definidos no início do projeto. O resultado do modelo deve ser satisfatório tecnicamente e para as necessidades do negócio.</blockquote><p>Agora que já exploramos e preparamos os dados, instaciamos o modelo e fizemos previsões no conjunto de validação, é hora de descobrirmos o potencial do nosso modelo com os dados de teste. Lembrando que nossa base de testes não pode ter os dados balanceados pois haveria perda. Nosso modelo precisa ser tratado mas precisamos fazer previsões em todas as linhas que ele receber. Os dados que foram padronizados devem permanecer dessa forma.</p><p><strong>Random Forest — Random Under Sampling</strong></p><pre><br># Fazer previsões em cima dos dados de validacao<br>y_pred_rf_rus = rf_rus.predict(X_test)<br><br># Plotar matriz de confusão <br>skplt.metrics.plot_confusion_matrix(y_test, y_pred_rf_rus, normalize=True, title=&#39;Confusion Matrix - Random Forest RUS&#39;, cmap= plt.cm.Purples)<br><br># Imprimir relatório de classificação<br>print(&#39;Relatório de Classificação: \n&#39;, classification_report(y_test, y_pred_rf_rus, digits=4))<br><br># Imprimir a Área sob Curva<br>print(&#39;AUC: {:.4f}\t\n&#39;.format(roc_auc_score(y_test, y_pred_rf_rus)))<br><br>print(f&#39;Recall:\t\t{recall_score(y_test, y_pred_rf_rus, pos_label=1):0.4f}&#39;)<br>print(f&#39;Acurácia:\t{accuracy_score(y_test, y_pred_rf_rus):0.4f}&#39;)<br>print(f&#39;Precisão:\t{precision_score(y_test, y_pred_rf_rus, zero_division=0):0.4f}&#39;)<br>print(f&#39;F1-Score:\t{f1_score(y_test, y_pred_rf_rus, average=&quot;micro&quot;):0.4f}&#39;)</pre><pre>Relatório de Classificação: <br>               precision    recall  f1-score   support<br><br>           0     0.9998    0.9762    0.9879     42648<br>           1     0.0602    0.8784    0.1127        74<br><br>    accuracy                         0.9761     42722<br>   macro avg     0.5300    0.9273    0.5503     42722<br>weighted avg     0.9982    0.9761    0.9863     42722<br><br>AUC: 0.9273 <br><br>Recall:  0.8784<br>Acurácia: 0.9761<br>Precisão: 0.0602<br>F1-Score: 0.9761</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/309/1*GLg6WeMLAJcWtmXyx01IBA.png" /></figure><p>Conforme plotado acima, após aplicação em nossa base de testes verificamos que nosso modelo <strong>classifica corretamente 88%</strong> das fraudes realizadas em transações bancárias. Embora a métrica seja um pouco menor que a encontrada com os dados de validação, podemos considerar como um bom resultado. A métrica de F1-score permanece em 0.97 e a curva ROC — AUC foi de 0.9273, ligeiramente menor que a apurada no modelo de validação.</p><p>Evidentemente esse resultado pode até ser melhorado, se utilizarmos técnicas mais avançadas, ou se incluirmos mais registros. Mas, para uma abordagem inicial de modelagem de Machine Learning, pode ser considerado um bom número.</p><h3>Conclusão</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xnA6IoDCVWQNnewS_ZtjqA.jpeg" /></figure><p>Como podemos ver, diferente de outros projetos já realizados, nosso dataset não possui valores ausentes e não foi necessário fazer um limpeza dos dados. Apesar disso, foi necessários ajustar balanceamento e padronização dos dados antes de aplicar ao nosso modelo. Parace simples, mas não é. Pode-se dizer que em um trabalho de machine learning a obtenção e a preparação dos dados é umas das etapas que mais demanda tempo e cuidado.</p><p>A avaliação das métricas de diversos modelos também é uma etapa importante. Cada algoritmo possui suas características e aplicações próprias e é primordial analisar qual tem uma melhor aderência ao problema, apresentando melhores métricas desejadas.</p><p>Sobre o nosso modelo final, podemos dizer que o resultado apresentado é satisfatório. Evidente que pode ser melhorado, com utilização de outras técnicas um pouco mais avançadas.</p><p>Ah…antes de sair, aproveita e confere mais projetos meus que estão no <a href="https://github.com/joaomarcelofc/Joao_Portfolio"><strong>github</strong></a>! 😀</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=8901500e5884" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Utilizando Python para manipulação de Excel]]></title>
            <link>https://medium.com/@jmfonsecacunha/utilizando-python-para-manipula%C3%A7%C3%A3o-de-excel-4b50eb2a29f2?source=rss-6509535421d------2</link>
            <guid isPermaLink="false">https://medium.com/p/4b50eb2a29f2</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[excel]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[João Marcelo Fonseca Cunha]]></dc:creator>
            <pubDate>Tue, 04 Oct 2022 15:30:00 GMT</pubDate>
            <atom:updated>2022-10-04T15:33:19.426Z</atom:updated>
            <content:encoded><![CDATA[<p>Não é novidade para ninguém que o Excel é um dos softwares da Microsoft mais utilizados no mundo todo. Por ser uma ferramenta simples e de fácil acesso para organizar, analisar e armazenar os dados, em formatos de tabela, ele tem sido amplamente utilizado nos mais diversos campos de aplicação e é essencial no mercado de trabalho!</p><p>O objetivo deste artigo é estudar algumas das diversas formas de manipulação de planilhas de Excel utilizando a linguagem de programação Python, de modo a facilitar e otimizar algumas rotinas.</p><p>De forma mais específica iremos estudar e aprofundar um pouco na ferramenta openpyxl, uma biblioteca de Python que nos permite ler, escrever e manipular arquivos Excel.</p><p>Este artigo compila informações do material presente no curso Python do Zero, da escola de Data Science <a href="https://escola.sigmoidal.ai/">Sigmoidal</a>. <strong>O notebook contendo todos os códigos executados pode ser encontrado neste </strong><a href="https://github.com/joaomarcelofc/datascience/blob/main/Utilizando_Python_para_manipulacao_Excel.ipynb"><strong>link</strong></a><strong>.</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/720/1*hF7xUya_COcw83xFrasRPQ.jpeg" /></figure><h3>1 — Carregando uma Planilha e passos iniciais</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/650/1*FliTWONqoJW-gnE9_PH7BQ.png" /></figure><p>A biblioteca openpyxl permite que seja feita, com facilidade a manipulação de arquivos em formato .xlsx, do Microsoft Excel, por meio do Python.</p><p>O openpyxl vem por padrão no Colab, mas sua versão desatualizada não será capaz de fazer o que precisamos. Portanto, o primeiro passo sempre que abrir um notebook, será rodar o comando abaixo, para atualizar o pacote.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/fb79fabc5cd770bae02fed56b4e024e9/href">https://medium.com/media/fb79fabc5cd770bae02fed56b4e024e9/href</a></iframe><h3>Criando uma Planilha</h3><p>Aqui, vamos entender como funciona a nomenclatura utilizada pelo pacote. A planilha, e aqui leia-se o arquivo xlsx é chamada de workbook. Portanto, vamos criar um objeto do tipo Workbook, e associá-lo à essa variável.</p><p>Dentro de um workbook, podemos ter diferentes sheets, que, neste caso, são as abas da planilha.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/ef51be772d09f1cae25dd99dd03b238b/href">https://medium.com/media/ef51be772d09f1cae25dd99dd03b238b/href</a></iframe><h3>Escrevendo na Planilha</h3><p>Agora que estamos dentro da aba desejada dentro da planilha, selecionada através do sheet = workbook.active, podemos acessar as células e associar valores a elas. Para escrevermos em nossa planilha, precisamos acessar as células em que desejamos inserir os valores.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/69d8d012266853a0860ae75c07b2d7fe/href">https://medium.com/media/69d8d012266853a0860ae75c07b2d7fe/href</a></iframe><h3>Carregando uma Planilha</h3><p>Além de criar planilhas, também podemos acessar planilhas criadas previamente. No exemplo abaixo, estamos carregando os dados da planilha ‘controle_da_empresa.xlsx’.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/0d2a97eb3a9e6daec98d9487bde5fd34/href">https://medium.com/media/0d2a97eb3a9e6daec98d9487bde5fd34/href</a></iframe><h3>Acessando as Células</h3><p>Para acessar uma célula, basta utilizar o comando abaixo. Lembrando sempre de passar o método .value, para que consulte o valor inserido dentro da célula.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/37d0961e130821fcd0ed2a7e72e94350/href">https://medium.com/media/37d0961e130821fcd0ed2a7e72e94350/href</a></iframe><p>Também é possível acessar o conteúdo, por meio do método cell, passando o número da coluna e da linha.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/ae1d4106d5c7dfeb6ac35a897c281ef4/href">https://medium.com/media/ae1d4106d5c7dfeb6ac35a897c281ef4/href</a></iframe><p>Alguns argumentos que a função load_workbook recebe:</p><ul><li>read_only tem por padrão False, o que possibilita manipular dados. Utilizando True não é possível fazer essa manipulação.</li><li>data_only recebe por padrão o argumento False. Caso seja passado True, qualquer célula que tenha fórmula, transmitirá somente o valor resultante da ação executada pla fórmula, sem apresentar a fórmula em si.</li></ul><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/481e9e0278f804ceefdce0a6c7060478/href">https://medium.com/media/481e9e0278f804ceefdce0a6c7060478/href</a></iframe><h3>2 — Navegando pela Planilha</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*XywLpbAEg6CoqCH_FPC0hQ.png" /></figure><p>Uma vez dentro da planilha, é importante saber como navegar por ela, encontrar e manipular as células.</p><h3>Acessando as Células</h3><p>Para acessar as células de uma planilha, vamos passar a célula que desejamos utilizar como parâmetro. Podemos acessar através de um intervalo de células, e acessando a coluna ou a linha toda da nossa planilha.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/364db1a7da8f97854ffc13a1be03fbf5/href">https://medium.com/media/364db1a7da8f97854ffc13a1be03fbf5/href</a></iframe><h3>Iterando sobre os dados</h3><p>Uma forma mais efetiva de buscarmos determinado intervalo de células, é utilizando uma estrutura de repetição para iterar sobre os dados e nos retornar os valores e células desejados.</p><p>Para isso, vamos criar um loop for para utilizar o método iter_rows, para iterar pelas linhas e retornar as células. Os valores min indicam onde começa e os valores max, indicam onde termina essa iteração.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/d58e65bfc1c07073e5011bfc5033fe34/href">https://medium.com/media/d58e65bfc1c07073e5011bfc5033fe34/href</a></iframe><p>Até agora estamos recebendo tuplas com informações sobre as células, sem nenhum valor, o que não tem nenhum caráter informativo. Para coletar os valores que estão nas células, vamos passar o parâmetro values_only como True, para que ele nos retorne o valor contido nas células do intervalo que definimos para a iteração.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/756af06cbcc717076bcedc65b3a8b094/href">https://medium.com/media/756af06cbcc717076bcedc65b3a8b094/href</a></iframe><p>Perceba nos exemplos acima, a diferença entre os métodos iter_rows e iter_cols. A forma de organização difere de um para outro. Sendo que no primeiro caso a iteração é feita pelas linhas, e no segundo é feita pelas colunas. Portanto, podemos realizar a iteração sobre toda a planilha, coletando os dados de todas as células. Verificamos que o método que melhor nos atende é o iter_rows.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/43cd4048f87f6c5d0fe1891c2771e32c/href">https://medium.com/media/43cd4048f87f6c5d0fe1891c2771e32c/href</a></iframe><h3>3 — Manipulando os dados</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*gD5F3WbcYs7dmgN1JoE8mA.png" /></figure><p>Até agora o que fizemos foi retornar tuplas com informações sobre as células. Para manipular esses dados, é mais prático que utilizemos outra estrutura de dados, para extrair e explorar essas informações.</p><p>Carregada a nossa planilha, podemos realizar a iteração de todos os dados, utilizando a estrutura for, com o método iter_rows.</p><p>Desta vez os dados utilizados serão de um catálogo de relógios comercializados pelo <a href="https://www.amazon.com/">Amazon</a>, presentes no arquivo ‘sample.xlsx’.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/4385e6de03773bdf8326821c528304ae/href">https://medium.com/media/4385e6de03773bdf8326821c528304ae/href</a></iframe><h3>Coletando os Dados</h3><p>Antes de mais nada, importante ressaltar que esta talvez seja a parte mais importante deste artigo! Antes de realizar nossa estrutura de repetição, para coleta dos dados, vamos estudar por um exemplo, com três dados, de forma manual, para mostrarmos o funcionamento desta estrutura.</p><p>Vimos anteriormente o seguinte formato de iteração para gerar nossos dados:</p><pre>for value_amazon in sheet_amazon.iter_rows(values_only=True):</pre><pre>print(value_amazon)</pre><p>O output seria gerado através de uma tupla, separando cada elemento da seguinte forma:</p><pre>(&#39;marketplace&#39;, &#39;customer_id&#39;, &#39;review_id&#39;, &#39;product_id&#39;, &#39;product_parent&#39;, &#39;product_title&#39;, &#39;product_category&#39;, &#39;star_rating&#39;, &#39;helpful_votes&#39;, &#39;total_votes&#39;, &#39;vine&#39;, &#39;verified_purchase&#39;, &#39;review_headline&#39;, &#39;review_body&#39;, &#39;review_date&#39;) (&#39;US&#39;, 3653882, &#39;R3O9SGZBVQBV76&#39;, &#39;B00FALQ1ZC&#39;, 937001370, &#39;Invicta Women\&#39;s 15150 &quot;Angel&quot; 18k Yellow Gold Ion-Plated Stainless Steel and Brown Leather Watch&#39;, &#39;Watches&#39;, 5, 0, 0, &#39;N&#39;, &#39;Y&#39;, &#39;Five Stars&#39;, &#39;Absolutely love this watch! Get compliments almost every time I wear it. Dainty.&#39;, &#39;2015-08-31&#39;) (&#39;US&#39;, 14661224, &#39;RKH8BNC3L5DLF&#39;, &#39;B00D3RGO20&#39;, 484010722, &quot;Kenneth Cole New York Women&#39;s KC4944 Automatic Silver Automatic Mesh Bracelet Analog Watch&quot;, &#39;Watches&#39;, 5, 0, 0, &#39;N&#39;, &#39;Y&#39;, &#39;I love thiswatch it keeps time wonderfully&#39;, &#39;I love this watch it keeps time wonderfully.&#39;, &#39;2015-08-31&#39;) (&#39;US&#39;, 27324930, &#39;R2HLE8WKZSU3NL&#39;, &#39;B00DKYC7TK&#39;, 361166390, &#39;Ritche 22mm Black Stainless Steel Bracelet Watch Band Strap Pebble Time/Pebble Classic&#39;, &#39;Watches&#39;, 2, 1, 1, &#39;N&#39;, &#39;Y&#39;, &#39;Two Stars&#39;, &#39;Scratches&#39;, &#39;2015-08-31&#39;) (&#39;US&#39;, 7211452, &#39;R31U3UH5AZ42LL&#39;, &#39;B000EQS1JW&#39;, 958035625, &quot;Citizen Men&#39;s BM8180-03E Eco-Drive Stainless Steel Watch with Green Canvas Band&quot;, &#39;Watches&#39;, 5, 0, 0, &#39;N&#39;, &#39;Y&#39;, &#39;Five Stars&#39;, &#39;It works well on me. However, I found cheaper prices in other places after making the purchase&#39;, &#39;2015-08-31&#39;) (&#39;US&#39;, 12733322, &#39;R2SV659OUJ945Y&#39;, &#39;B00A6GFD7S&#39;, 765328221, &quot;Orient ER27009B Men&#39;s Symphony Automatic Stainless Steel Black Dial Mechanical Watch&quot;, &#39;Watches&#39;, 4, 0, 0, &#39;N&#39;, &#39;Y&#39;, &#39;Beautiful face, but cheap sounding links&#39;, &quot;Beautiful watch face.  The band looks nice all around.  The links do make that squeaky cheapo noise when you swing it back and forth on your wrist which can be embarrassing in front of watch enthusiasts.  However, to the naked eye from afar, you can&#39;t tell the links are cheap or folded because it is well polished and brushed and the folds are pretty tight for the most part.[...]</pre><p>Apesar de serem facilmente acessados, o formato acima dificulta um pouco a manipulação e até o entendimento dos dados. Por isso, vamos criar um dicionário e armazenar as informações dos produtos da planilha dentro dele. Como dito anteriormente, antes de realizar nossa estrutura de repetição, para coleta dos dados, vamos estudar por um exemplo, com três dados, de forma manual, para mostrarmos o seu funcionamento.</p><p>Basicamente vamos criar uma estrutura de dicionário para os três primeiros produtos. A chave do nosso dicionário será o código de cada produto, e o valor será outro dicionário, cuja chave é o nome da característica que queremos (parent, title e category) e o valor é a característica em si, dados de cada coluna. Vide abaixo:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/54830fdee47a4cef9a0d7982147a439d/href">https://medium.com/media/54830fdee47a4cef9a0d7982147a439d/href</a></iframe><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/c37be0e5175ca4944890ab0cfc59aa25/href">https://medium.com/media/c37be0e5175ca4944890ab0cfc59aa25/href</a></iframe><p>Conforme exemplo acima, criamos uma variável dicionário chamada products, que pode ser acessada abaixo:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/c37be0e5175ca4944890ab0cfc59aa25/href">https://medium.com/media/c37be0e5175ca4944890ab0cfc59aa25/href</a></iframe><p>Para acessar, por exemplo, os dados do produto B00D3RGO20, acessamos pela sua chave, o que nos traz muita facilidade no acesso e organização de nossos dados!</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/189e07541c95372a160ef4ce317e662a/href">https://medium.com/media/189e07541c95372a160ef4ce317e662a/href</a></iframe><p>Uma vez esclarecido o funcionamento da nossa estrutura de manipulação, vamos realizar a iteração sobre todos os dados:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/e8a75536cca7fdd652aadb3c89253cf1/href">https://medium.com/media/e8a75536cca7fdd652aadb3c89253cf1/href</a></iframe><p>Ao executarmos o dicionário criado temos como resultado a mesma estrutura de dados ilustrada no exemplo, criado manualmente. Mas, com a estrutura for, realizamos a iteração e organização de todos os dados da planilha, seguindo esse modelo.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/2d37d606e3f6452bbc77a47adc4d3853/href">https://medium.com/media/2d37d606e3f6452bbc77a47adc4d3853/href</a></iframe><p>Para acessar, por exemplo, os dados do produto B00D3RGO20, acessamos pela chave dele, da mesma forma realizada no exemplo.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a086d1a9ab72527f9302938eea1dc951/href">https://medium.com/media/a086d1a9ab72527f9302938eea1dc951/href</a></iframe><p>Conforme mostrado acima, nossa iteração usou como chave para os dicionários o código de cada produto, e dentro, colocamos outro dicionário com as informações relevantes dos produtos, que estamos analisando.</p><p>Vamos verificar, por exemplo, as chaves do dicionário.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/511d1875f6406a5cf8025d40aea27cb2/href">https://medium.com/media/511d1875f6406a5cf8025d40aea27cb2/href</a></iframe><h3>Transformando em Data Frame</h3><p>A grande vantagem de trabalhar com essa estrutura de dicionário para manipular nossos dados, é que ela pode ser facilmente transformada em um data frame.</p><p>A combinação da iteração pelo método for com a organização dos dados em um dicionário, viabiliza muito essa transformação, o que facilita a nossa análise.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a00af7bad6a69b161cf0ff7806bc6e1e/href">https://medium.com/media/a00af7bad6a69b161cf0ff7806bc6e1e/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/591/1*pNSxYHIozYjeG-UXk1ydJw.png" /></figure><p>Para acessar informações dos produtos, podemos utilizar o método .loc do data frame.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/506/1*gJPTU0RTwowSB1voUOA5Ow.png" /></figure><h3>4 — Adicionando Dados a uma Planilha</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/550/1*zva4-gvAZyTOfxSIQB1hiA.jpeg" /></figure><p>Vamos verificar agora como acrescentar algum dado para a nossa planilha.</p><p>Primeiramente iremos associar um novo valor em uma célula, para realizarmos a modificação. Podemos, inclusive, salvar uma célula em uma variável e fazer a alteração diretamente na variável.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/f72d2b5b98cb9f5c14bc33aad8bdca6c/href">https://medium.com/media/f72d2b5b98cb9f5c14bc33aad8bdca6c/href</a></iframe><h3>5 — Removendo e Adicionando Linhas e Colunas</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/1*CsYRyVHNPUzFpOnRXKhu5g.jpeg" /></figure><p>Agora iremos realizar a manipulação de arquivos xlsx removendo e adicionando novas colunas.</p><h3>Adicionando Colunas</h3><p>Para adicionar uma coluna, vamos utilizar o método insert_cols, com o índice em que ela será inserida como parâmetro. Lembrando no Excel os índices começam com 1.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/ecdd00d858f52a86d8722525467608fd/href">https://medium.com/media/ecdd00d858f52a86d8722525467608fd/href</a></iframe><p>Também é possível criar mais de uma coluna por vez, passando o parâmetro amount com a quantidade de colunas que desejamos criar.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a943be3646a2addb356eb5c3de11731f/href">https://medium.com/media/a943be3646a2addb356eb5c3de11731f/href</a></iframe><h3>Deletando Colunas</h3><p>É possível deletar as colunas a partir do comando delete_cols, passando parâmetros iguais aos que passamos anteriormente.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/9d32a986d0a65c47d93e8154f073cbef/href">https://medium.com/media/9d32a986d0a65c47d93e8154f073cbef/href</a></iframe><h3>Manipulando Linhas</h3><p>Da mesma forma que utilizamos o insert e delete para manipular colunas, podemos utilizar o mesmo tipo de método para manipular as linhas da nossa planiliha. Para isso, em vez de utilizarmos col, utilizaremos row.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/27ecc256c989a20f5c544a123833727c/href">https://medium.com/media/27ecc256c989a20f5c544a123833727c/href</a></iframe><h3>6 — Navegando Pelas Abas de uma Planilha</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/468/1*3Ganf260ItrP3dwE3lZ-aQ.png" /></figure><p>Seguindo adiante com nossa manipulação de arquivos xlsx, precisamos aprender com efetividade como acessar e navegar pelas abas de uma planilha.</p><h3>Renomeando uma Aba</h3><p>Uma vez carregada, podemos modificar o nome da aba, através do método title.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/91d3f401256cd2c5f02beab7087e1552/href">https://medium.com/media/91d3f401256cd2c5f02beab7087e1552/href</a></iframe><h3>Criando Novas Abas</h3><p>Também é possível criar uma nova aba, através do método create_sheet.</p><p>Abaixo, podemos conferir que o nome da aba Vendas foi modificado com sucesso, e podemos ver que a aba Nova Aba também foi criada sem problemas. Quando criamos uma nova aba, por padrão, ela toma a últimia posição entre as abas existentes. Entretanto, possível modificar isso, passando como argumento um int que indica a posição que desejamos que ela assuma.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/e869a70cecd533bd392a546788c2c161/href">https://medium.com/media/e869a70cecd533bd392a546788c2c161/href</a></iframe><h3>Removendo Abas</h3><p>Da mesma forma que podemos criar, podemos também remover abas. Isso é feito facilmente através do método remove, passando como parâmetro a aba a ser excluída.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/929d66e485988f54704e8ea0fb4da1b9/href">https://medium.com/media/929d66e485988f54704e8ea0fb4da1b9/href</a></iframe><h3>Copiando Abas</h3><p>Por fim, podemos também criar cópias de abas existentes, utilizando o método copy_worksheet.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/cedbe381e115cae948b13792529af0a0/href">https://medium.com/media/cedbe381e115cae948b13792529af0a0/href</a></iframe><h3>7 — Filtros e Fórmulas</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/480/1*Ntb5FUpPhFUAVjsPX5ue7w.png" /></figure><p>Quando estamos analisando dados em uma planilha do Excel, filtros e fórmulas fazem grande parte da nossa rotina de organização e exploração dos dados.</p><h3>Adicionando um Filtro</h3><p>Sabendo o intervalo no qual os nossos dados estão, podemos criar um filtro geral na planilha com o método auto_filter, e passando a referência do intervalo dos nossos dados, para facilitar a vida de quem for utilizá-la.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/480f3d72987154eefbed289219c39786/href">https://medium.com/media/480f3d72987154eefbed289219c39786/href</a></iframe><h3>Salvando o Arquivo</h3><p>Para fazer modificações <strong>no arquivo</strong>, de fato, precisamos salvar esse arquivo. Para isso vamos utilizar o método save, e passar entre parênteses o filename, ou seja, o nome do documento a ser criado.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/943897cf8571e318e54404577aaf0b5e/href">https://medium.com/media/943897cf8571e318e54404577aaf0b5e/href</a></iframe><h3>Fórmulas</h3><p>Outra ferramenta poderosa que temos à nossa disposição no Excel são as fórmulas. Aqui, conseguimos utilizar as mesmas também. Abaixo, importaremos de dentro dos utilitários da openpyxl o módulo FORMULAE.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/f8ea43d93c0b02e45052b3fa372063f1/href">https://medium.com/media/f8ea43d93c0b02e45052b3fa372063f1/href</a></iframe><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/90f2aec87cc027baf2aba31d5b433559/href">https://medium.com/media/90f2aec87cc027baf2aba31d5b433559/href</a></iframe><h3>Fórmula Condicional</h3><p>Para utilizar uma fórmula condicional, precisamos adicionar à célula uma string, que na verdade é uma fórmula, que está dentro do módulo FORMULAE.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/2d1702cf44196eec37ea04c5e6cf56c8/href">https://medium.com/media/2d1702cf44196eec37ea04c5e6cf56c8/href</a></iframe><p>O mesmo raciocínio se aplica a qualquer outra fórmula. Basta adicionarmos à célula por meio de uma string. Uma vez lá dentro, ela funcionará como fórmula.</p><h3>8 — Inserindo Gráficos</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/450/1*8ktSlzqp3-pxsAzDdxevYw.png" /></figure><p>Outra parte fundamental de análises e apresentação de resultados utilizando planilhas são os gráficos. Uma forma visual de apresentar os dados sempre é muito bem vinda e pode acrescentar bastante valor aos nossos projetos.</p><h3>Gráfico de Barras</h3><p>A primeira visualização que utilizaremos é o gráfico de barras.</p><p>Para criar gráficos, criaremos um objeto BarChart, e o associaremos a uma variável. Então, selecionaremos todas as informações que queremos utilizar, adicionaremos essas informações ao gráfico, e adicionaremos o gráfico à planilha</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/bd74ba2e86b6878f4d5527bfb8efa8a4/href">https://medium.com/media/bd74ba2e86b6878f4d5527bfb8efa8a4/href</a></iframe><p>O gráfico criado é salvo diretamente em nossa planilha.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/659/1*BZHVucoOxJNL5qdOufUzAA.png" /><figcaption>Gráfico de barras salvo dentro da planilha em Excel, gerado pelo Python</figcaption></figure><h3>Gráfico de Linhas</h3><p>Outra visualização bastante importante e usada com bastante frequência é o Gráfico de Linhas. O princípio é o mesmo que aplicamos nos comandos anteriores. Criamos uma planilha, abrimos a aba principal, carregamos dados para dentro dessa planilha.</p><p>Então, criamos um objeto LineChart, passamos para ele as referências de nossos dados, estilizamos ele, inserimos os dados no gráfico, e o gráfico na planilha.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/ec891434128e0f4099f242fbf1aba76b/href">https://medium.com/media/ec891434128e0f4099f242fbf1aba76b/href</a></iframe><p>O gráfico criado é salvo diretamente em nossa planilha.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/633/1*R5U5WHfs7pqUqlPy5xBpWw.png" /><figcaption>Gráfico de linhas salvo dentro da planilha em Excel, gerado pelo Python</figcaption></figure><h3>9 — Integração com Pandas</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*1al8STC7WmmIgaccgMWHNA.png" /></figure><p>O Pandas é uma das principais bibliotecas de Python para manipulação de dados. Por isso, é sempre interessante unir Python com Pandas, e de fundamental importância saber como levar os dados a um data frame, e depois retorná-los para o formato xlsx, ou o contrário. Essa flexibilidade abre nosso leque de possibilidades e nosso poder analítico.</p><p>Primeiramente, vamos abrir o nosso arquivo com Pandas, para simular o recebimento do arquivo como data frame, mas você quer trabalhar com o openpyxl.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/326e1c67fea78b1b8d3c1c35fed75dac/href">https://medium.com/media/326e1c67fea78b1b8d3c1c35fed75dac/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/868/1*fxIXyIPb8ZDfHmPdVtXz7A.png" /><figcaption>Dataframe gerado pelo código acima</figcaption></figure><h3>Transformando para XLSX</h3><p>Uma vez carregado nosso data frame, é hora de trabalhar com o openpyxl. Para isso, vamos importar o módulo Workbook e dos utilitários do openpyxl vamos puxar do módulo dataframe, o dataframe_to_rows, que, como o nome sugere, transforma o dataframe em linhas, como quando lemos um arquivo xlsx.</p><p>Para podermos ter esses dados em formato xlsx, primeiro, precisamos criar nossa planilha, e acessar a aba principal, para então inserir os dados nas células.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/b13961e992e3e0900231070c34ada4b0/href">https://medium.com/media/b13961e992e3e0900231070c34ada4b0/href</a></iframe><p>Com a planilha aberta, podemos usar um loop for para iterar sobre os dados do data frame, e inserir os mesmos em nossa planilha.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/4701a5c0356c3c7902308ac9fdf1b007/href">https://medium.com/media/4701a5c0356c3c7902308ac9fdf1b007/href</a></iframe><p>Outra forma, mais fácil inclusive, é utilizar diretamente o método df.to_excel.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/af44c580e4d495d1ec7146a8ee153ecc/href">https://medium.com/media/af44c580e4d495d1ec7146a8ee153ecc/href</a></iframe><h3>Convertendo XLSX para DF</h3><p>Agora que já sabemos ir de Data Frame para XLSX, vamos fazer o caminho contrário. Primeiro, vamos iterar sobre a primeira linha e coletar os nomes das colunas. Após isso, utilizaremos a lista de colunas que guardamos na variável cols para renomear as colunas, e em seguida vamos excluir a primeira linha, que continha o nome das colunas.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/67c3c98df665a2e91498d09241e2cdcd/href">https://medium.com/media/67c3c98df665a2e91498d09241e2cdcd/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/806/1*CeztFvTRlJp65uoASwbEJA.png" /><figcaption>Dataframe gerado pelo código acima</figcaption></figure><p>Ou pela maneira mais fácil através do método <strong>pd.read_excel.</strong></p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/6ce138b3065730c1a8795fc9f91e51e6/href">https://medium.com/media/6ce138b3065730c1a8795fc9f91e51e6/href</a></iframe><p>Concluímos assim nosso estudo sobre algumas das diversas formas de manipulação de planilhas de Excel utilizando a linguagem de programação Python. Toda esta etapa de importação de dados e manipulação é apenas o começo do nosso fluxo de trabalho de ciência de dados. <strong>Só a pontinha do iceberg! </strong>Depois de ter os dados das planilhas processados em nosso ambiente, utilizando o Python, precisamos nos concentrar no que realmente importa e gera valor : a análise desses dados.</p><p>Cabe sempre lembrar: “Sem dados, não há análise; sem análise, não há estratégia!” -Thomaz D’Addio.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/1*NwR4kOlPU43UGZO9M0w2Gw.jpeg" /></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4b50eb2a29f2" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Estudando Estatística Básica com Python]]></title>
            <link>https://medium.com/@jmfonsecacunha/estudando-estat%C3%ADstica-b%C3%A1sica-com-python-b88585460af2?source=rss-6509535421d------2</link>
            <guid isPermaLink="false">https://medium.com/p/b88585460af2</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[estatistica]]></category>
            <dc:creator><![CDATA[João Marcelo Fonseca Cunha]]></dc:creator>
            <pubDate>Fri, 30 Sep 2022 20:05:20 GMT</pubDate>
            <atom:updated>2022-09-30T20:41:32.748Z</atom:updated>
            <content:encoded><![CDATA[<p>A estatística envolve técnicas para coletar, organizar, descrever, analisar e interpretar dados provenientes de experimentos ou vindos de outros estudos observacionais.</p><p>Neste artigo, iremos utilizar a linguagem de programação Python, com alguns pacotes básicos para demonstrar uma análise da natureza dos dados, avaliando os tipos de variáveis, frequência, medidas, representações gráficas, seguindo alguns princípios da estatística descritiva.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/826/1*_JFj3VmFvFeasr1pxEETgw.png" /></figure><p>Primeiramente, iremos importar os pacotes necessários para as análises.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/9ffe4d4137fae3cfd0e8bde43154b8db/href">https://medium.com/media/9ffe4d4137fae3cfd0e8bde43154b8db/href</a></iframe><p>Vamos utilizar em nossas análises, um pequeno dataset para colocar em prática alguns conceitos básicos. Trabalharemos com a lista num_friends, que apresenta números inteiros e também float. Esse dataset apresenta uma lista de quantidade de amigos em uma rede social e, inclusive, é utilizado como exemplo de estudo no livro <a href="https://www.amazon.com.br/Data-Science-zero-Joel-Grus/dp/857608998X">Data Science do Zero, de Joel Grus.</a></p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/1fff2dd883c2f6bec5aa8e23ec63fc7f/href">https://medium.com/media/1fff2dd883c2f6bec5aa8e23ec63fc7f/href</a></iframe><h3><em>Counter</em></h3><p>Basicamente, um Counter é uma subclasse dict para contar objetos. É uma coleção onde os elementos são armazenados como chaves de dicionário e suas contagens são armazenadas como valores de dicionário.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/d29bf69c27f036f39bab7922c1d26a14/href">https://medium.com/media/d29bf69c27f036f39bab7922c1d26a14/href</a></iframe><p>Ao aplicarmos o método most_common verificamos que ele ordena nossos elementos pela frequência em que ocorrem em nosso dataset.</p><p>Se quisermos, por exemplo, saber a ocorrência dos 3 elementos mais frequentes, basta que passamos o número 3, como parâmetro no método.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/c6eedc3029e897a0b78f34ec433221c0/href">https://medium.com/media/c6eedc3029e897a0b78f34ec433221c0/href</a></iframe><h3>Ordenando o Dataset</h3><p>Outro passo importante em nossa análise descritiva é ordenar nosso <em>dataset</em>, para checarmos os dados que estamos utilizando. Através do método sorted() é possível ordenar pela ordem crescente de ocorrência, eliminando também os dados repetidos do nosso <em>dataset</em>.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/79bc5f9434dc9fa60677a60dc8e2d3d7/href">https://medium.com/media/79bc5f9434dc9fa60677a60dc8e2d3d7/href</a></iframe><h3>Histograma</h3><p>Histograma é uma espécie de gráfico de barras que demonstra uma distribuição de frequências. Pode ser construído utilizando o plano cartesiano em que o eixo X é representado pelas faixas de valores da variável e o eixo Y representa as frequências ou as porcentagens associadas a cada uma das faixas de valores.</p><p>Para plotar nosso histograma, precisamos estabelecer quais serão os eixos x e y do nosso plano cartesiano. Conforme apresentado abaixo, no eixo x incluímos um range de 0 a 101, que é o maior valor presente em nosso <em>dataset</em>. No eixo y vamos colocar a quantidade de vezes em que o valor ocorre, ou seja, sua frequência.</p><p>Para determinar essa frequência, utilizamos a iteração for, com um <em>list comprehension</em>. Ele vai percorrer cada valor do dataset, para cada ocorrência.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/32c8c17944c64dd5d6686a2fe8e60d31/href">https://medium.com/media/32c8c17944c64dd5d6686a2fe8e60d31/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/389/1*TBVi9QQlTQXbQNScjTj9CA.png" /></figure><p>Conforme observado acima, os valores mais frequentes em nosso dataset estão no intervalo entre 0 e 20.</p><h3>Maior Menor Valores</h3><p>Para identificar o maior e menor valores do nosso <em>dataset </em>utilizamos o método max() e min(), aplicado ao nosso <em>dataset</em>.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/9892ca8579ba67013cf5c0af0db57ff0/href">https://medium.com/media/9892ca8579ba67013cf5c0af0db57ff0/href</a></iframe><h3>Medidas de Tendência Central — Média</h3><p>A tendência central é uma medida de valores numa amostra que identifica os diferentes pontos centrais nos dados analisados. As principais são a média, mediana e moda.</p><p>A média é calculada somando-se todos os valores de um conjunto de dados e dividindo-se pelo número de elementos deste conjunto.</p><p>Abaixo calculamos esse valor através de função criada no python, e também utilizando o numpy, através do método np.mean.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/4ed3558643bb5f7b379b327285b38b71/href">https://medium.com/media/4ed3558643bb5f7b379b327285b38b71/href</a></iframe><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/50f10d513817c2157300c2b29ace0ab4/href">https://medium.com/media/50f10d513817c2157300c2b29ace0ab4/href</a></iframe><h3>Medidas de Tendência Central — Mediana</h3><p>A mediana representa o valor central de um conjunto de dados. Para encontrar o valor da mediana é necessário colocar os valores em ordem crescente ou decrescente.</p><p>Abaixo calculamos esse valor através de função criada no python, e também utilizando o numpy, através do método np.median.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/223d196c380dbd564d45d24c8449136c/href">https://medium.com/media/223d196c380dbd564d45d24c8449136c/href</a></iframe><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/423987c024b7cf5234d8ccbadd1b4a1e/href">https://medium.com/media/423987c024b7cf5234d8ccbadd1b4a1e/href</a></iframe><h3>Medidas de Tendência Central — Moda</h3><p>A moda representa o valor mais frequente de um conjunto de dados, sendo assim, para defini-la basta observar a frequência com que os valores aparecem.</p><p>Abaixo calculamos esse valor através do método most_common no python, e também utilizando o método scipy.stats.mode().</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/13f36e970b454571ac65f58a64294cbe/href">https://medium.com/media/13f36e970b454571ac65f58a64294cbe/href</a></iframe><pre>[<strong>(6, 22), (1, 22)</strong>, (4, 20), (3, 20), (9, 18), (5, 17), (2, 17), (10, 15), (7, 15), (8, 13), (15, 4), (13, 4), (21, 2), (19, 2), (18, 2), (14, 2), (12, 2), (100.0, 1), (49, 1), (41, 1), (40, 1), (25, 1), (16, 1), (11, 1)]</pre><p>Conforme verificado acima, nosso <em>dataset </em>é bimodal, apresentando duas modas que são os valores 6 e 1, que ocorreram 22 vezes em nosso dataset. Abaixo calculamos a moda pelo método scipy.stats.mode(). Ponto importante é que ele não demonstra quando existe mais de uma moda, aparecendo apenas o primeiro valor.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/84af2f0bca331d449a10aac88824c495/href">https://medium.com/media/84af2f0bca331d449a10aac88824c495/href</a></iframe><pre>ModeResult(mode=array([1.]), count=array([22]))</pre><h3>Medidas de Dispersão — Variância</h3><p>Na estatística, a variância é uma medida de dispersão que mostra o quão distante cada valor do conjunto está do valor central (médio). Quanto menor é a variância, mais próximos os valores estão da média; mas quanto maior ela é, mais os valores estão distantes da média. Ela é expressa em unidades quadradas.</p><p>Abaixo calculamos esse valor através do numpy, método np.var().</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/94f21742d67745d94e73faf5884b0716/href">https://medium.com/media/94f21742d67745d94e73faf5884b0716/href</a></iframe><pre>81.14379084967321</pre><h3>Medidas de Dispersão — Desvio Padrão</h3><p>O desvio padrão também é uma medida de dispersão de observações dentro de um conjunto de dados. Por ser a raiz quadrada variância, ele apresenta as mesmas unidades que os valores no conjunto de dados, sendo uma medida de dispersão mais precisa, e também a mais utilizada.</p><p>Abaixo calculamos esse valor através do numpy, método np.std().</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/62d98dc7556213ef2ddb48ff7aaa564d/href">https://medium.com/media/62d98dc7556213ef2ddb48ff7aaa564d/href</a></iframe><pre>9.007984838446012</pre><h3>Describe</h3><p>O método describe() é um método do Pandas utilizado para visualizar alguns detalhes estatísticos básicos como percentil, média, padrão, etc. de um quadro de dados ou uma série de valores numéricos.</p><p>Por se tratar de um método Pandas, precisamos converter nosso <em>dataset</em>, que está em formato de lista, para formato de <em>dataframe</em>, através do método pd.DataFrame(). Após realizada a conversão, utilizamos o método describe(), que nos mostra um resumo dos detalhes estatísticos dos dados analisados, muitos deles já calculados anteriormente neste notebook.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/ce8a8d8b404548dbc822822344c8f26d/href">https://medium.com/media/ce8a8d8b404548dbc822822344c8f26d/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/161/1*F0kd-tL7ResB1h4JjY8flg.png" /><figcaption>Tabela gerada pelo método df.describe()</figcaption></figure><h3>Boxplot</h3><p>O Boxplot é um gráfico para representar dados quantitativos sendo conveniente para revelar medidas de tendência central, dispersão, distribuição dos dados e a presença de outliers (valores discrepantes).</p><p>Um das formas simplificadas de plotar o boxplot é aplicando o método .plot.box diretamente em nosso dataframe, convertido acima.</p><p>Naturalmente existem outras configurações e ajustes que podem ser realizados para melhorar a visualização.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/0a24fc289f30b90887706d2861ae7015/href">https://medium.com/media/0a24fc289f30b90887706d2861ae7015/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CXE0vT0xSV7thkqvVFAX4A.png" /><figcaption>Boxplot gerado através do plot documentado acima</figcaption></figure><p>No boxplot acima é possível verificar que os dados de nosso conjunto estão situados, em sua maioria no intervalo entre 0 e 20. Acima deste valor, representados como pontinhos no gráfico, estão os nossos outliers, que são os valores mais distoantes do nosso conjunto de dados.</p><p>Finalizamos, portanto, a apresentação dos principais conceitos básicos de estatística descritiva, demonstrados através da linguagem de programação Python. Lembrando que são conceitos básicos e introdutórios, cuja compreensão é de suma importância na área de ciência de dados para futuras aplicações e análises mais avançadas em nossos trabalhos.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b88585460af2" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Panorama do COVID-19 no Brasil e no mundo]]></title>
            <link>https://medium.com/@jmfonsecacunha/panorama-do-covid-19-no-brasil-e-no-mundo-17b0b6b963a1?source=rss-6509535421d------2</link>
            <guid isPermaLink="false">https://medium.com/p/17b0b6b963a1</guid>
            <dc:creator><![CDATA[João Marcelo Fonseca Cunha]]></dc:creator>
            <pubDate>Sat, 13 Aug 2022 17:20:17 GMT</pubDate>
            <atom:updated>2022-08-27T02:17:43.086Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/626/0*MHpNj2rgPQ2cKUhk" /></figure><p>COVID-19 é uma doença infecciosa causada por recém-descoberto coronavírus.</p><p>Transmitido principalmente por meio de gotículas provenientes de tosses ou espirros de pessoas infectadas, a gravidade dos sintomas varia muito de pessoa para pessoa.</p><p>Fato é, não se sabe muita coisa a respeito do COVID-19. Estudos estão sendo realizados no mundo todo, porém os resultados ainda não são conclusivos e definitivos.</p><p>Até o presente momento, observa-se que cerca de 80% dos casos confirmados são assintomáticos e rápidos. A maioria das pessoas que se encaixam nesse grupo, se recupera sem nenhuma sequela.</p><p>No entanto, 15% das pessoas terão infecções graves e precisarão de oxigênio. O restante das pessoas, que representam 5%, serão classificadas como infecções muito graves e precisarão de ventilação assistida, por meio de respiradores mecânicos em ambiente hospitalar.</p><p>Com o objetivo de elevar a consciência situacional a respeito do COVID-19 no Brasil e no mundo, iremos realizar algumas análises sobre os dados públicos da doença com dados que compreendem desde os primeiros casos, até os dias atuais, uma vez que a base de dados utilizada é atualizada frequentemente. Dentre estas análises, iremos verificar o total de casos, evolução de óbitos, proporções, distribuição geográfica, considerando os dados do mundo, e comportamento desses dados após o início das vacinações contra a COVID-19.</p><h3>Obtenção dos dados</h3><p>Nosso conjunto de dados analisado neste notebook é uma coleção dos dados COVID-19 mantidos pelo <em>Our World in Data</em>, publicação científica online que se concentra em grandes problemas globais, como pobreza, doenças, fome, mudanças climáticas, guerra, riscos existenciais e desigualdade. Estes dados são atualizados frequentemente durante a pandemia, conforme evolução dos números, que são levantados diariamente. Se trata de um <em>dataset</em> bastante completo, com muitas informações pertinentes relacionadas ao COVID-19.</p><p>Por se tratar de uma doença nova, recém descoberta, evidentemente nosso <em>dataset</em> pode apresentar países com dados estatísticos deficientes e, até mesmo manipulados em alguns casos. Por mais absurdo que pareça, é realidade que muitas nações não divulgam os números, e omitem essas informações, até mesmo para a sua população. Os motivos dessa omissão não são muito claros, mas segue diretrizes do governo e entendimentos de suas autoridades, da conveniência destes dados publicados. O fato é que a pandemia da COVID 19 gera impactos sociais, econômicos, culturais e políticos, em todo o cenário global. O que observamos no auge da pandemia, em 2020 e 2021, em alguns casos, é que muitas nações não divulgam estes números em detrimento da continuidade de suas atividades econômicas, seguindo um comportamento de total aversão ao isolamento social, uma das principais medidas de contenção da pandemia afim de se evitar a disseminação da doença. Não é objetivo do nosso notebook realizar nenhum tipo de estudo visando julgamento a uma outra medida, mas estes fatos devem ser mencionados. O motivo da omissão na divulgação de dados por governos federais, estaduais e demais entidades é algo bastante complexo e que não será objeto de estudo deste documento.</p><p>Antes de iniciarmos nosso trabalho, primeiramente iremos importar os pacotes necessários para processar e analisar os dados. Para este projeto, iremos utilizar os pacotes <em>pandas, matplotlib, numpy, bar_chart_race, datetime, json e folium</em>. Importamos também o <em>warnings</em> para ignorar erros que aparecem ao plotar alguns gráficos.</p><pre># importando as bibliotecas necessárias<br>import pandas as pd<br>import matplotlib.pyplot as plt<br>import numpy as np<br>import bar_chart_race as bcr<br>import datetime as dt<br>import json<br>import folium<br>import warnings<br>warnings.filterwarnings(&#39;ignore&#39;)</pre><pre># importando o dataset COVID-19 para um DataFrame<br>end = &quot;<a href="https://raw.githubusercontent.com/owid/covid-19-data/master/public/data/owid-covid-data.csv">https://raw.githubusercontent.com/owid/covid-19-data/master/public/data/owid-covid-data.csv</a>&quot;<br>df = pd.read_csv(end)</pre><h3>Análise exploratória dos dados</h3><p>Esta etapa tem por objetivo criar uma consciência situacional inicial e permitir um entendimento de como os dados estão estruturados. Posteriormente, iremos realizar análises através de gráficos, de forma a visualizar e interpretar melhor as informações que os dados nos fornecem.</p><h4>Dicionário das variáveis</h4><p>As informações completas, contendo inclusive a fonte destes dados, podem ser localizadas <a href="https://github.com/owid/covid-19-data/blob/master/public/data/owid-covid-codebook.csv">aqui</a>.</p><h4>Total de casos — ranking de países</h4><p>Agora iremos verificar quais países lideram em total de casos de COVID-19 em uma determinada data. Como critério para nossa análise utilizaremos o último mês com informações disponíveis, que, no momento em que estamos fazendo este trabalho é o mês de Julho de 2022. Portanto iremos localizar no nosso <em>dataframe</em> as informações de cada país na data-base de 31/07/2022.</p><p>Verificando o nosso <em>dataset</em> observamos que ele já tem uma coluna com o total de casos sumarizados por dia. Portanto não é necessário realizar nenhum agrupamento ou somatório mensal. Outra observação, documentada abaixo, é que nosso<em> dataset</em> apresenta informações por país, identificados na variável <em>location</em>, e também informações sumarizadas do mundo todo, do continente e outros agrupamentos de países, que também estão identificados na variável <em>location</em>. O que difere um caso do outro, em nossa base de dados, é que cada país apresenta o continente, na variável <em>continent</em>, enquanto as informações do mundo, e outros agrupamentos possuem dados vazios nesta variável.</p><p>Feitas as observações, faremos uma localização dos dados cuja data seja 31/07/2022 e desconsiderar os dados que possuírem informação vazia na coluna continente, vide procedimentos realizados abaixo:</p><pre># total de casos desconsiderando informações vazias na coluna de continentes.<br>top5_cases = df.loc[df.date == &#39;2022-07-31&#39;].dropna(subset=[&#39;continent&#39;]).sort_values(by=&#39;total_cases&#39;, ascending=False)<br>top5_cases</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BtxXrNTcEyMwBaA2oCEmGA.png" /></figure><p>Após analisarmos nossa base, e adequarmos melhor os nossos dados, pudemos verificar que os países líderes em casos em 31 de Julho de 2022 eram:</p><ul><li>Estados Unidos — 91.354.727</li><li>India — 44.036.275 casos</li><li>França — 33.848.327 casos</li><li>Brasil — 33.833.900 casos</li><li>Alemanha — 30.854.175 casos</li></ul><p>Agora, vamos verificar os casos de morte, seguindo o mesmo critério da análise anterior.</p><h4>Total de mortes — ranking de países</h4><pre># total de mortes<br>top5_deaths = df.loc[df.date == &#39;2022-07-31&#39;].dropna(subset=[&#39;continent&#39;]).sort_values(by=&#39;total_deaths&#39;, ascending=False)<br>top5_deaths</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RNRR_jtTFEhQ82YVd0LPJA.png" /></figure><p>Em relação às mortes, os países que lideravam 31 de Julho de 2022 eram:</p><ul><li>Estados Unidos — 1.030.301</li><li>Brasil — 678.514</li><li>Índia — 526.396</li><li>Russia — 374.683</li><li>México — 327.525</li></ul><p>Para melhorar a visualização, vamos plotar um gráfico de barras, para os números de mortes e números de casos apresentados acima.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/efe245c9db89aa554503e62df85ca45e/href">https://medium.com/media/efe245c9db89aa554503e62df85ca45e/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/865/1*dSpBsi6Ln3R1WRileSkGJw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/858/1*jTEe-YB-oMTfqo3LYjPDfQ.png" /></figure><p>Nos gráficos acima podemos observar que os Estados Unidos, Brasil e Índia figuram tanto no ranking de total de casos quanto no ranking de total de mortes por COVID 19 em 31/07/2022.</p><h4>Mapa COVID 19 utilizando a biblioteca Folium</h4><p>Uma análise bastante interessante que pode ser feita com este banco de dados é o mapeamento de números da COVID 19 no mundo todo utilizando a biblioteca Folium. A biblioteca nos permite manipular os dados de nosso <em>dataset</em> usando linguagem de programação e visualizar o resultado em um mapa interativo, de forma quase que imediata.</p><p>Importamos a biblioteca no início deste notebook através do <em>import folium</em>. Isto, claro, depois de instalarmos o pacote em nosso ambiente, que em nosso caso foi feito através do <em>pip install folium</em>.</p><p>Feito isso, iremos criar uma variável, nomeada mapa, para criar o primeiro mapa, sem sobreposição de imagens e sem nenhuma base de dados atrelada. Isso é feito através do comando abaixo:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/9ece086bdc710fcf3fdc09dc0267f924/href">https://medium.com/media/9ece086bdc710fcf3fdc09dc0267f924/href</a></iframe><p>Feito isso, iremos adequar nossa base de dados que será utilizada neste mapa. Vamos analisar o total de mortes por COVID 19 em uma determinada data e, como critério, iremos utilizar o último mês com informações disponíveis, que, no momento em que estamos fazendo este trabalho é o mês de Julho de 2022. Assim como foi feito na análise anterior para o ranking de total de casos e total de mortes, iremos utilizar apenas as informações de cada país, desconsiderando o total por continente e total pelo mundo.</p><p>Para trabalharmos com os nossos dados no mapa precisamos utilizar alguns artifícios, que irão fazer os desenhos de cada país, e preencher com as informações. Nosso intuito é apresentar um mapa com cores cuja intensidades variam de acordo com o número de mortes por COVID 19, seguindo uma determinada escala de cores estabelecida. Para isso, basicamente precisamos criar uma nova camada que irá fazer o desenho dos mapas.</p><p>Para essa finalidade iremos utilizar um documento, em formato .json, que possui uma série de comandos, informações e coordenadas geográficas de cada país. Esse arquivo que fará este trabalho em nosso mapa, adicionando uma nova camada com o desenho de cada país, que será preenchido de acordo com os números da COVID analisados.</p><p>Utilizamos <a href="https://raw.githubusercontent.com/jdamiani27/Data-Visualization-and-D3/master/lesson4/world_countries.json">este documento</a> em nosso trabalho. Baixamos o arquivo em nossa máquina, e renomeamos para <em>world_countriesv2.json</em>.</p><p>Visualizando o arquivo <em>geo_json_data</em>, verificamos que cada país tem seu nome identificado dentro de <em>features</em> e properties, conforme estrutura da documentação. O que iremos fazer agora é<em> linkar</em> o nome do país em nosso <em>dataset</em> com o nome do país que consta neste arquivo <em>json</em>. Isso é feito através do parâmetro <em>key_on</em>, documentado abaixo, no comando utilizado para plotar este gráfico. Detalhe importante, é o que o nome do país do arquivo json deve ser exatamente o nome do país em nossa base de dados. Caso contrário, o mapa não fará este link e as informações dos países divergentes não serão divulgadas no mapa.</p><p>Feita esta leitura do arquivo json, e após análise prévia das informações, iremos plotar o novo mapa, desta vez vinculando nossos dados, através do método <em>choropleth</em>. Nele iremos vincular os dados das coordenadas geográficas, que são as informações do arquivo em json, nossa base de dados que será utilizada, as colunas que contém as informações do nosso <em>dataset</em>, assim como cores da escala, níveis de opacidade destas cores e nome das legendas, vide comandos abaixo:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/badfe989cf159499d3979fc6f31f893a/href">https://medium.com/media/badfe989cf159499d3979fc6f31f893a/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*f7aorJEIBX63puUJ2gzyUg.png" /><figcaption>Mapa Folium (escala aritmética) — Mortes por COVID-19 no mundo</figcaption></figure><p>Analisando o mapa, fica evidente que devem ser realizados ajustes visualização destes dados. Os países que apresentam um número maior de mortes por COVID 19, (Estados Unidos, Brasil, Índia e Rússia) são facilmente identificados e se destoam dos demais países, sendo que os restantes são nivelados utilizando praticamente uma mesma tonalidade da escala.</p><p>Isso ocorre pois os valores dos países com mais representatividade, sobretudo os Estados Unidos, são valores muito altos de mortes por Covid, criando uma distorção significativa em nossa escala. A escala utilizada é a aritmética, e corresponde aos números exatos de nossa base de dados. Para corrigir essa visualização iremos transformar estes dados em escala logarítmica visando reduzir a escala e ajustar melhor essas informações. O logaritmo reduz a representação a uma escala mais fácil de ser representada e visualizada e pode ajudar a revelar mais detalhes nas informações de um gráfico, ou função.</p><p>Para fazer esta conversão, iremos utilizar o método do <em>numpy</em> np.log, passando por parâmetro as informações da coluna <em>total_deaths</em>. Iremos também somar 1, ao final deste comando, para que país com informações zeradas não interfiram e não impossibilitem nossa visualização.</p><pre># escala logaritmica<br>dados[&#39;log_deaths&#39;] = np.log(dados[&#39;total_deaths&#39;]+1)<br>dados.sort_values(by=&#39;log_deaths&#39;, ascending=False)</pre><p>Feita a conversão para escalas logarítmicas, iremos executar novamente o método <em>choropleth</em>. Mas desta vez iremos indicar em <em>columns</em> as colunas <em>location</em>, como no plot anterior, e a coluna <em>log_deaths</em>, que apresenta o número de mortes por COVID 19 convertido para logaritmo. Vide comandos abaixo:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a8a380ff08440c5af2958e242c80bd39/href">https://medium.com/media/a8a380ff08440c5af2958e242c80bd39/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/913/1*hT3FvWLkevg5FXKkpBybdA.png" /><figcaption>Mapa Folium (escala logarítmica) — Mortes por COVID-19 no mundo</figcaption></figure><p>O resultado acima já apresenta uma melhor visualização dos dados. Podemos ver que os países com número maior de mortes por COVID 19, (Estados Unidos, Brasil, Índia e Rússia) continuam se destacando dos demais, Mas os outros países apresentam escalas de cores melhor ajustadas. Isso nos permite identificar, por exemplo, que na América do Sul, além do Brasil, Peru, Colômbia e Argentina também apresentam números relevantes de mortes por COVID 19, comparados aos demais do continente. Na América Central, o México é o país com maior número óbitos. Na Europa, os índices da Espanha, França, Alemanha, Reino Unido, Polônia são os maiores. No continente africano, África do Sul e Egito são um dos que mais se destacam. No continente asiático, além de Rússia e Índia, Indonésia e Irã também apresentam números relevantes, que pode ser notado pela diferenciação na escala, em relação aos demais. Estados Unidos é o país com tonalidade mais escura, sendo o que apresenta número maior de óbitos.</p><h4><em>Bar chart race</em></h4><p>Uma ferramenta de análise bastante interessante que pode ser utilizada em nosso <em>dataset</em> é o <em>bar chart race</em>. Se trata de um pacote para o Pandas, bem recente inclusive, que faz uma animação de gráficos de barras, em que estas barras vão se ultrapassando com a evolução dos números. É uma análise através de gráficos de barras que adiciona o elemento de evolução histórica por um período determinado, complementando ainda mais nossas análises.</p><p>Esse pacote foi criado pelo Teddy Petrou, nome de extrema relevância na área de <em>data science</em>. Como consulta iremos utilizar a própria documentação do <em>bar chart race</em>, disponível através deste <a href="https://www.dexplo.org/bar_chart_race/">link</a>. Inclusive, na documentação o Teddy Petrou utiliza dados da COVID 19 em seu <em>bar chart race</em>.</p><p>Logicamente a primeira etapa é a instalação do pacote por meio do próprio <em>pip install bar_chart_race.</em></p><p>Seguindo o que consta na documentação, é recomendado que sejam feitas algumas adequações na exibição dos dados, que serão plotados no <em>bar chart race</em>. Devemos criar um <em>dataframe</em> onde: cada linha deve representar um único período de tempo; cada coluna deve conter o valor de uma categoria específica, e o índice deve conter o componente de tempo. Na documentação ele mostra um exemplo de dados formatados corretamente para este plot.</p><p>Portanto, após a instalação do pacote, precisamos adequar nossa base de dados. Iremos analisar a evolução do número de óbitos por COVID 19, partindo do primeiro óbito até o número da data atual.</p><p>Assim como feito em análises anteriores, iremos utilizar apenas as informações de cada país, desconsiderando os totais por continente e total pelo mundo. A adequação da base foi feita logo abaixo.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/9a80daa9841330da2b4fee433034f633/href">https://medium.com/media/9a80daa9841330da2b4fee433034f633/href</a></iframe><p>Conforme documentação, cada linha do nosso <em>dataframe</em> deve representar um único período de tempo. Para isso, vamos criar uma variável <em>df_ajustado_fim</em>, que irá apresentar apenas os dados do último dia de cada vez, que filtramos pelo método <em>dt.is_month_end</em>.</p><p>Feito isso, agrupamos por país e por data, retornando os valores da coluna <em>total_deaths</em>. Convertemos o resultado gerado de series para um objeto <em>dataframe</em>, através do pd.DataFrame. Logo após, utilizamos o método <em>unstack</em>() para remodelar nossos dados. Também utilizamos o <em>transpose</em>, através do .T, para transpor nossos dados de linhas para colunas. Por último removemos a primeira coluna do nosso <em>dataframe</em>, que não será utilizada em nossa análise, através do <em>droplevel</em>(level=0).</p><p>O resultado final foi armazenado na variável<em> df_bcr,</em> conforme documentado abaixo:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/1451f363e1fe54ff3f664a659f75a4c6/href">https://medium.com/media/1451f363e1fe54ff3f664a659f75a4c6/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/886/1*MA5IM9MPRhRWYC_kFcfLEA.png" /></figure><p>Por fim, após realizados os ajustes de adequação da nossa base de dados, obedecendo o que consta na documentação, basta utilizarmos a função principal, <em>bar_chart_race</em>, passando os parâmetros exatamente como são mostrados pelo Teddy Petrou, conforme documentado abaixo.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/87504b2fcb21360f626f96b191f991d7/href">https://medium.com/media/87504b2fcb21360f626f96b191f991d7/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/764/1*PDuhMjf1t62B-Ephg9tqtg.gif" /><figcaption>Bar chart race — COVID-19 mortes por país</figcaption></figure><p>O resultado acima nos mostra a evolução de óbitos por COVID 19, por país, partindo do início de 2020 até os dias atuais. No gráfico nós exibimos os dez países com maior representatividade, que vão se alternando e tendo as barras ultrapassadas à medida que os números evoluem.</p><h4>Scatter plot (Gráfico de dispersão) — PIB e total de mortes por COVID 19</h4><p>Conforme Juliana Scudiilio, em seu ótimo artigo “<em>Scatter plot</em>: Um Guia Completo para Gráficos de Dispersão” que pode ser acessado através deste <a href="https://www.flai.com.br/juscudilio/scatter-plot-um-guia-completo-para-graficos-de-dispersao/">link</a>, os gráficos de dispersão ou <em>scatter plot</em> são representações gráficas do relacionamento entre duas variáveis numéricas. O <em>scatter plot</em> utiliza pontos para representar essa relação, cada ponto representa o valor de uma variável no eixo horizontal e o valor de outra variável no eixo vertical.</p><p>Descrito por Francis Galton, o <em>scatter plot </em>é usado para verificar se existe uma relação entre causa e efeito entre duas variáveis numéricas. isso não significa que uma variável causa efeito na outra, mas apenas se existe uma relação e qual intensidade entre essa relação. A relação entre duas variáveis pode ser positiva, negativa ou neutra, linear ou não linear.</p><p>Tendo esses conceitos definidos e nos atentando ao fato de que uma variável não necessariamente causa efeito na outra, primeiramente vamos plotar um <em>scatter plot</em> relacionando PIB per capita pelo índice de desenvolvimento humano de cada país, conforme documentado abaixo.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/b34fc15b32cab4c290f7cf369ca288c5/href">https://medium.com/media/b34fc15b32cab4c290f7cf369ca288c5/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/605/1*A0cg1EaEm_EptmqDLfPMgQ.png" /></figure><p>Embora o comportamento de uma variável não implique ou cause efeito na outra, fica claro no <em>plot</em> acima que quanto maior o PIB per capita de um país maior tende a ser o seu índice de desenvolvimento humano. Ou seja, existe uma certa correlação positiva entre estas variáveis. Este gráfico foi plotado para ilustrar esse comportamento.</p><p>Agora plotaremos abaixo os gráficos de dispersão considerando os dados do PIB de cada país em 2022, conforme consta em nosso <em>dataset</em>, e o número total de mortes por COVID 19, afim de analisarmos se existe alguma correlação entre essas duas variáveis. Iremos utilizar como corte, os dados acumulados até o dia 30 de Junho de 2022.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/7e2d08cacccd9983d54bbc648882cef7/href">https://medium.com/media/7e2d08cacccd9983d54bbc648882cef7/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/516/1*bfYsDtqMmkxfSySRKlPghg.png" /></figure><p>No gráfico acima verificamos que não existe relação entre o comportamento da variável PIB per capita e o número total de mortes por COVID 19 e uma variável não causa efeito na outra. Ou seja, o número total de mortes não aumenta conforme diminui o PIB per capita, e nem diminui conforme aumenta o PIB do país . Mas o gráfico nos pode ser útil para identificar outros padrões nos dados, como <em>outliers.</em></p><p>É possível identificar<em> outliers</em>, por exemplo, de países com elevados índices de PIB per Capita. Abaixo localizamos esses países em nosso <em>dataframe</em>. Verificamos que o Qatar possui o maior PIB per capita e apresenta o total de mortes reportados em 2022 de 679 óbitos. Seguido por Luxemburgo que mostra um total de 1094 óbitos, Singapura com 1413 óbitos, Brunei com 225 óbitos e Irlanda com 7499 óbitos. Evidentemente, o número que mais chama a atenção é o do Qatar. O Qatar, um país muito rico com grandes reservas de gás, investiu muito no sistema de saúde, tendo um dos melhores sistemas de saúdes do mundo. A população de trabalhadores migrantes muito jovens também favoreceu um dos menores números de mortes do mundo, segundo especialistas. Analisando o outro extremo do PIB, percebemos que os países com menor PIB per_capita são em sua maioria do continente africano, e eles apresentam baixos números de óbitos por COVID 19. O motivo do baixo número de óbitos por COVID 19 no continente, pode estar relacionado à idade média dos africanos, que são muito jovens, ou seja, menos pessoas, comparativamente, viveram o suficiente para desenvolver problemas de saúde que podem aumentar drasticamente o risco de doenças graves e morte por Covid. Além disso, para outros especialistas da força tarefa da COVID 19 boa parte da população africana não foi ao hospital mesmo com sintomas da doença, o que afeta os números oficiais.</p><p>Analisando o eixo y do nosso <em>scatter plot</em>, ou seja, o total de mortes por COVID, verificamos que os Estados Unidos, com o maior números de óbitos no mundo, apresentam um dos maiores PIB per capita. O país é um dos que mais sofrem com o problema da vacinação contra a Covid-19, pois uma grande parte da população ainda recusa a imunização, embora pesquisas evidenciem o que, apesar de as vacinas não evitarem o contágio do vírus, elas diminuem drasticamente o risco de óbito pela doença.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/794/1*G7yNVB6dNVL-IVecDfS0ig.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/783/1*yOifAPlJHFUz05HqspuWcw.png" /></figure><h4>Scatter plot (Gráfico de dispersão) — Diabetes e total de mortes por COVID 19 por milhão de pessoas</h4><p>Conforme consta <a href="https://drauziovarella.uol.com.br/drauzio/artigos/diabetes-e-covid-artigo/">neste artigo</a> do Dr. Drauzio Varella, desde o início da pandemia, ficou claro que pessoas com diabetes corriam risco de apresentar as formas mais graves da Covid. Logo em maio de 2020, a revista “The Lancet Diabetes &amp; Endocrinology” publicou uma série de recomendações para os cuidados que os médicos deviam ter com os pacientes com diabetes, durante a pandemia. O Dr. Drauzio Varella nos passa a informação de que esta mesma revista avaliou o risco de morte em pessoas com diabetes ao contrair o Sars-CoV-2. Depois de ajustar estatisticamente fatores como sexo, idade, etnia, região geográfica e situação econômico-financeira, foi demonstrado que pacientes com diabetes do tipo 1 correm risco de morte 3,5 vezes mais alto do que aqueles com Covid, mas sem diabetes.</p><p>Levando em consideração esses apontamentos, plotamos abaixo um <em>scatter plot</em> com as variáveis de prevalência de diabetes (<em>diabetes_prevalence</em>) do país e o número total de mortes por Covid, por milhão de pessoas (<em>total_deaths_per_million</em>).</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/6b2b9789db24cf92daa73f91e44324ca/href">https://medium.com/media/6b2b9789db24cf92daa73f91e44324ca/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Sw_QTmjmNAiJEEnGL_K3-A.png" /></figure><p>Nos gráficos acima, observamos que uma variável não necessariamente causa efeito na outra. Mas é interessante analisarmos, que, embora essa correlação não seja positiva, para alguns dados, podemos verificar que quanto maior o índice de prevalência de diabetes, maior é o total de mortes por Covid. Ressaltamos novamente que esse relação não é direta e o gráfico não mostra nenhuma relação positiva clara, mas para alguns casos vale esta observação, que em partes corrobora com as informações documentadas acima.</p><h4>Scatter plot (Gráfico de dispersão) — taxa de mortalidade por doença cardiovascular e total de mortes por COVID 19 por milhão de pessoas</h4><p>Pessoas com doenças cardiovasculares ou cardíacas estão entre os grupos mais vulneráveis a complicações da Covid-19, causada pelo novo coronavírus. A Organização Mundial da Saúde (OMS) aponta que pacientes com doenças do coração ou nos vasos sanguíneos podem desenvolver mais complicações do que quem está saudável.</p><p>Levando em consideração esses apontamentos, plotamos abaixo um scatter <em>plot</em> com as variáveis de taxa de mortalidade por doença cardiovascular (<em>cardiovasc_death_rate</em>) e o número total de mortes por covid, por milhão de pessoas (<em>total_deaths_per_million</em>).</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/28dbb1759bdb9827688494a2733ad478/href">https://medium.com/media/28dbb1759bdb9827688494a2733ad478/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_oz20rT3iTbQ3HWK_E2Atw.png" /></figure><p>Assim como nos gráficos de prevalência de diabetes, observamos que o comportamento dos dados são semelhantes, ou seja uma variável não necessariamente causa efeito na outra. Mas é interessante analisarmos, que, embora essa correlação não seja positiva, para alguns dados, podemos verificar que quanto maior o índice de taxa de mortalidade por doença cardiovascular, maior tende a ser o total de mortes por Covid. Ressaltamos novamente que esse relação não é direta e o gráfico não mostra nenhuma relação positiva clara, mas para alguns casos vale esta observação, que em partes corrobora com as informações documentadas acima.</p><h4>Análise da evolução do total de óbitos e total de vacinações, por mês</h4><p>Logo abaixo, plotamos dois gráficos de linha que mostram e evolução de óbitos, sumarizados por mês, desde o início da pandemia até os dias atuais, e a evolução do número de total de novas doses de vacina da COVID-19 administradas, também sumarizadas por mês para este mesmo período. Para fazer este agrupamento, logo após transformarmos em <em>datetime</em> a coluna date, com o formato específico, agrupamos nosso <em>dataset</em> utilizando o método pandas pd.Grouper e estabelecemos freq=’M’, o que ordenará nossos dados de forma sumarizada, por mês. Vide códigos abaixo:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/376448f10be0c070269e46b1fd4a98b7/href">https://medium.com/media/376448f10be0c070269e46b1fd4a98b7/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/965/1*XdHlQtR7xe1Ku5KKW0P9Sg.png" /></figure><p>Nos gráficos plotados acima é possível perceber que o número de óbitos apresentava uma ascensão cada vez mais elevada até Janeiro de 2021, diminuindo a partir deste mesmo mês. Os gráficos nos mostram que essa queda, ocorre à partir do aumento número total de novas doses de vacina da COVID-19 administradas. Importante ressaltar que estamos considerando apenas as novas doses mensais das vacinas, desconsiderando dados dos totalmente imunizados ou o total doses administradas além do número prescrito pelo protocolo inicial de vacinação.</p><h4>Análise da evolução do total de óbitos</h4><p>Abaixo plotamos um gráfico de linha para demonstrar e evolução de mortes e evolução de casos no mundo.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/026a279931b732f94e2dabd435b1a1ea/href">https://medium.com/media/026a279931b732f94e2dabd435b1a1ea/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/958/1*d9Gmqb4qaBCuSxkwgwO_FA.png" /></figure><p>O primeiro gráfico nos mostra que o total de mortes cresceu aceleradamente em 2021 e, a partir de 2022 já se encontra mais estável. O segundo gráfico mostra que o total de casos de Covid continua aumentando, e em 2022 continua em ascensão.</p><h3>Análise exploratória dos dados no Brasil</h3><p>Agora que já temos uma noção dos acontecimentos no mundo, vamos fazer uma breve análise dos acontecimentos no Brasil.</p><pre># Criar uma cópia do DataFrame apenas com o Brasil<br>dfBrasil = df.loc[df.location == &quot;Brazil&quot;].copy()</pre><h4>Análise da evolução do total de óbitos e total de vacinações no Brasil em 2021, por mês</h4><p>Abaixo plotamos dois gráficos de linha que mostram e evolução de óbitos, sumarizados por mês, e a evolução do número de total de novas doses de vacina da COVID-19 administradas, também sumarizadas por mês. Essa análise segue os mesmos moldes do que foi realizado com os dados da COVID no mundo, mas, nesta análise do Brasil, iremos utilizar apenas os dados do ano de 2021, diferente da análise anterior que continha dados desde o início da pandemia até os dias atuais. Para isto, também agrupamos nosso <em>dataset</em> utilizando o método pandas pd.Grouper e estabelecemos freq=’M’, o que ordenará nossos dados de forma sumarizada, por mês. Vide códigos abaixo:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/9faa6108daf797e7e4a705a80ba8c1b4/href">https://medium.com/media/9faa6108daf797e7e4a705a80ba8c1b4/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/967/1*V0mpnvjvxenxyoQOqqUI1Q.png" /></figure><p>Nos gráficos plotados acima é possível perceber que o número de óbitos apresentava uma ascensão cada vez mais elevada até Março e Abril de 2021, diminuindo a partir deste mesmo mês. Os gráficos nos mostram que essa queda, ocorre à partir do aumento número total de novas doses de vacina da COVID-19 administradas. Comparando o intervalo de meses entre Abril/2021 e Agosto/2021, observamos comportamentos de certa forma inversamente proporcionais. O número de óbitos diminui à medida em que o número total de novas doses aumenta para este período. Importante ressaltar que estamos considerando apenas as novas doses mensais das vacinas, desconsiderando dados dos totalmente imunizados ou o total doses administradas além do número prescrito pelo protocolo inicial de vacinação.</p><h4>Análise da evolução do total de óbitos</h4><p>Por fim, plotamos um gráfico de linha para demonstrar e evolução de mortes e evolução de casos no Brasil.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a8340d7b79520108be0ca695152c505c/href">https://medium.com/media/a8340d7b79520108be0ca695152c505c/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_4wXSIK-9LsNels8CXbbyA.png" /></figure><p>O primeiro gráfico nos mostra que o total de mortes cresceu aceleradamente em 2021 e, a partir de 2022 já se encontra mais estável. O segundo gráfico mostra que o total de casos de Covid continua aumentando, e em 2022 continua em ascensão.</p><h3>Conclusão</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/626/0*zZtAa1mfBbXYlnjA" /></figure><p>Antes de mais nada, é importante ressaltar que nenhuma das análises realizadas neste notebook podem ser consideradas conclusivas. Todo o trabalho foi realizado utilizando os dados do nosso <em>dataset</em>, sem nenhuma intervenção, ou conferência com dados divulgados pelos próprios países. Nenhum tipo de análise de proporção dos testes foi realizado e além disso, não fizemos nenhum teste para checar o grau de confiabilidades destas informações. E, conforme documentado logo acima, no início deste notebook, por se tratar de uma doença nova, recém descoberta, evidentemente nosso <em>dataset</em> pode apresentar países com dados estatísticos deficientes. Outro detalhe extremamente importante a ser destacado é que esses dados são medidos diariamente, e esse conjunto de dados poderá se desatualizar.</p><p>Entretanto, levando em consideração o contexto dos dados analisados, vale a pena destacar alguns pontos:</p><ul><li>Os Estados Unidos apresentam o maior número de óbitos por COVID-19, seguidos pelo pelo Brasil e também pela Índia.</li><li>Nos dados analisados verificamos que, em alguns países, quanto maior o índice de taxa de mortalidade por doença cardiovascular e a prevalência de diabetes maior tende a ser o total de mortes por Covid. Ressaltamos que esses fatores não afetam diretamente o total de mortes em todos os casos, e não apresentam comportamento forte de correlação positiva. Mas os dados apresentados nos gráficos corroboram de certa forma com os estudos envolvendo os grupos mais vulneráveis a complicações da Covid-19.</li><li>Observamos também que ocorre uma queda no número de óbitos à partir do aumento número total de novas doses de vacina da COVID-19 administradas no mundo todo. Esses números corroboram com todos os estudos científicos que comprovam que a vacina é, e continua sendo, a nossa arma mais eficaz na guerra contra a Covid-19.</li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=17b0b6b963a1" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Análise dos Dados do Airbnb — Atenas]]></title>
            <link>https://medium.com/@jmfonsecacunha/an%C3%A1lise-dos-dados-do-airbnb-atenas-bc4b08a11bcd?source=rss-6509535421d------2</link>
            <guid isPermaLink="false">https://medium.com/p/bc4b08a11bcd</guid>
            <dc:creator><![CDATA[João Marcelo Fonseca Cunha]]></dc:creator>
            <pubDate>Sat, 13 Aug 2022 02:57:46 GMT</pubDate>
            <atom:updated>2022-08-13T02:57:46.245Z</atom:updated>
            <content:encoded><![CDATA[<p><strong>Análise dos Dados do Airbnb — Atenas</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/0*I80Kelop3UnIqmLV" /></figure><p>O Airbnb já é considerado como sendo a <strong>maior empresa hoteleira da atualidade</strong>. Ah, o detalhe é que ele <strong>não possui nenhum hotel</strong>!</p><p>Conectando pessoas que querem viajar (e se hospedar) com anfitriões que querem alugar seus imóveis de maneira prática, o Airbnb fornece uma plataforma inovadora para tornar essa hospedagem alternativa.</p><p>No final de 2018, a Startup fundada 10 anos atrás, já havia <strong>hospedado mais de 300 milhões</strong> de pessoas ao redor de todo o mundo, desafiando as redes hoteleiras tradicionais.</p><p>Uma das iniciativas do Airbnb é disponibilizar dados do site, para algumas das principais cidades do mundo. Por meio do portal Inside Airbnb, é possível baixar uma grande quantidade de dados para desenvolver projetos e soluções de <em>Data Science</em>.</p><p>Neste artigo, iremos analisar os dados referentes à cidade de Atenas, capital da Grécia, berço da civilização e filosofia, e ver quais insights podem ser extraídos a partir de dados brutos. A cidade é reconhecida como uma cidade global devido à sua localização geo-estratégica e sua importância em finanças, comércio, mídia, entretenimento, artes, comércio internacional, cultura, educação e turismo. A herança da era clássica ainda é evidente na cidade, representado por antigos monumentos e obras de arte, sendo o Partenon o mais famoso de todos, considerado um marco fundamental do início da civilização ocidental.</p><p><strong>Obtenção dos Dados</strong></p><p>Todos dados utilizados neste <em>notebook</em> foram obtidos através do site Inside Airbnb. Para esta análise exploratória inicial será baixado apenas o seguinte arquivo:</p><p>listings_Athens.csv - <em>Summary information and metrics for listings in Athens (good for visualization - Date Compiled 24 March, 2022</em></p><p>Importante: O portal está em constante evolução, e em determinado momento, pode ser que o conjunto de dados utilizado neste notebook não esteja mais disponível, o que quebraria o nosso código.</p><p>Pensando nisso, disponibilizamos aqui o conjunto que utilizamos, para que você sempre consiga utilizar este material. Com isso em mente, vamos ao projeto.</p><p>Antes de iniciarmos nosso trabalho, primeiramente iremos importar os pacotes necessários para processar e analisar os dados. Para este projeto, iremos utilizar os pacotes pandas, matplotlib, seaborn e missingno.</p><pre><em># importando os pacotes necessários</em><br><strong>import</strong> pandas <strong>as</strong> pd<br><strong>import</strong> matplotlib.pyplot <strong>as</strong> plt<br><strong>import</strong> seaborn <strong>as</strong> sns<br><strong>import</strong> missingno <strong>as</strong> msno<br><br><strong>%matplotlib</strong> inline</pre><pre><em># importando o arquivo listings_Athens.csv para um DataFrame</em><br>df <strong>=</strong> pd<strong>.</strong>read_csv(&quot;https://www.dropbox.com/s/q18dzfmho4o1lik/listings_Athens.csv?dl=1&quot;)</pre><h3>Análise dos Dados</h3><p>Esta etapa tem por objetivo criar uma consciência situacional inicial e permitir um entendimento de como os dados estão estruturados.</p><p><strong>Dicionário das variáveis</strong></p><ul><li>id - número de id gerado para identificar o imóvel</li><li>name - nome da propriedade anunciada</li><li>host_id - número de id do proprietário (anfitrião) da propriedade</li><li>host_name - nome do anfitrião</li><li>neighbourhood_group - esta coluna não contém nenhum valor válido</li><li>neighbourhood - nome do bairro</li><li>latitude - coordenada da latitude da propriedade</li><li>longitude - coordenada da longitude da propriedade</li><li>room_type - informa o tipo de quarto que é oferecido</li><li>price - o preço para alugar um imóvel</li><li>minimum_nights - quantidade mínima de noites para reservar</li><li>number_of_reviews - número de reviews que a propriedade possui</li><li>last_review - data do último review</li><li>reviews_per_month - quantidade de reviews por mês</li><li>calculated_host_listings_count - quantidade de imóveis do mesmo anfitrião</li><li>availability_365 - número de dias de disponibilidade dentro de 365 dias</li><li>number_of_reviews_ltm - número de reviews nos últimos 12 meses.</li><li>license - número da licença, conforme exigido por lei</li></ul><p>Antes de iniciar qualquer análise, vamos verificar a cara do nosso <em>dataset</em>, analisando as 5 primeiras entradas.</p><pre><em># mostrar as 5 primeiras entradas</em><br>df<strong>.</strong>head()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xNq9XB80WgM3VWg3qVCoBA.png" /></figure><p>As análises feitas serão documentadas em questionários.</p><h3>Q1. Quantos atributos (variáveis) e quantas entradas o nosso conjunto de dados possui? Quais os tipos das variáveis?</h3><p>Vamos prosseguir e identificar a quantidade de entradas que nosso conjunto de dados possui, analisando também o tipo de cada coluna. Lembrando que este <em>dataset</em> que estamos utilizando é a versão resumida do Airbnb.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/346f53dfe3347021c137c32d526607d4/href">https://medium.com/media/346f53dfe3347021c137c32d526607d4/href</a></iframe><pre>Entradas:	10263<br>Variáveis:	18<br><br>id                                  int64<br>name                               object<br>host_id                             int64<br>host_name                          object<br>neighbourhood_group               float64<br>neighbourhood                      object<br>latitude                          float64<br>longitude                         float64<br>room_type                          object<br>price                               int64<br>minimum_nights                      int64<br>number_of_reviews                   int64<br>last_review                        object<br>reviews_per_month                 float64<br>calculated_host_listings_count      int64<br>availability_365                    int64<br>number_of_reviews_ltm               int64<br>license                            object<br>dtype: object</pre><p>Conforme documentado acima, nosso <em>dataset</em> apresenta um total de 10263 entradas e 18 variáveis, dos tipos int, float e str.</p><h3>Q2. Qual a porcentagem de valores ausentes no dataset?</h3><p>A falta de dados é provavelmente um dos problemas mais comuns ao trabalhar com conjuntos de dados reais. Os dados podem estar ausentes por vários motivos incluindo falha do sensor, gerenciamento inadequado de dados e até mesmo erro humano. O mais importante é analisar o impacto destes dados ausentes nas análises que estão sendo feitas e o quanto são significativos em comparação ao total de dados do <em>dataset</em>.</p><p>Para analisar esses dados ausentes, e verificar a distribuição deles no conjunto todo de uma forma mais visual, podemos utilizar a biblioteca Missingno. Se trata de uma biblioteca simples de usar que fornece uma série de visualizações para entender a presença e distribuição de dados ausentes em um dataframe de pandas. Isso pode ser na forma de um gráfico de barras, gráfico de matriz, mapa de calor ou um dendrograma.</p><p><strong>Importante!</strong> Embora seja uma boa ferramenta, que permite uma melhor visualização dos dados, é sempre recomendado que também seja feita uma análise quantitativa, principalmente para verificar as variáveis que apresentam poucos dados ausentes que podem até não gerar visualização na matriz do Missingno.</p><pre><em># utilizando a biblioteca Missingno, que já foi importada acima, para analisar a distribuição dos dados ausentes</em><br>msno<strong>.</strong>matrix(df);</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/886/1*sC0EeTuqwbH1mwJ6dL8e9A.png" /></figure><pre><em># utilizando a biblioteca Missingno, que já foi importada acima, para analisar a quantidade dos dados ausentes</em><br>msno<strong>.</strong>bar(df);</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/886/1*0gkhd4YNi0Q5DPW6KTGoOQ.png" /></figure><pre><em># ordenar em ordem decrescente as variáveis por seus valores ausentes</em><br>(df<strong>.</strong>isnull()<strong>.</strong>sum() <strong>/</strong> df<strong>.</strong>shape[0])<strong>.</strong>sort_values(ascending<strong>=False</strong>)</pre><pre>neighbourhood_group               1.000000<br>reviews_per_month                 0.191172<br>last_review                       0.191172<br>license                           0.169444<br>host_name                         0.000682<br>name                              0.000390<br>number_of_reviews                 0.000000<br>number_of_reviews_ltm             0.000000<br>availability_365                  0.000000<br>calculated_host_listings_count    0.000000<br>id                                0.000000<br>minimum_nights                    0.000000<br>room_type                         0.000000<br>longitude                         0.000000<br>latitude                          0.000000<br>neighbourhood                     0.000000<br>host_id                           0.000000<br>price                             0.000000<br>dtype: float64</pre><p>Utilizando o gráfico de matriz, e as análises quantitativas dos daos,conforme documentado abaixo, podemos verificar as seguintes observações em nosso <em>dataset</em>:</p><ul><li>É possível ver que a coluna neighbourhood_group não possui nenhum dado registrado.</li><li>A quantidade de valores nulos na variável host_name representa menos de 0,1% e não influencia em nossa análise.</li><li>Embora não seja visível na matriz do Missingno, pela baixíssima representatividade, a variável name apresenta apenas 4 valores nulos, não influenciando em nossa análise.</li><li>As variáveis last_review e reviews_per_month possuem cerca de 20% dos valores nulos, cada uma, igualmente distribuídos no <em>dataset</em>.</li><li>A variável license também possui alguns valores nulos, cerca de 17%, mas que não estão concentrados em determinados pontos do <em>dataset</em>.</li></ul><h3>Q3. Qual o tipo de distribuição das variáveis?</h3><p>Para identificar a distribuição das variáveis de uma forma mais visual, plotaremos histogramas para cada uma delas.</p><pre><em># plotar o histograma das variáveis numéricas</em><br>df<strong>.</strong>hist(bins<strong>=</strong>10, figsize<strong>=</strong>(15,10));</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/886/1*gCqdmlBDQVQ5BhJ82Wi_FQ.png" /></figure><h3>Q4. Há outliers presentes?</h3><p>Pela distribuição do histograma, é possível verificar indícios da presença de <em>outliers</em>. Olhe por exemplo as variáveis price, minimum_nights, number_of_reviews e calculated_host_listings_count.</p><p>Os valores não seguem uma distribuição, e distorcem toda a representação gráfica. Para confirmar, há duas maneiras rápidas que auxiliam a detecção de <em>outliers</em>. São elas:</p><ul><li>Resumo estatístico por meio do método describe()</li><li>Plotar boxplots para a variável.</li></ul><h4>Resumo estatístico</h4><p>Através do método describe() é possível verificar o resumo estatístico das variáveis numéricas. O resumo traz as principais informações estatísticas (<em>count, mean, std, min, max, 25%, 50% e 75%</em>)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/766/1*qoQG8JK2TbNN19iV7S3WVg.png" /></figure><p>Pelo resumo estatístico acima, podemos verificar as seguintes observações:</p><ul><li>A variável price possui uma média de 82 euros, sendo que ela possui 75% dos seus valores até 80 euros. No entanto existe um valor máximo de 8.000 euros, o que representa um <em>outlier</em> no <em>dataset</em></li><li>A quantidade mínima de noites (minimum_nights) está acima de 365 dias no ano.</li><li>A média de número de reviews é de 42, mas o local com mais representatividade teve 760 reviews.</li></ul><h4>Análise dos Outliers</h4><p>Abaixo incluímos uma análise dos <em>outliers</em> de nosso dataset. Entendemos que, estes valores, embora distorçam nossa análise, devem ser verificados separadamente, pois apresentam informações igualmente importantes. Apresentamos abaixo duas análises:</p><ul><li>Análise do preço médio dos valores mais caros, acima de 500 euros, agrupada por região.</li><li>Análise dos maiores valores apresentados, também agrupados por região.</li></ul><pre><em># Analise da média dos mais caros</em><br>df_outliers<strong>.</strong>groupby([&#39;neighbourhood&#39;])<strong>.</strong>price<strong>.</strong>mean()<strong>.</strong>sort_values(ascending<strong>=False</strong>)[:5]</pre><pre>neighbourhood<br>ΠΕΔΙΟ ΑΡΕΩΣ               5706.000000<br>ΝΕΟΣ ΚΟΣΜΟΣ               5250.000000<br>ΕΜΠΟΡΙΚΟ ΤΡΙΓΩΝΟ-ΠΛΑΚΑ    4555.764706<br>ΠΛΑΤΕΙΑ ΑΜΕΡΙΚΗΣ          3533.000000<br>ΣΤΑΔΙΟ                    3150.000000<br>Name: price, dtype: float64</pre><p>Conforme documentado acima, ao analisarmos os outliers, verificamos que a média dos valores mais caros está localizada, principalmente, nas regiões do Pedion tou Areos (ΠΕΔΙΟ ΑΡΕΩΣ), um dos maiores parques públicos de Atenas e Neos Kosmos (ΝΕΟΣ ΚΟΣΜΟΣ), regiões localizadas próximas da Acrópole principal ponto turístico de Atenas. Também temos a região da Plaka (ΕΜΠΟΡΙΚΟ ΤΡΙΓΩΝΟ-ΠΛΑΚΑ), que é um dos bairros centrais mais conhecidos da cidade e um dos mais transitados pelos turistas.</p><p>No entanto essa análise pode não ser muito conclusiva, pois estes valores estão muito acima da média, que é 80 euros, sendo que o maior chega até a 8.000 euros por noite. Entendemos que, além da região, outros fatores podem influenciar esses valores mais representativos. Por entender que eles destoam dos demais dados, e podem influenciar nosso resultado, iremos descartar esses dados nas próximas análises.</p><h3>Q5. Qual a média dos preços de aluguel?</h3><p>Uma vez eliminados os valores de <em>outliers</em> na variável price verificamos abaixo a média dos preços, agrupados por bairros, através do groupby.</p><pre><em># ver a média da coluna `price`</em><br>print(df_clean<strong>.</strong>groupby([&#39;neighbourhood&#39;])<strong>.</strong>price<strong>.</strong>mean()<strong>.</strong>sort_values(ascending<strong>=False</strong>)[:5])<br><br>print(&#39;\nValor da média total dos preços, após a remoção dos outliers: {:.2f}&#39;<strong>.</strong>format(df_clean<strong>.</strong>price<strong>.</strong>mean()))</pre><pre>neighbourhood<br>ΖΑΠΠΕΙΟ                   99.985294<br>ΚΟΛΩΝΑΚΙ                  95.734940<br>ΚΕΡΑΜΕΙΚΟΣ                89.172932<br>ΑΚΡΟΠΟΛΗ                  89.057402<br>ΕΜΠΟΡΙΚΟ ΤΡΙΓΩΝΟ-ΠΛΑΚΑ    84.465285<br>Name: price, dtype: float64</pre><pre>Valor da média total dos preços, após a remoção dos outliers: 67.64</pre><p>Eliminando os <em>outliers</em>, percebemos que as regiões com maior preço médio são as regiões de Zappio (ΖΑΠΠΕΙΟ), perto da Acrópole e onde está localizado o templo de Zeus e Kolonaki (ΚΟΛΩΝΑΚΙ), região sofisticada e centro de compras de luxo onde marcas internacionais e lojas de grifes gregas. Outra região com valor mais alto é Keramikos (ΚΕΡΑΜΕΙΚΟΣ), tendo o seu preço possivelmente influenciado por estar em uma região que abriga um dos hotéis mais luxuosos de Atenas, o Athenaeum Eridanus Luxury Hotel (hotel de luxo). Outra região com valores acima da média é a própria região da Acrópole (ΑΚΡΟΠΟΛΗ) e Plaka (ΠΛΑΚΑ).</p><p>Todos os preços médios dessas regiões estão acima do preço médio total do <em>dataset</em>, desconsiderando os <em>outliers</em>, que é 67.64 euros.</p><h3>Q6. Qual a correlação existente entre as variáveis</h3><p>Correlação significa que existe uma relação entre duas coisas. Em nossa análise, estamos verificando relação ou semelhança entre duas variáveis.</p><p>O coeficiente de correlação tem a função de estabelecer qual intensidade dessa relação. Para identificar as correlações existentes entre essas variáveis de interesse, vamos:</p><ul><li>Criar uma matriz de correlação</li><li>Gerar um <em>heatmap</em> a partir dessa matriz, usando a biblioteca seaborn</li></ul><pre><em># criar uma matriz de correlação</em><br>corr <strong>=</strong> df_clean[[&#39;price&#39;, &#39;minimum_nights&#39;, &#39;number_of_reviews&#39;, &#39;reviews_per_month&#39;,<br>    &#39;calculated_host_listings_count&#39;, &#39;availability_365&#39;]]<strong>.</strong>corr()<br><br>display(corr)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/880/1*eaAAvHqsVQ9zQ4lJA4xS_A.png" /></figure><pre><em># plotar um heatmap a partir das correlações</em><br>sns<strong>.</strong>heatmap(corr, cmap<strong>=</strong>&#39;RdBu&#39;, fmt<strong>=</strong>&#39;.2f&#39;, square<strong>=True</strong>, linecolor<strong>=</strong>&#39;white&#39;, annot<strong>=True</strong>);</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/518/1*DBfbP9zm-h6mM-o4baIYcA.png" /></figure><p>Verificamos acima que o nível de correlação entre as variáveis, é praticamente nulo, em sua maioria.</p><h3>Q7. Qual o tipo de imóvel mais alugado no Airbnb?</h3><p>A variável room_type indica o tipo de locação que está anunciada no Airbnb. Existem opções de locação de apartamentos, casas inteiras, quarto individual e também quartos que podem ser compartilhados com outras pessoas.</p><p>Iremos contar a quantidade de ocorrências de cada tipo de aluguel, usando o método value_counts().</p><pre><em># mostrar a quantidade de cada tipo de imóvel disponível</em><br>print(df_clean<strong>.</strong>room_type<strong>.</strong>value_counts())<br>print(&#39;\n&#39;)<br>print(df_clean<strong>.</strong>room_type<strong>.</strong>value_counts() <strong>/</strong> df_clean<strong>.</strong>shape[0])<br><br>df_clean<strong>.</strong>room_type<strong>.</strong>value_counts()<strong>.</strong>plot<strong>.</strong>bar();</pre><pre>Entire home/apt    8991<br>Private room        989<br>Hotel room          136<br>Shared room          95<br>Name: room_type, dtype: int64<br><br><br>Entire home/apt    0.880521<br>Private room       0.096856<br>Hotel room         0.013319<br>Shared room        0.009304<br>Name: room_type, dtype: float64</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/520/1*vmw-rlgfduHN5GdTVvsNkQ.png" /></figure><pre><em># mostrar o valor médio por tipo de imóvel</em><br>df_clean<strong>.</strong>groupby([&#39;room_type&#39;])<strong>.</strong>price<strong>.</strong>mean()<strong>.</strong>sort_values(ascending<strong>=False</strong>)</pre><pre>room_type<br>Hotel room         126.742647<br>Shared room         74.094737<br>Entire home/apt     67.006562<br>Private room        64.684530<br>Name: price, dtype: float64</pre><p>Através da análise acima, verificamos que o tipo de locação do airbnb em Atenas com mais disponibilidade são as opções de locação de quarto e apartamento inteiro, representando 88% do total. Quarto privativo representa 9% das disponibilidades, e quarto de hotel e quarto compartilhado representam juntos pouco mais de 2%.</p><p>Ao analisarmos a média de preço por tipo de locação, verificamos que os quartos de hotel apresentam os maiores valores, com uma média de 126 euros. Os demais tipos apresentam, juntos, uma média de aproximadamente 68 euros, aproximadamente metade do valor médio dos quartos de hotel.</p><h3>Q8.Qual influência do preço na posição geográfica</h3><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/e690c858f6bedefad59720bc54e2ce9c/href">https://medium.com/media/e690c858f6bedefad59720bc54e2ce9c/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/886/1*yJTvaXJ4YuZiu-liDyoEdw.png" /></figure><ul><li>Há uma concentração maior de acomodações com valor médio entre 100 e 500 euros perto dos principais pontos da cidade. Isso faz sentido, pois essa é uma região turística, próxima da Acrópole e de outras regiões antigas, como o Templo de Zeus e a Ágora. Além disso tabém está próximo das regiões de Plaka, um dos bairros centrais mais conhecidos da cidade, e a região de Kolonaki, uma das mais sofisticadas de Atenas.</li><li>No entanto, podemos notar que o número de acomodações abaixo de 100 euros também é grande nessas mesmas regiões, pois apresentam mais representidavidade do total disponível para locação.</li><li>Nas regiões mais afastadas do centro de Atenas, a predominância é de locações abaixo de 50 euros.</li></ul><h3>Conclusões</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/302/1*heBSTws167Ww2iu5pD8ECg.png" /></figure><p>Foi feita apenas uma análise superficial na base de dados do Airbnb, porém já se percebeu que existem <em>outliers</em> em algumas das variáveis.</p><p>Notamos que maioria dos locais com preço entre 100 e 500 euros, preços mais elevados, estão situados próximos a pontos importantes da cidade. Portanto, embora o número de locações abaixo de 100 euros também seja bastante elevado nessas mesmas regiões, esses dados sugerem que o preço é influenciado pela posição geográfica. Evidentemente outros critérios são considerados, como tipo da locação, e luxo do local, mas o a posição é um fator importante que justifica esses preços.</p><p>Também notamos que nas regiões mais afastados dos principais pontos de Atenas a predominância é de locações abaixo de 50 euros.</p><p>O tipo de locação com maior valor médio apresentado são quartos de hotel, com média de 126 euros, praticamente o dobro do valor dos demais tipos de locação.</p><p>Por fim, lembra-se que este <em>dataset</em> é uma versão resumida, ideal apenas para uma abordagem inicial. Recomenda-se que seja usado, em uma próxima análise exploratória, o conjunto de dados completos, com 106 atributos disponíveis.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=bc4b08a11bcd" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>