<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Thiago de Queiroz Osorio on Medium]]></title>
        <description><![CDATA[Stories by Thiago de Queiroz Osorio on Medium]]></description>
        <link>https://medium.com/@thiago.q.osorio?source=rss-3e0794cc22bc------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*oxeLGa1b1u8fTVWXPPhftg.jpeg</url>
            <title>Stories by Thiago de Queiroz Osorio on Medium</title>
            <link>https://medium.com/@thiago.q.osorio?source=rss-3e0794cc22bc------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 02:13:12 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@thiago.q.osorio/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Lidando com Outliers no Scikit-Learn]]></title>
            <link>https://medium.com/@thiago.q.osorio/lidando-com-outliers-no-scikit-learn-a85fe16c8111?source=rss-3e0794cc22bc------2</link>
            <guid isPermaLink="false">https://medium.com/p/a85fe16c8111</guid>
            <category><![CDATA[scikit-learn]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Thiago de Queiroz Osorio]]></dc:creator>
            <pubDate>Sun, 04 Jun 2023 21:10:57 GMT</pubDate>
            <atom:updated>2023-06-04T21:16:24.253Z</atom:updated>
            <content:encoded><![CDATA[<p>Trabalhar com Outliers nem sempre é uma tarefa fácil, nesse post vou trazer um overview sobre o que são e como tratá-los utilizando um pipeline do Scikit-Learn</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*6z_h1V16Ns8mRCwA" /><figcaption>Photo by <a href="https://unsplash.com/@cdr6934?utm_source=medium&amp;utm_medium=referral">Chris Ried</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><h3>Introdução</h3><p>Primeiramente, precisamos definir o que é um outlier. De forma resumida, um outlier é um valor atípico ou incomum em um conjunto de dados e pode ocorrer por várias razões, como erros de medição, entrada de dados incorreta, falhas no equipamento de coleta de dados ou eventos raros que podem ocorrem.</p><p>Os outliers podem impactar negativamente nossos modelos de Machine Learning da seguinte forma:</p><ul><li><strong>Influenciar os parâmetros do modelo</strong>: pois podem distorcer o processo de ajuste;</li><li><strong>Reduzir a generalização</strong>: um modelo treinado com outliers pode ter dificuldade em generalizar para novos dados que não possuem esses valores extremos;</li><li><strong>Impactar métricas de desempenho</strong>: pois podem distorcer as métricas de desempenho usadas para avaliar o modelo;</li><li><strong>Sensibilidade a ruídos</strong>: pois podem influenciar na formação dos grupos ou na definição das fronteiras de decisão, levando a resultados indesejados (especificamente com SVM ou K-Means, por exemplo).</li></ul><p>Então, para mitigar todos esses impactos negativos, precisamos detectar esse outliers e tratá-los. Mas como? Antes de tratar um outlier, precisamos detectá-lo.</p><h3>Detecção de Outliers</h3><p>A detecção de um outlier pode ser feita de várias forma e existem até mesmo algoritmos para realizar esse trabalho. Para simplificar vou falar somente de uma técnica, que utiliza o Intervalo Interquartil.</p><p>Quartis são medidas estatísticas que dividem um <strong>conjunto de dados ordenados</strong> em partes iguais. Eles fornecem informações sobre a distribuição dos dados e ajudam a entender a dispersão dos valores.</p><p>Existem três quartis principais: primeiro quartil (Q1), segundo quartil (Q2) e terceiro quartil (Q3).</p><ol><li><strong>Primeiro quartil (Q1)</strong>: É o valor que divide os dados em 25% dos valores inferiores. Em outras palavras, 25% dos dados estão abaixo do primeiro quartil;</li><li><strong>Segundo quartil (Q2)</strong>: Também conhecido como mediana, é o valor que divide os dados em duas partes iguais, com 50% dos dados abaixo dele. É o valor central do conjunto de dados ordenado em ordem crescente;</li><li><strong>Terceiro quartil (Q3)</strong>: É o valor que divide os dados em 75% dos valores inferiores. 75% dos dados estão abaixo do terceiro quartil.</li></ol><p>O <strong>Intervalo Interquartil (IQR)</strong> é a diferença entre o terceiro quartil e o primeiro quartil <strong>(IQR = Q3 - Q1)</strong>.</p><p>Com o IQR em mãos, podemos facilmente calcular o limite inferior e superior de detecção de outliers.</p><pre>Limite_Inferior = Q1 - 1.5 * IQR<br>Limite_Superior = Q3 + 1.5 * IQR</pre><p>Assim, todos os valores que estão abaixo no limite inferior ou acima do limite superior são outliers. Agora que já sabemos quem são nossos outliers, precisamos tratá-los.</p><h3>Tratamento de Outliers</h3><p>Pra simplificar, vou falar somente sobre duas formas de tratá-los, mas lembre-se que existem várias.</p><ol><li><strong>Remoção dos outliers</strong>: Consiste em remover os outliers do conjunto de dados;</li><li><strong>Substituição dos outliers</strong>: Podemos também substituir os outliers por medidas estatísticas do nosso conjunto de dados, como por exemplo média ou mediana.</li></ol><p>Agora que já dei uma visão geral sobre o que são outliers, como detectar e tratá-los, podemos falar sobre como criar uma forma de dectar e tratar os outliers utilizando um pipeline do Scikit-Learn.</p><h3>Scikit-Learn Pipeline</h3><p>O objetivo desse post não é falar sobre pipelines do sklearn em si, mas sim sobre como utilizá-los para fazer um tratamento de outliers, então caso ainda não conheça, recomendo que leia esse post <a href="https://towardsdatascience.com/a-basic-introduction-to-pipelines-in-scikit-learn-bd4cee34ad95">aqui</a>.</p><p>O Scikit-Learn fornece vários módulos para tratamento e pré-processamento dos dados, no entanto ele fica devendo em somente um quesito: tratamento de outliers. Hoje, no momento que escrevo este post, não existe nenhuma forma de tratar outliers (existem várias formas de detecção, mas tratamento não).</p><p>Então bora colocar a mão na massa e criar nosso próprio método de detecção e tratamento de outlier para utilizá-lo no sklearn.</p><h4>Primeiro Passo: Criação da Classe de Detecção e Tratamento de Outlier</h4><p>A primeira coisa que precisamos fazer é criar a classe que fará a detecção e o tratamento dos outliers no nosso pipeline. Dá uma olhada no código abaixo</p><pre>class OutlierDetector(OneToOneFeatureMixin, TransformerMixin, BaseEstimator):<br>    def __init__(self, threshold=1.5):<br>        self.threshold = threshold<br>        self.median_values = None<br><br>    def fit(self, X, y=None):<br>        q1 = np.percentile(X, 25, axis=0)<br>        q3 = np.percentile(X, 75, axis=0)<br>        <br>        iqr = q3 - q1<br><br>        self.lower_bound = q1 - self.threshold * iqr<br>        self.upper_bound = q3 + self.threshold * iqr<br><br>        self.median_values = np.median(X, axis=0)<br><br>        return self<br><br>    def transform(self, X):<br>        X_outliers_removed = np.where((X &lt; self.lower_bound) | (X &gt; self.upper_bound), self.median_values, X)<br>        return X_outliers_removed</pre><h4>Segundo Passo: Criação do Pipeline</h4><p>Agora, vamos criar um pipeline que será responsável por fazer o pré-processamento dos dados (utilizando uma etapa para tratar outliers e outra para tratar missing).</p><pre>from sklearn.compose import ColumnTransformer<br>from sklearn.impute import SimpleImputer<br>from sklearn.pipeline import Pipeline<br><br>numeric_columns = [&quot;a&quot;, &quot;b&quot;, &quot;c&quot;]<br><br>missing = ColumnTransformer(<br>    transformers=[<br>        (&#39;missing&#39;, SimpleImputer(strategy=&#39;median&#39;), numeric_columns)<br>        ],<br>    remainder=&#39;passthrough&#39;,<br>    verbose_feature_names_out=False<br>)<br>missing.set_output(transform=&#39;pandas&#39;)<br><br><br>outlier = ColumnTransformer(<br>    transformers=[<br>        (&#39;outliers&#39;, OutlierDetector(), numeric_columns)<br>        ],<br>    remainder=&#39;passthrough&#39;,<br>    verbose_feature_names_out=False<br>)<br>outlier.set_output(transform=&#39;pandas&#39;)<br><br><br>preprocessor = Pipeline(steps=[<br>    (&#39;missing&#39;, missing),<br>    (&#39;outlier&#39;, outlier)<br>])</pre><p>Algumas considerações importantes:</p><ol><li>No SimpleImputer estamos substituindo os nulos (NaN&#39;s) pela mediana;</li><li>No OutlierDetector estamos substituindo os outliers pela mediana também;</li><li>As colunas que vamos tratar são as colunas &quot;a&quot;, &quot;b&quot; e &quot;c&quot;, você pode alterar para as suas colunas que contenham missings e outliers;</li><li>O passo após a criação do ColumnTransformer (set_output) é extremamente importante, pois nele configuramos que a saída após a transformação será um Pandas DataFrame o que faz com que o nome das colunas seja mantido.</li></ol><h4>Terceiro Passo: Utilização do Pipeline</h4><p>Vou gerar uma base aleatória somente pra mostrar a utilização, então dá uma olhada</p><pre>import numpy as np<br>import pandas as pd<br>from sklearn.datasets import make_classification<br><br>X, y = make_classification(<br>    n_samples=1000,<br>    n_features=10,<br>    n_informative=5,<br>    n_redundant=2,<br>    n_classes=2,<br>    random_state=42<br>)<br>X = pd.DataFrame(X, columns=[&#39;a&#39;, &#39;b&#39;, &#39;c&#39;, &#39;d&#39;,&#39;e&#39;,&#39;f&#39;, &#39;g&#39;, &#39;h&#39;, &#39;i&#39;, &#39;j&#39;])<br>X</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BNqmvc1YTMF5odWhEHhndA.png" /></figure><p>Agora, vamos inserir uns valores nulos e alguns outliers</p><pre>indexes = np.arange(1,1000,4)<br>outliers = np.arange(10,10000,40)<br><br>X.iloc[indexes, 0:2] = np.NaN<br>X.iloc[indexes, 2] = outliers<br>X</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dcQbP_wjn1naEfO-grzUZg.png" /></figure><p>Pra tratar esses nulos e outliers é muito simples, vamos usar o pipeline que criamos</p><pre>X_transformed = preprocessor.fit_transform(X)<br>X_transformed</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ZaHIiXlMozut_deMYFEPng.png" /></figure><p>Pronto, agora temos uma base de dados tratada, sem valores nulos e sem outliers :D</p><p>O código completo você pode encontrar <a href="https://github.com/thiago-osorio/tutorials/blob/main/OutliersDetection.ipynb">aqui</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a85fe16c8111" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Prophet — Time Series Forecasting]]></title>
            <link>https://medium.com/@thiago.q.osorio/prophet-time-series-forecasting-ee9e49e6180e?source=rss-3e0794cc22bc------2</link>
            <guid isPermaLink="false">https://medium.com/p/ee9e49e6180e</guid>
            <category><![CDATA[prophet]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[time-series-forecasting]]></category>
            <category><![CDATA[python]]></category>
            <dc:creator><![CDATA[Thiago de Queiroz Osorio]]></dc:creator>
            <pubDate>Wed, 20 Jul 2022 14:58:06 GMT</pubDate>
            <atom:updated>2022-07-20T15:29:46.505Z</atom:updated>
            <content:encoded><![CDATA[<h3>Prophet — Time Series Forecasting</h3><h4>Ao longo desta semana, refleti sobre o meu TCC e resolvi refazê-lo utilizando uma abordagem de Machine Learning com o algoritmo Prophet do Facebook</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*op4HUmRNMpGDJqcq" /><figcaption>Photo by <a href="https://unsplash.com/es/@brett_jordan?utm_source=medium&amp;utm_medium=referral">Brett Jordan</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><h3>Contexto</h3><p>Primeiramente, preciso contextualizar sobre o que foi o meu TCC, quais foram os resultados e também porque essa ideia maluca de refazer tudo.</p><p>Durante a faculdade de Engenharia de Produção eu tive uma disciplina chamada Planejamento e Controle da Produção (PCP pros mais íntimos), ao longo dessa cadeira, tive contato com alguns métodos de previsão de demanda onde o objetivo era ajustar um modelo matemático a uma série temporal (se você pensou na regressão linear, sim, ela é um método de previsão de demanda).</p><blockquote>Beleza, Thiago, mas o que é uma série temporal? Em poucas palavras, são registros de um fenômeno através do tempo. Uma série temporal é composta por uma coluna com o tempo (onde o tempo é uma marca temporal e representa uma marcação do momento no tempo em que o evento foi registrado) e uma coluna com o valor do evento (que representa o valor que o fenômeno teve nesse determinado momento).</blockquote><blockquote>Elas podem ser mais complexas que isso? Claro que podem, mas esse é o caso mais simples de uma série temporal e ilustra bem o que quero explicar.</blockquote><p>Então, durante essa aulas de PCP eu tive um insight, poderia realizar um trabalho de prever as assinaturas de uma plataforma SaaS (na época eu trabalhava em um SaaS) utilizando um método de previsão de demanda. Assim surgiu o meu TCC.</p><p>Nessa época, eu ainda não conhecia sobre Data Science e muito menos programava em Python, então utilizei uma ferramenta simples e de fácil acesso pra todos, o Excel. No Excel eu apliquei 4 métodos de previsão: Média Móvel (muito famosa nos telejornais quando se fala sobre a COVID); Alisamento Exponencial Simples; Alisamento Exponencial de Holt; Alisamento Exponencial de Holt-Winters.</p><p>O foco aqui não é falar sobre cada um dos métodos, mas sim o resultado que eles deram. Pra falar de resultados, precisamos falar de métrica, vou falar de somente uma para tornar o entendimento mais fácil e também não me alongar muito.</p><p>A métrica que vou falar aqui é o <em>mean absolute percentage error</em> (MAPE) que é a média dos erros absolutos percentuais. Em outras palavras, o MAPE indica o tamanho médio do erro em termos percentuais. Ou seja, quanto menor o MAPE, melhor!</p><p>Beleza, agora eu posso dizer quais foram os resultados utilizando o Excel.</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fairtable.com%2Fembed%2FshrK7EN6dXTfKxY7t&amp;display_name=Airtable&amp;url=https%3A%2F%2Fairtable.com%2FshrK7EN6dXTfKxY7t&amp;image=https%3A%2F%2Fstatic.airtable.com%2Fimages%2Foembed%2Fairtable.png&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=airtable" width="800" height="533" frameborder="0" scrolling="no"><a href="https://medium.com/media/ddb83feff40a877999889f6285ba3772/href">https://medium.com/media/ddb83feff40a877999889f6285ba3772/href</a></iframe><p>Agora entra o ponto onde eu queria chegar. E se a gente utilizar o algoritmo Prophet? Conseguiríamos ter um resultado melhor? É isso que abordarei neste artigo.</p><h3>Prophet</h3><p>Primeiro de tudo, nem todos conhecem esse algoritmo, então o que é o Prophet?</p><p>Prophet é uma biblioteca de código aberto disponível em R ou Python lançada em 2017 que nos ajuda a analisar e prever valores de séries temporais. Pelos esforços do time de desenvolvedores do Facebook, é possível se fazer a análise de dados de séries temporais sem trabalhos de especialistas, além disso é altamente amigável e personalizável, mesmo para usuários não especialistas.</p><p>Neste artigo, vou focar nos resultados e não nos métodos. Caso esteja curioso e queira ver o código completo, ele pode ser encontrado <a href="https://github.com/thiago-osorio/prophet/blob/master/prophet.ipynb">aqui</a>.</p><h4>Resultados</h4><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fairtable.com%2Fembed%2FshrEC1to1QyuE9fEd&amp;display_name=Airtable&amp;url=https%3A%2F%2Fairtable.com%2FshrEC1to1QyuE9fEd&amp;image=https%3A%2F%2Fstatic.airtable.com%2Fimages%2Foembed%2Fairtable.png&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=airtable" width="800" height="533" frameborder="0" scrolling="no"><a href="https://medium.com/media/3937f91b1c62fe218b05f236f210e890/href">https://medium.com/media/3937f91b1c62fe218b05f236f210e890/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aG_IeSoTIhLjZqgSZ5MvEQ.png" /><figcaption>Gráfico comparativo entre a série temporal real e a prevista pelo Prophet</figcaption></figure><p>Ou seja, o Prophet apresentou um resultado superior ao encontrado no Excel. No entanto, esses 2% de melhora compensam o tempo? Tudo bem que no Excel precisamos montar a planilha, porém para encontrarmos os Hiperparâmetros do Prophet (parâmetros que otimizam nossos resultados) foram necessário 44 minutos de processamento de código e caso quiséssemos ir além eu não me assustaria se levasse mais de 2 horas.</p><p>Esse é um trade-off importante que depende do contexto de negócio. Seu time tem pessoas que sabem programar em Python e tem tempo suficiente pra encontrar os melhores parâmetros pro modelo? Manda bala no <strong>Prophet</strong>. Caso a resposta seja negativa, então o <strong>Excel </strong>pode ser o melhor caminho.</p><p><strong>Notebook Completo:</strong> <a href="https://github.com/thiago-osorio/prophet/blob/master/prophet.ipynb">https://github.com/thiago-osorio/prophet/blob/master/prophet.ipynb</a></p><h4>PS1</h4><p>Os mais curiosos podem estar se perguntando: “E se fizéssemos o Holt-Winters (melhor modelo do Excel) no Python?”</p><p>Não vou deixá-los com essa curiosidade, então o código abaixo faz exatamente isso.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/3ee368d57d30e9e896b283ab6a4251de/href">https://medium.com/media/3ee368d57d30e9e896b283ab6a4251de/href</a></iframe><p>Note que ainda assim o Prophet foi melhor. O Holt-Winters no Python foi ligeiramente pior que no Excel, poderíamos fazer um tunning para melhorar os resultados, porém esse não era o objetivo.</p><h4>PS2</h4><p>Não fiz nenhum tratamento nessa série temporal pois eu já sabia que ela não possui outliers. Também já havia feitos todas as análises estatísticas durante meu TCC :D</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ee9e49e6180e" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Metodologias Ágeis #1 - Scrum]]></title>
            <link>https://medium.com/@thiago.q.osorio/metodologias-%C3%A1geis-1-scrum-57ba157f5984?source=rss-3e0794cc22bc------2</link>
            <guid isPermaLink="false">https://medium.com/p/57ba157f5984</guid>
            <category><![CDATA[agile-development]]></category>
            <category><![CDATA[métodos-ágeis]]></category>
            <category><![CDATA[scrum]]></category>
            <category><![CDATA[agile]]></category>
            <category><![CDATA[agile-methodology]]></category>
            <dc:creator><![CDATA[Thiago de Queiroz Osorio]]></dc:creator>
            <pubDate>Wed, 25 May 2022 21:36:32 GMT</pubDate>
            <atom:updated>2022-05-25T21:36:32.467Z</atom:updated>
            <content:encoded><![CDATA[<p>O SCRUM é um framework de trabalho que foi criado por Jeff Sutherland, um dos criadores do Manifesto Ágil.</p><p>Jeff escreveu o Scrum Guide e, depois, um livro chamado Scrum: A arte de fazer o dobro do trabalho na metade do tempo, responsável por popularizar o tema. No livro ele mostra como concebeu a metodologia enquanto trabalhava no FBI.</p><p>O Scrum foi concebido para o desenvolvimento de produtos complexos por funcionar muito bem com times multidisciplinares. Porém, essa forma de trabalho se provou muito eficaz quando aplicada a times de outras áreas, tornando-os mais Ágeis.</p><p>A palavra Scrum tem origem no Rugby e refere-se ao método de reinício de uma jogada, logo após uma penalização.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*9jHLUe2TAQzJoDQu" /><figcaption>Photo by <a href="https://unsplash.com/@epicantus?utm_source=medium&amp;utm_medium=referral">Daria Nepriakhina 🇺🇦</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><h3>Pilares do Scrum</h3><h4>Transparência</h4><p>O processo precisa ser visível para todos (sejam os integrantes do time, como também o cliente). Os artefatos do Scrum ajudam a gerar transparência para todos.</p><h4>Inspeção</h4><p>É preciso verificar constantemente o progresso e gerar aprendizados de processo de maneira diligente. As rotinas do Scrum ajudam a gerar uma inspeção diária.</p><h4>Adaptação</h4><p>O processo precisa se adaptar para gerar o output e o valor esperado. As adaptações precisam ser feitas o quanto antes para evitar maiores desvios de rota.</p><h4>Valores do Scrum</h4><ul><li>Comprometimento</li><li>Foco</li><li>Abertura</li><li>Respeito</li><li>Coragem</li></ul><h3>Scrum Framework</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/628/1*ILkwVHV_dZ_O0zuK6i-F3w.png" /></figure><h3>Papéis no Scrum</h3><h4>Cliente</h4><p>O cliente pode ser realmente o cliente final do seu negócio, pode ser alguma outra área (cliente interno), ou pode ser a pessoa que irá receber o valor do seu projeto. A cada ciclo (sprint), é esperado que haja entrega de valor para o cliente do time. Uma entrega de valor pode ser uma funcionalidade do produto, uma decisão importante para o projeto ou alguma análise parcial. Os ciclos do scrum precisam sempre contar com o feedback do cliente para que seja feito o ajuste do backlog e das prioridades para o próximo ciclo (sprint).</p><ul><li>Puxa a demanda</li><li>Define requisitos</li><li>É estudado para que tenha suas necessidades identificadas</li></ul><h4>Product Owner</h4><p>É responsável por trazer a visão do cliente para as metas, objetivos e entregas priorizadas para as sprints. Em muitas equipes que operam com scrum, o product owner acaba se tornando um líder situacional em muitas tomadas de decisão do time ou do projeto.</p><ul><li>Define a visão do produto</li><li>Cria o backlog</li><li>Define as prioridades</li><li>Se comunica com os Stakeholders (partes interessadas)</li></ul><h4>Scrum Master</h4><p>É responsável pelo método, por garantir que as rotinas aconteçam e fluam e ajuda o time a tirar impeditivos que estejam travando o alcance dos objetivos e a execução. O papel do scrum master pode ser assumido por uma figura externa e um profissional certificado, mas para começar, também pode ser absorvido por algum membro do time.</p><ul><li>Facilita os processos e rotinas do SCRUM</li><li>Remove impedimentos</li><li>Garante habilidades e recursos para o time</li></ul><h4>Time</h4><p>O time possui um cliente e um objetivo em comum, de forma que as rotinas e seu trabalho seja coerente e sinérgico. O time é responsável por se organizar na execução das tarefas, distribuí-las entre si conforme as suas competências e habilidades, de forma que todo o time seja mais produtivo.</p><ul><li>Define o tamanho do trabalho</li><li>Executa o trabalho</li><li>Reporta impedimentos</li><li>Entrega os requisitos</li></ul><h3>Projetos, Histórias e Tarefas</h3><h4>Projetos</h4><p>Também conhecidos como Épicos. Grandes entregas de valor, compostas por um conjunto de funcionalidades que, sozinhas, não geram valor.</p><h4>Histórias</h4><p>Também conhecido com User Story ou Histórias de Usuários. São funcionalidades que podem ser definidas pelo usuário em uma frase.</p><h4>Tarefas</h4><p>As atividades que precisam ser feitas para que uma História seja concluída</p><h4>Exemplo — iFood</h4><ul><li><strong>Fornecer cupons de desconto</strong></li><li>Eu, como usuário, gostaria de ser notificado sobre descontos nos meus restaurantes favoritos</li><li>Identificar restaurantes que o usuário pede com maior frequência</li><li>Disparar notificação quando um restaurante ativar um desconto</li><li>Eu, como usuário, gostaria de aplicar cupons de desconto ao fazer um pedido</li><li>Mostrar o cupom disponível no carrinho</li><li>Criar um botão de Aplicar Cupom</li><li>Exibir o valor com desconto do cupom</li></ul><h3>Priorização</h3><p>Matriz <strong>PIF</strong> de Priorização</p><h4>P → Probabilidade</h4><p>Qual a chance disso dar certo?</p><p>1 = Nenhuma</p><p>5 = Certeza!</p><h4>I → Impacto</h4><p>Se este elemento der certo, o quanto ele impacta no resultado?</p><p>1 = Não muda muita coisa</p><p>5 = Vai fazer uma grande diferença</p><h4>F → Facilidade</h4><p>O quanto de esforço/tempo eu vou precisar?</p><p>1 = Bastante esforço</p><p>5 = Vai ser moleza!</p><h3>Princípio de Pareto</h3><p><strong>20% do esforço que gera 80% do resultado!</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/793/1*Iz6_6pHhy_KSarAs7TcTWw.jpeg" /></figure><h3>Estimativa de Tempo</h3><p>O Ser Humano é, por natureza, péssimo em estimar o tempo que é necessário investir em uma tarefa. Para tornar isso mais fácil, podemos usar associações e definir escalas</p><h4>Planning Poker</h4><p>O Planning Poker pode ser usado para estimativa de tempo ou esforço de uma tarefa. Ele tem o intuito de tirar o viés de grupo da estimativa</p><ol><li>Cada membro do time fica com um baralho durante a Planning.</li><li>A cada estimativa, os membros de time apresentam a carta que representa a sua estimativa para aquela tarefa</li><li>À partir da percepção de todos, o time toma a decisão da estimativa que vai para a Planning</li></ol><h3>Detalhamento das Rotinas</h3><h4>Backlog</h4><p>Um backlog estratégico é composto por histórias que são alimentadas e organizadas de acordo com:</p><ul><li>O plano da área/companhia</li><li>As métricas que precisam ser alcançadas</li><li>Hipóteses de melhoria de performance do Plano, Métricas e Hipóteses.</li></ul><p><strong><em>Quando </em>→</strong> Ao definir as necessidades do cliente. Deve ser sempre atualizado.</p><p><strong><em>Duração </em>→</strong> É vivo e recebe novos itens durante todo o ciclo de vida do produto.</p><p><strong><em>Participantes </em>→</strong> O responsável é o Product Owner.</p><p><strong><em>Objetivo </em>→</strong> Organizar e priorizar todos os Épicos, Histórias e Tarefas do produto</p><p><strong>Pré-work →</strong> Entrevistas, Pesquisas e Descoberta com o cliente.</p><h4>Sprint Planning</h4><p>Para fazer uma boa Planning:</p><ul><li>Defina o(s) tema(s) do Sprint</li><li>Fixe uma meta(s) (de resultado!)</li><li>Escolha as tarefas priorizadas (backlog)</li><li>Dimensione o esforço (planning poker)</li><li>Faça o time se comprometer</li><li>Planeje imprevistos</li><li>Documente o seu plano</li><li>#partiu!</li></ul><p><strong><em>Quando </em>→</strong> Início de uma Sprint</p><p><strong><em>Duração </em>→</strong> De 1h a 2h</p><p><strong><em>Participantes</em> →</strong> Product Owner, Scrum Master e Time</p><p><strong><em>Objetivo </em>→</strong> Tem o objetivo de definir quais metas e tarefas que estão no Product Backlog que serão executadas na próxima sprint e alimentar o Sprint Backlog.</p><p><strong><em>Pré-work</em> →</strong> Atualizar o Backlog</p><h4>Daily</h4><p>Em uma Daily, cada membro do time deve responder a3 perguntas:</p><ul><li>O que eu fiz ontem pra atingirmos a meta?</li><li>O que eu vou fazer hoje pra atingirmos a meta?</li><li>Existe algum impeditivo?</li></ul><p><strong><em>Quando </em>→</strong> Todos os dias da Sprint</p><p><strong><em>Duração </em>→</strong> 15min</p><p><strong><em>Participantes </em>→</strong> Scrum Master e Time</p><p><strong><em>Objetivo </em>→</strong> Alinhamento geral respondendo as 3 perguntas</p><p><strong><em>Pré-work </em>→</strong> Atualizar a Sprint</p><h4>Sprint Review</h4><p>Para fazer uma boa Review:</p><ul><li>Data first! Analise o resultado;</li><li>Analise as tarefas e entregas da Sprint ;</li><li>Compare com o que foi planejado e prometido;</li><li>Encontre problemas e causas;</li><li>Leve em consideração incêndios e imprevistos;</li><li>Aprenda e documente!</li></ul><p><strong><em>Quando </em>→</strong> Ao final da Sprint</p><p><strong><em>Duração </em>→</strong> De 1h a 2h</p><p><strong><em>Participantes </em>→</strong> Product Owner, Scrum Master e Time</p><p><strong><em>Objetivo </em>→</strong> Apresentar o resultado do trabalho da Sprint e obter aprovação do Product Owner.</p><p><strong><em>Pré-work</em> →</strong> Atualizar a Sprint e preparar uma apresentação funcional</p><h4>Sprint Retro</h4><p>Na Sprint Retro o time pode combinar ações comportamentais que precisam:</p><ul><li>Começar a fazer</li><li>Parar de fazer</li><li>Fazer com mais frequência</li><li>Fazer menos frequência</li><li>Continuar fazendo</li></ul><p><strong><em>Quando </em>→</strong> Ao final da Sprint</p><p><strong><em>Duração </em>→</strong> De 1h a 2h</p><p><strong><em>Participantes </em>→</strong> Product Owner, Scrum Master e Time</p><p><strong><em>Objetivo </em>→</strong> Discutir sobre como foi o processo daquela Sprint e como melhorar</p><p><strong><em>Pré-work </em>→</strong> Avaliação de cada membro do time sobre como foi o desempenho individual e coletivo na Sprint</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=57ba157f5984" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Exploratory Data Analysis #1 - Censo da Educação Superior 2020]]></title>
            <link>https://medium.com/@thiago.q.osorio/exploratory-data-analysis-1-censo-da-educa%C3%A7%C3%A3o-superior-2020-fec79bbc00f5?source=rss-3e0794cc22bc------2</link>
            <guid isPermaLink="false">https://medium.com/p/fec79bbc00f5</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[statistics]]></category>
            <category><![CDATA[exploratory-data-analysis]]></category>
            <category><![CDATA[eda]]></category>
            <category><![CDATA[data-scientist]]></category>
            <dc:creator><![CDATA[Thiago de Queiroz Osorio]]></dc:creator>
            <pubDate>Thu, 12 May 2022 21:41:02 GMT</pubDate>
            <atom:updated>2022-05-12T21:58:54.047Z</atom:updated>
            <content:encoded><![CDATA[<h4>EDA utilizando os dados do INEP relacionados ao Ensino Superior no Brasil no ano de 2020</h4><p><strong>O que é o Censo Superior?</strong></p><p>O Censo da Educação Superior, realizado anualmente pelo Inep, é o instrumento de pesquisa mais completo do Brasil sobre as instituições de educação superior (IES) que ofertam cursos de graduação e sequencias de formação específica, além de seus alunos e docentes.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*dr8UVD103U2ur24Y" /><figcaption>Photo by <a href="https://unsplash.com/@mattragland?utm_source=medium&amp;utm_medium=referral">Matt Ragland</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p>Após um desafio no curso de Data Science, me inspirei em fazer uma análise completa dos dados do Censo.</p><h3>Data Questions</h3><p>Meu objetivo é coletar os dados do Censo da Educação Superior no Brasil em 2020 e responder as seguintes perguntas:</p><ol><li>Quantas IES e alunos matriculados no ensino superior existem no país?</li><li>Como é a distribuição de Universidades nas regiões do Brasil? Existe alguma diferença na distribuição entre Universidades Públicas e Universidades Privadas?</li><li>Qual é a proporção de vagas ocupadas por tipo de Universidade?</li><li>Como é a distribuição de matrículas de acordo com a modalidade (Presencial e EAD)?</li><li>Como é a distribuição das características dos alunos (sexo, cor, idade, nacionalidade, etc) nos cursos de graduação?</li></ol><h3>Exploratory Data Analysis</h3><p>Primeiro, mas não menos importante, precisamos dos dados (que podem ser baixados <a href="https://www.gov.br/inep/pt-br/areas-de-atuacao/pesquisas-estatisticas-e-indicadores/censo-da-educacao-superior/resultados">aqui</a>). Pra ler os dados, utilizarei e biblioteca <a href="https://pandas.pydata.org/pandas-docs/stable/">Pandas</a>.</p><pre>import pandas as pd</pre><pre>df_ies = pd.read_csv(&#39;Dados/MICRODADOS_CADASTRO_IES_2020.CSV&#39;, encoding=&#39;ISO-8859-15&#39;, sep = &#39;;&#39;)</pre><pre>df_cursos = pd.read_csv(&#39;Dados/MICRODADOS_CADASTRO_CURSOS_2020.CSV&#39;, encoding=&#39;ISO-8859-15&#39;, sep = &#39;;&#39;)</pre><p>Esses dois DataFrames possuem centenas de colunas, ou seja, são MUITAS features. Para cada pergunta que queremos responder, criarei uma cópia desses DataFrames utilizando somente as features importantes para a pergunta e fazendo os merges (JOIN pra quem está mais familiarizado com SQL) necessários.</p><h4>Quantas IES e alunos matriculados no ensino superior existem no país?</h4><p><strong>Quantas IES existem no país?</strong></p><p>Conforme mencionando, fazendo uma cópia do DataFrame das IES e utilizando somente duas features, temos facilmente a resposta da primeira pergunta:</p><pre>df_1_ies = df_ies.copy()[[&#39;CO_IES&#39;, &#39;SG_IES&#39;]]</pre><pre>df_1_ies</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/336/1*jzUAaRyOzjKXfSLrB_Ozlw.png" /></figure><pre>ies = df_1_ies[&#39;CO_IES&#39;].nunique()</pre><pre>print(f&#39;No Brasil existem {ies} Instituicoes de Ensino Superior (IES)&#39;)</pre><pre>&gt;&gt;&gt; No Brasil existem 2457 Instituicoes de Ensino Superior (IES)</pre><p><strong>Quantos alunos matriculados no ensino superior existem no país?</strong></p><p>Fazendo uma cópia do DataFrame dos cursos (que é onde temos as informações relativas a aulnos) e utilizando algumas features, conseguimos chegar na resposta:</p><pre>df_1_cursos = df_cursos.copy()[[&#39;CO_IES&#39;, &#39;NO_UF&#39;, &#39;NO_REGIAO&#39;, &#39;TP_CATEGORIA_ADMINISTRATIVA&#39;, &#39;TP_MODALIDADE_ENSINO&#39;, &#39;QT_MAT&#39;]]</pre><pre>df_1_cursos</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/764/1*N0D1RwzdDIMj50oWYjQfnw.png" /></figure><pre>alunos = df_1_cursos[&#39;QT_MAT&#39;].sum()</pre><pre>print(f&#39;No Brasil existem {alunos} alunos matriculados em algum curso de IES&#39;)</pre><pre>&gt;&gt;&gt; No Brasil existem 8680945 alunos matriculados em algum curso de IES</pre><p><strong>Indo além:</strong></p><p>Indo um pouco mais além, podemos calcular a média de alunos por IES da seguinte forma</p><pre>print(f&#39;Com as informações apresentadas anteriormente, podemos concluir que a média de aluno por IES é de {int(alunos/ies)}&#39;)</pre><pre>&gt;&gt;&gt; Com as informações apresentadas anteriormente, podemos concluir que a média de aluno por IES é de 3533</pre><p>Além disso, se fizermos um merge com os dois DataFrames, conseguiremos ver a distribuição de alunos por IES, olha só:</p><pre>df_1 = df_1_cursos.merge(df_1_ies, how=&#39;left&#39;, left_on=&#39;CO_IES&#39;, right_on=&#39;CO_IES&#39;)</pre><pre>df_1</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/825/1*JyIZZs24tcPQtxOSKhJ9AQ.png" /></figure><p>Agora, agrupando as informações da quantidade de alunos por sigla de IES, temos o seguinte DataFrame:</p><pre>df_1_pivot = pd.pivot_table(data=df_1, values=&#39;QT_MAT&#39;, aggfunc=&#39;sum&#39;, columns=&#39;SG_IES&#39;).transpose()</pre><pre>df_1_pivot.sort_values(&#39;QT_MAT&#39;, ascending=False, inplace=True)</pre><pre>df_1_pivot.reset_index(inplace=True)</pre><pre>df_1_pivot</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/207/1*yel0kqfs7o8q8oP-UYw6eQ.png" /></figure><p>E plotando em um gráfico para visualizarmos melhor</p><pre>plt.figure(figsize=(20,10))</pre><pre>plt.bar(data = df_1_pivot[:10], x=&#39;SG_IES&#39;, height=&#39;QT_MAT&#39;)</pre><pre>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nOZt7WgNj-UOZb10P510nw.png" /></figure><p>Fica claro que, de longe, a maior IES do Brasil é a UNIP, seguida pela UNIASSELVI e pela Estácio (UNESA).</p><h4>Como é a distribuição de Universidades nas regiões do Brasil? Existe alguma diferença na distribuição entre Universidades Públicas e Universidades Privadas?</h4><p>Fazendo uma cópia do DataFrame de cursos e incluindo as colunas necessárias</p><pre>df_2_ies = df_ies.copy()[[&#39;NO_REGIAO_IES&#39;, &#39;SG_IES&#39;, &#39;TP_CATEGORIA_ADMINISTRATIVA&#39;]]</pre><pre>df_2_ies</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/443/1*hRwuqkb3FbGx6AcOrt1fgQ.png" /></figure><p>Note uma coisa, temos a categoria administrativa representada por um ID, mas o que esse ID significa?</p><p>Pelo dicionário dos dados fornecido pelo próprio INEP (quando baixar o arquivo dos resultados, existe uma pasta chamada &#39;Anexos&#39; e dentro desta pasta há um arquivo excel que contém o dicionário de dados), temos:</p><pre>1 = Pública Federal<br>2 = Pública Estadual<br>3 = Pública Municipal<br>4 = Privada com fins lucrativos<br>5 = Privada sem fins lucrativos<br>6 = Privada — Particular em sentido estrito<br>7 = Especial<br>8 = Privada comunitária<br>9 = Privada confessional</pre><p>Então, agora precisamos criar uma função para transformar esse ID em uma string do tipo &#39;PUBLICA&#39; ou &#39;PRIVADA&#39;.</p><pre>def get_admin_cat(id):</pre><pre>  if id &lt;= 3:</pre><pre>    return &#39;PUBLICA&#39;</pre><pre>  else:</pre><pre>    return &#39;PRIVADA&#39;</pre><p>E para aplicar no DataFrame</p><pre>df_2_ies[&#39;TP_CATEGORIA_ADMINISTRATIVA&#39;] = df_2_ies[&#39;TP_CATEGORIA_ADMINISTRATIVA&#39;].apply(get_admin_cat)</pre><pre>df_2_ies</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/444/1*vQpEOA8nS9rcc27UBb0uxQ.png" /></figure><p><strong>Distribuição de IES por Região</strong></p><p>Para ver a distribuição das IES por região, basta criarmos uma pivot table</p><pre>df_2_pivot_1 = pd.pivot_table(data=df_2_ies, values=&#39;SG_IES&#39;, aggfunc=&#39;count&#39;, columns=&#39;NO_REGIAO_IES&#39;).transpose()</pre><pre>df_2_pivot_1.reset_index(inplace=True)</pre><pre>df_2_pivot_1</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/193/1*qsWjMXtzr40C5oY7yD5MmA.png" /></figure><p>Note uma coisa importante, se somarmos os valores da coluna &#39;SG_IES&#39; temos 2.046 IES, lembra que havíamos chegado a conclusão de que existem 2.457? Então o que aconteceu?</p><p>A resposta é simples, existem IES que não possuem uma sigla, então se fizermos uma tabela que mostre os valores nulos para essa coluna, devemos ter aproximadamente 411 valores nulos (tomara).</p><pre>df_2_null = df_2_ies.loc[df_2_ies[&#39;SG_IES&#39;].isna()]</pre><pre>df_2_null</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/434/1*_qvVQzx5edJyZC01XFC7Ew.png" /></figure><p>Agora que já encontramos o &#39;gap&#39;, podemos construir um gráfico da distribuição de IES por região</p><pre>plt.figure(figsize=(20,10))</pre><pre>plt.bar(data=df_2_pivot_1, x=&#39;NO_REGIAO_IES&#39;, height=&#39;SG_IES&#39;)</pre><pre>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lXaEToBVf36dzxk_aZi0SQ.png" /></figure><p>Podemos ver que há uma concentração de IES na região sudeste, o que é um comportamento esperado, visto que, historicamente esses estados sempre possuiram um nível de desenvolvimento maior (historicamente pois foi nesta região onde haviam as plantações de café, fazendo com que esses estados recebessem maior investimento em infraestrutura e etc).</p><p>Algo um tanto quanto surpreendente é o Nordeste estar em segundo lugar na distribuição de IES, confesso que não esperava por isso, mas isso é um sinal positivo, sinal que outras regiões também estão começando a ter um protagonismo no cenário nacional da educação superior.</p><p><strong>Diferenças na distribuição entre Universidades Públicas e Universidades Privadas</strong></p><p>Como já temos o DataFrame pronto, basta fazermos uma nova pivot table incluindo a informação da categoria administrativa.</p><pre>df_2_pivot_2 = pd.pivot_table(data=df_2_ies, values=&#39;SG_IES&#39;, aggfunc=&#39;count&#39;, columns=[&#39;NO_REGIAO_IES&#39;, &#39;TP_CATEGORIA_ADMINISTRATIVA&#39;]).transpose()</pre><pre>df_2_pivot_2.reset_index(inplace=True)</pre><pre>df_2_pivot_2</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/420/1*JIZNHW-c3nujOOaVguqipQ.png" /></figure><p>Plotando em um gráfico</p><pre>import seaborn as sns</pre><pre>plt.figure(figsize=(20,10))</pre><pre>sns.barplot(data=df_2_pivot_2, x=&#39;NO_REGIAO_IES&#39;, y=&#39;SG_IES&#39;, hue=&#39;TP_CATEGORIA_ADMINISTRATIVA&#39;)</pre><pre>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_VWkbSw3rkq_XkcV0KqHZw.png" /></figure><p>(Note que, para este gráfico, eu utilizei uma biblioteca diferente, a seaborn também é muito boa para fazer gráficos)</p><p>A distribuição dividida por categoria administrativa é bem semelhante a total. Algo importante de ser observado é que o volume de IES privadas é muito maior do que o volume de públicas. Mas ainda assim há uma disparidade muito grande da região sudeste com o restante do país.</p><h4>Qual é a proporção de vagas ocupadas por tipo de Universidade?</h4><p>Fazendo uma cópia do DataFrame de IES e incluindo as colunas necessárias</p><pre>df_3_ies = df_ies.copy()[[&#39;CO_IES&#39;, &#39;SG_IES&#39;, &#39;TP_CATEGORIA_ADMINISTRATIVA&#39;]]</pre><pre>df_3_ies</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/391/1*cTs2jt0SKDRq9oFpSC3PIQ.png" /></figure><p>Fazendo o mesmo com o DataFrame de cursos</p><pre>df_3_cursos = df_cursos.copy()[[&#39;CO_IES&#39;, &#39;NO_REGIAO&#39;, &#39;QT_VG_TOTAL&#39;, &#39;QT_ING&#39;]]</pre><pre>df_3_cursos</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/376/1*6eftYnggMk5TgwUmZpYlew.png" /></figure><p>Se fizermos um merge com os dois DataFrames, conseguiremos ver as informações desejadas por IES, olha só:</p><pre>df_3 = df_3_cursos.merge(df_3_ies, how=&#39;left&#39;, left_on=&#39;CO_IES&#39;, right_on=&#39;CO_IES&#39;)</pre><pre>df_3</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/658/1*dyAoG0HHkclagfVkDLrORw.png" /></figure><p>Agora, temos as informações de cada faculdade em várias linhas diferentes (porque pegamos as informações dos cursos, então cada IES possui uma linha para cada curso que oferece). Precisamos somente agrupar as informações fazendo uma soma, tanto da quantidade de vagas (QT_VG_TOTAL) quanto da quantidade de ingressantes (QT_ING).</p><pre>df_3_pivot = pd.pivot_table(data=df_3, values=[&#39;QT_VG_TOTAL&#39;, &#39;QT_ING&#39;], aggfunc=&#39;sum&#39;,columns=[&#39;CO_IES&#39;, &#39;NO_REGIAO&#39;, &#39;SG_IES&#39;, &#39;TP_CATEGORIA_ADMINISTRATIVA&#39;]).transpose()</pre><pre>df_3_pivot.reset_index(inplace=True)</pre><pre>df_3_pivot</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/649/1*g4GOTla9hkA6CJ0OT6Vp0A.png" /></figure><p>Lembra que agora pouco criamos uma função para transformar o ID da categoria administrativa em uma string? Vamos utilizá-la novamente</p><p>(Só pra relembrar a função)</p><pre>def get_admin_cat(id):</pre><pre>  if id &lt;= 3:</pre><pre>    return &#39;PUBLICA&#39;</pre><pre>  else:</pre><pre>    return &#39;PRIVADA&#39;</pre><pre>df_3_pivot[&#39;TP_CATEGORIA_ADMINISTRATIVA&#39;] = df_3_pivot[&#39;TP_CATEGORIA_ADMINISTRATIVA&#39;].apply(get_admin_cat)</pre><pre>df_3_pivot</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/646/1*pdndyBG2vIwfr7mU984pqg.png" /></figure><p>Porém, nós não queremos as informações por IES, queremos por categoria administrativa, então precisamos agrupar novamente as informações</p><pre>df_3_pivot_2 = pd.pivot_table(data=df_3_pivot, values=[&#39;QT_ING&#39;, &#39;QT_VG_TOTAL&#39;], aggfunc=&#39;sum&#39;, columns=&#39;TP_CATEGORIA_ADMINISTRATIVA&#39;).transpose()</pre><pre>df_3_pivot_2.reset_index(inplace=True)</pre><pre>df_3_pivot_2</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/413/1*-vWmoHKWiLTCDZE4XGCtnw.png" /></figure><p>Agora temos a informação pronta, só precisamos calcular a taxa de ocupação (que nada mais é que a quantidade de ingressantes dividido pela quantidade de vagas)</p><pre>df_3_pivot_2[&#39;TX_OCUPACAO&#39;] = round(df_3_pivot_2[&#39;QT_ING&#39;]/df_3_pivot_2[&#39;QT_VG_TOTAL&#39;]*100,2)</pre><pre>df_3_pivot_2</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/525/1*OzTqIwqLFBl93QPzGnPNkw.png" /></figure><p>E agora podemos plotar em um gráfico, para ficar mais visual</p><pre>plt.figure(figsize=(20,10))</pre><pre>plt.ylim((0,100))</pre><pre>ax = sns.barplot(data=df_3_pivot_2, x=&#39;TP_CATEGORIA_ADMINISTRATIVA&#39;, y=&#39;TX_OCUPACAO&#39;)</pre><pre>ax.bar_label(ax.containers[0])</pre><pre>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zg2ddFyYBmRJfHzZNGC-7g.png" /></figure><h4>Como é a distribuição de matrículas de acordo com a modalidade (Presencial e EAD)?</h4><p>Repetindo o processo</p><pre>df_4_ies = df_ies.copy()[[&#39;CO_IES&#39;, &#39;SG_IES&#39;]]</pre><pre>df_4_ies</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/336/1*9BbkIVtKxBQCyYNqKEVzYA.png" /></figure><pre>df_4_cursos = df_cursos.copy()[[&#39;CO_IES&#39;, &#39;NO_UF&#39;, &#39;NO_REGIAO&#39;, &#39;TP_MODALIDADE_ENSINO&#39;, &#39;QT_MAT&#39;]]</pre><pre>df_4_cursos</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*b7b-1SnYlW-9xoA3b26WoQ.png" /></figure><p>Fazendo o merge dos DataFrames</p><pre>df_4 = df_4_cursos.merge(df_4_ies, how=&#39;left&#39;, left_on=&#39;CO_IES&#39;, right_on=&#39;CO_IES&#39;)</pre><pre>df_4</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*JbuvF179yVIop2zfkz8-QQ.png" /></figure><p>Agora, assim como no caso da categoria administrativa, temos um ID da modalidade de ensino, então precisamos criar uma função para transformar isso em uma string</p><pre>def get_study_model(id):</pre><pre>  if id == 1:</pre><pre>    return &#39;PRESENCIAL&#39;</pre><pre>  else:</pre><pre>    return &#39;EAD&#39;</pre><p>Aplicando no DataFrame</p><pre>df_4[&#39;TP_MODALIDADE_ENSINO&#39;] = df_4[&#39;TP_MODALIDADE_ENSINO&#39;].apply(get_study_model)</pre><pre>df_4</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9XhGFpzna1KMzKdcL_y_qA.png" /></figure><p>Agrupando as informações por modalidade de ensino</p><pre>df_4_pivot = pd.pivot_table(data=df_4, values=&#39;QT_MAT&#39;, aggfunc=&#39;sum&#39;, columns=&#39;TP_MODALIDADE_ENSINO&#39;).transpose()</pre><pre>df_4_pivot.reset_index(inplace=True)</pre><pre>df_4_pivot</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/530/1*B4pG2cJIf_2nPHMjeUKFXg.png" /></figure><p>Plotando em um gráfico</p><pre>plt.figure(figsize=(20,10))</pre><pre>plt.bar(data=df_4_pivot, x=&#39;TP_MODALIDADE_ENSINO&#39;, height=&#39;QT_MAT&#39;)</pre><pre>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8erdQVQ15kcJiAvc7pmbzA.png" /></figure><p>Então, podemos ver que existem mais matrículas no modelo Presencial do que no modelo EAD. Confesso que já esperava por isso, visto que o modelo EAD é algo mais recente aqui no Brasil, mas acredito que nos próximos anos (principalmente após a pandemia) o modelo EAD ganhará cada vez mais força.</p><p><strong>Indo além</strong></p><p>Podemos também, ver quais são as maiores IES (em quantidade de matrículas) em cada modelo de ensino. Agrupando novamente, só que mantendo algumas informações que &#39;expurgamos&#39; anteriormente</p><pre>df_4_pivot_2 = pd.pivot_table(df_4, values=&#39;QT_MAT&#39;, aggfunc=&#39;sum&#39;, columns=[&#39;NO_REGIAO&#39;, &#39;TP_MODALIDADE_ENSINO&#39;, &#39;SG_IES&#39;]).transpose()</pre><pre>df_4_pivot_2.reset_index(inplace=True)</pre><pre>df_4_pivot_2</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/926/1*lFz7DqkuBhUFunW92AjVhA.png" /></figure><p><em>EAD</em></p><p>Filtrando para somente o que for EAD</p><pre>df_4_ead = df_4_pivot_2.loc[df_4_pivot_2[&#39;TP_MODALIDADE_ENSINO&#39;]==&#39;EAD&#39;].sort_values(&#39;QT_MAT&#39;, ascending=False)[0:10]</pre><pre>df_4_ead.reset_index(inplace=True, drop=True)</pre><pre>df_4_ead</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/894/1*a6FuAMN9SR4i3DYivSSj1w.png" /></figure><p>Plotando em um gráfico</p><pre>plt.figure(figsize=(20,10))</pre><pre>plt.bar(data=df_4_ead, x=&#39;SG_IES&#39;, height=&#39;QT_MAT&#39;)</pre><pre>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Vu4aa4TAhcu3U90Pe_ep5w.png" /></figure><p><em>Presencial</em></p><p>Repetindo o mesmo processo para o modelo presencial</p><pre>df_4_presencial = df_4_pivot_2.loc[df_4_pivot_2[&#39;TP_MODALIDADE_ENSINO&#39;]==&#39;PRESENCIAL&#39;].sort_values(&#39;QT_MAT&#39;, ascending=False)[0:10]</pre><pre>df_4_presencial.reset_index(inplace=True, drop=True)</pre><pre>df_4_presencial</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/884/1*l1GZCMPWL_1_Ut5QXvbOgg.png" /></figure><pre>plt.figure(figsize=(20,10))</pre><pre>plt.bar(data=df_4_presencial, x=&#39;SG_IES&#39;, height=&#39;QT_MAT&#39;)</pre><pre>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_IGTLFnk9tu9-zEprJ0izg.png" /></figure><p><strong>Indo mais além ainda</strong></p><p>Podemos também fazer um gráfico pegando as 20 IES com maiores quantidades de matriculas por modalidade, da seguinte forma</p><pre>df_4_filtered = df_4_pivot_2.sort_values(&#39;QT_MAT&#39;, ascending=False)[0:20]<br>df_4_filtered</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/900/1*9tKxDYck-6lw3aDnIuUcbg.png" /></figure><pre>plt.figure(figsize=(30,20))</pre><pre>sns.barplot(data=df_4_filtered, x=&#39;SG_IES&#39;, y=&#39;QT_MAT&#39;, hue=&#39;TP_MODALIDADE_ENSINO&#39;, ci=0)</pre><pre>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4kFjHk-f2Tm9sJUN1m7v7w.png" /></figure><h4>Como é a distribuição das características dos alunos (sexo, cor, idade, nacionalidade, etc) nos cursos de graduação?</h4><p>Repetindo o processo que temos feito</p><pre>df_5 = df_cursos.copy()[[&#39;NO_CINE_ROTULO&#39;, &#39;NO_CINE_AREA_ESPECIFICA&#39;, &#39;QT_MAT&#39;, &#39;QT_MAT_FEM&#39;, &#39;QT_MAT_MASC&#39;, &#39;QT_MAT_0_17&#39;, &#39;QT_MAT_18_24&#39;, &#39;QT_MAT_25_29&#39;, &#39;QT_MAT_30_34&#39;, &#39;QT_MAT_35_39&#39;, &#39;QT_MAT_40_49&#39;, &#39;QT_MAT_50_59&#39;, &#39;QT_MAT_60_MAIS&#39;, &#39;QT_MAT_BRANCA&#39;, &#39;QT_MAT_PRETA&#39;, &#39;QT_MAT_PARDA&#39;, &#39;QT_MAT_AMARELA&#39;, &#39;QT_MAT_INDIGENA&#39;, &#39;QT_MAT_CORND&#39;]]</pre><pre>df_5</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*r0BLLI6htpWXKpQUSNix0g.png" /></figure><p><strong>Por sexo</strong></p><p>Pra começar, vamos analisar primeiramente as informações dos alunos por sexo</p><pre>df_sexo = pd.pivot_table(data=df_5, values=[&#39;QT_MAT_FEM&#39;, &#39;QT_MAT_MASC&#39;], aggfunc=&#39;sum&#39;, columns=[&#39;NO_CINE_ROTULO&#39;]).transpose()</pre><pre>df_sexo.reset_index(inplace=True)</pre><pre>df_sexo</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/554/1*kwyNxJ-Sx-opKnDynaX1GA.png" /></figure><p>Agora, vamos calcular 2 coisas, primeiro a diferença entre alunos do sexo masculino e feminino e segundo o total de alunos por curso</p><pre>df_sexo[&#39;DIF&#39;] = df_sexo[&#39;QT_MAT_MASC&#39;] - df_sexo[&#39;QT_MAT_FEM&#39;]</pre><pre>df_sexo[&#39;TOTAL&#39;] = df_sexo[&#39;QT_MAT_MASC&#39;] + df_sexo[&#39;QT_MAT_FEM&#39;]</pre><pre>df_sexo</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/662/1*fid0Iipb5vZ3etk2-1uFUw.png" /></figure><p>Agora, podemos analisar duas informações: cursos com predominância masculina (onde a coluna &#39;DIF&#39; é MAIOR que 0); cursos com predominância feminina (onde a coluna ‘DIF’ é MENOR que 0)</p><p><em>Predominância Masculina</em></p><pre>df_predom_masc = df_sexo.loc[df_sexo[&#39;DIF&#39;] &gt; 0 ]</pre><pre>df_predom_masc.sort_values(&#39;DIF&#39;, inplace=True, ascending=False)</pre><pre>df_predom_masc.reset_index(inplace=True, drop=True)</pre><pre>df_predom_masc</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/555/1*mpUHOWwmftkhuv8_1_pn0Q.png" /></figure><p>Não é surpresa ver que cursos relacionados a engenharias e áreas de tecnologia possuam predominância masculina, infelizmente ainda são áreas com muito preconceito para mulheres :( . Espero que um dia possamos reverter essa situação.</p><p><em>Predominância Feminina</em></p><pre>df_predom_fem = df_sexo.loc[df_sexo[&#39;DIF&#39;] &lt; 0 ]</pre><pre>df_predom_fem.sort_values(&#39;DIF&#39;, inplace=True, ascending=True)</pre><pre>df_predom_fem.reset_index(inplace=True, drop=True)</pre><pre>df_predom_fem</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/662/1*J0axaLfaug0Nor9Dvz1DqA.png" /></figure><p>Também não é surpresa que áreas relacionadas a saúde possuam predominância feminina. Vivemos em uma sociedade extremamente machista e preconceituosa, quantos enfermeiros já te atenderam? Quantos psicólogos você já viu?</p><p><em>Plotando</em></p><p>Podemos plotar alguns gráficos de colunas empilhadas com a quantidade de alunos por sexo</p><pre>plt.figure(figsize=(30,15))</pre><pre>s1 = sns.barplot(data=df_predom_masc[:10], x=&#39;NO_CINE_ROTULO&#39;, y=&#39;TOTAL&#39;, color=&#39;blue&#39;)</pre><pre>s2 = sns.barplot(data=df_predom_masc[:10], x=&#39;NO_CINE_ROTULO&#39;, y=&#39;QT_MAT_FEM&#39;, color=&#39;pink&#39;)</pre><pre>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*f9Tf3zcDgqUbtc9yPqjL1A.png" /></figure><p>Note algo importante, eu não plotei a quantidade de alunos do sexo masculino e quantidade do sexo feminino, eu plotei o total e depois a quantidade do sexo feminino. Mas qual o motivo? O Python não possui a opção de colunas empilhadas (isso quer dizer que ele plotaria a quantidade do sexo feminino e a quantidade do sexo masculino, o que não é nosso objetivo, queremos plotar um em cima do outro), então basicamente o que fazemos é plotar 2 gráficos com um sobrepondo o outro, um com a quantidade inferior (no caso, quantidade do sexo feminino) e outro com o total.</p><pre>plt.figure(figsize=(30,15))</pre><pre>s1 = sns.barplot(data=df_predom_fem[:10], x=&#39;NO_CINE_ROTULO&#39;, y=&#39;TOTAL&#39;, color=&#39;blue&#39;)</pre><pre>s2 = sns.barplot(data=df_predom_fem[:10], x=&#39;NO_CINE_ROTULO&#39;, y=&#39;QT_MAT_FEM&#39;, color=&#39;pink&#39;)</pre><pre>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*c4sN_dI3H_hQ7jo0naMLrQ.png" /></figure><p><em>No Brasil como um todo</em></p><p>Olhamos as informações de distribuição de matrículas dividido por sexo e por curso. Porém, como é essa distribuição no país todo?</p><pre>mulheres = df_sexo[&#39;QT_MAT_FEM&#39;].sum()</pre><pre>homens = df_sexo[&#39;QT_MAT_MASC&#39;].sum()<br></pre><pre>labels = &#39;Homens&#39;, &#39;Mulheres&#39;</pre><pre>values = [homens, mulheres]<br></pre><pre>fig1, ax1 = plt.subplots()</pre><pre>ax1.pie(values, labels=labels, autopct=&#39;%1.1f%%&#39;, shadow=True, startangle=90)</pre><pre>ax1.axis(&#39;equal&#39;)</pre><pre>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/349/1*ABRwB-awZPy85yGhI9Mhuw.png" /></figure><p>Para minha surpresa, temos mais alunAs que alunOs. O que é um ótimo sinal!</p><p><strong>Por Idade</strong></p><p>Agora, vamos dar uma olhada nas informações de matrícula por idade</p><pre>df_idade = pd.pivot_table(data=df_5, values=[&#39;QT_MAT_0_17&#39;, &#39;QT_MAT_18_24&#39;, &#39;QT_MAT_25_29&#39;,&#39;QT_MAT_30_34&#39;, &#39;QT_MAT_35_39&#39;, &#39;QT_MAT_40_49&#39;, &#39;QT_MAT_50_59&#39;,&#39;QT_MAT_60_MAIS&#39;], aggfunc=&#39;sum&#39;, columns=[&#39;NO_CINE_ROTULO&#39;]).transpose()</pre><pre>df_idade.reset_index(inplace=True)</pre><pre>df_idade</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*K67uIURLFjAB-CGkEXQxIQ.png" /></figure><p>Calculando o total</p><pre>df_idade[&#39;TOTAL&#39;] = df_idade.sum(axis=1)</pre><pre>df_idade</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*usL8dKmg0ZrA26YaDPeLCw.png" /></figure><p>Agora, o que vou fazer é o seguinte, vou calcular a proporção de cada faixa de idade, para isso eu resolvi chamar de adolescente quem tem de 0 a 17 anos, jovem quem tem de 18 a 24 anos, adulto quem tem de 25 a 49 anos e idoso quem tem de 50 em diante (minha mãe vai odiar isso).</p><pre>df_idade[&#39;%Adolescente&#39;] = round(df_idade[&#39;QT_MAT_0_17&#39;]/df_idade[&#39;TOTAL&#39;]*100,2)</pre><pre>df_idade[&#39;%Jovem&#39;] = round(df_idade[&#39;QT_MAT_18_24&#39;]/df_idade[&#39;TOTAL&#39;]*100,2)</pre><pre>df_idade[&#39;%Adulto&#39;] = round((df_idade[&#39;QT_MAT_25_29&#39;]+df_idade[&#39;QT_MAT_30_34&#39;]+df_idade[&#39;QT_MAT_35_39&#39;]+df_idade[&#39;QT_MAT_40_49&#39;])/df_idade[&#39;TOTAL&#39;]*100,2)</pre><pre>df_idade[&#39;%Idosos&#39;] = round((df_idade[&#39;QT_MAT_50_59&#39;]+df_idade[&#39;QT_MAT_60_MAIS&#39;])/df_idade[&#39;TOTAL&#39;]*100,2)</pre><pre>df_idade.drop([&#39;QT_MAT_0_17&#39;, &#39;QT_MAT_18_24&#39;, &#39;QT_MAT_25_29&#39;,&#39;QT_MAT_30_34&#39;, &#39;QT_MAT_35_39&#39;, &#39;QT_MAT_40_49&#39;, &#39;QT_MAT_50_59&#39;,&#39;QT_MAT_60_MAIS&#39;], axis=1, inplace=True)</pre><pre>df_idade</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/707/1*YaQCjUEOjvtfPx3jSuGf_g.png" /></figure><p>Agora, o que eu vou fazer é buscar o curso com a maior predominância de cada faixa etária</p><pre>df_adolescente = df_idade.sort_values(&#39;%Adolescente&#39;, ascending=False).head(1)</pre><pre>df_jovem = df_idade.sort_values(&#39;%Jovem&#39;, ascending=False).head(1)</pre><pre>df_adulto = df_idade.sort_values(&#39;%Adulto&#39;, ascending=False).head(1)</pre><pre>df_idoso = df_idade.sort_values(&#39;%Idosos&#39;, ascending=False).head(1)</pre><p>Agora, podemos plotar cada curso em um gráfico. Resolvi plotar em um gráfico de cascata (o motivo? Eu gosto desse tipo de gráfico). Uma coisa importante, para plotar em gráfico de cascata, utilizarei uma biblioteca diferente, chamada <a href="https://plotly.com/python/">plotly</a>.</p><p><em>Adolescentes</em></p><pre>import plotly.graph_objects as go<br></pre><pre>fig = go.Figure(go.Waterfall(</pre><pre>name = &quot;Proporção Idades&quot;, orientation = &quot;v&quot;,</pre><pre>measure = [&quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;, &quot;total&quot;],</pre><pre>x = [&quot;Adolescente&quot;, &quot;Jovem&quot;, &quot;Adulto&quot;, &quot;Idosos&quot;, &quot;Total&quot;],</pre><pre>y = [df_adolescente[&#39;%Adolescente&#39;].values[0], df_adolescente[&#39;%Jovem&#39;].values[0], df_adolescente[&#39;%Adulto&#39;].values[0], df_adolescente[&#39;%Idosos&#39;].values[0], 0],</pre><pre>connector = {&quot;line&quot;:{&quot;color&quot;:&quot;rgb(63, 63, 63)&quot;}},</pre><pre>))</pre><pre>curso = df_adolescente[&#39;NO_CINE_ROTULO&#39;].values[0]</pre><pre>fig.update_layout(</pre><pre>title = f&#39;Distribuição por Idade do Curso de {curso}&#39;,</pre><pre>showlegend = True</pre><pre>)</pre><pre>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TDXqHR81cev988y-tiUfgg.png" /></figure><p>Ou seja, o curso que possui o maior % de adolescentes é o curso de &#39;Letras português italiano&#39; com 3% dos alunos matriculados tendo entre 0 e 17 anos.</p><p><em>Jovens</em></p><pre>fig = go.Figure(go.Waterfall(</pre><pre>name = &quot;Proporção Idades&quot;, orientation = &quot;v&quot;,</pre><pre>measure = [&quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;, &quot;total&quot;],</pre><pre>x = [&quot;Adolescente&quot;, &quot;Jovem&quot;, &quot;Adulto&quot;, &quot;Idosos&quot;, &quot;Total&quot;],</pre><pre>y = [df_jovem[&#39;%Adolescente&#39;].values[0], df_jovem[&#39;%Jovem&#39;].values[0], df_jovem[&#39;%Adulto&#39;].values[0], df_jovem[&#39;%Idosos&#39;].values[0], 0],</pre><pre>connector = {&quot;line&quot;:{&quot;color&quot;:&quot;rgb(63, 63, 63)&quot;}},</pre><pre>))</pre><pre>curso = df_jovem[&#39;NO_CINE_ROTULO&#39;].values[0]</pre><pre>fig.update_layout(</pre><pre>title = f&#39;Distribuição por Idade do Curso de {curso}&#39;,</pre><pre>showlegend = True</pre><pre>)</pre><pre>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GajNvZxRJOIB7hMgGSUgpA.png" /></figure><p>Ou seja, o curso que possui o maior % de jovens é o curso de ‘ABI Engenharia, produção e construção’ com 91% dos alunos matriculados tendo entre 18 e 24 anos.</p><p><em>Adultos</em></p><pre>fig = go.Figure(go.Waterfall(</pre><pre>name = &quot;Proporção Idades&quot;, orientation = &quot;v&quot;,</pre><pre>measure = [&quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;, &quot;total&quot;],</pre><pre>x = [&quot;Adolescente&quot;, &quot;Jovem&quot;, &quot;Adulto&quot;, &quot;Idosos&quot;, &quot;Total&quot;],</pre><pre>y = [df_adulto[&#39;%Adolescente&#39;].values[0], df_adulto[&#39;%Jovem&#39;].values[0], df_adulto[&#39;%Adulto&#39;].values[0], df_adulto[&#39;%Idosos&#39;].values[0], 0],</pre><pre>connector = {&quot;line&quot;:{&quot;color&quot;:&quot;rgb(63, 63, 63)&quot;}},</pre><pre>))</pre><pre>curso = df_adulto[&#39;NO_CINE_ROTULO&#39;].values[0]</pre><pre>fig.update_layout(</pre><pre>title = f&#39;Distribuição por Idade do Curso de {curso}&#39;,</pre><pre>showlegend = True</pre><pre>)</pre><pre>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*umFzkOWXmoliahDAdn7_Cw.png" /></figure><p>Ou seja, o curso que possui o maior % de adultos é o curso de ‘Papel e Celulose’ com 100% dos alunos matriculados tendo entre 25 e 49 anos.</p><p><em>Idosos</em></p><pre>fig = go.Figure(go.Waterfall(</pre><pre>name = &quot;Proporção Idades&quot;, orientation = &quot;v&quot;,</pre><pre>measure = [&quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;, &quot;total&quot;],</pre><pre>x = [&quot;Adolescente&quot;, &quot;Jovem&quot;, &quot;Adulto&quot;, &quot;Idosos&quot;, &quot;Total&quot;],</pre><pre>y = [df_idoso[&#39;%Adolescente&#39;].values[0], df_idoso[&#39;%Jovem&#39;].values[0], df_idoso[&#39;%Adulto&#39;].values[0], df_idoso[&#39;%Idosos&#39;].values[0], 0],</pre><pre>connector = {&quot;line&quot;:{&quot;color&quot;:&quot;rgb(63, 63, 63)&quot;}},</pre><pre>))</pre><pre>curso = df_idoso[&#39;NO_CINE_ROTULO&#39;].values[0]</pre><pre>fig.update_layout(</pre><pre>title = f&#39;Distribuição por Idade do Curso de {curso}&#39;,</pre><pre>showlegend = True</pre><pre>)</pre><pre>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*riV6cjhhIjlN5A2GZQt-QQ.png" /></figure><p>Ou seja, o curso que possui o maior % de idosos é o curso de ‘Economia doméstica’ com 30% dos alunos matriculados tendo mais de 50 anos (interessante né?! Confesso que não sabia da existência desse curso).</p><p><em>No Brasil como um todo</em></p><p>Vou refazer o DataFrame de idade que eu havia feito anteriormente</p><pre>df_idade = pd.pivot_table(data=df_5, values=[&#39;QT_MAT_0_17&#39;, &#39;QT_MAT_18_24&#39;, &#39;QT_MAT_25_29&#39;,&#39;QT_MAT_30_34&#39;, &#39;QT_MAT_35_39&#39;, &#39;QT_MAT_40_49&#39;, &#39;QT_MAT_50_59&#39;,&#39;QT_MAT_60_MAIS&#39;], aggfunc=&#39;sum&#39;, columns=[&#39;NO_CINE_ROTULO&#39;]).transpose()</pre><pre>df_idade.reset_index(inplace=True)</pre><pre>df_idade</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Bpg7VSdLbi_3eHpAt0tLdg.png" /></figure><p>Calculando os totais por faixa etária</p><pre>adolescentes = df_idade[&#39;QT_MAT_0_17&#39;].sum()</pre><pre>jovem = df_idade[&#39;QT_MAT_18_24&#39;].sum()</pre><pre>adulto = (df_idade[&#39;QT_MAT_25_29&#39;]+df_idade[&#39;QT_MAT_30_34&#39;]+df_idade[&#39;QT_MAT_35_39&#39;]+df_idade[&#39;QT_MAT_40_49&#39;]).sum()</pre><pre>idoso = (df_idade[&#39;QT_MAT_50_59&#39;]+df_idade[&#39;QT_MAT_60_MAIS&#39;]).sum()</pre><p>Plotando como um gráfico de pizza</p><pre>labels = &#39;Adolescente&#39;, &#39;Jovem&#39;, &#39;Adulto&#39;, &#39;Idoso&#39;</pre><pre>values = [adolescentes, jovem, adulto, idoso]</pre><pre>fig, ax = plt.subplots()</pre><pre>ax.pie(values, labels=labels, autopct=&#39;%1.1f%%&#39;, shadow=True, startangle=90)</pre><pre>ax.axis(&#39;equal&#39;)</pre><pre>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/349/1*8NMGskiLBOADobseb-dhrQ.png" /></figure><p>Ou seja, quase 97% dos alunos matriculados em alguma IES no Brasil possuem entre 18 e 49 anos.</p><p><strong>Por Cor</strong></p><p>Agora, olhando por cor</p><pre>df_cor = pd.pivot_table(data=df_5, values=[&#39;QT_MAT_BRANCA&#39;, &#39;QT_MAT_PRETA&#39;, &#39;QT_MAT_PARDA&#39;,&#39;QT_MAT_AMARELA&#39;, &#39;QT_MAT_INDIGENA&#39;, &#39;QT_MAT_CORND&#39;], aggfunc=&#39;sum&#39;, columns=[&#39;NO_CINE_ROTULO&#39;]).transpose()</pre><pre>df_cor.reset_index(inplace=True)</pre><pre>df_cor</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UuTO5CiBratNVFjTbz3MlQ.png" /></figure><p>Calculando o total de cada curso</p><pre>df_cor[&#39;TOTAL&#39;] = df_cor.sum(axis=1)</pre><pre>df_cor</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PdhtrmX77zcVlT2waHjQeg.png" /></figure><p>Fazendo um processo bem análogo ao que fiz na etapa de idade, podemos calcular os percentuais por cor</p><pre>df_cor[&#39;%Amarelo&#39;] = round(df_cor[&#39;QT_MAT_AMARELA&#39;]/df_cor[&#39;TOTAL&#39;]*100,2)</pre><pre>df_cor[&#39;%Branco&#39;] = round(df_cor[&#39;QT_MAT_BRANCA&#39;]/df_cor[&#39;TOTAL&#39;]*100,2)</pre><pre>df_cor[&#39;%CorNaoDef&#39;] = round(df_cor[&#39;QT_MAT_CORND&#39;]/df_cor[&#39;TOTAL&#39;]*100,2)</pre><pre>df_cor[&#39;%Indigena&#39;] = round(df_cor[&#39;QT_MAT_INDIGENA&#39;]/df_cor[&#39;TOTAL&#39;]*100,2)</pre><pre>df_cor[&#39;%Pardo&#39;] = round(df_cor[&#39;QT_MAT_PARDA&#39;]/df_cor[&#39;TOTAL&#39;]*100,2)</pre><pre>df_cor[&#39;%Preto&#39;] = round(df_cor[&#39;QT_MAT_PRETA&#39;]/df_cor[&#39;TOTAL&#39;]*100,2)</pre><pre>df_cor.drop([&#39;QT_MAT_AMARELA&#39;, &#39;QT_MAT_BRANCA&#39;, &#39;QT_MAT_CORND&#39;, &#39;QT_MAT_INDIGENA&#39;, &#39;QT_MAT_PARDA&#39;, &#39;QT_MAT_PRETA&#39;], axis=1, inplace=True)</pre><pre>df_cor</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RXRQpAf3rHa3dydRN_ubUQ.png" /></figure><p>Encontrando os cursos com o maior percentual de cada cor</p><pre>df_amarelo = df_cor.sort_values(&#39;%Amarelo&#39;, ascending=False).head(1)</pre><pre>df_branco = df_cor.sort_values(&#39;%Branco&#39;, ascending=False).head(1)</pre><pre>df_cnd = df_cor.sort_values(&#39;%CorNaoDef&#39;, ascending=False).head(1)</pre><pre>df_indigena = df_cor.sort_values(&#39;%Indigena&#39;, ascending=False).head(1)</pre><pre>df_pardo = df_cor.sort_values(&#39;%Pardo&#39;, ascending=False).head(1)</pre><pre>df_preto = df_cor.sort_values(&#39;%Preto&#39;, ascending=False).head(1)</pre><p>E agora, plotando cada cor em um gráfico</p><p><em>Cor Amarela</em></p><pre>fig = go.Figure(go.Waterfall(</pre><pre>name = &quot;Proporção Cor&quot;, orientation = &quot;v&quot;,</pre><pre>measure = [&quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;,&quot;relative&quot;, &quot;total&quot;],</pre><pre>x = [&quot;Amarelo&quot;, &quot;Branco&quot;, &quot;Cor Não Def.&quot;, &quot;Indigena&quot;, &quot;Pardo&quot;, &quot;Preto&quot;, &quot;Total&quot;],</pre><pre>y = [df_amarelo[&#39;%Amarelo&#39;].values[0], df_amarelo[&#39;%Branco&#39;].values[0], df_amarelo[&#39;%CorNaoDef&#39;].values[0], df_amarelo[&#39;%Indigena&#39;].values[0], df_amarelo[&#39;%Pardo&#39;].values[0], df_amarelo[&#39;%Preto&#39;].values[0], 0],</pre><pre>connector = {&quot;line&quot;:{&quot;color&quot;:&quot;rgb(63, 63, 63)&quot;}},</pre><pre>))</pre><pre>curso = df_amarelo[&#39;NO_CINE_ROTULO&#39;].values[0]</pre><pre>fig.update_layout(</pre><pre>title = f&#39;Distribuição por Cor do Curso de &quot;{curso}&quot;&#39;,</pre><pre>showlegend = True</pre><pre>)</pre><pre>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*L0sCF4BgaXRk8LORMRP4ag.png" /></figure><p>Ou seja, o curso que possui o maior % de alunos amarelos é o curso de ‘Letras espanhol’ com 17% dos alunos matriculados tendo declarado serem dessa cor.</p><p><em>Cor Branca</em></p><pre>fig = go.Figure(go.Waterfall(</pre><pre>name = &quot;Proporção Cor&quot;, orientation = &quot;v&quot;,</pre><pre>measure = [&quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;,&quot;relative&quot;, &quot;total&quot;],</pre><pre>x = [&quot;Amarelo&quot;, &quot;Branco&quot;, &quot;Cor Não Def.&quot;, &quot;Indigena&quot;, &quot;Pardo&quot;, &quot;Preto&quot;, &quot;Total&quot;],</pre><pre>y = [df_branco[&#39;%Amarelo&#39;].values[0], df_branco[&#39;%Branco&#39;].values[0], df_branco[&#39;%CorNaoDef&#39;].values[0], df_branco[&#39;%Indigena&#39;].values[0], df_branco[&#39;%Pardo&#39;].values[0], df_branco[&#39;%Preto&#39;].values[0], 0],</pre><pre>connector = {&quot;line&quot;:{&quot;color&quot;:&quot;rgb(63, 63, 63)&quot;}},</pre><pre>))</pre><pre>curso = df_branco[&#39;NO_CINE_ROTULO&#39;].values[0]</pre><pre>fig.update_layout(</pre><pre>title = f&#39;Distribuição por Cor do Curso de &quot;{curso}&quot;&#39;,</pre><pre>showlegend = True</pre><pre>)</pre><pre>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_IgjaKh2NwrEtbIpMZdyWw.png" /></figure><p>Ou seja, o curso que possui o maior % de alunos brancos é o curso de ‘Letras escrita criativa’ com 88% dos alunos matriculados tendo declarado serem dessa cor.</p><p><em>Cor Não Declarada</em></p><pre>fig = go.Figure(go.Waterfall(</pre><pre>name = &quot;Proporção Cor&quot;, orientation = &quot;v&quot;,</pre><pre>measure = [&quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;,&quot;relative&quot;, &quot;total&quot;],</pre><pre>x = [&quot;Amarelo&quot;, &quot;Branco&quot;, &quot;Cor Não Def.&quot;, &quot;Indigena&quot;, &quot;Pardo&quot;, &quot;Preto&quot;, &quot;Total&quot;],</pre><pre>y = [df_cnd[&#39;%Amarelo&#39;].values[0], df_cnd[&#39;%Branco&#39;].values[0], df_cnd[&#39;%CorNaoDef&#39;].values[0], df_cnd[&#39;%Indigena&#39;].values[0], df_cnd[&#39;%Pardo&#39;].values[0], df_cnd[&#39;%Preto&#39;].values[0], 0],</pre><pre>connector = {&quot;line&quot;:{&quot;color&quot;:&quot;rgb(63, 63, 63)&quot;}},</pre><pre>))</pre><pre>curso = df_cnd[&#39;NO_CINE_ROTULO&#39;].values[0]</pre><pre>fig.update_layout(</pre><pre>title = f&#39;Distribuição por Cor do Curso de &quot;{curso}&quot;&#39;,</pre><pre>showlegend = True</pre><pre>)</pre><pre>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zN0CnYbOhltQaec9Xx2rUQ.png" /></figure><p>Ou seja, o curso que possui o maior % de alunos com a cor não definida é o curso de ‘Produção pesqueira’ com 81% dos alunos matriculados não tendo declarado a cor.</p><p><em>Indígenas</em></p><pre>fig = go.Figure(go.Waterfall(</pre><pre>name = &quot;Proporção Cor&quot;, orientation = &quot;v&quot;,</pre><pre>measure = [&quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;,&quot;relative&quot;, &quot;total&quot;],</pre><pre>x = [&quot;Amarelo&quot;, &quot;Branco&quot;, &quot;Cor Não Def.&quot;, &quot;Indigena&quot;, &quot;Pardo&quot;, &quot;Preto&quot;, &quot;Total&quot;],</pre><pre>y = [df_indigena[&#39;%Amarelo&#39;].values[0], df_indigena[&#39;%Branco&#39;].values[0], df_indigena[&#39;%CorNaoDef&#39;].values[0], df_indigena[&#39;%Indigena&#39;].values[0], df_indigena[&#39;%Pardo&#39;].values[0], df_indigena[&#39;%Preto&#39;].values[0], 0],</pre><pre>connector = {&quot;line&quot;:{&quot;color&quot;:&quot;rgb(63, 63, 63)&quot;}},</pre><pre>))</pre><pre>curso = df_indigena[&#39;NO_CINE_ROTULO&#39;].values[0]</pre><pre>fig.update_layout(</pre><pre>title = f&#39;Distribuição por Cor do Curso de &quot;{curso}&quot;&#39;,</pre><pre>showlegend = True</pre><pre>)</pre><pre>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Uoikar1sn_kbnwfHjeDFQw.png" /></figure><p>Ou seja, o curso que possui o maior % de alunos indígenas é o curso de ‘Educação indígena em áreas de conhecimento da educação básica formação de professor’ com 99% dos alunos matriculados tendo se autodeclarado indígena (ta aí mais um curso que eu também não conhecia).</p><p><em>Cor Parda</em></p><pre>fig = go.Figure(go.Waterfall(</pre><pre>name = &quot;Proporção Cor&quot;, orientation = &quot;v&quot;,</pre><pre>measure = [&quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;,&quot;relative&quot;, &quot;total&quot;],</pre><pre>x = [&quot;Amarelo&quot;, &quot;Branco&quot;, &quot;Cor Não Def.&quot;, &quot;Indigena&quot;, &quot;Pardo&quot;, &quot;Preto&quot;, &quot;Total&quot;],</pre><pre>y = [df_pardo[&#39;%Amarelo&#39;].values[0], df_pardo[&#39;%Branco&#39;].values[0], df_pardo[&#39;%CorNaoDef&#39;].values[0], df_pardo[&#39;%Indigena&#39;].values[0], df_pardo[&#39;%Pardo&#39;].values[0], df_pardo[&#39;%Preto&#39;].values[0], 0],</pre><pre>connector = {&quot;line&quot;:{&quot;color&quot;:&quot;rgb(63, 63, 63)&quot;}},</pre><pre>))</pre><pre>curso = df_pardo[&#39;NO_CINE_ROTULO&#39;].values[0]</pre><pre>fig.update_layout(</pre><pre>title = f&#39;Distribuição por Cor do Curso de &quot;{curso}&quot;&#39;,</pre><pre>showlegend = True</pre><pre>)</pre><pre>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gnvdyqXC2y0Fmo3oq5nt3A.png" /></figure><p>Ou seja, o curso que possui o maior % de alunos pardos é o curso de ‘Irrigação e drenagem’ com 73% dos alunos matriculados tendo se autodeclarado pardos.</p><p><em>Cor Preta</em></p><p>Para finalizar</p><pre>fig = go.Figure(go.Waterfall(</pre><pre>name = &quot;Proporção Cor&quot;, orientation = &quot;v&quot;,</pre><pre>measure = [&quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;, &quot;relative&quot;,&quot;relative&quot;, &quot;total&quot;],</pre><pre>x = [&quot;Amarelo&quot;, &quot;Branco&quot;, &quot;Cor Não Def.&quot;, &quot;Indigena&quot;, &quot;Pardo&quot;, &quot;Preto&quot;, &quot;Total&quot;],</pre><pre>y = [df_preto[&#39;%Amarelo&#39;].values[0], df_preto[&#39;%Branco&#39;].values[0], df_preto[&#39;%CorNaoDef&#39;].values[0], df_preto[&#39;%Indigena&#39;].values[0], df_preto[&#39;%Pardo&#39;].values[0], df_preto[&#39;%Preto&#39;].values[0], 0],</pre><pre>connector = {&quot;line&quot;:{&quot;color&quot;:&quot;rgb(63, 63, 63)&quot;}},</pre><pre>))</pre><pre>curso = df_preto[&#39;NO_CINE_ROTULO&#39;].values[0]</pre><pre>fig.update_layout(</pre><pre>title = f&#39;Distribuição por Cor do Curso de &quot;{curso}&quot;&#39;,</pre><pre>showlegend = True</pre><pre>)</pre><pre>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xDx04vZ6vMC-8cjN_IVYyw.png" /></figure><p>O curso de &#39;Programas interdisciplinares abrangendo saúde e bem-estar&#39; é o curso com a maior proporção de alunos tendo se autodeclarado pretos, com 27%.</p><p><em>No Brasil como um todo</em></p><p>Refazendo o DataFrame de cor.</p><pre>df_cor = pd.pivot_table(data=df_5, values=[&#39;QT_MAT_BRANCA&#39;, &#39;QT_MAT_PRETA&#39;, &#39;QT_MAT_PARDA&#39;,&#39;QT_MAT_AMARELA&#39;, &#39;QT_MAT_INDIGENA&#39;, &#39;QT_MAT_CORND&#39;], aggfunc=&#39;sum&#39;, columns=[&#39;NO_CINE_ROTULO&#39;]).transpose()</pre><pre>df_cor.reset_index(inplace=True)</pre><pre>df_cor</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Zp2BhyfVkQ5i2e_YJdlLng.png" /></figure><p>Calculando os totais</p><pre>amarelo = df_cor[&#39;QT_MAT_AMARELA&#39;].sum()</pre><pre>branco = df_cor[&#39;QT_MAT_BRANCA&#39;].sum()</pre><pre>corndef = df_cor[&#39;QT_MAT_CORND&#39;].sum()</pre><pre>indigena = df_cor[&#39;QT_MAT_INDIGENA&#39;].sum()</pre><pre>pardo = df_cor[&#39;QT_MAT_PARDA&#39;].sum()</pre><pre>preto = df_cor[&#39;QT_MAT_PRETA&#39;].sum()</pre><p>Plotando em um gráfico de pizza</p><pre>labels = &#39;Amarelo(a)&#39;, &#39;Branco(a)&#39;, &#39;Cor Ñ Def&#39;, &#39;Indígena&#39;, &#39;Pardo(a)&#39;, &#39;Preto(a)&#39;</pre><pre>values = [amarelo, branco, corndef, indigena, pardo, preto]</pre><pre>fig, ax = plt.subplots()</pre><pre>ax.pie(values, labels=labels, autopct=&#39;%1.1f%%&#39;, shadow=True, startangle=90)</pre><pre>ax.axis(&#39;equal&#39;)</pre><pre>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/349/1*cuJnJZBNyabiVA0EUi7hsQ.png" /></figure><p>No Brasil TODO, somente 7,1% dos alunos matriculados em algum curso em uma IES são pretos. Agora você entende a NECESSIDADE das cotas?</p><h3>Estatística</h3><p>Fiquei curioso com uma coisa. Se somente 7,1% dos alunos no Brasil são pretos, caso eu pegue, aleatoriamente, 1.000 alunos, qual a probabilidade de pelo menos 80 deles serem pretos?</p><p>Bom, calcular isso é relativamente simples.</p><p>Tudo que precisamos fazer é aplicar a distribuição binomial que é a distribuição de probabilidade do número de sucessos numa sequência de n tentativas, onde:</p><ul><li>Cada tentativa tem exclusivamente como resultado duas possibilidades, sucesso ou fracasso</li><li>A probabilidade de sucesso a cada tentativa permanece constante independente das demais</li></ul><p>Então temos que p = 7,1% (o que vimos anteriormente) e n = 1.000 (numero de alunos). Basta usar o Python para descobrir a probabilidade da seguinte forma</p><pre>import numpy as np<br></pre><pre>alunos_pretos = np.random.binomial(n, p, size=1000000)</pre><pre>sns.distplot(alunos_pretos)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/392/1*HRg1VmCwhvptbpgOr6JKug.png" /></figure><p>O que acabamos de fazer foi pegar uma amostra de 1.000.000 de grupos de 1.000 alunos e ver quantos alunos pretos tínhamos em cada uma da amostra e plotar isso em um histograma.</p><p>Então a probabilidade é</p><pre>probabilidade = (sum(alunos_pretos &gt;= 80)/1000000)*100</pre><pre>print(f&#39;A probabilidade de termos pelo menos 80 alunos pretos dentre 1.000 alunos é de {round(probabilidade,2)}%&#39;)</pre><pre>&gt;&gt;&gt; A probabilidade de termos pelo menos 80 alunos pretos dentre 1.000 alunos é de 15.12%</pre><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fgiphy.com%2Fembed%2FlD76yTC5zxZPG%2Ftwitter%2Fiframe&amp;display_name=Giphy&amp;url=https%3A%2F%2Fmedia.giphy.com%2Fmedia%2FlD76yTC5zxZPG%2Fgiphy.gif&amp;image=https%3A%2F%2Fi.giphy.com%2Fmedia%2FlD76yTC5zxZPG%2Fgiphy.gif&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=giphy" width="435" height="319" frameborder="0" scrolling="no"><a href="https://medium.com/media/bb051abb3b03b93b790cc77394565546/href">https://medium.com/media/bb051abb3b03b93b790cc77394565546/href</a></iframe><h4>GitHub</h4><p>O GitHub com o Notebook completo pode ser encontrado <a href="https://github.com/thiago-osorio/eda-censo-superior">aqui</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=fec79bbc00f5" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Como subir um projeto no GitHub utilizando o Git]]></title>
            <link>https://medium.com/@thiago.q.osorio/git-github-para-cientistas-de-dados-1fe5b15b568c?source=rss-3e0794cc22bc------2</link>
            <guid isPermaLink="false">https://medium.com/p/1fe5b15b568c</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[deployment]]></category>
            <category><![CDATA[git]]></category>
            <category><![CDATA[github]]></category>
            <dc:creator><![CDATA[Thiago de Queiroz Osorio]]></dc:creator>
            <pubDate>Wed, 27 Apr 2022 14:47:00 GMT</pubDate>
            <atom:updated>2022-04-27T14:53:19.107Z</atom:updated>
            <content:encoded><![CDATA[<p>Recentemente fiz um post sobre o meu primeiro projeto de Data Science e ‘apanhei’ em uma certa etapa do projeto, o deploy (mais precisamente, na hora de utilizar o Git). Com a ajuda de um colega de trabalho, resolvi escrever este artigo para ajudar aspirantes a Cientistas de Dados que, como eu, possam vir a ter dificuldade na utilização do Git.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fLG0WrzYU-ZuAkqAKqT__A.jpeg" /><figcaption><a href="https://unsplash.com/photos/842ofHC6MaI?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditShareLink"><strong>Photo by Yancy Min on Unsplash</strong></a></figcaption></figure><h3>O que é o Git?</h3><p>O GIT é um <em>Sistema de Controle de Versões Distribuído.</em></p><p>Estes sistemas de controle possuem a função de registrar quaisquer alterações feitas em cima de um código, armazenando essas informações e permitindo que, caso seja necessário, alguém possa regredir a versões anteriores de uma aplicação de modo simples e rápido.</p><p>Este tipo de sistema também simplifica muito o processo de compartilhamento de um projeto com um time.</p><h3>Como subir um projeto no GitHub pelo Git?</h3><h4>1º Passo:</h4><p>Instalar o Git na máquina. Não vou entrar nesses detalhes pois não é o foco aqui, no entanto, o próprio Git oferece um tutorial de como fazê-lo:</p><p><a href="https://git-scm.com/book/pt-br/v2/Come%C3%A7ando-Instalando-o-Git">Git - Instalando o Git</a></p><h4>2º Passo:</h4><p>Criar uma conta no GitHub e um repositório para seu projeto. É lá onde você irá criar e manter as versões do seu projeto. Também não entrarei em detalhes para não perder o foco do artigo, mas o site do GitHub está aqui:</p><p><a href="https://github.com/">https://github.com/</a></p><h4>3º Passo:</h4><p>Clonar o repositório na pasta onde deseja que ele fique.</p><p><strong>Para clonar, abra pelo terminal (ou GitBash) a pasta onde você deseja clonar o repositório</strong></p><pre>git clone &lt;Repositorio URL&gt;</pre><h4>4º Passo:</h4><p>Acesse a pasta do seu repositório criada pelo Git no terminal da máquina (ou GitBash) e crie uma Branch</p><p><strong>Para criar uma Branch (pelo terminal ou GitBash)</strong></p><pre>git checkhout -b &lt;nome-da-branch&gt;</pre><h4>5º Passo:</h4><p>Incluir os arquivos e/ou fazer ajustes nos arquivos na pasta do repositório que foi criada pelo Git e ‘empacotar’ essas mudanças</p><p><strong>Para empacotar as mudanças (pelo terminal ou GitBash)</strong></p><pre>git add .</pre><h4>6º Passo:</h4><p>Fazer o commit dos ajustes</p><p><strong>Para fazer o commit (pelo terminal ou GitBash)</strong></p><pre>git commit -m &quot;Título do commit&quot;</pre><h4>7º Passo:</h4><p>Subir os commits para o repositório na nuvem</p><p><strong>Para subir (pelo terminal ou GitBash)</strong></p><pre>git push</pre><h4>8º Passo:</h4><p>Ir no GitHub, aprovar o pull request com as mudanças e fazer o merge das branchs.</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fgiphy.com%2Fembed%2FlTpme2Po0hkqI%2Ftwitter%2Fiframe&amp;display_name=Giphy&amp;url=https%3A%2F%2Fmedia.giphy.com%2Fmedia%2FlTpme2Po0hkqI%2Fgiphy.gif&amp;image=https%3A%2F%2Fmedia3.giphy.com%2Fmedia%2Fv1.Y2lkPTc5MGI3NjExdnU0bjNhdnZwZTczZGV1aHFubnkxaHQ3MDAyZ2gwY3UxcmptaWdkMSZlcD12MV9pbnRlcm5hbF9naWZfYnlfaWQmY3Q9Zw%2FlTpme2Po0hkqI%2Fgiphy.gif&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=giphy" width="435" height="320" frameborder="0" scrolling="no"><a href="https://medium.com/media/d822820f68dc2402bc079db6635393b6/href">https://medium.com/media/d822820f68dc2402bc079db6635393b6/href</a></iframe><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1fe5b15b568c" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Minha Primeira Solução em Data Science]]></title>
            <link>https://medium.com/@thiago.q.osorio/minha-primeira-solu%C3%A7%C3%A3o-em-data-science-81c1f6803f88?source=rss-3e0794cc22bc------2</link>
            <guid isPermaLink="false">https://medium.com/p/81c1f6803f88</guid>
            <category><![CDATA[ciencia-de-dados]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[ciência-de-dados]]></category>
            <category><![CDATA[recommender-systems]]></category>
            <category><![CDATA[sistemas-de-recomendação]]></category>
            <dc:creator><![CDATA[Thiago de Queiroz Osorio]]></dc:creator>
            <pubDate>Wed, 06 Apr 2022 14:30:09 GMT</pubDate>
            <atom:updated>2022-05-02T17:47:51.827Z</atom:updated>
            <content:encoded><![CDATA[<blockquote>“Se hoje fosse o último dia da sua vida, você gostaria de fazer o que está prestes a fazer hoje?” <strong>Steve Jobs</strong></blockquote><p>Hoje eu vou contar um pouquinho sobre o passo a passo de como implementei a minha primeira solução em <strong>Data Science</strong>, um <strong>Sistema de Recomendação de Filmes</strong> (<strong>parecido</strong> com a recomendação de filmes da Netflix).</p><h3>Cronograma do Projeto</h3><ol><li>Introdução</li><li>Entendendo o Problema</li><li>Coletando os Dados</li><li>Análise e Interpretação dos Dados</li><li>Implementação do Modelo</li><li>Deploy do Projeto</li><li>Conclusão</li></ol><h3>1. Introdução</h3><h4>Por quê um Sistema de Recomendação?</h4><ul><li>Importante para empresas B2C;</li><li>Representa as <strong>preferências dos usuários</strong>;</li><li>Sugerir itens do interesse do usuário;</li><li>IA (<strong>Inteligência Artificial</strong>);</li><li>Aumento no Ticket Médio;</li><li>Melhora na Retenção;</li><li>Redução de Taxas de Churn;</li></ul><h4>Processo de um Projeto de Data Science</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/634/1*je4ubMISo-3pHaN4_cj08g.png" /><figcaption>Fonte: Data Science para Negócios (Fawcett, Provost; 2016)</figcaption></figure><p><strong>Compreensão do Negócio</strong></p><p>Nesta primeira etapa a equipe de projeto deve pensar cuidadosamente sobre o cenário de uso e o problema a ser resolvido. Representa uma parte da arte onde a análise da criatividade desempenha um grande papel.</p><p><strong>Compreensão dos Dados</strong></p><p>Se a solução do problema de negócio é o objetivo, os dados compreendem a matéria-prima disponível a partir da qual a solução será construída. É importante ressaltar que alguns dados estarão disponíveis praticamente de graça, enquanto outros exigirão um esforço para serem obtidos. Alguns dados podem ser comprados, enquanto outros simplesmente não existem e exigirão projetos auxiliares para organizar sua coleção.</p><p><strong>Preparação dos Dados</strong></p><p>As tecnologias analíticas que podemos utilizar são poderosas, mas impõem determinados requisitos sobre os dados que usam. Com frequência, elas exigem que os dados estejam em uma forma diferente de como são fornecidos naturalmente e alguma conversão será necessária. Nesta etapa os dados são manipulados e convertidos em formas para que rendam melhores resultados.</p><p><strong>Modelagem</strong></p><p>O resultado da modelagem é algum tipo de modelo ou padrão que captura regularidades nos dados. É nesta etapa onde as técnicas de mineração de dados são aplicadas aos dados.</p><p><strong>Avaliação</strong></p><p>O objetivo desta fase é estimar os resultados de mineração de dados de forma rigorosa e obter a confiança de que são válidos e confiáveis antes de avançar. Gostaríamos de ter a confiança de que os modelos e os padrões extraídos dos dados são regularidades verdadeiras e não apenas anomalias de amostra.</p><p><strong>Implantação</strong></p><p>Na implantação, os resultados da mineração de dados são colocados em uso real, a fim de se constatar algum retorno sobre o investimento.</p><h3>2. Entendendo o Problema</h3><p>Um Sistema de Recomendação é um algoritmo capaz de recomendar produtos e serviços específicos e direcionados de acordo com o perfil do cliente.</p><p>Vai funcionar da seguinte forma, o usuário vai digitar o nome de um filme (que ele tenha gostado) e o algoritmo vai recomendar outros filmes que sejam semelhantes.</p><p>Alguns algoritmos conhecidos de recomendação:</p><ul><li>Demographic Filtering</li><li>Content Based Filtering</li><li>Collaborative Filtering</li></ul><h4>Fonte dos Dados</h4><p>Para esse projeto, vou utilizar a API disponibilizada pela TMDb (The Movie Database), que inclusive é em português(importante, visto que os nomes dos filmes não possuem tradução literal)</p><p><a href="https://www.themoviedb.org/">The Movie Database (TMDB) (themoviedb.org)</a></p><h4><strong>Tecnologias Utilizadas</strong></h4><ul><li>Python</li><li>API’s</li><li>Pandas</li><li>Matplotlib</li><li>Seaborn</li><li>Missingno</li><li>SciPy</li><li>Streamlit</li><li>Heroku</li></ul><h3>3. Coletando os Dados</h3><p>Primeiro de tudo, precisamos de um Dataset que contenha todas as informações de filmes que já foram lançados. Assim, poderemos alimentar nosso algoritmo com informação e será nesse Dataset que ele irá buscar as informações de um filme para recomendar.</p><p>Procurando no <a href="https://www.kaggle.com/">Kaggle</a>, encontramos o seguinte Dataset:</p><p><a href="https://www.kaggle.com/rounakbanik/the-movies-dataset">The Movies Dataset | Kaggle</a></p><p>Esse Dataset possui todas as informações dos filmes lançados entre 1878 e 2017 e aqui temos o primeiro problema.</p><p>Precisamos adicionar nesse arquivo as informações de 2018, 2019, 2020 e 2021 para termos um Dataset mais robusto. Além disso, analisando o Dataset, fica claro que os filmes são referenciados baseado em um ID único, então precisamos adicionar as informações dos filmes com seus respectivos ID’s.</p><p>Como fazer isso?</p><p>É aí que entra uma ferramenta poderosa da biblioteca Pandas, a I/O API que serve tanto para ler arquivos .CSV quanto para ler páginas da Web HTML. Então dessa forma podemos fazer Download do Dataset encontrado no Kaggle e completá-lo com as informações dos próximos anos encontradas na internet.</p><p>Mas ai temos outro problema. Na internet encontraremos o nome do filme, como referenciar esse nome a um ID?</p><p>A solução foi desenhada por Anthony Bloomer, ele criou uma biblioteca para Python que faz esse trabalho pra gente. A biblioteca pode ser encontrada <a href="https://github.com/AnthonyBloomer/tmdbv3api">aqui</a>. Basicamente com ela, passaremos o nome do filme encontrado na Internet e teremos como retorno o ID desse filme!</p><p>Feito isso, com o nome do filme e o ID, podemos obter todas as informações pertinentes a determinado filme utilizando a API da TMDb.</p><p>Não entrarei em detalhes técnicos do projeto, caso queira consultar, deixarei o link do GitHub com o projeto completo <a href="https://github.com/thiago-osorio/movie-recommender-system">aqui</a>.</p><p>Segue abaixo a lista das bibliotecas utilizadas na etapa de coleta dos dados:</p><ul><li><a href="https://docs.python-requests.org/en/master/">Requests</a></li><li><a href="https://pandas.pydata.org/">Pandas</a></li><li><a href="https://github.com/AnthonyBloomer/tmdbv3api">Tmdbv3api</a></li></ul><h3>4. Análise e Interpretação de Dados</h3><p>Agora começa a famosa EDA (Exploratory Data Analysis).</p><p>Segue abaixo, uma lista das bibliotecas que utilizaremos nesta etapa do projeto:</p><ul><li><a href="https://pandas.pydata.org/">Pandas</a></li><li><a href="https://seaborn.pydata.org/">Seaborn</a></li><li><a href="https://matplotlib.org/">Matplotlib</a></li></ul><p>Agora é o momento em que olhamos feature a feature para tentar produzir algum insight.</p><p>Podemos construir um Dicionário de Dados, que vai nos ajudar MUITO nas próximas etapas do projeto:</p><ul><li><strong>adult</strong>: Se é um filme adulto ou não</li><li><strong>belongs_to_collection</strong>: Lista de dicionários com o Título da Coleção (Ex: Harry Potter e a Pedra Filosofal pertence a coleção Harry Potter)</li><li><strong>budget</strong>: Orçamento do filme (em dólares)</li><li><strong>cast</strong>: Elenco do filme</li><li><strong>crew</strong>: Equipe de filmagem do filme</li><li><strong>genres</strong>: Lista de dicionários com todos os gêneros associados ao filme</li><li><strong>homepage</strong>: Site oficial do filme</li><li><strong>id</strong>: Identificação do filme</li><li><strong>imdb_id</strong>: Identificação do filme no IMDb (Internet Movie Database)</li><li><strong>keywords</strong>: Lista de dicionários com todas as palavras-chave do filme</li><li><strong>original_language</strong>: Idioma original do filme</li><li><strong>original_title</strong>: Título original do filme</li><li><strong>overview</strong>: Breve descrição do filme</li><li><strong>popularity</strong>: Pontuação dada pelo TMDb</li><li><strong>poster_path</strong>: Path do poster do filme</li><li><strong>production_companies</strong>: Produtoras envolvidas na produção do filme</li><li><strong>production_countries</strong>: País onde o filme foi produzido</li><li><strong>release_date</strong>: Data de Lançamento do filme</li><li><strong>revenue</strong>: Receita total do filme (em dólares)</li><li><strong>runtime</strong>: Tempo de execução do filme (em minutos)</li><li><strong>spoken_languages</strong>: Idiomas falados no filme</li><li><strong>status</strong>: Status do filme (lançado, para ser lançado, anunciado, etc)</li><li><strong>tagline</strong>: Tagline do filme</li><li><strong>title</strong>: Título oficial do filme</li><li><strong>video</strong>: Se o filme possui vídeo no TMDb</li><li><strong>vote_average</strong>: Avaliação média do filme</li><li><strong>vote_count</strong>: Número de votos contabilizados pelo TMDb</li></ul><h4>5. Implementação do Modelo</h4><p>Neste projeto, utilizarei 2 algoritmos:</p><h4>Demographic Filtering</h4><p>Esse algoritmo oferece uma recomendação com base na popularidade e/ou gênero, ou seja, basicamente os filmes mais populares e aclamados pelo público terão maior probabilidade de serem apreciados pelo público médio. Além disso, é um algoritmo simples.</p><p>Um ponto importante é que para calcular os filmes mais bem avaliados, precisamos levar em conta a nota e a contagem dos votos (pois um filme nota 10 com uma avaliação é diferente de um filme nota 10 com cinco mil avaliações). O <a href="https://www.imdb.com/">IMDb</a> (Internet Movie Database) fornece uma fórmula que pondera essa avaliação ponderada, que é a seguinte:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/126/1*p1HoWm1ddACoJA0XrW4s_A.png" /></figure><p>Onde:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/231/1*to-oQ6Kww3_UyTB6iuaugA.png" /></figure><p>Como temos uma fórmula para o cálculo do Score (Avaliação Ponderada), basicamente criamos uma coluna nos dados com esse cálculo e depois organizamos para mostrar os que possuem os maiores Scores.</p><h4>Content Based Filtering</h4><p>Considera todos os elementos dos filmes antes de recomendá-lo aos usuários, como: overview, estúdio, budget, etc.</p><p>Com essa filtragem as recomendações são mais alinhadas com o gosto dos usuários, da seguinte forma:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/290/1*R5wHvHisk6MslO5RSoPDCg.png" /></figure><p>Esse algoritmo é um pouco mais complexo, mas nada de outro mundo.</p><p><strong>Primeiro Passo:</strong> Criamos uma coluna chamada Tag, essa coluna Tag possui todas as informações relevantes do filme, tais como: Título, diretor, overview, gênero, palavras-chave e etc.</p><p><strong>Segundo Passo:</strong> Vetorizamos nosso DataFrame</p><p><strong>Terceiro Passo:</strong> Utilizamos a similaridade de cossenos no DataFrame vetorizado, assim temos um array que mostra a similaridade entre cada item do DataFrame vetorizado</p><p>Então basicamente quando um usuário escolhe algum filme que deseja receber recomendações o que o algoritmo faz é identificar a posição desse filme no Array similaridade e encontrar os item com o maior valor de similaridade. Encontrados esses itens, o algoritmo nos retorna o nome desses filmes.</p><p>Bem simples, não?</p><h4>6. Deploy do Projeto</h4><p>Essa foi a etapa em que mais apanhei e tive dificuldades. Nunca havia feito deploy de nada e não tinha nem ideia de como fazer, porém encontrei alguns artigos no medium e consegui colocar o projeto em produção.</p><p>Utilizei duas ferramentas maravilhosas, são elas:</p><ul><li><a href="http://streamlit.io/">Streamlit</a></li><li><a href="https://dashboard.heroku.com/apps">Heroku</a></li></ul><p>Basicamente o Streamlit constrói uma aplicação de fácil utilização e o Heroku coloca essa aplicação no ar (como se fosse um site).</p><p>Para conferir a minha aplicação, clique aqui:</p><p><a href="https://recomendacao-filmes-tq33.herokuapp.com/">Streamlit</a></p><h4>7. Conclusão</h4><p>Neste projeto demorei muito mais tempo do que havia planejado e tive vários problemas no meio do caminho, porém consegui tirar alguns aprendizados muito bons, são eles:</p><ul><li>Não adianta querer ter um DataSet com um milhão de dados, primeiro que tudo irá demorar uma vida pra rodar e segundo que existe algo chamado sobreajuste (falarei em outro artigo sobre isso), ou seja, mais dados não é igual a melhor performance.</li><li>Tudo que puder dar errado, vai dar. Desde computador esgotando memória RAM até quase assinar o Google Colab por mais espaço, mas no fim, persistência é a chave pro sucesso.</li><li>Fazer o Deployment não é tão simples quanto parece, vale a pena dedicar um tempo nesta etapa pra não repetir o famoso clichê &quot;na minha máquina está funcionando&quot;.</li><li>Não é porque o seu DataSet tem um milhão de features que você precisa utilizar todas, foque no que realmente importa.</li><li>Foque em fazer uma boa limpeza dos dados, afinal isso é muito importante para a etapa de EDA</li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=81c1f6803f88" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>