<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Vinícius Rocha Lima on Medium]]></title>
        <description><![CDATA[Stories by Vinícius Rocha Lima on Medium]]></description>
        <link>https://medium.com/@viniciusrochalima?source=rss-7ba65a77d35f------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*sDyGT_IqinZoV-bWxEJqdg.png</url>
            <title>Stories by Vinícius Rocha Lima on Medium</title>
            <link>https://medium.com/@viniciusrochalima?source=rss-7ba65a77d35f------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 01:28:15 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@viniciusrochalima/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Variáveis, tipos de variáveis e suas classificações]]></title>
            <link>https://viniciusrochalima.medium.com/vari%C3%A1veis-tipos-de-vari%C3%A1veis-e-suas-classifica%C3%A7%C3%B5es-e93a3e7e2bc8?source=rss-7ba65a77d35f------2</link>
            <guid isPermaLink="false">https://medium.com/p/e93a3e7e2bc8</guid>
            <category><![CDATA[análise-de-dados]]></category>
            <category><![CDATA[dados]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[ciencia-de-dados]]></category>
            <category><![CDATA[estatistica]]></category>
            <dc:creator><![CDATA[Vinícius Rocha Lima]]></dc:creator>
            <pubDate>Tue, 17 Oct 2023 14:29:57 GMT</pubDate>
            <atom:updated>2023-12-04T19:28:32.194Z</atom:updated>
            <content:encoded><![CDATA[<p>Estatística aplicada — parte 2</p><h3>Links</h3><p><a href="https://medium.com/@empowerpython/estat%C3%ADstica-aplicada-07408b3c4845">Parte 1 — Introdução</a></p><h3>O que é uma variável?</h3><p>Uma variável é uma característica, quantidade ou atributo da população ou da amostra que pode ser <strong>contada, mensurada </strong>ou <strong>categorizada</strong>.</p><h3>Tipos de variáveis</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/624/1*T74GtbVytusU4wqmc3_IdA.png" /><figcaption>Tipos de variáveis</figcaption></figure><p><strong>Variáveis qualitativas (não métricas ou categóricas):</strong> representam características que não podem ser medidas ou quantificadas. São expressas em categorias. <strong><em>Exemplos:</em></strong><em> cor dos olhos, nome de uma pessoa, grau de escolaridade, gênero, tipo sanguíneo, religião, estado civil.</em></p><p>Com as variáveis qualitativas podemos utilizar <strong><em>tabelas de distribuição de frequência</em></strong> e alguns tipos de <strong><em>gráficos (barras, pizza e Pareto)</em></strong>. A única medida de resumo que podemos aplicar a esse tipo de variável é a <strong><em>moda</em></strong>.</p><p>💀 <strong>ATENÇÃO:</strong> existem casos em que podemos ter uma variável <strong>qualitativa </strong>representada por números e um erro muito comum é aplicar medidas resumo a ela, como por exemplo o cálculo da média!</p><p><strong>Variáveis qualitativas (métricas):</strong> representam características resultantes de uma <strong>contagem </strong>(conjunto finito de valores) ou uma <strong>mensuração </strong>(conjunto infinito de valores). Podem ser medidas em uma escala numérica. <strong><em>Exemplos:</em></strong><em> altura de uma pessoa, peso de uma pessoa, temperatura do corpo, número de filhos, nota de uma prova, número de funcionários de uma empresa.</em></p><p>Esse tipo de variável pode ser representada das seguintes formas:</p><ul><li>visualmente através de gráficos (linha, dispersão, histograma, ramo-e-folhas e boxplot)</li><li>por meio de medidas de posição ou localização (média, mediana, moda, quartis, decis e percentis)</li><li>por medidas de dispersão ou variabilidade (amplitude, variância, desvio padrão, coeficiente de variação e amplitude interquartil)</li><li>pelas medidas de forma (assimetria e curtose)</li></ul><h3>Escalas de mensuração</h3><p>As variáveis podem ainda ser classificadas pela sua <strong>escala de mensuração</strong>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/860/1*FMne8WTc1jYGDHpFXa7HSQ.png" /><figcaption>Classificação de acordo com a escala de mensuração</figcaption></figure><p>A <strong>escala de mensuração</strong> é um sistema que estabelece uma relação qualitativa ou quantitativa entre os valores de uma variável. Ela ajuda a determinar o nível de informação que essa fornece e tipo de análise estatística que pode ser aplicada.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/886/1*flZsJX5INcv58Y3MgIMIUQ.png" /><figcaption>Escala nominal</figcaption></figure><p><strong>Variáveis qualitativas — escala nominal:</strong> essa escala classifica os elementos em classes ou categorias em relação à característica apresentada. Ela não estabelece nenhuma relação de grandeza ou de ordem. <strong><em>Exemplos:</em></strong><em> gênero, cor dos olhos, tipo sanguíneo, marca de carro.</em></p><p>Vamos pegar o exemplo <strong><em>tipo sanguíneo</em></strong>: A+, A-, B+, B-, AB+, AB-, O+ e O-. <strong>Não temos nenhum tipo de relação de ordem ou grandeza entre os tipos</strong>. <strong>A+</strong> não vem antes e nem é maior que <strong>B+</strong>. <strong>O-</strong> não é menor e nem vem depois de <strong>B+</strong>. Todos os tipos representam categorias sem nenhum relação entre si.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/860/1*Uyc75E293NtdUrN3vQIGCw.png" /><figcaption>Escala ordinal</figcaption></figure><p><strong>Variáveis qualitativas — escala ordinal:</strong> essa escala classifica os elementos em classes ou categorias em relação à característica apresentada porém <strong><em>estabelecendo uma relação de ordem</em></strong> entre as categorias. <strong><em>Exemplos:</em></strong><em> grau de escolaridade, índice de satisfação do cliente, status socioeconômico e classificação de hotel.</em></p><p>Vamos analisar o exemplo <strong><em>índice de satisfação do cliente</em></strong>: imagina que temos as seguintes possibilidades:<em> muito insatisfeito, insatisfeito, neutro, satisfeito e muito satisfeito</em>. Nesse caso, a ordem se aplica: <em>muito insatisfeito</em> vem antes de <em>insatisfeito</em>. <em>Neutro </em>vem antes de <em>satisfeito</em>. <em>Muito satisfeito</em> vem depois de <em>satisfeito</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/860/1*YGWsyiLv8Q-K4pIZN92Ftg.png" /><figcaption>Escala intervalar</figcaption></figure><p><strong>Variáveis quantitativas — escala intervalar:</strong> nessa escala de medida existe uma ordem clara entre os valores e distância entre eles é uniforme e mensurável. Uma curiosidade é que a origem (ou ponto zero) dessa escala é arbitrário e <strong>não significa ausência de valor</strong>. Um exemplo clássico é a <strong>temperatura</strong>. Existe uma ordem clara entre a temperaturas e as distâncias entre elas são uniformes. Além disso, <strong>0º</strong> não significa ausência de temperatura.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/886/1*6lMkz2yrIJRTzMr3-s9piA.png" /><figcaption>Escala de razão</figcaption></figure><p><strong>Variáveis quantitativas — escala de razão:</strong> essa escala possui todas as características da escala intervalar mas em contrapartida possui o chamado <strong><em>zero verdadeiro</em></strong>, que indica a <strong><em>ausência </em></strong>da característica em questão.</p><h3><strong>Número de categorias e escala de precisão</strong></h3><p>Além de todas as classificações acimas, ainda podemos classificar variáveis de acordo com o seu <strong>número de categorias</strong> (variáveis qualitativas) e a sua <strong>escala de precisão</strong> (variáveis quantitativas).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/886/1*R4xU2rrYtGy7BFvXsuMThA.png" /><figcaption>Classificação quanto ao número de categoria e escala de precisão</figcaption></figure><p><strong>Variáveis qualitativa dicotômica ou binária:</strong> pode assumir apenas duas categorias, sendo que os valores 0 ou 1 são atribuídos a essas categorias. O valor <strong>1</strong> é atribuído quando a característica está <strong>presente </strong>e o <strong>0</strong> quando está <strong>ausente</strong>. <strong><em>Exemplos:</em></strong><em> fumante (1) e não fumante (0), país desenvolvido (1) e país subdesenvolvido (0), paciente vacinado (1) e paciente não vacinado (0).</em></p><p><strong>Variáveis qualitativa policotômica:</strong> pode assumir mais que duas categorias. <strong><em>Exemplos:</em></strong><em> classe social (baixa, média e alta), grau de escolaridade (fundamental, médio, superior, pós-graduação).</em></p><p><strong>Variáveis quantitativas discretas:</strong> podem assumir um conjunto <strong>finito </strong>ou <strong>enumerável </strong>de valores, geralmente provenientes de uma <strong>contagem</strong>. <strong><em>Exemplos:</em></strong><em> número de filhos, quantidade de deputados, quantidade de carros fabricados.</em></p><p><strong>Variáveis quantitativas contínuas:</strong> podem assumir qualquer valor dentro de um intervalo de números reais (valores infinitos). <strong><em>Exemplos:</em></strong><em> peso, altura, tempo.</em></p><p>Muitas pessoas têm dificultada com o conceito de valor infinito. Então, para facilitar, pense no exemplo do <strong><em>peso</em></strong>: uma pessoa pode pesar<strong> 80 kg</strong>, mas também pode pesar <strong>80,765 kg</strong> ou <strong>80, 665425</strong> kg e assim por diante, ou seja, os possíveis valores para o peso são infinitos.</p><p>Bom, chegamos ao fim do nosso segundo artigo. Espero que tenham gostado! Lembrem-se que <strong>aprender Estatística é algo muito importante para Analistas e Cientistas de Dados</strong>! 😉</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e93a3e7e2bc8" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Estatística Aplicada]]></title>
            <link>https://viniciusrochalima.medium.com/estat%C3%ADstica-aplicada-07408b3c4845?source=rss-7ba65a77d35f------2</link>
            <guid isPermaLink="false">https://medium.com/p/07408b3c4845</guid>
            <category><![CDATA[análise-de-dados]]></category>
            <category><![CDATA[estatistica]]></category>
            <category><![CDATA[matematica]]></category>
            <category><![CDATA[python]]></category>
            <dc:creator><![CDATA[Vinícius Rocha Lima]]></dc:creator>
            <pubDate>Sun, 08 Oct 2023 23:19:20 GMT</pubDate>
            <atom:updated>2023-10-08T23:37:20.240Z</atom:updated>
            <content:encoded><![CDATA[<p>Estatística Aplicada — parte 1</p><p>A <a href="https://pt.wikipedia.org/wiki/Estat%C3%ADstica"><strong>Estatística </strong></a>teve sua origem em civilizações antigas incluindo os egípcios, gregos e romanos. A origem da palavra vem de <em>status, </em>que significa Estado em latim. Inicialmente o termo era utilizado para descrever e designar conjuntos de dados relativos aos Estados como contagens da população e controles fiscais.</p><p>Muito tempo se passou e a Estatística evoluiu. Hoje, aliada à tecnologia e ao Big Data, essa ciência ganhou um papel fundamental em um mundo moderno e guiado a dados. De simples análises de dados a modelos complexos de <a href="https://pt.wikipedia.org/wiki/Aprendizado_de_m%C3%A1quina">Aprendizado de Máquina</a>, a Estatística permeia pelos mais variados setores da indústria, possibilitando tomadas de decisões cada vez mais assertivas.</p><p>Logo, é <em>muito importante que um profissional da área de dados</em> aprenda os conceitos fundamentais da Estatística e saiba aplicá-los no seu dia a dia.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/512/1*X3Hw-yzfgQQtg620tZdlsg.png" /></figure><p>O objetivo dessa série de artigos é ser bem prática e totalmente direta ao ponto. Sempre deixarei os links dos artigos anteriores listados na parte de cima, para facilitar a navegação. Utilizaremos diferentes ferramentas para aplicar o conteúdo estudado. Entre elas: <a href="https://www.python.org/">Python</a>, <a href="https://colab.research.google.com/">Google Colaboratory</a>, <a href="https://powerbi.microsoft.com/pt-br/">Power BI</a>, <a href="https://www.microsoft.com/pt-br">Excel</a>, <a href="https://workspace.google.com/intl/pt-BR/products/sheets/">Google Planilhas</a> e <a href="https://www.gnu.org/software/pspp/">PSPP </a>(alternativa gratuita ao SPSS). Todos os arquivos estarão disponíveis <a href="https://github.com/empowerdata/estatistica">nesse repositório do Github</a>.</p><h3>As áreas que compõem a Estatística</h3><p>A Estatística está dividida em três grandes partes:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/740/1*C-Uiq9VXaohdyHuELiL2Sw.png" /><figcaption><strong>Nota:</strong> alguns autores consideram a Estatística Probabilística como parte da Inferencial!</figcaption></figure><p><strong>Estatística Descritiva: </strong>foca na organização, sumarização e apresentação dos dados. Essa área lida com a coleta de dados e seu resumo de forma que eles possam ser facilmente compreendidos. Isso é frequentemente realizado através da aplicação de medidas de tendência central (como média, mediana e moda), medidas de dispersão (como amplitude, variância e desvio padrão) e gráficos (como histogramas, gráficos de barras e diagramas de caixa).</p><p><strong>Estatística Probabilística:</strong> lida com o estuda da incerteza. Utiliza a teoria da Probabilidade para modelar fenômenos aleatórios e fazer previsões.</p><p><strong>Estatística Inferencial:</strong> consiste na generalização de resultados de uma amostra para uma população. Isso envolve o uso de técnicas como testes de hipóteses, intervalos de confiança e regressão. O objetivo é fazer inferências ou previsões sobre uma população com base em observações de uma amostra.</p><h3>Termos importantes</h3><p>Antes de começarmos os nossos estudos, é importante conhecer alguns <em>termos estatísticos </em>muito importantes.</p><p><strong>População ou Universo:</strong> conjunto que contém TODOS os indivíduos ou observações de interesse. A população pode incluir pessoas, objetos, eventos, medidas ou qualquer outra coisa que você queira estudar. É importante lembrar que o <strong>TODOS</strong> se refere sempre às observações de interesse do estudo. Por exemplo: se estamos fazendo um estudo onde o interesse é a população brasileira, a nossa população será todas as pessoas que vivem no Brasil. Porém, se o estudo é sobre a cidade do Rio de Janeiro a nossa população será todas as pessoas que vivem nessa cidade.</p><p><strong>Amostra:</strong> é o subconjunto extraído da população para análise. O processo de seleção desses indivíduos ou observações é conhecido como <strong>amostragem</strong>. O objetivo da amostragem é <em>obter um conjunto de dados que seja representativo da população como um todo</em> para que análises e inferências possam ser feitas.</p><p><strong>Censo (ou recenseamento):</strong> é o estudo dos dados de toda a população. Ao contrário da amostra, que envolve a coleta de dados de um subconjunto representativo da população, o censo busca obter informações de cada elemento individual dentro da população alvo. Um censo pode custar muito caro e demandar um tempo considerável para ser realizado. Por isso, <em>utilizar amostras </em>geralmente é mais barato, simples e rápido.</p><p><strong>Variável:</strong> é uma característica ou atributo que desejamos observar, medir ou contar com o objetivo de obtermos algum tipo de conclusão. Exemplos: nome de pessoas, idade, altura e cor dos olhos.</p><p><strong>Dados:</strong> são a matéria prima de qualquer análise estatística. Refere-se às informações coletadas para análise ou referência, geralmente com o objetivo de fazer inferências, tomar decisões ou entender padrões e comportamentos.</p><p><strong>Parâmetros: </strong>medidas estatísticas referentes à <em>população</em>.</p><p>No próximo artigo, abordaremos os<em> tipos de variáveis</em> e as <em>escalas de mensuração e precisão</em>. Espero que tenha gostado e nos encontramos em breve! 😉</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=07408b3c4845" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Pandas — guia para marinheiros de primeira viagem]]></title>
            <link>https://viniciusrochalima.medium.com/pandas-guia-para-marinheiros-de-primeira-viagem-c9c00c333ea1?source=rss-7ba65a77d35f------2</link>
            <guid isPermaLink="false">https://medium.com/p/c9c00c333ea1</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[pandas]]></category>
            <category><![CDATA[análise-de-dados]]></category>
            <dc:creator><![CDATA[Vinícius Rocha Lima]]></dc:creator>
            <pubDate>Mon, 18 Jul 2022 13:27:00 GMT</pubDate>
            <atom:updated>2023-10-08T23:17:49.081Z</atom:updated>
            <content:encoded><![CDATA[<h3>Pandas — Um guia para marinheiros de primeira viagem</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hryXSP4nL2IExot7ymZndA.png" /></figure><p>A biblioteca <a href="https://pandas.pydata.org/">Pandas </a>é sem dúvida uma das ferramentas mais utilizadas por analistas e cientistas de dados em todo mundo.<br>É construída em cima da linguagem <a href="https://www.python.org/">Python </a>e nos permite criar análises, visualizações e manipulações de dados de uma maneira simples e eficiente!</p><p>Nesse guia, pretendo mostrar a utilização básica da ferramenta para aqueles que estão começando a se aventurar nesse mundo de análise de dados. Então, sem muitas delongas, vamos ao que interessa!</p><h3>Instalando a biblioteca</h3><p>Instalar o Pandas é muito simples: basta utilizarmos um gerenciador de pacotes do Python:</p><p>Utilizando o PIP:</p><pre>pip install pandas</pre><p>Utilizando o CONDA:</p><pre>conda install pandas</pre><p>Uma opção bem popular é utilizar uma distribuição Python chamada <a href="https://www.anaconda.com/products/individual">Anaconda</a>. O Anaconda é uma distribuição com foco em análise e ciência de dados e já vem com centenas de bibliotecas pré instaladas, sendo o Pandas uma delas.</p><p>Outra opção é utilizar a <a href="https://www.anaconda.com/products/individual">Google Colaboratory</a>, uma ferramenta desenvolvida pela divisão de Pesquisas da Google e destinada à criação de códigos Python utilizando apenas um navegador web. O Google Colab também possui centenas de bibliotecas pré instaladas e o Pandas já está nesse pacote.</p><h3>O que são DataFrames?</h3><p><strong>O </strong><a href="https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.html"><strong>Pandas DataFrame</strong></a> é uma estrutura de dados bidimensional com os dados organizados de forma tabular em linhas e colunas. Ele é a estrutura básica que o Pandas utiliza para trabalhar com dados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/911/1*RMF0HAJ-KRmR7TU2C6pewQ.jpeg" /></figure><p>A estrutura de um DataFrame é muito semelhante a uma planilha Excel.</p><h3>Criando um DataFrame</h3><p>Bom, podemos criar um DataFrame de muitas formas diferentes:</p><ul><li>convertendo uma lista ou dicionário em um DataFrame</li><li>lendo arquivos CVS, Excel e TXT</li><li>consultas em bancos de dados</li><li>ente outras…</li></ul><p>Como exemplo, vamos criar um DataFrame com os dados de um dicionário:</p><pre>data = {<br>    &#39;nome&#39;: [&#39;Ana&#39;, <br>             &#39;Bia&#39;, <br>             &#39;Carlos&#39;, <br>             &#39;Daniel&#39;, <br>             &#39;Eduardo&#39;, <br>             &#39;Fernando&#39;],<br>   &#39;idade&#39;: [36, <br>             32, <br>             26, <br>             24, <br>             21, <br>             23],<br>   &#39;cidade&#39;: [&#39;São Paulo&#39;, <br>              &#39;Campinas&#39;, <br>              &#39;São Paulo&#39;, <br>              &#39;Campinas&#39;, <br>              &#39;São Paulo&#39;, <br>              &#39;Campinas&#39;],<br>   &#39;notas&#39;: [88.0, <br>             79.5, <br>             74.3, <br>             70.0, <br>             61.5, <br>             58.3]<br>}</pre><p>Para isso, podemos utilizar o método <strong><em>DataFrame()</em></strong> do Pandas:</p><pre>df = pd.DataFrame(data, index=[100, 101, 102, 103, 104, 105])</pre><p>Pronto. Nosso DataFrame já está criado e pronto para ser utilizado!</p><h3>Visualizando os dados do DataFrame</h3><h4>Linhas iniciais</h4><pre>df.head()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/333/1*EloI-U2y7mnXkqPMrWQRpA.png" /></figure><h4>Linhas finais</h4><pre>df.tail()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/353/1*9n9sXYtL1C7BQXsEJ1kNTA.png" /></figure><h4>Índices do DataFrame</h4><p>Sempre que criamos um DataFrame, o Pandas cria um índice para cada linha desse DataFrame. O índice é como um <em>“endereço”</em>: ele define um identificador único para cada linha, facilitando assim o acesso a cada uma delas ao longo do DataFrame.</p><p>Para visualizar o índice de um DataFrame, podemos utilizar o atributo <strong><em>index </em></strong>do Pandas:</p><pre>df.index</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/511/1*jDqn9vo3s6XHGJjvBKgW4Q.png" /></figure><h4>Colunas do DataFrame</h4><pre>df.columns</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/540/1*ZLs3zfMqSOmmzrsOpZW_MA.png" /></figure><h4>Verificando qual é o tipo do DataFrame</h4><pre>type(df)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/255/1*m0v18ofb3conkZYt0hWqPA.png" /></figure><h3>Acessando as colunas do DataFrame</h3><p>Podemos acessar as colunas de um DataFrame de duas formas:</p><ul><li>utilizando a notação de colchetes</li><li>utilizando a notação de ponto</li></ul><p>Um detalhe muito importante é que para utilizar a notação de ponto, é preciso que o nome da coluna <strong>não possua espaço e nem caracteres especiais</strong>.</p><h4>Notação de colchetes</h4><pre>df[&#39;cidade&#39;]</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/256/1*hf5KP0DkW9yk3hVRr3NfNQ.png" /></figure><pre>df[&#39;nome&#39;]</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/235/1*MWok9a4QanqlY_Egu4WViA.png" /></figure><h4>Notação de ponto</h4><pre>df.cidade</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/256/1*hf5KP0DkW9yk3hVRr3NfNQ.png" /></figure><pre>df.nome</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/235/1*MWok9a4QanqlY_Egu4WViA.png" /></figure><h3>Pandas Series</h3><p>A <a href="https://pandas.pydata.org/docs/reference/api/pandas.Series.html">Pandas Series</a> é uma estrutura de dados unidimensional e que também possui um índice. Em outras palavras, <strong>cada coluna do nosso DataFrame é uma Series</strong>. Podemos ver isso ao verificar o tipo de uma coluna:</p><pre>type(df[&#39;nome&#39;])</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/264/1*o0zkY3SbGEmFD5oEsrhEUQ.png" /></figure><h3>Acessando as linhas de um DataFrame</h3><p>Existem diversas maneiras de acessarmos as linhas de um DataFrame e uma das mais fáceis e intuitivas é utilizando os métodos <strong><em>loc </em></strong>e <strong><em>iloc</em></strong>.</p><h4>Método loc</h4><p>O método <strong><em>loc </em></strong>nos permite acessar linhas e colunas diretamente por suas labels, ou seja, podemos passar como parâmetro para o método o “nome” do índice ou da coluna. A sua notação é:</p><pre>df.loc[linhas, colunas]</pre><p>Então se eu quiser acessar uma linha diretamente pelo <em>label </em>do índice:</p><pre>df.loc[100]</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/237/1*6sxwFP3cOR_FkYPJoM12xA.png" /><figcaption>linha com índice 100 (label)</figcaption></figure><pre>df.loc[102]</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/233/1*NkSAqy3oCzIbNF6lpo5bow.png" /><figcaption>linha com índice 102 (label)</figcaption></figure><p>Especificando quais colunas queremos acessar:</p><pre>df.loc[100, &#39;nome&#39;]</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/64/1*SVtm0AWTrxcv2KuHgU5yjA.png" /><figcaption>valor da linha com índice 100 da coluna <strong>nome</strong></figcaption></figure><p>Podemos especificar mais de um índice e mais de uma coluna:</p><pre>df.loc[ [100, 101, 102],[&#39;nome&#39;, &#39;cidade&#39;]]</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/202/1*5Bm5A0k5-dZrE86haKTDNQ.png" /><figcaption>índices 100, 101 e 102 das colunas <strong>nome </strong>e <strong>cidade</strong></figcaption></figure><p>É possível utilizar também a notação de <strong>slicing</strong>:</p><pre>df.loc[ 100:104 ,&#39;nome&#39;:&#39;cidade&#39;]</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/274/1*IDqz-z-bgDUuG8MQO2thiA.png" /><figcaption>linhas de índice 100 a 104, colunas <strong>idade </strong>e <strong>cidade</strong></figcaption></figure><h4>Método iloc</h4><p>O método <strong><em>iloc </em></strong>é muito parecido com o <strong><em>loc</em></strong>, porém nós utilizamos ele para acessar a <strong>posição </strong>do índice e da coluna. Vale lembrar que o Python é uma linguagem baseada em <strong>índice zero</strong>, o que significa que todos os índices (posições) <strong>começam em 0</strong> e não em 1.</p><p>Acessando uma linha pela posição do índice:</p><pre>df.iloc[0]</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/225/1*-iBw8Mg7jLnI6-EYsAzo3w.png" /><figcaption>linha de índice 0 (posição)</figcaption></figure><p>Note que agora estamos especificando a <strong><em>posição </em></strong>do índice e não mais o seu <strong><em>label</em></strong>.</p><p>Especificando linhas e colunas (as colunas também possuem índices):</p><pre>df.iloc[0, 0]</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/56/1*KOufHf7TFUIio_ITc8QQGw.png" /><figcaption>valor da primeira linha (índice 0) e primeira coluna (<strong>nome </strong>— índice 0)</figcaption></figure><pre>df.iloc[0, [1,2]]</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/239/1*qe7o2kdUNXP3BKw0-Me9dQ.png" /><figcaption>primera linha (índice 0), segunda e terceira coluna (índices 1 e 2)</figcaption></figure><p>Aplicando técnicas de slicing com o iloc:</p><pre>df.iloc[0:3, 0:2]</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/163/1*l0SqWRLuFhLdh0ghA4bjPg.png" /><figcaption>linhas de índices 0, 1 e 2 (posições) e as 2 primeiras colunas (índices 0 e 1)</figcaption></figure><p><strong>É muito importante notar que:</strong> quando utilizamos o <strong><em>iloc </em></strong>estamos nos referindo à<strong> posição do índice</strong> e ao utilizar a notação de slicing, o <strong>índice final é sempre exclusivo</strong>, da mesma maneira que ocorre em slicing de listas no Python!</p><h3>Alguns métodos importantes do Pandas</h3><h4>info()</h4><p>Utilizamos o método <strong><em>info()</em></strong> para verificar informações importantes sobre o DataFrame que estamos trabalhando, como:</p><ul><li>tipo de dados das colunas</li><li>tamanho do DataFrame</li><li>valores faltantes (missing values)</li><li>memória utilizada</li></ul><pre>df.info()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/389/1*gkX7ZPbFvKU-AovetmlCgg.png" /><figcaption>informações do DataFrame</figcaption></figure><h4>descibre()</h4><p>O <strong><em>describe()</em></strong> gera estatísticas descritivas sobre as colunas quantitativas que temos no nosso DataFrame:</p><ul><li><strong>count:</strong> total de linhas da coluna que possuem valor</li><li><strong>mean:</strong> média aritmética</li><li><strong>std: </strong>desvio padrão</li><li><strong>min:</strong> valor mínimo da coluna</li><li><strong>25%:</strong> primeiro quartil</li><li><strong>50%:</strong> segundo quartil (mediana)</li><li><strong>75%:</strong> terceiro quartil</li><li><strong>max:</strong> valor máximo da coluna</li></ul><pre>df.describe()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/236/1*p8oIO-pIPQFCOk__NLWMFA.png" /><figcaption>estatísticas descritivas das colunas quantitativas</figcaption></figure><p>Podemos utilizar o <strong><em>round()</em></strong> para arredondar ou retirar as casas decimais:</p><pre>df.describe().round(1)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/182/1*4dPzXhVCnMn75J68L4miUg.png" /></figure><p>E podemos também transpor o nosso DataFrame, para ficar com uma aparência melhor:</p><pre>df.describe().round(1).T</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/444/1*-tFp0uIe6E_hZl0TNq0nGw.png" /><figcaption>resultado do describe de forma transposta</figcaption></figure><h3>Aplicando estatísticas em colunas</h3><p>Podemos utilizar alguns métodos estatísiticos diretamente nas colunas do nosso DataFrame:</p><h4>Média</h4><pre>df[&#39;notas&#39;].mean()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/179/1*YK8nft0zwa_2Hq64EKSQsA.png" /><figcaption>média aritmética da coluna <strong>notas</strong></figcaption></figure><h4>Mediana</h4><pre>df[&#39;idade&#39;].median()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/49/1*kUFFn0TP7QGedqxohJanRw.png" /><figcaption>mediana da coluna <strong>idade</strong></figcaption></figure><h4>Moda</h4><pre>df[&#39;cidade&#39;].mode()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/157/1*nCgwepadd_sA6Fndwc9x4g.png" /><figcaption>moda da coluna <strong>cidade</strong></figcaption></figure><h4>Desvio padrão</h4><pre>df[&#39;notas&#39;].std()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/186/1*2Hr7fLZ0ZZWRHExajsStoQ.png" /><figcaption>desvio padrão da coluna <strong>notas</strong></figcaption></figure><h4>Contando valores</h4><pre>df[&#39;cidade&#39;].value_counts()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/271/1*ciOfVHmJ5tcCBEktQ716tQ.png" /><figcaption>contando valores da coluna <strong>cidade</strong></figcaption></figure><h3>Inserindo colunas no DataFrame</h3><p>Podemos inserir colunas no nosso DataFrame de uma maneira muito simples. Nesse exemplo, vou mostrar como inserir uma coluna calculada. Para isso criaremos uma coluna chamada <strong>nota_adicional </strong>e ela será o valor da nota de cada aluno adicionado de 5:</p><pre>df[&#39;nota_adicional&#39;] = df[&#39;notas&#39;] + 5</pre><p>Agora, vamos ver o nosso DataFrame:</p><pre>df.head(10)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/447/1*L0z1a3mP5FkOS0GJU9BcSA.png" /><figcaption>nova coluna: <strong>nota_adicional</strong></figcaption></figure><p>Note que foi criada a coluna <strong>nota_adicional!</strong></p><h3>Excluindo colunas no DataFrame</h3><p>Para excluir colunas em um DataFrame, podemos utilizar o método drop() e especificando para o parâmetro <strong><em>columns </em></strong>quais são as colunas a serem exlcuídas:</p><pre>df.drop(columns=[&#39;nota_adicional&#39;], inplace=True)</pre><p>O parâmetro <strong><em>inplace </em></strong>recebe o argumento <strong>True </strong>para sinalizar que a exclusão irá ser permanente no DataFrame.</p><p>Verificando o DataFrame novamente, podemos ver que a coluna <strong>nota_adicional </strong>foi excluída:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/321/1*SiF23lpW5cnRj5rwf599nA.png" /><figcaption>coluna <strong>nota_adicional </strong>foi excluída</figcaption></figure><h3>Próximos passos…</h3><p>Bom, isso é só o início para quem está começando a entrar nesse mundo de análise de dados!</p><p>O <strong>Pandas </strong>é uma biblioteca extremamente poderosa e possui uma variedade incrível de recursos para análise, manipulação e visualização de dados.</p><p>Vou trazer novos artigos e projetos aqui no <strong>Medium </strong>mostrando como utilizar muitos desses recursos! 😊</p><p>Caso tenha interesse em aprender mais sobre a linguagem Python, não deixe de acompanhar o nosso perfil no Instagram: <a href="https://www.instagram.com/empowerpython/">@empowerpython</a></p><p>Agora, seu próximo passo é pegar um dataset maior e aplicar novamente tudo o que aprender nesse artigo! Não adianta só ler….para aprender de verdade é preciso colocar a mão na massa!</p><p>Então….já deixo aqui um link de uma base de dados do <a href="https://www.kaggle.com/">Kaggle </a>sobre preços de combustíveis no Brasil para você praticar:</p><p><a href="https://www.kaggle.com/datasets/matheusfreitag/gas-prices-in-brazil">https://www.kaggle.com/datasets/matheusfreitag/gas-prices-in-brazil</a></p><p>Espero que esse artigo tenha sido útil e que você tenha gostado!</p><p>😉</p><p>Vinícius Rocha Lima<br>Empowerdata</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c9c00c333ea1" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Turbinando as suas Análises Exploratórias]]></title>
            <link>https://viniciusrochalima.medium.com/turbinando-as-suas-an%C3%A1lises-explorat%C3%B3rias-cbe788993106?source=rss-7ba65a77d35f------2</link>
            <guid isPermaLink="false">https://medium.com/p/cbe788993106</guid>
            <category><![CDATA[pyton]]></category>
            <category><![CDATA[análise-de-dados]]></category>
            <category><![CDATA[eda]]></category>
            <dc:creator><![CDATA[Vinícius Rocha Lima]]></dc:creator>
            <pubDate>Mon, 22 Jun 2020 22:07:26 GMT</pubDate>
            <atom:updated>2020-06-22T22:07:26.622Z</atom:updated>
            <content:encoded><![CDATA[<iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fplayer.vimeo.com%2Fvideo%2F431420859%3Fapp_id%3D122963&amp;dntp=1&amp;display_name=Vimeo&amp;url=https%3A%2F%2Fvimeo.com%2F431420859&amp;image=https%3A%2F%2Fi.vimeocdn.com%2Fvideo%2F912671558_1280.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=vimeo" width="1920" height="1028" frameborder="0" scrolling="no"><a href="https://medium.com/media/56845c7f21bc6833de49db373e638682/href">https://medium.com/media/56845c7f21bc6833de49db373e638682/href</a></iframe><p>Bom, dessa vez eu vou falar um pouquinho sobre uma parte da análise de dados que nos demanda um tempo considerável: a análise exploratória de dados, também muito conhecida como <strong><em>EDA</em></strong> (Exploratory Data Analysis).</p><p>A grande maioria, na hora de realizar uma análise exploratória, acaba sempre seguindo as mesmas etapas no início da análise:</p><ol><li>Importar os dados de alguma fonte</li><li>Verificar o tamanho do dataset</li><li>Verificar quais são as colunas e seus respectivos tipos de dados</li><li>Identificar quais colunas são quantitativas e quais são quantitativas</li><li>Identificar se existem dados faltantes (<em>missing values</em>)</li><li>Analisar a distribuição de frequência das colunas quantitativas</li><li>Analisar possíveis correlações entre as variáveis</li><li>E por aí vai………</li></ol><p>Existem muitas ferramentas que nos permitem realizar essas etapas com maestria, porém uma unanimidade entre os profissionais de dados são o R e o Python. O primeiro é um ambiente analítico repleto de recursos e o segundo uma linguagem de programação completa, de múltiplos propósitos (desenvolvimento de scripts, desktop, web….) que pode se transformar numa ferramenta extremamente poderosa de análise de dados.</p><p>Nesse artigo, eu vou utilizar o <a href="http://www.python.org/"><strong>Python</strong> </a>com a biblioteca <a href="https://pandas.pydata.org/"><strong>Pandas</strong> </a>e em seguida mostrar uma outra biblioteca, baseada no Pandas, que facilita muito a nossa vida e analista. Vamos utilizar também o <a href="https://colab.research.google.com/"><strong>Google Colaboratory</strong></a> que é uma ferramenta fantástica! Disponibilizei um Notebook lá para você acompanhar tudo. Você pode também copiá-lo para o seu Google Drive. Clique no botão abaixo para acessá-lo!</p><figure><a href="http://colab.research.google.com/drive/1R3kShk7fDXDCfZKiXo7PIw7WY-C87y1y?usp=sharing"><img alt="" src="https://cdn-images-1.medium.com/max/107/1*VD46Sx2ReydrxChWjO7-AQ.jpeg" /></a></figure><p>Vamos lá então e colocar a mão na massa! Vamos utilizar nesse exemplo um <a href="https://www.kaggle.com/dongeorge/beer-consumption-sao-paulo">dataset do Kaggle</a> sobre consumo de cerveja em São Paulo.</p><pre>import pandas as pd<br>import seaborn as sns</pre><p>Eu vou utilizar o Pandas para realizar as etapas iniciais de análise exploratória e o <a href="https://seaborn.pydata.org/">Seaborn </a>para plotar um gráfico de correlação.</p><p>O próximo passo é importar os dados. Eu fiz algumas modificações no dataset para utilizar no nosso exemplo. Vamos utilizar a função “<strong>read_csv</strong>” do Pandas e informar para ela onde o arquivo se encontra:</p><pre>df = pd.read_csv(&#39;https://raw.githubusercontent.com/viniciusrochalima/artigos/master/datasets/Consumo_cerveja.csv&#39;)</pre><p>Com o nosso dataset importado, podemos dar início às nossas análises exploratórias. Os primeiros passos seriam verificar se os dados foram importados corretamente, os tipos das colunas, dados ausentes, distribuição das variáveis e correlações. Então, vamos lá!</p><p>Verificando se os dados foram importados corretamente. Para isso, podemos utilizar a função “<strong>head</strong>” da biblioteca Pandas:</p><pre>df.head()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/902/1*6tCiwARjswR9spJUqZan_g.jpeg" /></figure><p>Em seguida, vamos verificar o tamanho do nosso dataset utilizando o atributo “<strong>shape</strong>”. Ele retorna uma tupla com dois valores: total de linhas e total de colunas.</p><pre>print(f&#39;Linhas: {df.shape[0]}&#39;)<br>print(f&#39;Colunas: {df.shape[1]}&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/274/1*t3Nlj5ydksJHVlt0bly3Vw.jpeg" /></figure><p>Nosso próximo passo é buscar informações sobre as colunas e os seus tipos de dados. Para isso utilizaremos o atributo “<strong>dtypes</strong>”:</p><pre>df.dtypes</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/248/1*l9H7Hy5EAuuPYnLwEKDYYA.jpeg" /></figure><p>Agora vamos verificar se existem colunas que não estão com todos os dados preenchidos, os famosos <em>missing values</em>. Para verificar isso, o Pandas possui a função “<strong>isna</strong>”. Acontece que quando utilizamos apenas essa função o que acontece é que o Pandas retorna o Dataframe com valores booleanos, informando se o dado da célula é NaN ou não. Porém, sabemos que os valores booleanos True e False equivalem aos valores 1 e 0. Então vamos utilizar também a função “<strong>sum</strong>” para somar todos os True e False e assim saber quantos dados estão faltando.</p><pre>df.isna().sum()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/197/1*lrYwkWyTjgymn--_CsYyrg.jpeg" /></figure><p>Podemos verificar que temos valores faltando nas colunas “<strong>temperatura_min</strong>” e “<strong>temperatura_max</strong>”.</p><p>Uma outra forma de ver valores <em>missing </em>e já verificar os tipos de dados das colunas é a função “<strong>info</strong>”:</p><pre>df.info()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/388/1*Z89iTu5i07-ZDPRA6fIgbA.jpeg" /></figure><p>Vamos dar uma olhada agora na distribuição das nossas variáveis qualitativas. Para isso usaremos a função “<strong>hist</strong>” que plota um histograma.</p><pre>df.hist(figsize=(15,12));</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/902/1*0JTQsOGUWtoNhMWwc1SU0A.jpeg" /></figure><p><strong>Dica:</strong> vejam que eu utilizei um ponto e vírgula no final do comando. Isso evita que o Colab imprima esse código antes dos gráficos:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/895/1*usVmKylnpnAZzl0JBl1yoA.jpeg" /></figure><p>Agora é a hora de analisar possíveis correlações entre as variáveis. Para isso utilizaremos dois recursos: a função “<strong>corr</strong>” do Pandas e a biblioteca <strong>Seaborn </strong>para plotar um gráfico dessas correlações.</p><pre>correlacao = df.corr()<br>correlacao</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/924/1*sKw4kQaadIj7LNd1odMuxg.jpeg" /></figure><p>Plotando o gráfico de correlação:</p><pre>sns.heatmap(correlacao, cmap=&#39;RdBu&#39;, annot=True)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/553/1*pM-9ZbKHFpf-P9s7UPuIvA.jpeg" /></figure><p>Bom, esses seriam os passos iniciais de uma análise exploratória básica. Mas a pergunta que fica é: <strong>será que existe um jeito melhor de realizar essas etapas?</strong></p><h3>Pandas Profiling</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/350/1*Zj19T4iXNe8KTp1H83C0GA.jpeg" /></figure><p><strong>A resposta é sim!</strong> Agora vou apresentar a vocês uma biblioteca chamada <a href="https://github.com/pandas-profiling/pandas-profiling"><strong>Pandas Profiling</strong></a>. Essa biblioteca é baseada no Pandas e sua função é gerar um relatório de perfil dos nossos dados, facilitando assim a etapa inicial de análises exploratória.</p><p>O <strong>Pandas Profiling</strong> já vem instalado no Colab. Porém, eu sempre instalo a última versão, diretamente do repositório oficial. Para executar comandos no shell diretamente do Google Colab, utilizamos o sinal de exclamação. Então, vamos executar o <a href="https://pypi.org/project/pip/"><strong>PIP </strong></a>para instalar a versão mais recente do <strong>Pandas Profiling</strong>:</p><pre>!pip install https://github.com/pandas-profiling/pandas-profiling/archive/master.zip -q</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/466/1*9Fiyptw6mwqbi7gfZpFAPg.jpeg" /></figure><p>Importando a biblioteca:</p><pre>from pandas_profiling import ProfileReport</pre><p>E vejam como é simples a sua utilização. Vamos criar uma variável chamada “<strong>report</strong>” e armazenar nela o retorno da chamada da função <strong>ProfileReport</strong>:</p><pre>report = ProfileReport(df)</pre><p><strong>E toda mágica acontece!</strong> Agora, podemos utilizar a variável “<strong>report</strong>” para plotas as informações do nosso dataset diretamente no Colab ou salvar em um arquivo HTML por exemplo, para enviar para outras pessoas.</p><p>Plotando o profile diretamente no Notebook:</p><pre>report.to_notebook_iframe()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/599/1*G8Sq-XJBLHOXVQ7RoqQslw.jpeg" /></figure><p>E veja a riqueza de informações que uma simples linha de código nos fornece! O relatório gerado é dividido nas seguintes parte:</p><ul><li>Overview</li><li>Variables</li><li>Interactions</li><li>Correlations</li><li>Missing values</li><li>Sample</li></ul><h3>Overview</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PzRgWDm-2U42pBpSv3yIyg.jpeg" /></figure><p>A seção <strong>Overview </strong>nos traz um resumo estatístico dos dados, como número de variáveis (colunas), número de observações (linhas), quantidade de dados faltantes, quantidade de linhas duplicadas, total de espaço na memória ocupada pelo Dataset e espaço médio de memória ocupada por cada registro. Além disso ele também identifica quantas colunas são do tipo Numéricas (Quantitativas), Categóricas (Qualitativas) e Booleanas.</p><h3>Variables</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*daraeI6MIUM03PiwHU3z8A.jpeg" /></figure><p>A seção <strong>Variables </strong>traz um resumo estatístico de cada coluna e já mostra como é a sua distribuição (para colunas quantitativas). Você pode clicar em “Toogle details” para obter mais detalhes ainda!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ftme_vjkrfcOLPfLlU6xyA.jpeg" /></figure><p>Aqui você terá acesso às medidas de separatrizes, desvio padrão, histograma, coeficientes de curtose e assimetria ,valores comuns e extremos.</p><h3>Interactions</h3><p>A seção <strong>Interactions </strong>nos permite analisar a correlação entre duas variáveis selecionáveis:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tlYlsm2lYz_Wru9hPERkNg.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/972/1*nB4AfSs531n0bKNGirZcGQ.jpeg" /></figure><p>Olha o poder de análise que a ferramenta nos proporciona!</p><h3>Correlations</h3><p>A seção <strong>Correlations </strong>nos traz as correlações entre todas as variáveis quantitativas, sob a ótica de diferentes tipos de coeficientes.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*k0pkzUrB1L_1Xdad6q5JGw.jpeg" /></figure><h3>Missing Values</h3><p>A seção de <strong>Missing Values</strong> nos mostra um resumo, em forma de gráficos, dos dados faltantes:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GFwvbAi5QVAuIfUegDGSeA.jpeg" /></figure><h3>Sample</h3><p>Finalmente, a seção <strong>Sample </strong>traz amostras dos registros do nosso dataset.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ogdS5QiAsR5G4-gB2Kchvg.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1-z5IdtCscdG6MIiJ00Ebg.jpeg" /></figure><h3>Gravando o Profile em um arquivo</h3><p>Lembrando que podemos utilizar <strong>Pandas Profiling</strong> para gravar o relatório gerado em um arquivo. Isso facilita muito na hora que temos que enviar as análises para outra pessoa. Para isso, basta usar o seguinte comando:</p><pre>report.to_file(&#39;profile_consumo_cerveja.html&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/514/1*a-a8JGc3-IfAn1Sri6mcRg.jpeg" /></figure><p>Para fazer o <strong>download </strong>do arquivo, basta clicar no ícone de pasta do lado esquerdo do seu Colab, clicar com o botão direito do mouse sobre o arquivo “<strong>profile_consumo_cerveja.html</strong>” e escolher a opção “<strong>Download</strong>”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/988/1*Xf7HDpNi3aVkWbgh245Olw.jpeg" /></figure><h3>Conclusão</h3><p>O objetivo desse artigo foi apresentar mais uma ferramenta para auxiliar no processo de análise exploratória de dados. O <strong>Pandas Profiling</strong> é sem dúvida um ótimo recurso e nos poupa um bom tempo na hora de realizar esse tipo de análise.</p><p><strong>Porém, devemos sempre lembrar que as habilidades de um analista de dados devem estar sempre acima de qualquer ferramenta. Ferramentas são apenas recursos!</strong></p><p>Espero que tenham gostado e até o próximo artigo!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=cbe788993106" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Utilizando processamento de linguagem natural para criar um sumarização automática de textos]]></title>
            <link>https://viniciusrochalima.medium.com/utilizando-processamento-de-linguagem-natural-para-criar-um-sumariza%C3%A7%C3%A3o-autom%C3%A1tica-de-textos-775cb428c84e?source=rss-7ba65a77d35f------2</link>
            <guid isPermaLink="false">https://medium.com/p/775cb428c84e</guid>
            <category><![CDATA[textos]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[naturallanguageprocessing]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[programming]]></category>
            <dc:creator><![CDATA[Vinícius Rocha Lima]]></dc:creator>
            <pubDate>Wed, 26 Apr 2017 22:12:30 GMT</pubDate>
            <atom:updated>2017-04-26T22:12:32.949Z</atom:updated>
            <content:encoded><![CDATA[<p>Olá meus amigos! No artigo de hoje eu vou demonstrar como utilizar o processamento de linguagem natural para criar um modelo que realiza sumarização automática de textos.<br>Mas o que vem a ser uma sumarização? Sumarizar é sinônimo de resumir, sintetizar. Então o que vamos fazer é criar um modelo em Python que seja capaz de ler um texto de uma fonte qualquer e depois criar um resumo desse texto.</p><p>Para isso iremos usar as bibliotecas <a href="http://www.nltk.org/"><strong>NLTK </strong></a>,que já conhecemos dos artigos anteriores, e a biblioteca <a href="https://www.crummy.com/software/BeautifulSoup/"><strong>BeautifulSoap </strong></a>que utilizaremos para fazer web scraping, que nada mais é do que garimpar dados na internet.</p><p>Antes de mais nada, precisamos entender como funciona o processo de criação do resumo de um texto . Você tem alguma ideia de como podemos fazer isso? Na verdade existem inúmeras técnicas e algoritmos para sumarização, porém nós vamos utilizar uma técnica <strong>muito simples </strong>que será o modelo <strong>baseado em regras</strong>.</p><p>Para entender como isso tudo funciona, acompanhe o vídeo:</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fplayer.vimeo.com%2Fvideo%2F214900890&amp;url=https%3A%2F%2Fvimeo.com%2F214900890&amp;image=https%3A%2F%2Fi.vimeocdn.com%2Fvideo%2F631490303_1280.jpg&amp;key=d04bfffea46d4aeda930ec88cc64b87c&amp;type=text%2Fhtml&amp;schema=vimeo" width="1920" height="1080" frameborder="0" scrolling="no"><a href="https://medium.com/media/6b09cc0c51c08afd35eccdf0ba0f3a70/href">https://medium.com/media/6b09cc0c51c08afd35eccdf0ba0f3a70/href</a></iframe><h3>Passo-a-Passo</h3><p>Primeiramente, vamos instalar as bibliotecas que iremos utilizar através do PIP:</p><pre>$ pip install nltk<br>$ pip install beautifulsoup4</pre><p>Em seguida, vamos fazer as configurações necessárias para o NLTK funcionar corretamente. Para isso, basta executar o seguinte código dentro da REPL:</p><pre><strong>import </strong>nltk<br>nltk.download()</pre><p>Ele abrirá a interface gráfica do NLTK, onde você pode escolher <strong>corporas </strong>e <strong>modelos </strong>para baixar:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bobt2wDsq9KfJH3fHWcl9Q.png" /><figcaption>Interface gráfica NLTK</figcaption></figure><p>Recomendo que você faça o download dos seguintes pacotes:<br><strong><em>- averaged_perceptron_tagger<br>- floresta<br>- mac_morpho<br>- machado<br>- punkt<br>- stopwords<br>- wordnet<br>- words</em></strong></p><p>Eu não vou entrar em detalhes sobre o funcionamento do <a href="https://www.crummy.com/software/BeautifulSoup/"><strong>BeautifulSoap</strong></a> e <a href="http://www.nltk.org/"><strong>NLTK</strong></a><strong> </strong>para não perdermos muito tempo.<strong> </strong>Detalharemos o funcionamento de cada um deles mais para frente.</p><p>1- Vamos começar fazendo o <strong>import </strong>das funções <strong><em>Request </em></strong>e <strong><em>urlopen </em></strong>da biblioteca <strong>urllib.request </strong>(urllib2 no Python 2).</p><pre><strong>from </strong>urllib.request <strong>import </strong>Request, urlopen</pre><p>2- Agora vamos utilizar essas funções para ler uma notícia do site <a href="http://ultimosegundo.ig.com.br/politica/2017-04-25/reforma-da-previdencia.html"><strong>Último Segundo</strong></a><strong>. </strong>As informações retornadas serão armazenadas em uma variável chamada <strong><em>pagina.</em></strong></p><pre>link = Request(<strong>&#39;http://ultimosegundo.ig.com.br/politica/2017-04-25/reforma-da-previdencia.html&#39;</strong>,headers={<strong>&#39;User-Agent&#39;</strong>: <strong>&#39;Mozilla/5.0&#39;</strong>})</pre><pre>pagina = urlopen(link).read().decode(<strong>&#39;utf-8&#39;</strong>, <strong>&#39;ignore&#39;</strong>)</pre><p>3- Hora de utilizar o <a href="https://www.crummy.com/software/BeautifulSoup/"><strong>BeautifulSoap</strong></a><strong> </strong>para garimpar a página e pegar apenas o que nos interessa. Nessa etapa é importante saber que<strong> o código depende da estrutura da página que estamos garimpando</strong>, ou seja, é preciso modificá-lo para garimpar outras páginas. No site do <a href="http://ultimosegundo.ig.com.br/politica/2017-04-25/reforma-da-previdencia.html"><strong>Último Segundo</strong></a> as notícias ficam dentro de uma DIV com ID=noticia, como vocês podem notar na imagem:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*a-l0mao4hsfMa6F0fOOeaw.png" /><figcaption>Estrutura de página do site Último Segundo</figcaption></figure><p>Então o que vamos fazer é realizar uma busca pelos elementos que possuem <strong><em>id=noticia</em></strong>. Assim a gente consegue fazer um filtro e pegar apenas a notícia no site.</p><pre><strong>from </strong>bs4 <strong>import </strong>BeautifulSoup<br>soup = BeautifulSoup(pagina, <strong>&quot;lxml&quot;</strong>)<br>texto = soup.find(id=<strong>&quot;noticia&quot;</strong>).text</pre><p>4- Chegou o momento de aplicarmos o processamento sobre linguagens naturais para tratar o texto extraído da notícia do site. Vamos começar importando algumas funcionalidades da biblioteca <a href="http://www.nltk.org/"><strong>NLTK</strong></a>:</p><pre><strong>from </strong>nltk.tokenize <strong>import </strong>word_tokenize<br><strong>from </strong>nltk.tokenize <strong>import </strong>sent_tokenize</pre><p>Agora vamos dividir o nosso texto em sentenças e depois em palavras:</p><pre>sentencas = sent_tokenize(texto)<br>palavras = word_tokenize(texto.lower())</pre><p>5- Um detalhe muito importante no processamento de linguagens naturais é identificar as chamadas <strong>stopwords </strong>do idioma. <strong>Stopword </strong>nada mais é que uma palavra que possui apenas significado sintático dentro da sentença, porém não traz informações relevantes sobre o seu sentido. As <strong>stopwords</strong> possuem uma frequência muito grande em todos os idiomas e por esse motivo precisamos eliminá-las das palavras que extraímos do texto. Caso contrário, nosso algoritmo poderia dar importância para palavras como: “e”, “ou”, “para”….e isso certamente atrapalharia nossa análise.</p><blockquote><strong>ATENÇÃO: </strong>O processo de “tokenização” do <a href="http://www.nltk.org/"><strong>NLTK</strong></a><strong> </strong>considera as pontuações do texto como tokens também e por isso não podemos deixar de retirá-los também!</blockquote><p>Retirando as <strong>stopwords </strong>da nossa lista de palavras:</p><pre><strong>from </strong>nltk.corpus <strong>import </strong>stopwords<br><strong>from </strong>string <strong>import </strong>punctuation</pre><pre>stopwords = set(stopwords.words(<strong>&#39;portuguese&#39;</strong>) + list(punctuation))<br>palavras_sem_stopwords = [palavra <strong>for </strong>palavra <strong>in </strong>palavras <strong>if </strong>palavra <strong>not in </strong>stopwords]</pre><p>Veja que utilizamos SET (não permite elementos repetidos) e também compreensão de lista. Temos que configurar o idioma das <strong>stopwords </strong>que queremos, no caso <strong>português</strong>. Retiramos também todas as pontuações utilizando <strong>ponctuation </strong>da biblioteca <strong>string</strong>.</p><p>Agora temos nossa lista de palavras do texto sem as <strong>stopwords, </strong>armazenada na variável <strong>palavras_sem_stopwords</strong>.</p><p>6- Hora de criar a nossa <strong>distribuição de frequência</strong> para essa lista de palavras e descobrir quais são as mais importantes. Para isso, vamos utilizar a função <strong><em>FreqDist </em></strong>da biblioteca <strong>nltk.probability</strong>:</p><pre><strong>from </strong>nltk.probability <strong>import </strong>FreqDist<br>frequencia = FreqDist(palavras_sem_stopwords)</pre><p>7- Vamos agora separar quais são as <strong>sentenças mais importantes</strong> do nosso texto. Criaremos um “<strong>score</strong>” para cada sentença baseado no número de vezes que uma palavra importante se repete dentro dela. Vamos utilizar um dicionário especial chamado <strong>defaultdict </strong>da biblioteca <strong>collections</strong>. A principal diferença para um dicionário comum é que ele não lança uma exceção quando você pesquisa por uma chave inexistente (<strong><em>KeyError</em></strong>). Ao contrário, ele adiciona essa chave no dicionário!</p><pre><strong>from </strong>collections <strong>import </strong>defaultdict<br>sentencas_importantes = defaultdict(int)</pre><p>Hora de popular o nosso dicionário. Vamos criar um looping para percorrer todas as sentenças e coletar todas as estatísticas:</p><pre><strong>for </strong>i, sentenca <strong>in </strong>enumerate(sentencas):<br>    <strong>for </strong>palavra <strong>in </strong>word_tokenize(sentenca.lower()):<br>        <strong>if </strong>palavra <strong>in </strong>frequencia:<br>            sentencas_importantes[i] += frequencia[palavra]</pre><p>Note que o código acima popula o dicionário com o <strong>índice </strong>da sentença (<strong><em>key</em></strong>) e a <strong>soma da frequência de cada palavra</strong> presente na sentença (<strong><em>value</em></strong>).</p><p>9- Pronto! De posse dessas informações, podemos selecionar no nosso dicionário as<strong> “n”</strong> <strong>sentenças mais importantes </strong>para formar o nosso resumo. Para facilitar a nossa vida, vamos usar a funcionalidade <strong><em>nlargest </em></strong>da biblioteca <strong>heapq</strong>:</p><pre><strong>from </strong>heapq <strong>import </strong>nlargest</pre><pre>idx_sentencas_importantes = nlargest(4, sentencas_importantes, sentencas_importantes.get)</pre><blockquote>No código acima, eu escolhi as <strong>4</strong> sentenças mais importantes!</blockquote><p>10- Finalmente podemos criar o nosso resumo:</p><pre><strong>for </strong>i <strong>in </strong>sorted(idx_sentencas_importantes):<br>    print(sentencas[i])</pre><p>Segue o nosso resumo da notícia:</p><pre>Lúcio Bernardo Junior/Câmara dos Deputados - 19.4.17<br>Deputados discutem na Comissão da Reforma da Previdência; com gravata roxa, o presidente do colegiado, Carlos Marun</pre><pre>A comissão especial que analisa a proposta de reforma da Previdência na Câmara dos Deputados inicia na tarde desta terça-feira (25) a discussão do                   relatório apresentado na semana passada pelo relator<br>, deputado Arthur Maia (PPS-BA).<br>Depois de fechar acordo com parlamentares da oposição, que tentavam obstruir a sessão de leitura do parecer do relator, o presidente da comissão da                   reforma da Previdência<br>, deputado Carlos Marun (PMDB-MS), designou que todas as reuniões desta semana sejam para discutir o relatório e apresentar pedido de vista.<br>O relatório de Arthur Maia fixa a idade mínima de aposentadoria em 62 anos para as mulheres e em 65 anos para os homens após um período de transição de 20 anos.<br>Para se tornar lei, a proposta de reforma da Previdência precisa, após ser aprovada na comissão especial, também passar por votação em dois turnos no plenário da Câmara e depois receber o aval do Senado.</pre><blockquote>A frase “sem sentido” no início do resumo é a legenda da foto contida na notícia!</blockquote><p>E chegamos ao final de mais um artigo! Ele ficou um pouco longo mas acredito que valeu a pena. Como desafio, sugiro que vocês modifiquem o código para ler textos de outros sites, de arquivos txt…etc…e testem com textos maiores. Tentem entender cada parte do código. Leia a documentação do Python e das bibliotecas se tiver dúvidas.</p><p>Mais para frente farei um artigo demonstrando a sumarização automática utilizando<strong> modelos baseados em Machine Learning!</strong></p><p>Espero que tenham gostado! <br>Um grande abraço a todos,</p><p>Vinil</p><h3>Código completo</h3><pre><strong>from </strong>urllib.request <strong>import </strong>Request, urlopen<br><br>link = Request(<strong>&#39;http://ultimosegundo.ig.com.br/politica/2017-04-25/reforma-da-previdencia.html&#39;</strong>,<br>               headers={<strong>&#39;User-Agent&#39;</strong>: <strong>&#39;Mozilla/5.0&#39;</strong>})<br>pagina = urlopen(link).read().decode(<strong>&#39;utf-8&#39;</strong>, <strong>&#39;ignore&#39;</strong>)<br><br><strong>from </strong>bs4 <strong>import </strong>BeautifulSoup<br><br>soup = BeautifulSoup(pagina, <strong>&quot;lxml&quot;</strong>)<br>texto = soup.find(id=<strong>&quot;noticia&quot;</strong>).text<br><br><strong>from </strong>nltk.tokenize <strong>import </strong>word_tokenize<br><strong>from </strong>nltk.tokenize <strong>import </strong>sent_tokenize<br><br>sentencas = sent_tokenize(texto)<br>palavras = word_tokenize(texto.lower())<br><br><strong>from </strong>nltk.corpus <strong>import </strong>stopwords<br><strong>from </strong>string <strong>import </strong>punctuation<br><br>stopwords = set(stopwords.words(<strong>&#39;portuguese&#39;</strong>) + list(punctuation))<br>palavras_sem_stopwords = [palavra <strong>for </strong>palavra <strong>in </strong>palavras <strong>if </strong>palavra <strong>not in </strong>stopwords]<br><br><strong>from </strong>nltk.probability <strong>import </strong>FreqDist<br><br>frequencia = FreqDist(palavras_sem_stopwords)<br><br><strong>from </strong>collections <strong>import </strong>defaultdict<br><br>sentencas_importantes = defaultdict(int)<br><br><strong>for </strong>i, sentenca <strong>in </strong>enumerate(sentencas):<br>    <strong>for </strong>palavra <strong>in </strong>word_tokenize(sentenca.lower()):<br>        <strong>if </strong>palavra <strong>in </strong>frequencia:<br>            sentencas_importantes[i] += frequencia[palavra]<br><br><strong>from </strong>heapq <strong>import </strong>nlargest<br><br>idx_sentencas_importantes = nlargest(4, sentencas_importantes, sentencas_importantes.get)<br><br><strong>for </strong>i <strong>in </strong>sorted(idx_sentencas_importantes):<br>    print(sentencas[i])</pre><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=775cb428c84e" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Criando um analisador de sentimentos para tweets]]></title>
            <link>https://viniciusrochalima.medium.com/criando-um-analisador-de-sentimentos-para-tweets-a53bae0c5147?source=rss-7ba65a77d35f------2</link>
            <guid isPermaLink="false">https://medium.com/p/a53bae0c5147</guid>
            <category><![CDATA[twitter]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[naturallanguageprocessing]]></category>
            <dc:creator><![CDATA[Vinícius Rocha Lima]]></dc:creator>
            <pubDate>Mon, 24 Apr 2017 17:39:17 GMT</pubDate>
            <atom:updated>2017-04-24T17:40:19.303Z</atom:updated>
            <content:encoded><![CDATA[<p>Olá pessoal! Nesse artigo eu vou demonstrar, da maneira mais fácil possível, como podemos criar um simples modelo para realizar análises de sentimentos nos tweets do Twitter.</p><p>Lembrando que o processamento computacional de linguagens naturais é uma área de grande interesse para nós cientistas de dados. Ela envolve inúmeros algoritmos de aprendizado de máquina e inteligência artificial. Fazer com que os computadores entendam e compreendam as linguagens naturais não é uma tarefa trivial, porém temos inúmeras ferramentas hoje em dia que facilitam bastante a nossa vida.</p><p>Para esse exemplo vamos utilizar as bibliotecas <a href="https://textblob.readthedocs.io/en/dev/"><strong>textblob</strong></a>, <a href="http://www.tweepy.org/"><strong>tweepy </strong></a>e a <a href="https://apps.twitter.com/"><strong>API do Twitter</strong></a>.</p><p>Antes do passo-a-passo, vamos instalar nossas bibliotecas utilizando o <strong>PIP</strong>:</p><pre>$ pip install -U textblob<br>$ python -m textblob.download_corpora</pre><pre>$ pip install tweepy</pre><p>Já falamos sobre o TextBlob no meu artigo sobre <a href="https://medium.com/@viniljf/criando-um-classificador-para-processamento-de-linguagem-natural-8dc27f3642a1"><strong>classificação utilizando Naive Bayes</strong></a>. O <a href="http://www.tweepy.org/"><strong>tweepy</strong></a><strong> </strong>é uma biblioteca python que nos permite acessar facilmente a API do Twitter.</p><h3>Passo-a-passo</h3><p>Agora sim, vamos colocar a mão na massa:</p><p>1- A primeira coisa que vamos fazer é criar um aplicativo no Twitter. Para explicar isso, achei melhor fazer um vídeo:</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fplayer.vimeo.com%2Fvideo%2F214507688&amp;url=https%3A%2F%2Fvimeo.com%2F214507688&amp;image=https%3A%2F%2Fi.vimeocdn.com%2Fvideo%2F630992548_1280.jpg&amp;key=d04bfffea46d4aeda930ec88cc64b87c&amp;type=text%2Fhtml&amp;schema=vimeo" width="1920" height="1028" frameborder="0" scrolling="no"><a href="https://medium.com/media/25b39d809acc1586a85fdfe2ae51c526/href">https://medium.com/media/25b39d809acc1586a85fdfe2ae51c526/href</a></iframe><p>2- Agora no seu editor favorito, vamos fazer o <strong>import </strong>das funcionalidades que iremos utilizar no nosso modelo:</p><pre><strong>import </strong>tweepy<br><strong>from </strong>textblob <strong>import </strong>TextBlob</pre><p>3- Vamos criar as variáveis que irão receber as informações de autenticação na API do Twitter. É nesse momento que iremos utilizar as informações que você anotou ao criar o seu app (detalhes no vídeo acima):</p><pre>consumer_key=<strong>&#39;yAL0H3XVN3TFmZtSXWONNAuLJ&#39;<br></strong>consumer_secret=<strong>&#39;79OuTu1LvgmmiZERMKJ0pEHO6dmVx9M1ZU2AOi92x3clxUa14f&#39;<br><br></strong>access_token=<strong>&#39;54384307-XkH48t5V2scEApizDkjL1Dt9V7FRWnLryColjLX4j&#39;<br></strong>access_token_secret=<strong>&#39;eHxk2mx6eNg5OcstPt8SslmCF6Gn56SfdQpCzMW70WUoD&#39;</strong></pre><p>4- Chegou a hora de fazer a autenticação do nosso programa na API do Twitter:</p><pre>auth = tweepy.OAuthHandler(consumer_key,consumer_secret)<br>auth.set_access_token(access_token,access_token_secret)</pre><pre>api = tweepy.API(auth)</pre><p>Vamos testar a nossa autenticação. A função abaixo retorna as informações, no formato JSON, do usuário que você está utilizando para se conectar ao Twitter. Caso a autenticação seja realizada com sucesso, você deverá ter um retorno parecido com isso:</p><pre>User(_api=&lt;tweepy.api.API object at 0x0000029D67354278&gt;,<br>_json={  <br>   &#39;id&#39;:62421336,<br>   &#39;id_str&#39;:&#39;26364302&#39;,<br>   &#39;name&#39;:&#39;Vinil&#39;,<br>   &#39;screen_name&#39;:&#39;viniljf&#39;,<br>   &#39;location&#39;:&#39;Brazil&#39;,<br>   &#39;profile_location&#39;:None,<br>   &#39;description&#39;:&#39;Data scientist&#39;,<br>   &#39;url&#39;:&#39;https://t.co/I4KuTWoW2L&#39;,<br>   &#39;entities&#39;:{  <br>      &#39;url&#39;:{  <br>         &#39;urls&#39;:[  <br>            {  <br>               &#39;url&#39;:&#39;https://t.co/I4KuXWoW2L&#39;,<br>               &#39;expanded_url&#39;:&#39;http://www.viniciusrochalima.com.br&#39;,<br>               &#39;display_url&#39;:&#39;viniciusrochalima.com.br&#39;,<br>               &#39;indices&#39;:[  <br>                  0,<br>                  23<br>               ]<br>            }<br>         ]<br>      },</pre><pre>     .<br>     .<br>     .</pre><p>5- Hora de fazer a busca pelos nosso tweets. Eu vou utilizar o método <strong><em>search</em></strong> do tweepy da maneira mais simples possível. Para quem tem interesse em mais detalhes, recomendo fortemente a leitura da <a href="http://docs.tweepy.org/en/v3.5.0/api.html"><strong>API Reference</strong></a><strong> </strong>do tweepy. Como o assunto em pauta na semana são as eleições na França, vamos fazer uma busca nos tweets que fazem referência a <strong>Emmanuel Macron</strong>:</p><pre>tweets = api.search(<strong>&#39;Emmanuel Macron&#39;</strong>)</pre><p>6- Agora temos que iterar nos resultados. Como o retorno da função é um <strong>Iterable</strong>, podemos utilizar o <strong>FOR </strong>para isso:</p><pre><strong>for </strong>tweet <strong>in </strong>tweets:<br>    frase = TextBlob(tweet.text)</pre><p>Dentro do looping criamos a variável <strong><em>frase</em></strong>, que recebe o nosso tweet e o coloca no <strong>TextBlob</strong>. Note que para acessar o “texto” do tweet utilizamos a propriedade <strong><em>text</em></strong>.</p><p>7- De posse do tweet, vamos agora fazer a análise de sentimento contido em seu texto. Como o algoritmo da TextBlob é preparado para fazer a análise em textos escritos em inglês, nós vamos utilizar um recurso para fazer a tradução para a língua inglesa de tudo o que não for escrito em inglês. É possível fazer a análise de sentimento de outras formas, utilizando o português, porém como o objetivo do artigo é ser direto e simples optei por fazer dessa maneira. Com isso aprenderemos também outras funções muito interessantes do TextBlob, como<strong> tradução e de detecção automática de idiomas</strong>.</p><p><strong>Ainda dentro do looping do FOR</strong>, vamos criar um <strong>IF </strong>para verificar se o idioma do tweet é diferente do inglês. Caso seja, vamos fazer então a tradução automática para o inglês antes de realizar a análise de sentimento:</p><pre><strong>if </strong>frase.detect_language() != <strong>&#39;en&#39;</strong>:<br>    traducao = TextBlob(str(frase.translate(to=<strong>&#39;en&#39;</strong>)))<br>    print(<strong>&#39;Tweet: {0} - Sentimento: {1}&#39;</strong>.format(tweet.text, traducao.sentiment))<br><strong>else</strong>:<br>    print(<strong>&#39;Tweet: {0} - Sentimento: {1}&#39;</strong>.format(tweet.text, frase.sentiment))</pre><p>Bom, se o tweet não for escrito em inglês, a nossa variável <strong><em>traducao </em></strong>recebe a tradução automática do tweet para a língua inglesa, já contido no TextBlob e em seguida imprime na tela o tweet (<strong><em>tweet.text</em></strong>) junto com a análise de sentimento (<strong><em>traducao.sentiment</em></strong>).</p><p>Caso contrário, nós apenas imprimimos o tweet (sem a tradução) e sua análise de sentimento.</p><h4>A análise de sentimento</h4><p>A análise de sentimento retorna dois parâmetros:</p><pre><strong>-POLARITY </strong>- é um valor <strong>contínuo </strong>que varia de -1.0 a <strong>1.0, sendo -1.0 referente a 100% negativo</strong> e 1.0 a <strong>100% positivo</strong>.</pre><pre>-<strong>SUBJECTIVITY </strong>- que também é um valor <strong>contínuo </strong>que varia de 0.0 a 1.0, sendo 0.0 referente a <strong>100% objetivo</strong> e 1.0 a <strong>100% subjetivo</strong>. </pre><p>Temos que notar que nem sempre o algoritmo consegue fazer a análise. Em muitos casos podemos observar <strong>polarity </strong>e <strong>subjectivity </strong>com valores <strong>0.0</strong>, ou seja, sentimento <strong>neutro</strong>.</p><p>Bom pessoal, era isso o que eu tinha para mostrar nesse artigo. Espero que tenham gostado! Agora vocês já têm bastante material para fazer diversas experiências. Podem fazer análises de sentimentos dos tweets, podem utilizar o classificador do <a href="https://medium.com/@viniljf/criando-um-classificador-para-processamento-de-linguagem-natural-8dc27f3642a1">artigo anterior</a> junto com o código desse artigo e criar um classificador de tweets, podem criar uma aplicação para traduzir automaticamente todos os tweets que não forem escritos na língua portuguesa para o português…etc…etc…as possibilidades são infinitas. Tudo depende da sua imaginação e da sua vontade de aprender!</p><p><strong>Código completo</strong></p><pre><strong>import </strong>tweepy<br><strong>from </strong>textblob <strong>import </strong>TextBlob<br><br>consumer_key = <strong>&#39;yAL0H3XVN3TFmZtSXxONNAuLJ&#39;<br></strong>consumer_secret = <strong>&#39;79OuTu1LvgmmiZERMKJ0pEHO6dmZx9M1ZU2AOi92x3clxUa14f&#39;<br><br></strong>access_token = <strong>&#39;54384307-XkH23t5V2scEApizDkjL1Dt9V7FRWnLryColjLX4j&#39;<br></strong>access_token_secret = <strong>&#39;eHxk2mx6eNg5OcstPt8SslmCF6Gn56SfdQpCzMW70WUoD&#39;<br><br></strong>auth = tweepy.OAuthHandler(consumer_key,consumer_secret)<br>auth.set_access_token(access_token,access_token_secret)<br><br>api = tweepy.API(auth)<br><br><em>#print(api.me())<br></em>tweets = api.search(<strong>&#39;Emmanuel Macron&#39;</strong>)<br><br><strong>for </strong>tweet <strong>in </strong>tweets:<br>    frase = TextBlob(tweet.text)<br><br>    <strong>if </strong>frase.detect_language() != <strong>&#39;en&#39;</strong>:<br>        traducao = TextBlob(str(frase.translate(to=<strong>&#39;en&#39;</strong>)))<br>        print(<strong>&#39;Tweet: {0} - Sentimento: {1}&#39;</strong>.format(tweet.text, traducao.sentiment))<br>    <strong>else</strong>:<br>        print(<strong>&#39;Tweet: {0} - Sentimento: {1}&#39;</strong>.format(tweet.text, frase.sentiment))</pre><p>Um grande abraço a todos!</p><p>Vinil</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a53bae0c5147" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Criando um classificador para processamento de linguagem natural]]></title>
            <link>https://viniciusrochalima.medium.com/criando-um-classificador-para-processamento-de-linguagem-natural-8dc27f3642a1?source=rss-7ba65a77d35f------2</link>
            <guid isPermaLink="false">https://medium.com/p/8dc27f3642a1</guid>
            <category><![CDATA[textblob]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Vinícius Rocha Lima]]></dc:creator>
            <pubDate>Sun, 23 Apr 2017 15:01:50 GMT</pubDate>
            <atom:updated>2017-04-23T15:01:50.972Z</atom:updated>
            <content:encoded><![CDATA[<p>Neste artigo eu vou demonstrar como criar um <strong>simples </strong>classificador de frases utilizando Naive Bayes e <a href="https://textblob.readthedocs.io/en/dev/">Textblob</a>. O <a href="https://textblob.readthedocs.io/en/dev/">Textblob</a> é uma biblioteca para Python para processamento de dados textuais que utiliza NLP (natural language processing).</p><p>Vamos começar pela instalação do <a href="https://textblob.readthedocs.io/en/dev/">Textblob</a> através do PIP:</p><pre>$ pip install -U textblob</pre><p>Após a instalação, vamos fazer o download do corpora padrão. Não é necessário fazer esse download para a criação do nosso classificador, porém ele é necessário para diversas outras funções do <a href="https://textblob.readthedocs.io/en/dev/">Textblob,</a> como <em>tags </em>por exemplo.</p><pre>$ python -m textblob.download_corpora</pre><p>Agora com tudo devidamente instalado, já podemos começar a codificar o nosso classificador. Abra o seu editor favorito e mãos a obra!</p><h3>Passo-a-Passo</h3><p>O que vamos fazer basicamente é criar um classificador que irá fazer previsões sobre frases, nos dizendo se elas possuem caráter <strong>negativo </strong>ou <strong>positivo</strong>.</p><p>1- Começamos fazendo o <strong><em>import </em></strong>das funcionalidades que iremos utilizar:</p><pre><strong>from </strong>textblob.classifiers <strong>import </strong>NaiveBayesClassifier<br><strong>from </strong>textblob <strong>import </strong>TextBlob</pre><p>2- Agora vamos criar o nosso <em>dataset </em>de treinamento:</p><pre>train_set = [<br>    (<strong>&#39;Eu adoro comer hamburguer&#39;</strong>, <strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Este lugar é horrível&#39;</strong>, <strong>&#39;negativo&#39;</strong>),<br>    (<strong>&#39;Você é uma pessoa adorável&#39;</strong>, <strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Você é uma pessoa horrível&#39;</strong>, <strong>&#39;negativo&#39;</strong>),<br>    (<strong>&#39;A festa está ótima&#39;</strong>, <strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;A festa está péssima&#39;</strong>, <strong>&#39;negativo&#39;</strong>),<br>    (<strong>&#39;Este lugar é maravilhoso&#39;</strong>, <strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Estou cansado disso.&#39;</strong>, <strong>&#39;negativo&#39;</strong>),<br>    (<strong>&#39;Eu te odeio&#39;</strong>, <strong>&#39;negativo&#39;</strong>),<br>    (<strong>&#39;Eu te adoro&#39;</strong>, <strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Eu te amo&#39;</strong>, <strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Você é incrível&#39;</strong>,<strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Eu estou com muita raiva&#39;</strong>,<strong>&#39;negativo&#39;</strong>),<br>    (<strong>&#39;Eu odeio essa linguagem&#39;</strong>,<strong>&#39;negativo&#39;</strong>),<br>    (<strong>&#39;Essa linguagem é fantátisca&#39;</strong>,<strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Essa linguagem é muito boa&#39;</strong>,<strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Que comida gostosa&#39;</strong>,<strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Que comida horrível&#39;</strong>,<strong>&#39;negativo&#39;</strong>),<br>    (<strong>&#39;Estou me sentindo ótimo&#39;</strong>,<strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Hoje eu estou péssimo&#39;</strong>,<strong>&#39;negativo&#39;</strong>)<br>]</pre><p>3- O nosso <em>dataset </em>de testes:</p><pre>test_set = [<br>    (<strong>&#39;Ótima linguagem&#39;</strong>, <strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Péssima essa linguagem&#39;</strong>, <strong>&#39;negativo&#39;</strong>),<br>    (<strong>&#39;Você é horrível&#39;</strong>, <strong>&#39;negativo&#39;</strong>),<br>    (<strong>&#39;Comida gostosa!&#39;</strong>, <strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Que raiva!&#39;</strong>, <strong>&#39;negativo&#39;</strong>),<br>    (<strong>&#39;Ótima festa!&#39;</strong>, <strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Eu não odeio todo mundo&#39;</strong>,<strong>&#39;positivo&#39;</strong>)<br>]</pre><p>4- O próximo passo é criar o nosso classificador:</p><pre>cl = NaiveBayesClassifier(train_set)</pre><p>5- Agora vamos criar uma variável para medição da precisão das nossas previsões:</p><pre>accuracy = cl.accuracy(test_set)</pre><p>6- A frase que será utilizada na previsão:</p><pre>frase = <strong>&#39;Eu adoro todo mundo&#39;</strong></pre><p>7- E finalmente, realizamos a nossa previsão:</p><pre>blob = TextBlob(frase,classifier=cl)<br><br>print(<strong>&#39;Esta frase é de caráter:{}&#39;</strong>.format(blob.classify()))<br>print(<strong>&#39;Precisão da previsão:{}&#39;</strong>.format(accuracy))</pre><p>Como este é um exemplo muito simples, os nossos <em>datasets </em>de <strong>treinamento </strong>e <strong>testes </strong>são muito limitados e isso impacta diretamente nas previsões. Para verificar esse problema, podemos fazer o seguinte teste: vamos alterar a nossa frase de teste para:</p><pre>frase = <strong>&#39;Eu não odeio todo mundo&#39;</strong></pre><p>Você vai notar que o nosso modelo classifica a frase incorretamente como <strong>NEGATIVO. </strong>Isso ocorre porque em nosso <em>dataset </em>de treinamento só existem duas frases contendo a palavra <strong>“odeio”</strong> e elas estão classificadas como <strong>NEGATIVO</strong>.</p><p>Bom, é isso que eu tinha para compartilhar com vocês! Agora vem a parte realmente interessante: faça experiências com várias frases, crie um arquivo CSV ou JSON e monte <em>datasets </em>de <strong>treinamento </strong>e <strong>testes realmente </strong>grandes, veja como isso impacta na qualidade das previsões do seu modelo, compartilhe os seus códigos e seus conhecimentos com outras pessoas!</p><p>Um grande abraço a todos!</p><h4>Código completo</h4><pre><strong>from </strong>textblob.classifiers <strong>import </strong>NaiveBayesClassifier<br><strong>from </strong>textblob <strong>import </strong>TextBlob<br><br>train_set = [<br>    (<strong>&#39;Eu adoro comer hamburguer&#39;</strong>, <strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Este lugar é horrível&#39;</strong>, <strong>&#39;negativo&#39;</strong>),<br>    (<strong>&#39;Você é uma pessoa adorável&#39;</strong>, <strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Você é uma pessoa horrível&#39;</strong>, <strong>&#39;negativo&#39;</strong>),<br>    (<strong>&#39;A festa está ótima&#39;</strong>, <strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;A festa está péssima&#39;</strong>, <strong>&#39;negativo&#39;</strong>),<br>    (<strong>&#39;Este lugar é maravilhoso&#39;</strong>, <strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Estou cansado disso.&#39;</strong>, <strong>&#39;negativo&#39;</strong>),<br>    (<strong>&#39;Eu te odeio&#39;</strong>, <strong>&#39;negativo&#39;</strong>),<br>    (<strong>&#39;Eu te adoro&#39;</strong>, <strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Eu te amo&#39;</strong>, <strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Você é incrível&#39;</strong>,<strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Eu estou com muita raiva&#39;</strong>,<strong>&#39;negativo&#39;</strong>),<br>    (<strong>&#39;Eu odeio essa linguagem&#39;</strong>,<strong>&#39;negativo&#39;</strong>),<br>    (<strong>&#39;Essa linguagem é fantátisca&#39;</strong>,<strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Essa linguagem é muito boa&#39;</strong>,<strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Que comida gostosa&#39;</strong>,<strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Que comida horrível&#39;</strong>,<strong>&#39;negativo&#39;</strong>),<br>    (<strong>&#39;Estou me sentindo ótimo&#39;</strong>,<strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Hoje eu estou péssimo&#39;</strong>,<strong>&#39;negativo&#39;</strong>)<br>]<br>test_set = [<br>    (<strong>&#39;Ótima linguagem&#39;</strong>, <strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Péssima essa linguagem&#39;</strong>, <strong>&#39;negativo&#39;</strong>),<br>    (<strong>&#39;Você é horrível&#39;</strong>, <strong>&#39;negativo&#39;</strong>),<br>    (<strong>&#39;Comida gostosa!&#39;</strong>, <strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Que raiva!&#39;</strong>, <strong>&#39;negativo&#39;</strong>),<br>    (<strong>&#39;Ótima festa!&#39;</strong>, <strong>&#39;positivo&#39;</strong>),<br>    (<strong>&#39;Eu não odeio todo mundo&#39;</strong>,<strong>&#39;positivo&#39;</strong>)<br>]<br><br>cl = NaiveBayesClassifier(train_set)<br>accuracy = cl.accuracy(test_set)<br><br>frase = <strong>&#39;Eu não odeio todo mundo&#39;<br><br></strong>blob = TextBlob(frase,classifier=cl)<br><br>print(<strong>&#39;Esta frase é de caráter:{}&#39;</strong>.format(blob.classify()))<br>print(<strong>&#39;Precisão da previsão:{}&#39;</strong>.format(accuracy))</pre><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=8dc27f3642a1" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>