<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Paulo Pinheiro on Medium]]></title>
        <description><![CDATA[Stories by Paulo Pinheiro on Medium]]></description>
        <link>https://medium.com/@pplpauloo?source=rss-915451cd44c------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*oMv55tPIns-8AQIHb9mmew.png</url>
            <title>Stories by Paulo Pinheiro on Medium</title>
            <link>https://medium.com/@pplpauloo?source=rss-915451cd44c------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 11:17:38 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@pplpauloo/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[“Hello World” do AWS Bucket S3 com CloudFormation]]></title>
            <link>https://pplpauloo.medium.com/hello-world-do-aws-bucket-s3-com-cloudformation-c6b4cbffde83?source=rss-915451cd44c------2</link>
            <guid isPermaLink="false">https://medium.com/p/c6b4cbffde83</guid>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[cloudformation]]></category>
            <category><![CDATA[s3]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[Paulo Pinheiro]]></dc:creator>
            <pubDate>Thu, 23 Sep 2021 18:46:17 GMT</pubDate>
            <atom:updated>2021-09-23T18:46:17.261Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aVOAySs0jfVdBkOABcwX7A.png" /><figcaption>Photo by <a href="https://unsplash.com/@chuttersnap?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">CHUTTERSNAP</a> on <a href="https://unsplash.com/s/photos/cloud-computing?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a> (modificado pelo autor)</figcaption></figure><h3>Intro</h3><p>Queridos amigos, hoje vamos criar um bucket no AWS S3 utilizando o CloudFormation. Acredito que vamos ficar felizes com o nosso “Hello World”! Vamos nessa?</p><p>Eu já tinha criado alguns buckets diretamente no S3 no início do meu aprendizado, mas devemos saber que existe uma forma mais fácil e rápida de fazer isso ao mesmo tempo em que podemos provisionar outros recursos disponibilizados pela AWS.</p><p>A intenção hoje não é criar um pipeline de dados completo , mas dar esse primeiro passo criando um ponto de armazenamento no S3. A criação do bucket será de forma manual <em>(no CloudFormation)</em>, mas podemos automatizar isso utilizando Python, por exemplo.</p><p>✘ Att! Não vou mostrar como criar a conta na AWS!</p><h3>AWS S3</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/580/0*Mxf4aQ5EZWcMYsKJ.png" /></figure><ul><li><a href="https://docs.aws.amazon.com/pt_br/AmazonS3/latest/userguide/Welcome.html">Guia do Usuário</a></li></ul><p><em>Sem mais delongas</em>, o S3 é um local para armazenar e recuperar qualquer tipo e volume de dados de forma confiável, rápida, econômica e escalável.</p><blockquote>Quando entrei na AWS para conhecer, não sei o motivo de eu ter lembrado do meu bom e velho Windows Explorer. ☺</blockquote><p>Mas é isso! A organização funciona da mesma forma que num gerenciador de arquivos e pastas. Um exemplo:</p><ul><li>Crio uma pasta A</li><li>Crio uma pasta B dentro da pasta A</li><li>Jogo o arquivo C na pasta A</li><li>Realizo uma modificação qualquer no arquivo C e jogo o novo arquivo — chamado D <em>(sim, eu deixei C como arquivo raw) — </em>na pasta B</li></ul><p>Pronto. É isso. Acontece que ao invés do limite do <em>nosso </em>HD, contamos com um limite <em>a-perder-de-vista</em> oferecido pela AWS pela nuvem.</p><h3>AWS CloudFormation</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/512/0*dB323_ABBrUjCvID.png" /></figure><ul><li><a href="https://docs.aws.amazon.com/pt_br/AWSCloudFormation/latest/UserGuide/GettingStarted.html">Guia do Usuário</a></li></ul><p><em>Sem mais outras delongas,</em> o CloudFormation é serviço que facilita o provisionamento de recursos (uma coleção) de forma rápida e consistente. Dessa forma é possível gerar e gerenciar todo um ciclo de vida aplicando IaC<em> (Infraestrutura como Código).</em></p><p>Então podemos criar, atualizar e excluir uma pilha inteira de recursos como se fosse uma coisa só, quantas vezes eu quiser. Legal! Assim vamos otimizar o gerenciamento dos recursos ao invés de gerir um por um.</p><p>Como benefícios podemos:</p><ul><li>Automatizar as melhores práticas implantando pipeline CI/CD</li><li>Escalar a infraestrutura de forma global</li><li>Gerenciar recursos privados e de terceiros</li><li>Integrar com outros serviços da AWS ou de terceiros</li></ul><h3>“Step-by-Step huuu-babyyyyy…”</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/549/0*GKorGPahEM2SuY0d.png" /><figcaption>Fonte: AWS.com</figcaption></figure><p>De maneira geral a ideia é (1) criar um template com o recurso para criação do bucket S3, (2) salvar o template na máquina local ou em um bucket já pré-existente no S3 e (3) fazer o upload do template no CloudFormation para que ele provisione os recursos.</p><p>Antes de começar, vamos verificar se tinha algum bucket foi criado na conta <em>(lembrando que um bucket deve ter nome exclusivo no mundo).</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*Mq1nSzwea2VNj_U3vHXKhA.png" /><figcaption>Figura 1. Lista de buckets no S3. (No buckets)</figcaption></figure><p>Também vamos dar uma olhada no Stacks (Pilhas) do CloudFormation (c<em>laro que não tem pilhas criadas pois é primeira vez que uso esse recurso).</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/873/1*QyDTPtKn8OhhRkjEb1Lykw.png" /><figcaption>Figura 2. Lista de pilhas no CloudFormation.</figcaption></figure><p>Para poder realizar a <a href="https://docs.aws.amazon.com/pt_br/AWSCloudFormation/latest/UserGuide/aws-properties-s3-bucket.html">criação de um bucket S3</a>, podemos seguir os seguintes passos:</p><h4>1. Codificar a infraestrutura utilizando um arquivo de texto no formato YAML <em>(pode ser JSON);</em></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/631/1*Vvn2LYXKXEnR-oFS4ZIHlQ.png" /><figcaption>Figura 3. Código base da criação de um Bucket S3. (VSCode)</figcaption></figure><p>Cada recurso possui uma série de propriedades. O código acima representa apenas a criação do bucket <em>(pzen-bucket)</em> sem quaisquer outras propriedades, salvo o nome do bucket. Para uma lista de propriedades, <a href="https://docs.aws.amazon.com/pt_br/AWSCloudFormation/latest/UserGuide/aws-properties-s3-bucket.html">clique aqui</a>.</p><p>Agora vamos adicionar propriedades de encriptação e bloqueio de acesso público. Vejamos abaixo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/747/1*wB8p5KhVJcwwfFdDKfpfzA.png" /><figcaption>Figura 4. Código com propriedades de encriptação e bloqueio público. (VSCode)</figcaption></figure><h4>2. Criação de uma pilha no CloudFormation com base na infraestrutura criada no item anterior</h4><p><strong>Caminho</strong>: ➠ AWS ➠ CloudFormation ➠ Create Stack <em>(criar pilha)</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1014/1*0nqeZ_Lc_ZVWMI4UVz0giw.png" /><figcaption>Figura 5. Criação da pilha no CloudFormation.</figcaption></figure><p>Pela Figura 5, realizamos o upload do arquivo YAML <em>(template)</em> contendo os recursos <em>(pilha) </em>para a criação do bucket. Note que será criado um bucket chamado <em>“cf-templates-16….” (último destaque amarelo) </em>que conterá o template carregado. Na Figura 6, podemos nomear a pilha.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1019/1*uoDMslYGsIBabUoS0U64lw.png" /><figcaption>Figura 6. Nomeando a pilha.</figcaption></figure><p>De agora em diante podemos deixar as configurações <em>default. </em>Um ponto interessante é que o CloudFormation faz uma estimativa dos ga$to$ com os recursos <em>(Figura 7)</em> criados no template.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1022/1*GmjzS7WmFnxpl6QD2TMq6g.png" /><figcaption>Figura 7. Detalhe da estimação de custos.</figcaption></figure><h4>3. Verificando detalhes do provisionamento</h4><blockquote>OPS! Erro detectado⁉</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*N5ZE1jFWnzggaxBF0WTRZA.png" /><figcaption>Figura 8. Rollback por erro de propriedade não suportada.</figcaption></figure><p>Sim, estamos sujeitos a erros. Quando um erro acontece, o CloudFormation realiza um <em>rollback — </em>voltar ao estado anterior — deletando a criação do bucket, nesse caso. Note no destaque amarelo que o problema foi apenas de digitação.</p><p>Apenas deletei e reiniciei o processo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*b4FaWDgFE4YYpiekm7iPug.png" /><figcaption>Figura 9. Criação realizada com sucesso. (Eventos)</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/825/1*WgzrGFWEBR0pfZmRgnvqOg.png" /><figcaption>Figura 10. Criação realizada com sucesso. (Recursos)</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/823/1*cEvBlipMWNlgMPF6tV-nCA.png" /><figcaption>Figura 11. Visão geral da pilha.</figcaption></figure><h4>4. Verificando Bucket S3</h4><p>Podemos verificar as configurações realizadas na criação do bucket. Existe, como vimos, um bucket extra que armazena o template da infraestrutura.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*R8l7_ANuun9YGoqvhR0ctA.png" /><figcaption>Figura 12. Bucket provisionado.</figcaption></figure><p>Quando determinamos algumas propriedades de bloqueio de acesso público <em>(booleano True)</em>, o status em cada um dos parâmetros ficam como ON.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*JOfGVdrH-0NGawnZ46yHlg.png" /><figcaption>Figura 13. Bloqueios de acesso público ao bucket.</figcaption></figure><p>Utilizamos a encriptação padrão <em>(determinada na documentação).</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/703/1*RTGg7wCXqPTZwUDfSM85VQ.png" /><figcaption>Figura 14. Encriptação ativada.</figcaption></figure><h3>Finalizando por aqui</h3><p>Criação do bucket S3 via CloudFormation realizada com sucesso! Parabéns!</p><p>Com o CloudFormation podemos modelar e provisionar toda uma infraestrutura na Cloud AWS. A criação de templates facilita o gerenciamento de forma simples e rápida, escalando de acordo com as necessidades.</p><p>Cada template traz uma pilha. Uma pilha é um conjunto de recursos que pode ser gerenciado como uma coisa só. Então podemos criar, modificar ou excluir recursos (como S3, RedShift e EC2) no mesmo template ao invés de fazer isso individualmente.</p><p><strong><em>Que tal criar a sua infraestrutura utilizando outros recursos?</em></strong></p><h3>Sugestões dos próximos passos</h3><ul><li>Realizar updates nas propriedades do bucket <em>(exemplo: realizar o bloqueio que aparece com status OFF na Figura 13)</em>;</li><li>Provisionar um cluster RedShift junto com um bucket S3 com CloudFormation</li><li>Automatizar o deploy utilizando a linguagem Python <em>(via boto3)</em></li></ul><h3>Obrigado por estar aqui!</h3><ul><li>Se você gostou, siga-me no <a href="https://pplpauloo.medium.com/">Medium</a> para mais leituras</li><li>Conecte-se comigo no <a href="https://linkedin.com/in/pplpauloo">LinkedIn</a></li><li>Dê uma olhada no meu <a href="https://pplpauloo.github.io/">Website</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c6b4cbffde83" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Web Scraping: Catando o básico em hospedagens no Airbnb Pernambuco]]></title>
            <link>https://pplpauloo.medium.com/web-scraping-catando-o-b%C3%A1sico-em-hospedagens-no-airbnb-pernambuco-a5f036ef3879?source=rss-915451cd44c------2</link>
            <guid isPermaLink="false">https://medium.com/p/a5f036ef3879</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[web-scraping]]></category>
            <category><![CDATA[selenium]]></category>
            <category><![CDATA[airbnb]]></category>
            <category><![CDATA[beautifulsoup]]></category>
            <dc:creator><![CDATA[Paulo Pinheiro]]></dc:creator>
            <pubDate>Mon, 08 Feb 2021 20:42:01 GMT</pubDate>
            <atom:updated>2021-02-08T20:42:01.985Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*u6MyIvRDMPE7whXXhdV0IA.jpeg" /><figcaption>Photo by <a href="https://unsplash.com/@japyassu?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">thiago japyassu</a> on <a href="https://unsplash.com/s/photos/recife?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a></figcaption></figure><p>Quando precisamos tomar decisões mais confiáveis através de análises em um projeto pessoal ou de uma empresa, recorremos aos dados. Muitas empresas mantêm banco de dados de suas operações, o que — de certa forma — facilita a vida de analistas.</p><p>E quando precisamos de dados que não estão inseridos nesses bancos? O que fazer? Podemos comprar de outras empresas/pessoas ou “sair por aí” coletando por si só.</p><p>Por exemplo, encontramos um site com inúmeras páginas com dados disponíveis (em tabelas ou em partes de textos). Já pensou o quão massante é ir de página em página coletando esses dados? Trágico, não é? Consome tempo, recursos e paciência.</p><p>Porém existe uma forma “simples” de garimpar esses dados em um site. O Web Scraping (raspagem de dados na web).</p><h3>Web Scraping</h3><p>Esta técnica que nos permite catar dados em webpages para análise e extração de informações relevantes para os diversos objetivos, ajudando na tomada de decisões.</p><p>A ideia principal é automatizar a busca através de programação — o que torna a busca de dados muito mais ampla em um curto período de tempo.</p><blockquote><strong>Um adendo</strong>: <strong>cuidado onde pisa!</strong> É muito bom facilitar a vida, automatizando a coleta de dados. Porém devemos ficar atentos às leis/restrições/moralidade de seus atos de scraping.</blockquote><h3>O que faremos?</h3><p>Geralmente, quando planejamos uma viagem, um dos pontos no <em>checklist </em>é a hospedagem. Às vezes esse trabalho de procurar aquele local legal se torna massante e desanimador (mas há quem goste de procurar, não é? — Eu sou um desses).</p><p>Aqui iremos coletar dados básicos de imóveis disponíveis no Airbnb <em>(famosa plataforma internacional que lista inúmeros locais para se hospedar a um preço camarada) </em>utilizando os pacotes <a href="https://www.selenium.dev/documentation/en/">Selenium </a>e <a href="https://www.crummy.com/software/BeautifulSoup/bs4/doc/">BeautifulSoup</a> na linguagem Python.</p><p>Coletaremos as 300 hospedagens disponibilizadas na página principal da busca por imóveis no estado de Pernambuco <em>(onde moro)</em>. Iremos salvar os dados no formato <em>.csv</em> para futuras manipulações.</p><h3>Requerimentos</h3><ul><li>python 3</li><li>selenium == 3.141.0</li><li>beautifulsoup == 4.9.0</li><li>pandas == 1.1.4</li><li>alguma paciência == last.update</li></ul><h3>Passo 1: Conexão</h3><p>Depois de importar os pacotes, vamos criar uma função que irá conectar-se à url (uma nova janela com a primeira página irá aparecer).</p><p>Para isso utilizaremos o WebDriver do Selenium, escolhendo o browser Google Chrome. O <em>option.headless = True</em> faz com que a webpage não apareça.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/b028645581a449a83144946fb34c5a91/href">https://medium.com/media/b028645581a449a83144946fb34c5a91/href</a></iframe><p>Por tanto, quando rodamos, aparecerá a página abaixo. Note que ele abre uma nova janela com a indicação no destaque em vermelho <em>“Chrome is being controlled by automated test software.”</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/888/1*U_W7Yyc2xrt45TWsDL7T4Q.jpeg" /><figcaption>Figura 1–Primeira página aberta automaticamente</figcaption></figure><h3>Passo 2: E como cato os dados?</h3><p>Depois que aberta, temos que investigar o elementos do <strong>HTML</strong>. Para isso, clicamos com o botão direito em qualquer canto da página e em <strong>Inspect </strong><em>(Crtl+Shift+i)</em>. Irá aparecer o HTML <em>(lado escuro da foto abaixo)</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4mNBp29wicQuqSAzefHUzQ.jpeg" /><figcaption>Figura 2 — Como chegar ao código HTML</figcaption></figure><p>Faça o mesmo procedimento, agora clicando com o botão direito em cima do imóvel. Isso fará com que ache mais facilmente o HTML correspondente àquele imóvel <em>(que segue o mesmo padrão para os demais)</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*h52m8RrcGAl71HSTfGhMww.jpeg" /><figcaption>Figura 3 — Encontrando os imóveis no HTML</figcaption></figure><p>Note que ele abre direto no link do imóvel. Mas esse não é o nosso alvo agora. Recolhemos as tags até a raiz principal dos elementos. Segue abaixo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/833/1*z4u6E7t3HxLrBboOj3p2NA.jpeg" /><figcaption>Figura 4 — Lista de elementos (imóveis) na página atual</figcaption></figure><p>Conseguimos achar os 20 elementos <em>(imóveis)</em> presentes na página atual.</p><p>Para coletar cada dado, precisamos iterar sobre os elementos da classe “_fhph4u”. Para isso, utilizaremos o driver para achar as classes “_8ssblpx” <em>(as que se repetem dentro da raiz)</em>. É nela que acessaremos todas os dados necessários para este projeto.</p><blockquote><em>neste exemplo, aparecem 15 páginas , cada uma com 20 imóveis</em></blockquote><p>Antes de continuarmos, vamos verificar quais elementos nos imóveis queremos coletar:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/959/1*8Ppa7rCouSs8mv8D0MgmAQ.jpeg" /><figcaption>Figura 5 — Dados a serem coletados</figcaption></figure><ol><li>Se o anfitrião é ou não Super Host;</li><li>O tipo de quarto (apartamento inteiro, somente quarto, etc…);</li><li>A localização</li><li>O título</li><li>O básico;</li><li>As facilidades básicas;</li><li>A avaliação média;</li><li>A quantidade de avaliações</li><li>O preço por noite (em reais, nesse caso)</li><li>Outro: Link do imóvel</li></ol><blockquote>se estiver reproduzindo este passo-a-passo, atente-se à classe pois esta pode variar, ok?</blockquote><p>Então temos que coletar cada um dos dados na página. Uma maneira de fazer isso é, com o HTML aberto, expandir o elemento “_8ssblpx” e ir passando o mouse até encontrar o dado desejado. Ou selecionar o dado, clicar com o botão direito e Inspect. Veja:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*x0rHd7E8PRXDLbiho39sHA.jpeg" /><figcaption>Figura 6 — Encontrando dados no HTML</figcaption></figure><p>Quando passo o mouse na classe “_bzh5lkq”, o texto <em>“Apartamento melhor vista de Porto de Galinhas” </em>é destacado. Dessa forma vamos fazendo o mesmo para cada uma das informações do imóvel <em>(só precisa de um, ok? A coleta dos outros imóveis será automatizada). </em>Segue o código:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/3cba54dae4f3a55d6c758e3032a31010/href">https://medium.com/media/3cba54dae4f3a55d6c758e3032a31010/href</a></iframe><p>Pronto! Agora podemos rodar o código e coletar os dados. É legal criar um .py com funções com esses códigos acima, para enxugar o notebook <em>(se for o caso)</em>!</p><p>No primeiro bloco de código (passo 1) inserimos na função <strong><em>getConnection(</em></strong><em>url</em><strong><em>) </em></strong>e, para o segundo bloco, a função<em> </em><strong><em>getData(</em></strong><em>url, data_list</em><strong><em>).</em></strong></p><h3>Passo 3: Automatizar e coletar</h3><p>Para automatizar a coleta de dados em várias páginas, existe um detalhe na url que podemos utilizar. É o <strong><em>items_offset</em></strong>.</p><p><em>https://www.airbnb.com.br/s/Pernambuco/homes?refinement_paths%5B%5D=%2Fhomes&amp;date_picker_type=calendar&amp;source=structured_search_input_header&amp;search_type=pagination&amp;click_referer=t%3ASEE_ALL%7Csid%3A1185477e-2700-42de-acab-5780a8e0e10a%7Cst%3ASTAYS_LARGE_AREA_DESTINATION_CAROUSELS&amp;tab_id=home_tab&amp;place_id=ChIJxYYck518AAcRJhdAk2oZ4B0&amp;federated_search_session_id=9fbf9a01-8278-4ce3-8cec-0d0aeea92c8d&amp;</em><strong><em>items_offset=20</em></strong><em>&amp;section_offset=6</em></p><p>Neste caso o items_offset vai de 0 a 280 (15 páginas). E agora? No lugar de <strong><em>items_offset=20</em></strong>, vamos colocar <strong><em>+str(offset)+</em></strong>. Onde offset é um range de 0 a 281, pulando de 20 em 20. Segue:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/01c26ad29be285952972be7b80929e60/href">https://medium.com/media/01c26ad29be285952972be7b80929e60/href</a></iframe><p>Show. Agora temos os dados coletados em uma lista.</p><h3><strong>Passo 4: Chama o Pandas aí!</strong></h3><p>Agora vamos colocar todos os dados coletados em um DataFrame com o <a href="https://pandas.pydata.org/docs/">pandas</a>.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/078f43469d69fb60c772056fb69bb944/href">https://medium.com/media/078f43469d69fb60c772056fb69bb944/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LJMdjMoJBZ7TOKK0kQh4SQ.jpeg" /><figcaption>Figura 7 — DataFrame dos dados coletados</figcaption></figure><p>Legal, hum? Coletamos sem manipular/ajustar/limpar os dados. Que “apart-hotel” é aquele alí na coluna “place”? E esse tanto de coisa em cada célula no “room_basic”? Uma boa chance agora para você praticar a limpeza com o pandas! São apenas 300 linhas!</p><h3>Palavras finais</h3><p>De forma “simples” conseguimos coletar os dados do Airbnb. Isso pode ser aplicado em outros websites, prestando atenção em suas especificidades e suas permissões. Temos que encontrar e encaixar “pecinha-por-pecinha” as tags HTML e seus atributos.</p><p>Existem outras formas de coletar esses dados, essa eu creio ser a mais simples. Podemos também, em vez de coletar os dados básicos, coletar dados mais completos acessando cada imóvel e abranger todas as cidades do estado. Isso fica para outra oportunidade.</p><p>Qua tal tentar colocar de outras cidades, estados e países? Não se esqueça de prestar atenção nas classes das tags HTML. Cada website é um mundo.</p><p>Caso haja erros, dúvidas, perguntas ou bate papo, não exite em entrar em contato.</p><p><a href="https://github.com/dspauloplima/data_science_projects/blob/master/data_analysis/pernambuco_airbnb/pernambuco_airbnb.ipynb"><strong>Código completo no githug</strong></a></p><ul><li><a href="https://dspauloplima.github.io/">Paulo P Lima</a></li><li><a href="https://www.youtube.com/channel/UCYWAGd2hiipE0pg8h9tieIw">Paulo P Lima</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a5f036ef3879" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Big Data como combustível para empresas]]></title>
            <link>https://pplpauloo.medium.com/big-data-como-combust%C3%ADvel-para-empresas-c156047a1dae?source=rss-915451cd44c------2</link>
            <guid isPermaLink="false">https://medium.com/p/c156047a1dae</guid>
            <category><![CDATA[business]]></category>
            <category><![CDATA[success]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[big-data]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Paulo Pinheiro]]></dc:creator>
            <pubDate>Sun, 26 Jan 2020 11:48:22 GMT</pubDate>
            <atom:updated>2020-01-26T11:48:22.648Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*eBefd2z4zEq97CnFYaoRZQ.png" /><figcaption>Photo by <a href="https://unsplash.com/@ninovisalli">Antonino Visalli</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a> (adaptado)</figcaption></figure><h4>Introdução</h4><p>Vivemos em uma era onde a tecnologia, num piscar de olhos, evolui e se espalha de forma rápida e dinâmica. A assimilação na mesma velocidade é essencial para manter passos além dos que não acompanham essa evolução. A empresa que não se torna aliada à tecnologia, fica fadada ao fracasso. É inevitável. Toda cadeia produtiva de um negócio, hoje, deve ser alinhada aos recursos computacionais para se manter destacada da concorrência. O <strong>volume </strong>e a <strong>variedade </strong>de dados cresce numa <strong>velocidade </strong>exponencial — <em>Big Data</em> — e os meios de explorar, encontrar insights e predizer futuro, baseando-se nesses dados coletados e aplicando técnicas de <em>machine learning</em>, tornou-se o básico da sobrevivência de uma organização. Porém é necessário saber o nível de maturidade que uma empresa tem, para dar os passos corretos na implementação de ferramentas tecnológicas de dados e análises.</p><h4>Sobra Big Data e Machine Learning</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*ev7pfE5NgUa_zJXJ" /><figcaption>Photo by <a href="https://unsplash.com/@franckinjapan?utm_source=medium&amp;utm_medium=referral">Franck V.</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p><strong><em>Big Data </em></strong>é a terminologia utilizada para descrever uma quantidade massiva de dados. Esses dados podem ser encontrados em diversos formatos e locais e, inegavelmente, estão presentes nos negócios. Dessa forma, podemos dizer que os dados são onipresentes. Eles são ativos valiosos e saber explorá-los é uma vantagem frente à concorrência. Quanto melhor é a eficiência na exploração e manipulação desses dados, melhor é a entrega de um resultado com os insights que tornam essa diferenciação no mercado mais efetiva.</p><p><strong><em>Machine Learning</em></strong>, termo em inglês que significa Aprendizado de Máquina, é um método onde se empregam algoritmos que aprendem interativamente a partir dos dados devidamente analisados e manipulados. É um subcampo da Inteligência Artificial, campo que permite que máquinas aprendam com o ensaio, modelando-se com novos dados e atuando como seres humanos. Parafraseando sobre qualidade, quanto melhor é a eficiência na exploração e manipulação de dados, melhor é o processamento da modelagem e aplicação de aprendizado de máquina capaz de gerar predições mais probabilisticamente acertadas.</p><h4>Maturidade, exemplos e orientações</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*UrnQFFu7oEsI-gOu" /><figcaption>Photo by <a href="https://unsplash.com/@austindistel?utm_source=medium&amp;utm_medium=referral">Austin Distel</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p>Segundo uma pesquisa realizada pelo <a href="https://www.gartner.com/en">Gartner</a>, cerca de 91% , das 196 empresas participantes, ainda não tem um nível de maturidade em relação aos dados e suas análises. Os níveis de maturidade conhecidos no mundo corporativo são: <strong>básico </strong>(análise de documentos físicos), <strong>médio </strong>(análise de documentos eletrônicos),<strong> sistemático </strong>(análise esporádica de documentos), <strong>diferenciador </strong>(análise de dados onde é aplicável), <strong>avançado </strong>(análise de dados usada toda a empresa — ser orientada a dados). Evidente é o sucesso de uma empresa orientada a dados pois ela se torna um ponto fora da curva, com destaques e vantagens sobre os demais níveis.</p><p>No Brasil temos, como exemplo, o Grupo Pão de Açúcar (<a href="https://www.gpabr.com/pt/">GPA</a>). O GPA é uma empresa de comércio varejista brasileira do ramo alimentício. Ele possui um sistema de fidelização do cliente — o <em>Clube Extra</em>. Quando o cliente adere à fidelização, toda ação que envolve a utilização do Clube Extra é registrado. Assim, a empresa consegue coletar os tipos de produtos, as marcas favoritas e os mais consumidos. Pode-se criar, dessa forma, um sistema de recomendação de produtos baseado no grupo de consumo ao qual o cliente se encaixa — comparando-o com o padrão de consumo de outros inúmeros clientes. Então sugestões do tipo “quem comprou o item A, também comprou os itens B e C”, conhecidas como <strong>agrupamento por coocorrência</strong>, aparecem para ele — possibilitando o aumento de receitas cruzadas para a empresa.</p><p>Outra brasileira é a <a href="https://jquant.com.br/"><em>J!Quant</em></a>. Empresa de ciência de dados que fornece soluções para empresas de pequeno a grande porte dos diversos setores. Entre os seus clientes está a Ambev, do ramo da cervejaria. A J!Quant construiu um algoritmo que otimiza as rotas de caminhões, reduzindo o roubo de cargas e aumentando a velocidade nas entregas. Outros algoritmos da empresa definem o melhor local possível para abertura de novas lojas. Dessa forma, a empresa pode escolher o local onde se pode ter a maior receita, quais produtos ou serviços vão ser mais vendidos, entre outros.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*SMM63j236F_YHVhx" /><figcaption>Photo by <a href="https://unsplash.com/@franki?utm_source=medium&amp;utm_medium=referral">Franki Chamaki</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p>Para se criar uma cultura orientada ao Big Data, é necessário que haja uma alfabetização das empresas (e de seus colaboradores) em relação aos dados. Essa alfabetização é conhecida como <em>Data Literacy</em> — saber ler, entender, criar e comunicar dados como informação. O cenário “tradicional” apresentou-se como uma cultura de poucos dados, com análises e cálculos “na mão” por analistas e estatísticos. A transformação em um cenário digital e dinâmico ocorre com a descoberta do conhecimento sobre a oportunidade do Big Data.<br>Essa descoberta alia-se com implantação de tecnologias para coleta, exploração e análise de dados conjugada com aprendizado de máquinas — para encontrar <em>insights </em>ocultos sem terem sido programados anteriormente.<br>Implantar Data Literacy e investimentos em tecnologia para suportar Big Data é primordial. O Brasil ainda engatinha nessa cultura analítica.</p><p>Há diversos setores onde se pode aplicar ferramentas para análise de Big Data e aprendizado de máquinas. O crescimento é possível com a difusão e aplicação de novas ferramentas de ensino e de pesquisa, como por exemplo, a <a href="https://bigdata.icict.fiocruz.br/">Plataforma de Ciência de Dados aplicada à Saúde</a>. Essa plataforma disponibiliza serviços para armazenamento, gestão e análise de Big Data para pesquisadores, docentes e discentes de instituições de ensino e pesquisa. Com isso, consegue analisar, monitorar, predizer eventos (casos) e situações de saúde e doença na população.</p><p>Como uma forma de aumentar a velocidade de análise e predição, as empresas podem usufruir da ferramenta Apache Spark Streaming, por exemplo, para extrair insights em tempo real e assim dinamizar a tomada de decisões. Essa ferramenta pode utilizar dados de redes sociais que estão acontecendo continuamente e analisar o sentimento das pessoas acerca da empresa. Assim ela tem a capacidade de nortear melhor as estratégias de negócios. Existem outras soluções no mercado, mas dependerá sempre do problema de negócio a ser resolvido.</p><h4>Conclusão</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*p7yJNTgcbOseCF1D" /><figcaption>Photo by <a href="https://unsplash.com/@freegraphictoday?utm_source=medium&amp;utm_medium=referral">AbsolutVision</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p>O exponencial crescimento do Big Data é algo que as empresas precisam ficar atenta. Praticamente tudo que envolve o cotidiano das pessoas gera algum tipo de dado. Ter um olhar clínico e tecnologia para construir soluções de um negócio é estar à frente da concorrência. Ferramentas de análises, aliadas ao<br>aprendizado de máquinas, possibilitam a oportunidade de mudanças de estratégia e crescimento de uma empresa. Mas para isso, a empresa deve investir no aprendizado organizacional sobre dados e em ferramentas<br>computacionais capazes de processar seu crescente volume. Apesar do Brasil ainda estar engatinhando, a tendência é a forte adoção de uma cultura baseada em dados e a entrega de produtos e serviços “sob medida”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*7Ae92XZmk9aE69Ef" /><figcaption>Photo by <a href="https://unsplash.com/@konkarampelas?utm_source=medium&amp;utm_medium=referral">Kon Karampelas</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p>Não deixe de se conectar comigo através do</p><p><a href="http://www.linkedin.com/in/dspaulolima"><strong>LinkedIn</strong></a></p><p><a href="https://github.com/dspaulolima"><strong>GitHub</strong></a></p><p><a href="https://twitter.com/dspaulolima"><strong>Twitter</strong></a></p><p><a href="http://www.instagram.com/ds.paulolima"><strong>Instagram</strong></a></p><h4><strong>Referências</strong></h4><p>FOSTER, Provost; FAWCETT, Tom. <strong>Data Science para negócios: O que você precisa saber sobre mineração de dados e pensamento analítico de dados?</strong> 1.Ed. Rio de Janeiro: Altabooks, 2016.</p><p>IPNET. <strong>Veja as novidades sobre machine learning em empresas brasileiras</strong>. <a href="https://bit.ly/2TXCbwh">Link Aqui</a>.</p><p>SONDA. Machine learning e big data: o que esperar dessa união? <a href="https://bit.ly/37sG0hd">Link Aqui</a>.</p><p>SAS. <strong>Inteligência artificial: o que é e qual sua importância? </strong><a href="https://bit.ly/37r4bfW">Link Aqui</a>.</p><p>ZILIOTI, Alan. <strong>O que é data literacy e por que ele é cada vez mais importante para o negócio? </strong><a href="https://bit.ly/2sWZEmg">Link Aqui.</a></p><p>CIO. <strong>Por que empresas precisam criar uma cultura de dados?</strong> <a href="https://bit.ly/2NWrIxq">Link Aqui.</a></p><p>JQUANT. <strong>Cultura corporativa</strong>. <a href="https://bit.ly/2sYBcRD">Link Aqui</a>.</p><p>UNDER. <strong>Conheça 6 casos de sucesso de big data em empresas</strong>. <a href="https://bit.ly/2uCeAqg">Link Aqui</a>.</p><p>FAUSTINO, Rafael. <strong>Startup usa ciência de dados para “prever o futuro” das empresas e ajudá-las a lucrar mais. </strong><a href="https://glo.bo/38xIgUq">Link Aqui</a>.</p><p>PCDS. <strong>Ciência de dados aplicado à saúde</strong>. <a href="https://bigdata.icict.fiocruz.br/ciencia-dedados-aplicada-saude">Link Aqui</a>.</p><p>PLUGAR. <strong>Níveis de maturidade das empresas em relação ao big data</strong>. <a href="https://bit.ly/37tzKWf">Link Aqui</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c156047a1dae" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Encontrando atributos mais importantes em dados de diabetes]]></title>
            <link>https://pplpauloo.medium.com/encontrando-atributos-mais-importantes-em-dados-de-diabetes-b39d644c275c?source=rss-915451cd44c------2</link>
            <guid isPermaLink="false">https://medium.com/p/b39d644c275c</guid>
            <category><![CDATA[feature-selection]]></category>
            <category><![CDATA[ciencia-de-dados]]></category>
            <category><![CDATA[diabetes]]></category>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[Paulo Pinheiro]]></dc:creator>
            <pubDate>Sat, 28 Dec 2019 12:51:14 GMT</pubDate>
            <atom:updated>2020-01-13T12:59:14.208Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*bZisxjr1__Ghc-Qs-Il1kA.png" /></figure><blockquote><strong>Abre parênteses</strong></blockquote><blockquote>Segundo o Dr. Drauzio Varella, “<em>Diabetes é uma doença causada pela falta ou má absorção de insulina, hormônio que promove o aproveitamento da glicose como energia para o nosso corpo.</em>”</blockquote><blockquote>De acordo com estudos do Ministério da Saúde, cerca de 12,5 milhões de brasileiros estão com diabetes — o que corresponde a mais de 6% da população. <a href="https://www.saude.gov.br/component/tags/tag/diabetes">Pesquisas</a> mostram que o número de pessoas com diabetes está crescendo em todo o Brasil.</blockquote><blockquote><strong>Fecha parênteses</strong></blockquote><p><strong>Dados</strong></p><p>Os dados foram coletados do site <a href="http://archive.ics.uci.edu/ml/index.php"><strong>UCI Machine Learning Repository.</strong></a> O dataset está disponível <a href="https://www.kaggle.com/uciml/pima-indians-diabetes-database"><strong>aqui</strong></a> <em>(Kaggle).</em> Foi utilizada a linguagem <strong>python</strong>.</p><p><strong>Definição do Problema de Negócio</strong></p><p>Em um dataset podem existir inúmeros atributos <em>(variáveis) </em>para analisar e tirar insights valiosos. Porém o foco não é a análise dos dados de forma mais íntima e, sim, encontrar aquelas variáveis mais importantes para entregar à equipe de machine learning.</p><p>Dos dados apresentados, quais são os <strong>4 atributos mais importantes </strong>para aplicarmos <em>Machine Learning </em>com o intuito de prever a probabilidade de um paciente desenvolver diabetes?</p><p><strong>Mãos à obra</strong></p><p>Inicialmente iremos explorar e transformar os dados apresentados. Em outra oportunidade, iremos aplicar Machine Learning <em>(para esta publicação não ficar tão extensa).</em></p><pre><strong># PACOTES UTILIZADOS</strong></pre><pre>import <strong>pandas </strong>as pd<br>import <strong>numpy </strong>as np<br>import <strong>matplotlib</strong>.<strong>pyplot </strong>as plt<br>from <strong>sklearn</strong>.<strong>ensemble </strong>import <strong>RandomForestClassifier</strong></pre><p><strong>Análise Exploratória e Manipulação</strong></p><pre><strong># CARREGANDO O DATASET</strong></pre><pre>dbts = pd.read_csv(&#39;diabetes_1.csv&#39;)<br>dbts.head()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/815/1*wuoT-AMz2tFj7IPxV9_mLw.jpeg" /></figure><pre><strong># BUSCANDO INFORMAÇÕES SOBRE O DATASET</strong></pre><pre>dbts.info()<br>dbts.describe().T</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/422/1*yCvxuH_PKC_M2bgphth3Qg.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/748/1*Mr_yQR576kwjJ5FQgofo4A.jpeg" /></figure><pre><strong># BUSCANDO POR VALORES NAN (Missing Values)</strong></pre><pre>dbts.isnull().sum()</pre><p>Uma observação importante é que o ZERO apresentado não significa ausência de valores faltantes. É preciso analisar cada variáveis pois um valor ZERO para grossura da pele (<em>SkinThickness), </em>por exemplo, é incoerente.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/262/1*bhkiUhCKY0fa5Re2b_6bkw.jpeg" /></figure><pre><strong># APRESENTANDO OS DADOS GRAFICAMENTE EM SUA FORMA ORIGINAL</strong></pre><pre>set_cols = dbts.loc[:,&#39;Pregnancies&#39;:&#39;Age&#39;]<br>set_cols.hist(figsize=(15,10), bins=20, edgecolor=&#39;black&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OmIMX7HcqpGQXu8Jyf5f8w.jpeg" /></figure><p>Podemos notar que, em alguns atributos existem muitos ZEROS, precisamos tratar isso <em>(em momento oportuno).</em></p><pre><strong># APRESENTANDO GRAFICAMENTE A QUANTIDADE DE PESSOAS QUE FORAM DIAGNOSTICADAS SEM E COM DIABETES</strong></pre><pre>NO_data = dbts.Outcome[dbts.Outcome == 1].count()<br>YES_data = dbts.Outcome[dbts.Outcome == 0].count()</pre><pre>data = {&#39;No Diabetes&#39;: NO_data, &#39;Yes Diabetes&#39;: YES_data}<br>names = list(data.keys())<br>values = list(data.values())</pre><pre>edcol = &#39;black&#39;</pre><pre>plt.bar(names,values, edgecolor=edcol)<br>plt.title(&#39;Total of NO / YES for Diabetes&#39;)<br>plt.show()</pre><pre>print(&#39;Total of Observations:&#39;, len(dbts))<br>print(&#39;Total of No Diabetes:&#39;, NO_data)<br>print(&#39;Total of Yes Diabetes:&#39;, YES_data)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/449/1*aC0ujtIuWLdBWRJVFPsqrw.jpeg" /></figure><pre><strong># APRESENTANDO BOXPLOT DOS DADOS ORIGINAIS</strong></pre><pre>fig, axs = plt.subplots(2, 4, figsize=(12,9))</pre><pre>axs[0, 0].boxplot(dbts.Pregnancies, by=)<br>axs[0, 0].set_title(&#39;Pregnancies&#39;)</pre><pre>axs[0,1].boxplot(dbts.Glucose)<br>axs[0,1].set_title(&#39;Glucose&#39;)</pre><pre>axs[0,2].boxplot(dbts.BloodPressure)<br>axs[0,2].set_title(&#39;Blood Pressure&#39;)</pre><pre>axs[0,3].boxplot(dbts.SkinThickness)<br>axs[0,3].set_title(&#39;Skin Thickness&#39;)</pre><pre>axs[1,0].boxplot(dbts.Insulin)<br>axs[1,0].set_title(&#39;Insulin&#39;)</pre><pre>axs[1,1].boxplot(dbts.BMI)<br>axs[1,1].set_title(&#39;BMI&#39;)</pre><pre>axs[1,2].boxplot(dbts.DiabetesPedigreeFunction)<br>axs[1,2].set_title(&#39;Diabetes Pedigree Function&#39;)</pre><pre>axs[1,3].boxplot(dbts.Age)<br>axs[1,3].set_title(&#39;Age&#39;)</pre><pre>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/856/1*EgmYrG8BykvpjGfgKT1sgw.jpeg" /></figure><pre><strong># PAIRPLOT</strong></pre><pre>cols = dbts.loc[:,&#39;Pregnancies&#39;:&#39;Outcome&#39;]<br>sns.pairplot(data=cols, hue=&#39;Outcome&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/810/1*V8nBcICquGYsnplVa3Zv8A.jpeg" /></figure><pre><strong># VERIFICANDO RELACIONAMENTO ENTRE GLUCOSE E INSULINA POR CLASSE (ter ou não diabetes): 0 (não tem), 1 (tem)</strong></pre><pre>dbts.boxplot(column=&#39;Glucose&#39;,by=&#39;Outcome&#39;)<br>plt.show()</pre><pre>pima.boxplot(column=&#39;Insulin&#39;,by=&#39;Outcome&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/456/1*v651KKViDqyor8uUoW7OsQ.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/460/1*HZHwHNw1xlK2lmf4XuSdjw.jpeg" /></figure><pre><strong># VERIFICANDO A QUANTIDADE DE NAN (ZEROS, NO CASO) PARA OS ATRIBUTOS [GLUCOSE, SKINTHICKNESS, BLOODPRESSURE, INSULINE e BMI]</strong></pre><pre>check_data = {<br>   &#39;Glucose&#39;: [dbts.Glucose[(dbts.Glucose==0) &amp;<br>              (dbts.Outcome==0)].count(),<br>              dbts.Glucose[(dbts.Glucose==0) &amp;<br>              (dbts.Outcome==1)].count(),<br>              dbts.Glucose[(dbts.Glucose==0)].count()],</pre><pre>   &#39;SkinThickness&#39;: [dbts.SkinThickness[(dbts.SkinThickness==0) &amp;<br>                 (dbts.Outcome==0)].count(),<br>                 dbts.SkinThickness[(dbts.SkinThickness==0) &amp;<br>                 (dbts.Outcome==1)].count(),<br>dbts.SkinThickness[(dbts.SkinThickness==0)].count()],</pre><pre>   &#39;BloodPressure&#39;: [dbts.BloodPressure[(dbts.BloodPressure==0) &amp;<br>                  (dbts.Outcome==0)].count(),<br>                  dbts.BloodPressure[(dbts.BloodPressure==0) &amp;<br>                  (dbts.Outcome==1)].count(),<br>               dbts.BloodPressure[(dbts.BloodPressure==0)].count()],</pre><pre>   &#39;Insulin&#39;: [dbts.Insulin[(dbts.Insulin==0) &amp; <br>              dbts.Outcome==0)].count(),<br>              dbts.Insulin[(dbts.Insulin==0) &amp;<br>             (dbts.Outcome==1)].count(),<br>              dbts.Insulin[(dbts.Insulin==0)].count()],</pre><pre>   &#39;BMI&#39;: [dbts.BMI[(dbts.BMI==0) &amp; (dbts.Outcome==0)].count(),<br>          dbts.BMI[(dbts.BMI==0) &amp; (dbts.Outcome==1)].count(),<br>          dbts.BMI[(dbts.BMI==0)].count()]}</pre><pre>print(&#39;Checking Missing Values == 0&#39;)<br>pd.DataFrame(check_data, index=[&#39;No Diabetes&#39;, &#39;Diabetes&#39;, &#39;Total&#39;]).T</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/322/1*Z8J2laddhG2FgQZ5jlKsug.jpeg" /></figure><pre><strong># VERIFICANDO OS VALORES MÉDIOS DOS ATRIBUTOS ESCOLHIDOS ACIMA</strong></pre><pre>print(&#39;Glucose Mean - NO Diabetes:&#39;, dbts.Glucose[dbts.Outcome==0].mean())</pre><pre>print(&#39;Glucose Mean - YES Diabetes:&#39;, dbts.Glucose[dbts.Outcome==1].mean())</pre><pre>print(&#39;Skin Thickness Mean - NO Diabetes:&#39;, dbts.SkinThickness[dbts.Outcome==0].mean())</pre><pre>print(&#39;Skin Thickness Mean - YES Diabetes:&#39;, dbts.SkinThickness[dbts.Outcome==1].mean())</pre><pre>print(&#39;Blood Pressure Mean - NO Diabetes:&#39;, dbts.BloodPressure[dbts.Outcome==0].mean())</pre><pre>print(&#39;Blood Pressure Mean - YES Diabetes:&#39;, dbts.BloodPressure[dbts.Outcome==1].mean())</pre><pre>print(&#39;Insulin Mean - NO diabetes:&#39;, dbts.Insulin[dbts.Outcome==0].mean())</pre><pre>print(&#39;Insulin Mean - YES diabetes:&#39;, dbts.Insulin[dbts.Outcome==1].mean())</pre><pre>print(&#39;BMI Mean - NO Diabetes:&#39;, dbts.BMI[dbts.Outcome==0].mean())<br>print(&#39;BMI Mean YES Diabetes:&#39;, dbts.BMI[dbts.Outcome==1].mean())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/473/1*pPVsNxy27HLP8N8lapBHog.jpeg" /></figure><p>Utilizarei as médias para substituição dos valores missing <em>(ZEROS)</em>.</p><pre><strong># TRANSFORMANDO MISSING VALUES EM MÉDIAS<br># PLOTANDO HISTOGRAMA</strong></pre><pre># Glucose</pre><pre>dbts.Glucose[(dbts.Glucose==0) &amp; (dbts.Outcome==0)] = dbts.Glucose[dbts.Outcome==0].mean()<br>dbts.Glucose[(dbts.Glucose==0) &amp; (dbts.Outcome==1)] = dbts.Glucose[dbts.Outcome==1].mean()</pre><pre># Skin Thickness</pre><pre>dbts.SkinThickness[(dbts.SkinThickness==0) &amp; (dbts.Outcome==0)] = dbts.SkinThickness[dbts.Outcome==0].mean()<br>dbts.SkinThickness[(dbts.SkinThickness==0) &amp; (dbts.Outcome==1)] = dbts.SkinThickness[dbts.Outcome==1].mean()</pre><pre># Blood Pressure</pre><pre>dbts.BloodPressure[(dbts.BloodPressure==0) &amp; (dbts.Outcome==0)] = dbts.BloodPressure[dbts.Outcome==0].mean()<br>dbts.BloodPressure[(dbts.BloodPressure==0) &amp; (dbts.Outcome==1)] = dbts.BloodPressure[dbts.Outcome==1].mean()</pre><pre>#Insulin</pre><pre>dbts.Insulin[(dbts.Insulin==0) &amp; (dbts.Outcome==0)] = dbts.Insulin[dbts.Outcome==0].mean()<br>dbts.Insulin[(dbts.Insulin==0) &amp; (dbts.Outcome==1)] = dbts.Insulin[dbts.Outcome==1].mean()</pre><pre># BMI</pre><pre>dbts.BMI[(dbts.BMI==0) &amp; (dbts.Outcome==0)] = dbts.BMI[dbts.Outcome==0].mean()<br>dbts.BMI[(dbts.BMI==0) &amp; (dbts.Outcome==1)] = dbts.BMI[dbts.Outcome==1].mean()</pre><pre># PLOTAGEM DO HISTOGRAMA</pre><pre>set_cols2 = dbts.loc[:,&#39;Pregnancies&#39;:&#39;Age&#39;]<br>set_cols2.hist(figsize=(15,10), bins=20, edgecolor=&#39;black&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yCwlOUw2gY2eHcEQDWQiKA.jpeg" /></figure><p>Note que houve uma diferença antes e depois do transformação. Verifique tanto no gráfico acima quanto na estatística abaixo.</p><pre><strong># ESTATÍSTICA DO DATASET APÓS TRANSFORMAÇÃO</strong></pre><pre>dbts.describe().T</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/743/1*fvmZDPKvlOJe70RqRrEL5Q.jpeg" /></figure><p><strong>Normalizando os Dados</strong></p><pre><strong># NORMALIZANDO OS DADOS UTILIZANDO CÁLCULO MIN-MAX<br># A IDEIA É COLOCAR TODO O DATASET NA MESMA ESCALA</strong></pre><pre>subdata = dbts.loc[:,&#39;Pregnancies&#39;:&#39;Age&#39;]</pre><pre>norm_dbts = (subdata-subdata.min())/(subdata.max()-subdata.min())<br>norm_dbts = norm_dbts.join(dbts.Outcome)<br>norm_dbts.head()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/898/1*18mWlXwk0n8HnIeT62EACQ.jpeg" /></figure><p><strong>Correlação</strong></p><pre><strong># VERIFICANDO O RELACIONAMENTO ENTRE OS ATRIBUTOS DO DATASET NORMALIZADO</strong></pre><pre>norm_dbts.corr().style.format(&quot;{:.2}&quot;).background_gradient(cmap=plt.get_cmap(&#39;coolwarm&#39;), axis=1)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1006/1*8dU5MfyC-op7DSG5WYo0lA.jpeg" /></figure><p><strong>Solucionando o Problema de Negócio: encontrando os 4 atributos mais importantes</strong></p><pre><strong># UTILIZANDO RANDOM FOREST PARA ENCONTRAR IMPORTÂNCIA DOS ATRIBUTOS</strong> </pre><pre>var_pred = norm_dbts.drop(columns=&#39;Outcome&#39;)<br>var_target = norm_dbts.Outcome</pre><pre>rfclf = RandomForestClassifier(n_estimators=100, max_depth=5)      <br>rfclf = rfclf.fit(var_pred,var_target)</pre><pre>importances = clr_rf.feature_importances_</pre><pre>std = np.std([tree.feature_importances_ for tree in rfclf.estimators_],<br>             axis=0)</pre><pre>indices = np.argsort(importances)[::-1]</pre><pre><strong># IMPRIMINDO RANKING DOS ATRIBUTOS</strong></pre><pre>print(&quot;Feature ranking:&quot;)</pre><pre>for f in range(var_pred.shape[1]):<br>    print(&quot;%d. feature %d (%f)&quot; % (f + 1, indices[f], importances[indices[f]]))</pre><pre><strong># PLOTAGEM DAS IMPORTÂNCIAS</strong></pre><pre>plt.figure(1, figsize=(14, 13))<br>plt.title(&quot;Feature importances&quot;)<br>plt.bar(range(var_pred.shape[1]), importances[indices],<br>       color=&quot;g&quot;, yerr=std[indices], align=&quot;center&quot;)<br>plt.xticks(range(var_pred.shape[1]), var_pred.columns[indices],rotation=90)<br>plt.xlim([-1, var_pred.shape[1]])<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/206/1*TPusGCEHQj6Y2918Pd7FCw.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/1*jqAF9TjpakzI8t6ddTrtzQ.jpeg" /></figure><p><strong>Conclusão</strong></p><p>De acordo com as análises feitas, os 4 atributos mais importantes, em ordem de importância, do dataset apresentados são a <strong>Insulina </strong><em>(33</em>,7%), a <strong>Glicose </strong><em>(14,4%)</em>, a <strong>Grossura da Pele </strong><em>(13,0%)</em><strong> </strong>e o <strong>IMC </strong><em>(8,9%).</em></p><p><em>Forte Abraço.</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b39d644c275c" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Extraindo tweets de forma objetiva em Python para Análise de Sentimentos]]></title>
            <link>https://pplpauloo.medium.com/extraindo-tweets-de-forma-objetiva-em-python-para-an%C3%A1lise-de-sentimentos-74e1910ff4c3?source=rss-915451cd44c------2</link>
            <guid isPermaLink="false">https://medium.com/p/74e1910ff4c3</guid>
            <category><![CDATA[analytics]]></category>
            <category><![CDATA[twitter]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[sentiment-analysis]]></category>
            <category><![CDATA[ciencia-de-dados]]></category>
            <dc:creator><![CDATA[Paulo Pinheiro]]></dc:creator>
            <pubDate>Sat, 21 Dec 2019 13:29:41 GMT</pubDate>
            <atom:updated>2019-12-21T14:43:40.789Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*yCWgIR3A4p4Vni6-4q0cKw.png" /></figure><p>Sabemos que, <em>pensando positivamente</em>, as redes sociais contribuem para que possamos verificar a repercussão de determinado assunto perante a sociedade.</p><p>Independente do objetivo que se quer atingir, saber o que as pessoas pensam em relação ao assunto de interesse é algo interessante <em>(principalmente para empresas).</em></p><p>O que andam sentindo em relação ao meio ambiente? Ao último tênis da moda? Às diretrizes políticas? As possibilidades, <em>eu diria</em>, são infinitas!</p><p>Aqui vou mostrar como extrair dados de tweets de forma simples através da linguagem Python e gravá-los em um <em>dataset, </em>para posterior análise.</p><p>Para isso, utilizaremos o pacote <a href="https://tweepy.readthedocs.io/en/latest/index.html"><strong>tweepy</strong></a><strong> </strong>e <a href="https://pandas.pydata.org/pandas-docs/stable/"><strong>pandas</strong></a>.</p><p># Importar tweepy e pandas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/603/1*izH-3QOxTeoCsuHCykoKow.png" /></figure><p># Criar as chaves de acesso/tokens (para isso, crie uma conta no <a href="http://www.twitter.com/">twitter</a><br># e crie uma conta de desenvolvedor — <a href="https://developer.twitter.com/">clique aqui</a>)<br># Gravei as chaves em um arquivo .txt e realizei o comando abaixo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/611/1*xbT00bNnMAHvvju_jQRcUA.png" /></figure><p># Autenticação e conexão com o Twitter.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/605/1*ckygfFJ6eotVjh-agDDRfQ.png" /></figure><p># Definição do assunto a ser coletado<br># Serão coletados 1.000 tweets sobre Greta (a menina ativista) no idioma<br># inglês<br># Os retweets não serão coletados</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/605/1*upfW9RF0YCtzZo139DzJYg.png" /></figure><p># Se quiser dar uma olhada nos tweets, pode fazer desse modo abaixo. <em>(sugiro diminuir para .items(10) para não sobrecarregar)</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/656/1*mGIHKfLcR-yPkRz5uUSMFQ.png" /></figure><p># Agora coletaremos os tweets pelas chaves principais do atributo json<br># Criaremos um novo dicionário e, nele iremos armazenas as informações<br># dos tweets coletados</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/638/1*a-4AzmdW2fK3RuNVDS4zQA.png" /></figure><p># Tweets coletados com sucesso!<br># Que tal transformar essa extração em um Data Frame e salvá-la em csv para<br># posterior análise?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/603/1*ik3IcpGg5bWuGI3_ppcHZw.png" /></figure><p># A visualização do dataframe fica assim</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4limkFKcS76B0ycr5oWeYQ.png" /></figure><p># Pronto! Mas vamos olhar quais são o texto dos 5 primeiros tweets coletados</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/604/1*I484rjJhLRXDJtY7C6dk2A.png" /></figure><p>Agora é só partir para a análise de sentimentos!</p><p>Forte Abraço.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=74e1910ff4c3" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Data Science para Iniciantes: IRIS]]></title>
            <link>https://pplpauloo.medium.com/data-science-para-iniciantes-iris-ec17b205f0d6?source=rss-915451cd44c------2</link>
            <guid isPermaLink="false">https://medium.com/p/ec17b205f0d6</guid>
            <category><![CDATA[ciencia-de-dados]]></category>
            <category><![CDATA[siri]]></category>
            <category><![CDATA[iniciante]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[beginner]]></category>
            <dc:creator><![CDATA[Paulo Pinheiro]]></dc:creator>
            <pubDate>Tue, 05 Nov 2019 11:31:46 GMT</pubDate>
            <atom:updated>2019-11-13T19:38:33.541Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*4BBrDududgoEV8-4GIwVog.png" /><figcaption>Arte: <a href="http://www.twitter.com/@dspaulolima">Paulo Lima</a></figcaption></figure><p>Todo ser humano que se aventure pela longa estrada da<em> Data Science</em> já se deparou com o dataset iris. Esse dataset mostra um conjunto de medidas das pétalas e sépalas de três espécies de flores: setosa, versicolor e virginica.</p><p>O objetivo nesse artigo é fazer uma pequena análise do dataset, utilizando a linguagem Python. Após a análise, partiremos para aplicação de Machine Learning<em> </em>para prever, de acordo com as medidas das pétalas e sépalas, qual das três espécies pertence uma nova flor. Nessa parte iremos comparar alguns modelos preditivos e escolher o que entrega o melhor resultado.</p><p>Para prosseguir com a análise e predições, utilizaremos os seguintes pacotes:</p><p><a href="https://pandas.pydata.org/pandas-docs/stable/">Pandas </a>+ <a href="https://numpy.org/doc/">Numpy</a> + <a href="https://matplotlib.org/gallery/index.html">Matplotlib</a> + <a href="https://seaborn.pydata.org/index.html">Seaborn</a> + <a href="https://scikit-learn.org/stable/">Sklearn</a></p><h4>Análise Exploratória</h4><p>Importar pacotes necessários:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/677/1*5QInkV1N6KfqOSofZJRytQ.png" /></figure><p>Pré-visualização parte de como os dados estão <em>(aberto no Notepad)</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/259/1*2ppVTAbaho7FuLHDE7ovvA.png" /></figure><p>Carregar o dataset, instanciando como <strong>iris </strong>e <strong>nomeando </strong>variáveis <em>(de acordo com o dicionário do dataset)</em>. Damos um <strong>head() </strong>para retornar as 5 primeiras linhas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/678/1*L4Ve2ViwOIWCcGFGKGZM2g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/528/1*cKPNvEwoSanckdxWGanKSQ.png" /></figure><p>O resultado mostra os comprimentos <em>(length) </em>e larguras <em>(width)</em> das pétalas e sépalas das iris, indicando — na última coluna — a que espécie tais medidas pertencem.</p><p>Carregado o dataset, podemos dar uma olhada em alguns detalhes do mesmo. Queremos ver um resumo estatístico. Para isso utilizaremos o <strong>describe()</strong>. Utilizei <strong>.T </strong>para fazer a transposta do dataset <em>(transformar linhas em colunas e vice versa)</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/678/1*9ZTTgdDZnM69XxNRAWeDoQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/538/1*dngiWXuK5MZFIX-CL9n4HQ.png" /></figure><p>O resultado mostra algumas medidas estatísticas como a contagem total, as médias, os desvios-padrão, os quartis, além dos valores mínimo e máximo das observações.</p><p>Observe que na coluna <strong>count</strong>, o resultado foi unanimamente 150. Isso pode indicar que não há <strong>valores missing</strong> ou há quantidade de linhas iguais com valores missing. Podemos verificar isso da seguinte maneira.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/677/1*V8BehGn4UL3casF0aw8Jhw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/76/1*Ooq1gN8ZOOsh_096xEOLww.png" /></figure><p>Perfeito. Existem 150 linhas e 5 colunas. O <strong>count</strong> está correto e <strong>não há valores missing</strong>. Mas para ter mais certeza…</p><p>…verificamos de outra maneira.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/676/1*MAdkKNR4_DhMPBnvqy3iGw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/212/1*CkeeJyL70P8a-zE4omsfVw.png" /></figure><blockquote>Teste <em>iris.info()</em> para ver a saída.</blockquote><p>Portanto <strong>não há valores missing</strong> em qualquer parte do dataset.</p><h4>Pausa para uma pequena manipulação</h4><p>Podemos notar que existe a coluna <strong>iris-specie</strong>. Vamos modificar os nomes pois não tem tanto sentido ter “iris-setosa” ao invés de “setosa”, por exemplo. Existem alguns modos de fazer essa modificação. Eis um:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/677/1*YY7z1T47ivSiKp6nFlIWog.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/493/1*1E2WY_HrFCD61XaWVrdlRA.png" /></figure><p>Começamos na <strong>linha 8 </strong>a separação <em>(split) da coluna “iris-species”.</em> Esse comando criou um novo dataset <em>(iris2)</em>, com o resultado da divisão da coluna em duas <em>(0 e 1)</em>, baseando-se no hífen. Na <strong>linha 9 </strong>deletamos a coluna 0, que contém o nome <em>“iris” </em>e, na <strong>linha 10</strong>, renomeamos a coluna 1 para <em>“species”</em>.</p><p>Na <strong>linha 11</strong>, juntamos o dataset iris com iris2 e, na <strong>linha 12</strong>, deletamos a coluna <em>“iris-species”</em>.</p><p>Temos, então, um dataset iris visualmente mais interessante.</p><h4>Opa! Que tal uns gráficos?</h4><p>O gráfico mais famoso para a primeira plotagem do dataset iris é o <strong>scatterplot </strong>(gráfico de dispersão).</p><p>Para isso, utilizaremos o pacote <strong>seaborn </strong>para plotagem do gráfico e o <strong>matplotlib </strong>para definir tamanho da figura, título e nomes dos eixo x e y.</p><p>Os gráficos abaixo mostram as relações das medidas de largura e comprimento de pétalas e sépalas de cada espécie (vide legenda).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/694/1*30mViJhk6yW39RDuWgTLMw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/494/1*TvrtgcSfNhqZh3D4oj6Mlg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/696/1*GWVh3FNztr8WZ_ibgRi4Fg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/511/1*M8HZkzw1hAsu55rmPcgnvw.png" /></figure><p>Se, por exemplo, pegarmos o <strong>grupo azul</strong> <em>(setosas)</em>, veremos que as medidas das pétalas e sépalas variam de acordo com a tabela abaixo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/722/1*Z9cvVwgmxsp0VO0khE4kTQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/199/1*EfgAFfvrQSXFL2XoZbrScw.png" /></figure><p>Outro gráfico, também muito utilizado, é o <strong>histograma</strong>. Nesse gráfico podemos descobrir como as medidas estão distribuídas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/679/1*bG1bkTig0iLVClvT05cxrA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/705/1*oxeurCRHt7sHEmP_kJzRfw.png" /></figure><p>Já ouviu falar no <strong>pairplot()? </strong>Ele<strong> </strong>mostra todas as relações em pares e as distribuições marginais.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/680/1*r-Jo2YYY6XcVed4FQ7Rcqg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/791/1*xyFVbnd6cc8wDqyNLBZLjA.png" /></figure><p>E vamos para mais um gráfico. Confesso que no início eu não gostava muito dele, mas acabei pegando uma simpatia! O <strong>violinplot()</strong>. Ele mostra a distribuição de dados quantitativos em vários níveis de uma (ou mais) variáveis ​​categóricas, para que essas distribuições possam ser comparadas. O gráfico apresenta uma estimativa da densidade do núcleo da distribuição subjacente.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/675/1*-QJJXHfziOWnfhmZXDl4rw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*pvPuVnbxOBJUq3X3V6kgvQ.png" /></figure><blockquote>Vejo pétalas e sépalas! E você?</blockquote><h4>Modelo Preditivo</h4><p>Descobrir espécies é um problema de <strong>classificação</strong>. Utilizaremos quatro modelos de machine learning e compararemos os resultados de cada um para saber qual o que teve a melhor predição.</p><p>Importaremos agora os três modelos (SVM, Regressão Logística, KNN e Decision Tree). Além disso importaremos pacotes de métricas e divisão de treino e teste.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/676/1*jblkhv58tk8eCjsKqTTzZA.png" /></figure><p>Como você já deve saber, ou ainda vai aprender, os sistemas computacionais processam melhor dados numéricos. Então vamos transformar as espécies em dados numéricos. <strong>setosa: </strong>0, <strong>versicolor: </strong>1 e <strong>virginica: </strong>2</p><p>Além disso, vamos criar uma nova coluna “species_num” para saber se a transformação acima foi realizada de forma correta. Utilizaremos o <strong>sample(5) </strong>para mostrar 5 exemplos aleatórios para fins de comparação.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/678/1*vIC5whXg57PbZgmsn6l9gw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/627/1*fUFRhuXTlvtrwF10nrhlhQ.png" /></figure><p>Viu que cada espécie corresponde aos números configurados? Sua função agora é deletar <em>(drop) </em>a coluna “<em>species_num” </em>e aplicar a transformação na coluna diretamente na coluna <em>“species”. </em>A saída <em>(utilize </em><strong><em>sample()</em></strong><em>) </em>deve ser parecida com essa <em>(os índices serão outros)</em>:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/503/1*e8GQZK9KYR7EyJTJDkwTKA.png" /></figure><p>Vamos separar as variáveis target e preditoras para fins de teste e treino. Além do apresentado, existem outras formas de selecionar colunas. Adicionalmente, vamos imprimir algumas linhas pré-determinadas para vermos separação.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/676/1*rWMFjCsiKlkJ9VxK6KUJCw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/433/1*i0OpMrvR4WaayidWB1KlQQ.png" /></figure><p>Dividimos, então, o dataset em dados de treino e de teste. 30% para teste e 70% para treino. Também visualizaremos o <strong>shape</strong> da divisão.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/707/1*lPAdI5Y-Dpd9XrI4B27SoQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/268/1*yisFQ2aqj3kRtsU7yOP6-Q.png" /></figure><p><strong><em>| </em></strong><em>Nos modelos abaixo, deixei a comparação das acurácias ao final. Junto à modelagem, adicionei a </em><strong><em>confusion matrix</em></strong><em> (onde se verifica os acertos e erros na predição, comparando com o target original).</em><strong><em>|</em></strong></p><p><strong>Modelo 1: SVM | <em>Support Vector Machine</em></strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/676/1*6Q_mAdoJZkLGD1ONit-Rbg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/206/1*sbag5ekfvzRqhMUlK1Q3Jg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/733/1*l6053fEGS_IJHEBNDN3BVA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/467/1*jKc4akocNxLviXI-h-OMxQ.png" /></figure><p>De acordo com essa confusion matrix, do valor original da versicolor, o modelo previu 1 observação como virginica. [97.8% de acurácia]</p><p>Note que construí um dataframe com a confusion matrix. Olhe outro modo de fazer <em>(visualmente mais interessante) </em>na documentação do sklearn (<a href="https://scikit-learn.org/stable/auto_examples/model_selection/plot_confusion_matrix.html#sphx-glr-auto-examples-model-selection-plot-confusion-matrix-py">link aqui</a>). Mas para simplificar (para os iniciantes), optei pelo dataframe acima.</p><p>O valores originais da variável target são apresentadas nos indexes e os valores previstos, nas colunas. Caso se utilizasse somente o <em>metrics.confusion_matrix, </em>ficaria assim:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/676/1*V0_YTrdOxbaZldatpSfFNw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/248/1*kGeUrKm63gllHnn0lkD8Ag.png" /></figure><p>Não tão informativo, não é? Sigamos…</p><p><strong>Modelo 2: Regressão Logística | <em>Logistic Regression</em></strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/678/1*CnAtOoWGehCMhznZuhHL5A.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/210/1*y0MR8AHA9Kl_p3liBhzGTw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/1*tTfCnPjvJXzQH1dHccbIHA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/465/1*o2YIcFqsgjFcqfW7Ve-zAg.png" /></figure><p>De acordo com essa confusion matrix, do valor original da versicolor, o modelo previu 2 observações como virginica [95.6% de acurácia]</p><p><strong>Modelo 3: Árvore de Decisão | <em>Decision Tree</em></strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/676/1*iHxZh41jJtWjDSvkxr11XQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/211/1*s2hiHQtXvlv2tgOqn6t5Iw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/735/1*RvNiN9NXAqCzvfqMS_o-dQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/465/1*o2YIcFqsgjFcqfW7Ve-zAg.png" /></figure><p>De acordo com essa confusion matrix, do valor original da versicolor, o modelo previu 2 observações como virginica. [95.6% de acurácia]</p><p><strong>MODELO 4: KNN | <em>K-Nearst Neighbor</em></strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/673/1*hYuL-CdeV39LIpMbe9Y3wA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/212/1*jDE6EVYNAHT233T6lncUkw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/733/1*kuunb3-1JEwqRazaF7-NQQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/465/1*o2YIcFqsgjFcqfW7Ve-zAg.png" /></figure><p>De acordo com essa confusion matrix, do valor original da versicolor, o modelo previu 2 observações como virginica. [95.6% de acurácia]</p><p><strong>COMPARAÇÃO DA ACURÁCIA ENTRE OS MODELOS</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/677/1*T4MPsV0dx7HsQnUEgbuIoQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/276/1*7HSbhDI7AoM7egwJQRsHjA.png" /></figure><p>De acordo com as métricas de acurácia de cada modelo, a que performou melhor foi o SVMcom 97,8% os outros empataram com 95.6%.</p><p>Aproveite para treinar: transforme a comparação acima em um dataframe! A saída pode ser assim:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/257/1*OX7WJE-TOWteNypRVDvyog.png" /></figure><p><a href="https://drive.google.com/open?id=181y8BgJHhWfPtDZykxNK3K9_D7JXa4ym">Download do notebook</a>.</p><p>Nos vemos numa próxima! Abraços!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ec17b205f0d6" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>