<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Giovanna Dias on Medium]]></title>
        <description><![CDATA[Stories by Giovanna Dias on Medium]]></description>
        <link>https://medium.com/@giovannadias?source=rss-193e226db1a8------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*3q_akDt1dm4offUAd365eg.jpeg</url>
            <title>Stories by Giovanna Dias on Medium</title>
            <link>https://medium.com/@giovannadias?source=rss-193e226db1a8------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 21:47:45 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@giovannadias/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Um ano da minha transição de carreira para dados: o que aprendi nesse período?]]></title>
            <link>https://giovannadias.medium.com/um-ano-da-minha-transi%C3%A7%C3%A3o-de-carreira-para-dados-o-que-aprendi-nesse-per%C3%ADodo-625fa5778b94?source=rss-193e226db1a8------2</link>
            <guid isPermaLink="false">https://medium.com/p/625fa5778b94</guid>
            <category><![CDATA[career-change]]></category>
            <category><![CDATA[carreira]]></category>
            <category><![CDATA[data-analyst]]></category>
            <category><![CDATA[data-analytics]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[Giovanna Dias]]></dc:creator>
            <pubDate>Tue, 19 Jul 2022 10:09:48 GMT</pubDate>
            <atom:updated>2022-07-19T10:09:48.479Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="Banner texto “um ano da minha transição de carreira para dados: o que aprendi nesse período?”" src="https://cdn-images-1.medium.com/max/1024/1*nA-AsO3Tolyeo9lLax2k7g.png" /></figure><p>Há exatamente 1 ano atrás eu iniciava no meu primeiro dia no novo trabalho atuando como Analista de Dados. Um misto de medo, ansiedade e muita alegria por estar vivenciando uma oportunidade que durante tantos meses aguardei e que finalmente havia se tornado realidade.</p><p>De lá pra cá foram muitas mudanças (inclusive para um novo emprego!), muitos aprendizados e algumas conclusões que gostaria de compartilhar com quem está passando por esse momento de transição e — assim como eu — tem várias dúvidas sobre esse processo.</p><h4>1. Tenha uma rotina de estudos</h4><p>Existem VÁRIAS fontes de conteúdos sobre dados atualmente, seja em canais de Youtube, blogs, perfis no Instagram, Twitter, Linkedin, etc. Num turbilhão de opções é normal se sentir pedido e sem saber por onde começar. Definir um plano com os principais tópicos que você deseja estudar de acordo com sua área de interesse (seja data analytics, data science, engenharia de dados ou BI) e encontrar os formatos de conteúdo que mais te satisfaçam é essencial.</p><p>Eu por exemplo gosto muito de aprender através de vídeos que tragam um pouco da teoria e da prática. Dessa forma, busquei por cursos online ou canais de Youtube que forneciam aulas sobre os temas que eu procurava. Vou deixar aqui uma lista com algumas indicações:</p><ul><li><a href="https://youtu.be/S9uPNppGs">Curso em Vídeo — Python 3</a></li><li><a href="https://www.youtube.com/c/SejaUmDataScientist">Canal Seja um Data Scientist</a></li><li><a href="https://www.youtube.com/c/Programa%C3%A7%C3%A3oDin%C3%A2mica">Canal Programação Dinâmica</a></li></ul><p>Além de definir seu plano de estudos, é super importante reservar um tempo na sua agenda diária para se dedicar a isso. Sem que você sente e se dedique a buscar esse conhecimento, fica muito difícil conseguir a tão almejada transição — o famoso: só depende de você mesmo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*9-BnPDbilpLlN5DY" /></figure><p>Eu me dedicava cerca de 4 horas por dia durante o começo do processo de transição. Hoje em dia, mesmo depois de já estar atuando na área, mantenho meu hábito de estudos diário com pelo menos 2 horas por dia, buscando sempre aprimorar em técnicas e ferramentas necessárias no meu dia-a-dia além de conhecer e desenvolver novas habilidades.</p><h4>2. Conheça a trajetória de outras pessoas</h4><p>Ouvir histórias sobre a trajetória profissional de outras pessoas que já fizeram a transição de carreira me ajudou muito nos momentos onde o medo falava mais alto. A insegurança, não saber se tinha feito a melhor escolha e as várias dúvidas que surgiam no caminho me bombardeavam, mas depois que conhecia a trajetória de outras pessoas, vi que não estava sozinha.</p><p>Cada um parte de uma realidade e de uma situação, e aqui vale aquela máxima (clichê, mas verdadeira) de que <strong>não é justo comparar a sua largada com a chegada do outro</strong>. Todos tem os seus desafios e entender que eles podem ser superados trás uma tranquilidade a mais.</p><p>Foi pensando em me conectar com as histórias de outras pessoas que iniciei meu projeto de podcast, o <a href="https://anchor.fm/datatalkspod">Data Talks</a>, onde conversei com outras profissionais de diferentes áreas de dados para trocar conhecimento, experiências e dicas de como iniciar sua carreira nesse ramo. Recomendo super maratonar esses episódios pois tenho certeza que a histórias de cada uma delas pode te inspirar, assim como também me inspirou a continuar!</p><h4>3. Não tenha pressa em aprender ferramentas — e nem as subestimem!</h4><p>Antes de decidir o que iria estudar, lia as descrições de várias vagas e tentava perceber quais eram os tópicos que mais se repetiam entre elas e o que eu ainda não tinha conhecimento. Python e SQL, por exemplo, eram as duas linguagens que mais apareciam e eu não fazia ideia do que eram. Morria de medo de aprender programação porque achava que era um bicho de sete cabeças e como eu era uma pessoa “de humanas”, que nunca teve muita facilidade com matemática e exatas, seria muito mais difícil de aprender. (NOTA: não foi e isso não tem nada a ver! Se você acha que não vai aprender algo devido sua área de formação, repense suas ideias!)</p><p>Acabei encontrando um curso online de Python e comecei a estudar a partir dele e me apaixonei pela linguagem e a forma como a programação ficou descomplicada para mim graças a ele. Aprender praticando através de exercícios também foi um grande colaborador nesse processo, onde conseguia colocar em prática toda a teoria que via nos vídeos.</p><p>Logo depois assisti também uma série de vídeo aulas sobre MySQL e fui adentrando no assunto de banco de dados. Paralelamente a isso, fui aprendendo mais sobre o passo a passo de um projeto de dados no <a href="https://somostera.com/cursos/data-analytics">bootcamp de Data Analytics</a> que comecei a fazer. Isso tudo me deu uma boa base de conhecimento técnico das principais ferramentas de trabalho, além das percepções sobre o que compunha um projeto de dados e outros aspectos importantes necessários a um analista de dados, como storytelling e data visualization.</p><p>Acontece que, como diz o ditado, na prática a teoria é outra. Assim que comecei meu primeiro emprego como Analista de Dados Júnior me deparei com queries gigantescas e várias outros tipos de funções que eu nem fazia ideia que existiam. Isso tudo me assustou bastante e acaba “fugindo” para minha zona de conforto — que até então era Python, por ser a linguagem que eu utilizava nos meus projetos pessoais de Ciência de Dados que tocava paralelamente. Isso acabou fazendo com que eu parasse de praticar tanto o SQL e ia aprendendo mais na prática durante o dia-a-dia no trabalho. Atualmente meu foco de estudos está na linguagem de consultas em banco de dados, justamente por já ter percebido na prática (e agora com a adição de mais uma experiência de trabalho em outra empresa) que de fato ela é super necessária no dia-a-dia de um analista de dados. Dessa forma, se eu pudesse dar uma dica para a Giovanna do passado seria essa: Python é legal e super válido de aprender, mas foca mais em ficar fera no SQL primeiro!</p><h4>4. Pratique seu storytelling para entrevistas e não tenha medo de arriscar</h4><p>Depois de alguns meses estudando, comecei a aplicar para algumas vagas com o objetivo de ir treinando meu discurso e também de sentir o mercado e colocar à prova meus conhecimentos. No início foram vários “nãos” e incontáveis e-mails automáticos, daqueles com texto padrão informando que você não tem o perfil desejado para a vaga.</p><p>Mas depois de algumas tentativas, consegui algumas entrevistas, e todo o frio da barriga veio acumulado com um milhão de pensamentos do tipo: “será que estou pronta mesmo?”, “será que sou boa o suficiente?”, “e se me perguntarem algo e eu não souber responder?”.</p><p>Uma coisa que fiz e que recomendo bastante para quem também é assombrado por esses pensamentos, é praticar seu storytelling pessoal. Saber contar uma boa história a partir das informações e insights que você descobre é uma habilidade essencial para um Analista de Dados, e nada mais justo do que você treinar isso contanto sua própria história (<em>ela faz o marketing pessoal dela!</em>).</p><p>Como tenho uma formação inicial em Publicidade, colocava meu lado comunicadora para jogo e criava uma narrativa bem estruturada, onde era capaz de contar toda minha trajetória e experiências na comunicação e marketing que me levaram a me interessar pelo universo dos dados. Depois, contava sobre meu processo de aprendizado por conta própria, além dos cursos que havia feito, e em como estava determinada em mudar de carreira e realmente havia me encontrado em dados.</p><p>Uma dica legal é a seguinte: conte sua história em voz alta! Mas não só para você mesmo, ajuda muito quando se tem algum que você confia (pode ser um amigo, irmão, namorado/a, pai, mãe — só não falo de papagaio e cachorro porque eles infelizmente não poderão te dar um feedback!) escutando sua história e que possa te indicar pontos de melhoria e até acontecimentos importantes que você possa não ter dado o foco suficiente. Eu treinei bastante essa minha história com duas amigas que já trabalhavam em empresas de tecnologia (do tipo em que eu gostaria de trabalhar também) e o feedback delas me auxiliou bastante em melhorar cada vez mais minha história.</p><p>Sobre entrevistas, minha dica principal é: não tenha medo! A real é que provavelmente você vai ouvir muitos nãos (e isso pode ser bem desanimador) mas saiba entender onde pode melhorar e peça por um feedback sempre que possível. Só assim você terá experiência em contar sua história e colocar todo seu estudo e conhecimento à prova. Tenha certeza que, por mais clichê que seja, a vaga que vai ser sua cara vai chegar!</p><h4>5. Tenha um portfólio de projetos</h4><p>Essa deve ser a dica mais batida de todas (confesso que eu mesma me estressava sempre que buscava informações, porque esse tópico sempre aparece) mas é a mais pura verdade: você tem que mostrar o que você sabe!</p><p>Ter um portfolio de projetos pessoais irá te ajudar a visualizar sua própria evolução ao longo do tempo e também é uma excelente forma de mostrar como você resolveria determinado problema. Uma ótima forma de construir esses projetos é através de dados públicos disponíveis em plataformas como o <a href="https://www.kaggle.com/">Kaggle</a> ou também realizando projetos de acordo com vídeos explicativos, como os da <a href="https://www.youtube.com/channel/UCS58303Tmd0wIKTddmRskdQ">Let’s Data</a>.</p><p>Outra forma legal de construir um portfolio é falando sobre algo que você aprendeu. Seja através de um vídeo ou de um texto, ensinar sobre algo é uma das melhores formas de aprender, e além disso, você ainda auxilia outras pessoas que também tem interesse naquele mesmo assunto.</p><h4>6. Não tenha medo de não saber algo — estamos todos em constante aprendizado!</h4><p>Depois de um ano atuando na área, uma das principais lições que tive vindo diretamente de gestores e colegas mais sêniores foi: tá tudo bem não saber de algo. Estamos todos em constante aprendizado! E isso é talvez uma das coisas que eu mais gosto nessa profissão, saber que sempre terá algo novo para aprender e que existe abertura dentro das equipes para falar “eu não sei fazer isso, mas vou dar um jeito de aprender e fazer!”.</p><p>Realmente é uma profissão para quem gosta de estar em constante aprendizado, e não pense que quando conseguir realizar sua transição que você poderá parar os estudos. Muito pelo contrário! Irá conhecer novas técnicas e ferramentas e a listinha dos tópicos a serem estudos só aumenta <em>rsrs</em> mas é ai que tá a beleza da coisa.</p><p>Espero que esse texto possa ajudar outras pessoas que estão na busca por essa transição e encorajar também quem ainda está se sentindo inseguro para começar. Meu inbox e caixinha de comentários estarão sempre abertos para trocar experiência e dicas. Seguimos juntos nessa jornada. ❤</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=625fa5778b94" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Web Scraping com BeautifulSoup: obtendo dados de uma loja de livros]]></title>
            <link>https://giovannadias.medium.com/web-scraping-com-beautifulsoup-obtendo-dados-de-uma-loja-de-livros-7047ad9a021a?source=rss-193e226db1a8------2</link>
            <guid isPermaLink="false">https://medium.com/p/7047ad9a021a</guid>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[web-scraping]]></category>
            <category><![CDATA[beautifulsoup]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[pyhon]]></category>
            <dc:creator><![CDATA[Giovanna Dias]]></dc:creator>
            <pubDate>Fri, 10 Sep 2021 10:13:59 GMT</pubDate>
            <atom:updated>2021-09-10T10:13:59.640Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*y6ZeUmHP-VLdW6RWlyAMaQ.jpeg" /><figcaption>Photo by <a href="https://unsplash.com/@eddrobertson?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Ed Robertson</a> on <a href="https://unsplash.com/s/photos/books?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a></figcaption></figure><p>No começo desse ano, decidi me dedicar aos estudo sobre Dados afim de conhecer mais sobre a área. Acabei me apaixonando e migrando de carreira, passando a atuar exclusivamente com análise de dados. Cada vez mais, venho estudando e desenvolvendo habilidades técnicas focada na Ciência de Dados, que por ser um amplo campo de conhecimento, possui muitas técnicas e habilidades para serem aprendidas.</p><p>Uma delas é o chamado <em>web scraping</em>, ou raspagem de dados, que consiste na obtenção de dados a partir de um site, onde é possível acessar através do HTML algumas informações disponibilizadas. Pensando em desenvolver um projeto para fixar meu aprendizado sobre o tópico, resolvi desenvolver um script que captura alguns dados sobre livros de um site próprio para estudos de <em>web scraping</em>, partindo de algumas aulas que tive sobre o tema no grupo de estudos focados em Ciência de Dados no qual faço parte.</p><p>Os principais objetivos desse projeto são:</p><ul><li>Entender sobre o que é <em>Web Scraping</em> e como ele funciona,</li><li>Aplicar o <em>Web Scraping</em> com a biblioteca BeautifulSoup,</li><li>Obter os dados necessários para responder perguntas de negócio,</li><li>Limpar a base de dados obtidos,</li><li>Fazer uma análise exploratória dos dados.</li></ul><p>O site utilizado para o projeto foi o <a href="https://books.toscrape.com/">Books to Scrape</a>, criado exclusivamente com o propósito educacional de desenvolvimento em <em>Web Scraping</em>. Além disso, o código foi dividido em 3 macro partes:</p><ul><li>Data Collect (obtenção dos dados),</li><li>Data Cleaning (limpeza dos dados),</li><li>Data Analysis (análise dos dados)</li></ul><p>A partir do site, criei um código para coletar dados sobre 4 categorias de livros: Ficção Científica, Negócios, Humor e Clássicos. Os dados a serem coletados foram: nome do livro, preço, avaliação, disponibilidade e categoria. Ao final da análise dos dados, eu deveria ser capaz de responder essas três questões de negócio:</p><ul><li>Qual categoria é a melhor avaliada?</li><li>Qual o produto mais caro de cada categoria?</li><li>Qual o produto mais barato de cada categoria?</li></ul><p>Nesse texto, irei apresentar os detalhes de cada etapa, bem como os desafios que tive ao longo do desenvolvimento da solução. Para conferir o código com o resultado final, <a href="https://github.com/giovannadias/webscraping_com_beautifulsoup">acesse o repositório no Github</a>.</p><h3>Data Collect</h3><p>A primeira seção do código, diz respeito aos parâmetros de conexão e requerimentos necessários para fazer a captura dos dados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1017/0*hGwCV3ERLxbxY26Q" /></figure><p>Com o <em>headers </em>é possível definir que a requisição a url seja feita através de um browser e não um código python, o que evita possíveis bloqueios de solicitação.</p><p>O campo <em>url </em>recebeu o link de cada página onde as informações sobre os livros estavam. Como fiz o<em> web scraping</em> de 4 categorias de livros diferentes, cada uma recebeu sua própria <em>url</em>.</p><p>Depois, foi criado um elemento <em>page </em>para guardar as requisições feitas a url passada, que foi armazenada em um elemento <em>soup</em>, onde as demais consultas foram feitas.</p><p>As coletas de dados para cada categoria de livro foram feitas seguindo as mesmas etapas. Para facilitar o texto e não deixar muito repetitivo, irei apresentar como exemplo apenas a categoria de livros de Ficção Científica (<em>Science Fiction</em>).</p><h4><strong>Conjunto de livros</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/671/0*oCzb2Sx8phNyBJKx" /></figure><p>Nesse primeiro tópico, foi necessário localizar a parte correspondente do html que abrigava as informações que eu buscava. No caso, os elementos ‘<em>ol</em>’ da classe ‘<em>row</em>’ continham as informações gerais da vitrine de livros, enquanto cada elemento ‘<em>li</em>’ da classe ‘<em>col-xs-6 col-sm-4 col-md-3 col-lg-3</em>’ representava um conjunto completo de informações sobre um livro específico.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qCCgdsAmx2Khmuy086GiYQ.png" /><figcaption>Elemento ‘ol’ contendo toda a vitrine de produtos.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OA3g8RdtAjIS9j4mD0cI-g.png" /><figcaption>Classes de elementos ‘<em>col-xs-6 col-sm-4 col-md-3 col-lg-3’ com informações sobre cada livro.</em></figcaption></figure><h4><strong>Nome do livro</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/581/0*Co7DqeT3WssVSXVR" /><figcaption>Código para obtenção do nome do produto.</figcaption></figure><p>A primeira informação a ser capturada era o nome de cada livro. Para isso, busquei pelo elemento ‘<em>a</em>’, que continha um link para a imagem de capa do livro e também o título escrito por extenso. Foi preciso filtrar os espaços vazios para garantir que só ficaria com o texto, para logo após isso já alimentar o primeiro conjunto de dados (<em>dataframe</em>) nomeado <em>data_name</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YLCumMxFCd5Ws2NFMr06aw.png" /><figcaption>Parte do código HTML contendo a informação de nome do livro.</figcaption></figure><h4><strong>Avaliação do livro</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/547/0*bY7V34M9T4MCbgYD" /><figcaption>Código para obtenção da avaliação do produto.</figcaption></figure><p>A segunda informação era a avaliação (<em>rating</em>) de cada livro. Essa foi uma das partes mais desafiadoras na minha opinião, mas que tenho muito orgulho de ter alcançado o resultado da forma que esperava.</p><p>As avaliações dos livros eram em forma de estrelas, indo de 1 a 5, e sua localização no html era bem fácil de ser encontrada, já que existia uma classe específica para essa informação. Acontece que, ao contrário das demais classes, essa contava com o ‘<em>star-rating</em>’ + número correspondente a quantidade de estrelas, tudo junto formando o nome da classe. Até então, não havia me deparado com nenhuma situação semelhante, onde a informação estava dentro da classe html, o que tornou o desafio um pouco maior.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PyE4Okt0iXCVeB4S7G56jQ.png" /><figcaption>Classe no código html com nota de avaliação do livro.</figcaption></figure><p>Depois que consegui encontrar exatamente a informação que precisava, comecei a pensar em formas de separar os elementos que obtive.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/542/0*zNC6DjGu7tRCTM0I" /><figcaption>Código que obtinha a classe correspondente a avaliação de cada produto.</figcaption></figure><p>Para cada avaliação, o código me retornou uma lista que continha várias “sub-listas”, cada uma representando a avaliação de um livro e sendo composta por 2 elementos: o título ‘<em>star-rating</em>’ e a nota obtida. Depois de testar vários métodos, sabia que o jeito mais fácil seria percorrer cada “sub-lista” da lista e obter dela o segundo elemento, que no caso seria a palavra referente a nota do livro.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/220/0*0HdwPHW05jJXUZze" /><figcaption>Primeiro elemento da lista de notas.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/199/0*t6WMd9epag5rCPun" /><figcaption>Elemento correspondente a nota do produto.</figcaption></figure><p>Sendo assim, criei um laço ‘<em>for</em>’ que percorria cada “sub-lista” e retirava o segundo elemento. Criei uma lista vazia que seria alimentada com esse retorno após cada ciclo do laço.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/384/0*bE21WtqhqyLKM0Dd" /><figcaption>Laço ‘for’ para capturar o segundo elemento de cada “sub-lista”.</figcaption></figure><p>Depois disso, obtive uma lista contendo cada uma das notas dos livros, escritas por extenso. Na parte da limpeza de dados, tive que tratar esses elementos e convertê-los de <em>strings</em> para inteiros — o que também foi um grande desafio, que detalharei mais à frente. Por enquanto essa parte estava pronta e foi possível criar o segundo <em>dataframe </em>com os dados das avaliações.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/274/0*y1IkF-nSDM1gc1qc" /><figcaption>Lista final contendo as avaliações de cada produto.</figcaption></figure><h4><strong>Preço do livro</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/569/0*Ph5WHW7NHfzdEz47" /><figcaption>Código para obtenção do preço do produto.</figcaption></figure><p>A terceira informação necessária era o preço de cada livro. Esse foi um passo tranquilo, já que existia uma classe própria chamada ‘<em>price_color</em>’ que indicava o preço em libras para cada produto. Dessa forma, foi preciso apenas acessar, coletar o texto contido em cada uma e colocá-los todos juntos em um <em>dataframe</em>, denominado ‘<em>data_price</em>’.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sifA7J7F_fzM7vLRv-TABg.png" /><figcaption>Classe no código html com preço do livro.</figcaption></figure><h4><strong>Estoque do produto</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/716/0*KShv2nAH5Xn_NSpP" /><figcaption>Código para obtenção do estoque do produto.</figcaption></figure><p>A última informação a ser coletada era sobre a situação de estoque de cada produto. Havia também uma classe específica para essa informação, o que tornou o processo bem simples e semelhante ao que utilizei para obter o preço de cada livro.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*6cPi-nauthxaotO6DahC3Q.png" /><figcaption>Classe no código html com estoque do produto.</figcaption></figure><h4><strong>Dataframe único para os livros da categoria</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/753/0*Ly51vjKJRa5UY6V4" /><figcaption>Código para criação de um dataframe para todos os produtos de cada categoria.</figcaption></figure><p>Depois de obter os dados que precisava, juntei todos os <em>dataframes </em>que havia criado em cada etapa em um único, nomeando de acordo com a categoria dos livros correspondentes.</p><p>Além disso, adicionei mais duas colunas: uma referente a categoria do livro e outra com a data e horário que o <em>scrapy </em>foi realizado, como forma de controle.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/608/0*SMsLfg9Kn9efDzeM" /><figcaption>Código para criação das colunas de categoria do produto e data/hora da realização do srapy.</figcaption></figure><p>No final, obtive um <em>dataframe </em>completo para cada categoria de livro, que foram concatenados, formando um único <em>dataframe </em>com as informações das quatro categorias de livros coletadas. Alguns ajustes eram necessários, como formatar o preço, mudar o tipo de elemento da categoria rating e limpar os ’\<em>n</em>’ que vieram junto com o estoque do produto. Para isso, segui adiante na fase de limpeza de dados do projeto.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/878/0*v_xQWfsBcMbvGbXa" /><figcaption>Dataframe final da etapa de coleta dos dados.</figcaption></figure><h3>Data Cleaning</h3><p>Agora que os dados necessários já haviam sido capturados, era necessário ajustá-los de modo a facilitar as análises e os usos. Algumas mudanças eram necessárias nessa etapa:</p><ol><li>Substituir um dos títulos que teve um caractere não identificado (The Third Wave: An Entrepreneur’s Vision of the Future),</li><li>Retirar o símbolo de libras (Â£) do preço e convertê-lo para tipo <em>float,</em></li><li>Substituir os valores de <em>rating </em>de <em>strings </em>para números no formato <em>int,</em></li><li>Retirar o <em>‘\n’</em> na coluna de <em>product_availability,</em></li><li>Ajustar o formato data/hora na coluna <em>scrapy_time.</em></li></ol><p>No primeiro ponto, utilizei uma substituição simples para alterar o caractere que não havia sido identificado no nome do livro. Foi uma solução rápida e direta, porém não escalável, uma vez que só notei que havia um título com falha devido o tamanho do <em>dataset </em>ser bem pequeno. Em casos onde o volume de dados fosse muito grande, uma outra forma de solução mais abrangente teria de ser utilizada.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*a6pTHFu3nuzUqICn" /><figcaption>Código para substituição do título do livro.</figcaption></figure><p>O ajuste dos preço também teve uma solução simples, onde pude treinar o uso da função <em>lambda </em>para substituir os símbolos de libras por nada, e alterar também o tipo de dados para <em>float</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/823/0*8eZVdmISYYunpuxq" /><figcaption>Código para limpeza e alteração dos dados de preço dos produtos.</figcaption></figure><p>A parte onde tive mais dificuldade foi no tratamento dos dados de avaliação. No primeiro momento, gastei bastante tempo utilizando a função <em>lambda </em>para substituir o escrito por extenso da nota por um número e no final utilizando o método <em>.astype(int)</em> para converter o tipo de dado, porém essa solução apresentava constantes erros, uma vez que a conversão para <em>int </em>não era aplicada e o erro <em>“</em><strong><em>ValueError</em></strong><em>: invalid literal for int() with base 10: ‘Five’”</em> sempre aparecia.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*ZYjCE3XGIDmh8gAgOMrT9A.png" /><figcaption>Erro nas tentativas de aplicar a função lambda.</figcaption></figure><p>Até que, depois de vários dias quebrando a cabeça e tentando entender o que esse erro significava, tentei um método simples, semelhante ao que utilizei para substituir o nome do livro, e funcionou perfeitamente! Depois fiquei até frustrada de ter perdido tanto tempo insistindo em uma solução que não funcionava, mas valeu o aprendizado.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/647/0*lOxgocNzxnMUNyf6" /><figcaption>Solução final para alteração dos dados.</figcaption></figure><p>Os últimos pontos de ajustes foram retirar o <em>‘\n’ </em>na coluna de <em>product_availability </em>(no qual utilizei um método semelhante ao que já tinha aplicado no código) e também ajustar o formato de data/hora no <em>scrapy_time </em>e convertê-lo para o tipo <em>datetime64[ns]</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/814/0*dxppyQlzzWZPIt0o" /><figcaption>Ajustes nas colunas de disponibilidade do produto e data/hora do scrapy.</figcaption></figure><p>Ao final da etapa da limpeza, meu <em>dataset </em>ficou ajustado, com informações limpas e formatos de dados corretos. No total, foram 57 livros, divididos em:</p><ul><li>16 livros de ficção científica.,</li><li>19 livros clássicos,</li><li>10 livros de humor,</li><li>12 livros de negócios.</li></ul><p>Era hora de partir para a parte de análise de dados, para obter alguns insights.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/892/0*4NXJkKmtP74T7JCx" /><figcaption>Dataset final após limpeza dos dados.</figcaption></figure><h3>Data Analysis</h3><p>Agora que os dados já estavam organizados e tratados, realizei algumas análises para ter uma visão sobre os livros e responder algumas perguntas de negócio:</p><ul><li>Qual categoria é melhor avaliada?</li><li>Qual o produto mais caro de cada categoria?</li><li>Qual o produto mais barato de cada categoria?</li></ul><p>Primeiramente, fiz algumas análises e gráficos que me deram uma visão geral sobre o universo dos dados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/274/0*82iDAk9PtxI4PuAc" /><figcaption>Estatísticas sobre colunas de dados numéricos do dataset.</figcaption></figure><p>Algumas observações que foram retiradas dessa primeira análise:</p><ul><li>Os livros da loja possuem uma média de preço de 34.38 libras, sendo o mais barato 10.65 (<em>The Project</em>) e o mais caro 58.63 (<em>Candide</em>).</li><li>A média de avaliação dos livros é de 2.66 e a mediana é 2, o que faz com que a maioria dos produtos esteja entre o segundo e terceiro quartis, com notas acima da mediana.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/687/0*4B9PHI5tHvKMmYJn" /><figcaption>Informações sobre o livro mais barato do dataset.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/685/0*PLjyvAHYgpxx_Oes" /><figcaption>Informações sobre o livro mais caro do dataset.</figcaption></figure><p>A fim de compreender melhor o comportamento dessas variáveis de acordo com cada categoria, fiz alguns gráficos que me auxiliaram a ter uma análise mais específica.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/383/0*sZqcWUhmfH9ynilz" /><figcaption>Gráfico boxplot categoria de produtos X preço.</figcaption></figure><p>Nesse gráfico de boxplot, separei os livros por categoria para analisar o comportamento de preço de cada uma. Alguns insights foram:</p><ul><li>As categorias de Ficção Científica e Negócios apresentam a maior quantidade de livros entre o primeiro e o segundo quartil, sendo mais baratos que a mediana dos preços de sua categoria.</li><li>Já os livros clássicos e de humor apresentam a maior quantidade de livros entre o segundo e o terceiro quartil, ou seja, a maior parte possui um preço acima da mediana da categoria.</li></ul><p>Buscando entender a avaliação das categorias, gerei um segundo gráfico para visualizar o comportamento dessa variável. Alguns insights foram:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/387/0*sg35LfGOBlRRle7Y" /><figcaption>Gráfico boxplot categoria de produtos X avaliação.</figcaption></figure><ul><li>Livros de humor tem a mediana de avaliação mais elevada, ou seja, possuem os livros melhores avaliados entre todas as categorias.</li><li>A maioria dos livros de ficção científica estão localizados entre o segundo e o terceiro quartil, ou seja, possuem notas de avaliação acima da mediana da categoria (nota 2).</li></ul><p>Depois dessas análises, parti em busca das respostas para as 3 perguntas iniciais.</p><ul><li><strong>Qual categoria é melhor avaliada?</strong></li></ul><p>Os livros de humor são os melhores avaliados, tendo uma média de 3.40, frente às outras categorias.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/679/0*RxHh_ZBHD-lMbkZF" /><figcaption>Código para consultar a média de avaliação para cada categoria.</figcaption></figure><ul><li><strong>Produto mais caro de cada categoria</strong></li></ul><p>Os livros mais caros de cada categoria são:</p><ul><li>Rich Dad, Poor Dad (Negócios)</li><li>Candide (Clássico)</li><li>Lamb: the Gospel According to Biff, Christs Childhood Pal (Humor)</li><li>Dune (Dune #1) (Ficção Científica)</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/662/0*Fwpnf-bDX7976P8n" /><figcaption>Código para consultar o preço do produto mais caro de cada categoria.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/887/0*zvuSMGXNXl47O6gO" /><figcaption>Código para consultar as informações de cada produto mais caro de cada categoria.</figcaption></figure><ul><li><strong>Produto mais barato de cada categoria</strong></li></ul><p>Os livros mais baratos de cada categoria são:</p><ul><li>The Third Wave: An Entrepreneur’s Vision of the Future (Negócios)</li><li>The Hound of the Baskervilles (Sherlock Holmes #5) (Clássico)</li><li>Old School (Diary of a Wimpy Kid #10) (Humor)</li><li>The Project (Ficção Científica)</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/677/0*WS_RzH54J2sQcxGN" /><figcaption>Código para consultar o preço do produto mais barato de cada categoria.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/888/0*CGvbqsGx_4SJMs6k" /><figcaption>Código para consultar as informações de cada produto mais barato de cada categoria.</figcaption></figure><h3>Conclusão</h3><p>Após realizar esse projeto, consegui ter uma visão mais clara de como aplicar o <em>web scraping</em> e o entendi como uma poderosa ferramenta para obtenção de dados. De forma geral, obter os dados de uma fonte HTML não era a parte mais complicada como eu imaginei, por mais que tivessem algumas etapas onde gastei bastante tempo, porém, a limpeza e tratamento desses dados é de suma importância para garantir um <em>dataset</em> otimizado para uso.</p><p>Fiquei muito feliz com o resultado e por poder compartilhar minha jornada nesse projeto por aqui. Agradeço você que chegou até o final do texto e deixo meus contatos a disposição para qualquer dúvida ou feedback. Ah, e se quiser conferir o repositório do projeto, é só acessar <a href="https://github.com/giovannadias">meu perfil no github</a>.</p><p>Até a próxima!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7047ad9a021a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Avaliando a performance de um chatbot para mães e gestantes]]></title>
            <link>https://giovannadias.medium.com/avaliando-a-performance-de-um-chatbot-para-m%C3%A3es-e-gestantes-6accfcab424c?source=rss-193e226db1a8------2</link>
            <guid isPermaLink="false">https://medium.com/p/6accfcab424c</guid>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[chatbots]]></category>
            <dc:creator><![CDATA[Giovanna Dias]]></dc:creator>
            <pubDate>Fri, 04 Jun 2021 14:05:33 GMT</pubDate>
            <atom:updated>2021-06-04T14:05:33.995Z</atom:updated>
            <content:encoded><![CDATA[<p>Durante o curso de Data Analytics na Tera, fomos desafiadas a encontrar um problema de negócio e buscar uma solução baseada em dados. Depois de muitas discussões e desafios relacionados à saída de membros da equipe e mudança de temas, eu, Mariana Guimarães e Luciana Mendes nos alinhamos a empresa <a href="https://www.podeperguntar.com/">Pode Perguntar</a> para avaliarmos algumas questões relacionadas ao principal serviço oferecido: a chatbot “Madá” para atendimento a mães e gestantes.</p><p>Por ser uma iniciativa 100% digital, a empresa já mantinha um banco de dados relacionado às conversas e interações realizadas com o bot. A partir disso, conseguimos um acesso a essa base via Google BigQuery para realizar consultas e manipulações a fim de segmentar nossa análise.</p><p>Nosso principal objetivo com análise de dados era compreender se o chatbot estava sendo capaz de sanar as principais dúvidas das mães e gestantes que o utilizavam. Caso essa performance não estivesse atendendo as usuárias, gostaríamos também de propor possíveis soluções e melhorias, para tornar o produto mais atrativo para o público.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/829/0*OgA_8DTpbdpMwKZ9" /></figure><p>Para a análise inicial do dataset, tivemos algumas dificuldades relacionadas ao uso da ferramenta BigQuery, uma vez que ela apresenta os dados semiestruturados e alguns comandos eram diferentes daqueles que havíamos aprendido nas aulas de SQL. Entender a base de dados e criar novas tabelas com nossas próprias consultas foi um desafio, porém conseguimos obter os dados principais que seriam utilizados para nossas análises.</p><p>Dividimos o trabalho entre cada membro do grupo, de forma a fazer com que todas tivessem a oportunidade de acessar a base de dados, realizar consultas e ser a responsável pela criação e visualização de uma parte dos dados. Definimos que a análise poderia ser feita em três frentes diferentes: uma relacionada às conversas e interações com o chatbot, outra relacionada ao perfil geral das usuárias que utilizavam o produto e a última relacionada às conversas e chamadas com as enfermeiras disponíveis. Dessa forma, seria possível entender quem era o público que busca ajuda com o chatbot, se ele era ou não capaz de satisfazer essas dúvidas e — caso não fosse — se essas usuárias buscavam ajuda com as enfermeiras.</p><p>Após as consultas feitas na base de dados, iniciamos uma exploração através da ferramenta Google DataStudio, que é veiculada diretamente com o BigQuery. A visualização dos dados auxiliou no processo de entendimento da performance do chatbot, comportamento das usuárias e conversas com as enfermeiras. A partir dai, foi possível compreender melhor quais eram os temas mais procurados, avaliação média das usuárias para o chatbot, principais canais utilizados para conversa e etc.</p><p>Através das análises feitas, conseguimos concluir alguns pontos relacionados ao perfil das usuárias que utilizavam o bot e quais eram os temas mais procurados por elas:</p><p>Perfil das usuárias:</p><ul><li>89% são gestantes</li><li>31% têm entre 18 e 21 anos</li><li>Risco da gravidez é baixo para 61% delas</li></ul><p>Alinhando as análises de perfil de público, buscamos entender quais eram os principais temas dos chats de conversas das mulheres grávidas, para compreender melhor quais eram as principais dúvidas.</p><ul><li>Dores abdominais</li><li>Desenvolvimento do bebê</li><li>Cálculo de semana e mês</li><li>Sinais de trabalho de parto</li></ul><p>Outro aspecto analisado foi o número de <em>fallbacks</em>, relacionado a quantas vezes o bot não foi capaz de identificar e responder uma pergunta feita pela usuária. Nas conversas com gestantes, os <em>fallbacks </em>representam 15% das taxas de resposta do bot, e para conversas com puérperas esse índice chega a 39%.</p><p>Para relacionar os assuntos onde o bot tem as melhores e as piores avaliações, cruzamos os dados relativos ao NPS dado pela usuária no chat e cruzamos com os <em>intents </em>de cada assunto. Dessa forma, conseguimos entender o que cada perfil de usuária (grávida ou puérpera) avaliava como bom e ruim no chatbot.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*B5-QLUfwMc9vJN2H8wugdw.png" /></figure><p>Como conclusões, avaliamos que o chatbot funciona bem como um meio informativo, porém não substitui um acompanhamento profissional, uma vez que quanto mais específica a dúvida da usuária, maior a taxa de <em>fallback </em>(ou seja, respostas que indicam que o chatbot não compreendeu a dúvida da usuária).</p><p>As sugestões finais seriam aperfeiçoamento nos temas considerados ruins pelas usuárias, bem como sugestão de direcionamento para conversas com enfermeiras — que também são disponibilizadas pela plataforma — para aquelas usuárias que apresentarem dúvidas mais específicas.</p><p>Esse projeto foi uma ótima oportunidade para aplicarmos os conceitos aprendidos durante o bootcamp. Tivemos algumas dificuldades ao longo do percurso, com mudança de tema e saída de alguns membros do grupo, além da dificuldade com entendimento da base de dados recebida. Tivemos receio de que não iríamos conseguir fazer as análises e nem responder as questões iniciais pensadas para o projeto, mas a visualização dos dados e auxílio dos experts na realização das consultas facilita a condução final do projeto.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6accfcab424c" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Como uma pós graduação em marketing me levou a estudar sobre dados]]></title>
            <link>https://giovannadias.medium.com/como-uma-p%C3%B3s-gradua%C3%A7%C3%A3o-em-marketing-me-levou-a-estudar-sobre-dados-675afff9ccba?source=rss-193e226db1a8------2</link>
            <guid isPermaLink="false">https://medium.com/p/675afff9ccba</guid>
            <category><![CDATA[data-analytics]]></category>
            <category><![CDATA[carreira]]></category>
            <dc:creator><![CDATA[Giovanna Dias]]></dc:creator>
            <pubDate>Wed, 14 Apr 2021 13:17:42 GMT</pubDate>
            <atom:updated>2021-05-12T00:23:01.670Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gJDZkDy9Y-tRe8q664zLWA.png" /></figure><h3><strong>Como uma pós-graduação em marketing me levou a estudar sobre dados</strong></h3><p>No início de Abril completou um mês desde que iniciei meu bootcamp em Data Analytics. Desde então, venho me dedicando diariamente a aprender mais sobre a área, passando por SQL e Banco de Dados até programação com Python.</p><p>Mas por que decidi me aventurar nessa jornada? Bom, para explicar isso, vou precisar voltar um pouco no tempo.</p><p>No final de 2019 concluí minha graduação em Publicidade e Propaganda e durante todo meu percurso, a área que mais me identifiquei foi o planejamento. Pesquisar sobre o mercado e perfil de consumidores, entender a fundo sobre o negócio e pensar em como a comunicação pode auxiliar na obtenção de resultados eram tarefas que me interessaram bastante e me fizeram ter os primeiros contatos com análises de dados , pesquisa e estratégia. Experiências de trabalho em agências de publicidade e empresas de tecnologia também foram essenciais na minha jornada para compreender a importância dos dados para os negócios.</p><p>Queria continuar os estados após a formação e uma pós-graduação em nível de especialização já era do meu interesse. No início de 2020, decidir qual curso fazer foi uma escolha complicada. Dentre as várias opções que a faculdade oferecia, duas me chamaram a atenção: Comunicação Digital e Analytics e Business Intelligence — a primeira por estar diretamente relacionada com minha área de formação e a segunda por ser um tema que já me interessava, mas com uma base técnica um pouco diferente da que eu tinha.</p><p>Depois de muito refletir, acabei decidindo pela Comunicação Digital, pensando em me especializar mais na área de formação e assim abrir o leque de oportunidades para minha construção de carreira. Mesmo depois de decidido o curso, a pulguinha dos dados e analytics — que já existia dentro de mim — foi ficando cada vez maior.</p><p>Dentro do curso, disciplinas como Marketing Digital, Estratégia para Redes Sociais e até mesmo Cibercultura me ajudam a reforçar o quanto a análise de dados era essencial no dia a dia da profissão e que realmente não tinha como escapar: quem entendia os dados teria um diferencial imenso para os negócios.</p><p>Resolvi então seguir com o plano de me aprofundar no assunto e em 2021 me matriculei num bootcamp específico em Data Analytics. Depois que o curso começou, pesquisei cada vez mais sobre cada campo e profissões que envolviam dados e fui me identificando mais com área. Confesso que algumas vezes bate o desespero de ler algo e não entender quase nada, mas o processo de aprendizagem é isso e aos poucos as coisas vão fazendo sentido e as informações de diferentes áreas ajudam a construir conhecimentos maiores e profundos.</p><p>A experiência de começar a estudar algo que até então estava fora da minha área de formação está sendo muito gratificante e desperta em mim vários questionamentos e ideias que antes não me apareciam — talvez no futuro escreva um pouco mais sobre elas.</p><p>A jornada do conhecimento não para. Sei que ainda é só o começo e existem muitas coisas relacionadas a dados e tecnologias para aprender, mas estou gostando demais e aproveitando cada momento nessa jornada. Espero em breve poder voltar para compartilhar mais do que andei aprendendo por aí.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=675afff9ccba" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>