<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Lui Magno on Medium]]></title>
        <description><![CDATA[Stories by Lui Magno on Medium]]></description>
        <link>https://medium.com/@luimagnoDS?source=rss-1309221b90a4------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*iMQqYDzX9if-9cyu900jBg.jpeg</url>
            <title>Stories by Lui Magno on Medium</title>
            <link>https://medium.com/@luimagnoDS?source=rss-1309221b90a4------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sat, 21 Nov 2026 01:09:14 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@luimagnoDS/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[State of Data 2024–25: Minha Jornada no Desenvolvimento de uma Ferramenta Analítica para…]]></title>
            <link>https://medium.com/@luimagnoDS/state-of-data-2024-25-minha-jornada-no-desenvolvimento-de-uma-ferramenta-anal%C3%ADtica-para-57864597ac66?source=rss-1309221b90a4------2</link>
            <guid isPermaLink="false">https://medium.com/p/57864597ac66</guid>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[state-of-data]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[sistemas-de-recomendação]]></category>
            <category><![CDATA[data]]></category>
            <dc:creator><![CDATA[Lui Magno]]></dc:creator>
            <pubDate>Fri, 25 Jul 2025 18:52:21 GMT</pubDate>
            <atom:updated>2025-07-25T18:52:21.740Z</atom:updated>
            <content:encoded><![CDATA[<h3>State of Data 2024–25: Minha Jornada no Desenvolvimento de uma Ferramenta Analítica para Recrutamento de Profissionais de Dados</h3><h3>Olá!</h3><p>Faz um tempo que não publico aqui no Medium, então hoje vim tirar a poeira e compartilhar uma série de posts sobre meu novo projeto de portfólio: a criação de uma ferramenta analítica para ajudar os departamentos de RH a navegar no mar de informações sobre profissionais de dados, tornando o recrutamento mais rápido, eficiente e, principalmente, menos doloroso.</p><p><strong>Mas não vamos colocar o carro na frente dos bois…</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XcLiRL_IUhSEGZwJQJcJbw.png" /></figure><h3>1. O State of Data 2024–25: Pesquisa e Contexto</h3><p>O <em>State of Data</em> é uma pesquisa anual realizada pelo Data Hackers em parceria com a Bain &amp; Company. Este ano, chegamos à quinta edição. A pesquisa foi conduzida entre 14 de outubro de 2024 e 18 de dezembro de 2024, com 5.217 respondentes brasileiros, e reflete a visão de profissionais de dados de diferentes áreas, como análise, ciência e engenharia de dados (além de outras).</p><p>A pesquisa passa por diferentes perfis dos profissionais de dados, sejam eles <strong>júniores</strong>, <strong>plenos </strong>ou <strong>seniores</strong>. Com mais de 400 colunas, os dados revelam particularidades dos respondentes, desde características pessoais e sociais (como <strong>gênero</strong>, <strong>raça</strong> e <strong>localização</strong>) até aspectos técnicos (como <strong>área de atuação</strong>, <strong>senioridade</strong>, <strong>formação </strong>e <strong>tecnologias </strong>dominadas).</p><p>Além do lançamento da pesquisa, o Data Hackers promoveu uma competição: o <strong>Challenge State of Data Brazil 2025.</strong></p><h3>2. Os Dados — Entendendo o desafio, as Colunas/Linhas e o Problema de Negócio*</h3><h4>2.1 - O Desafio</h4><p>A ideia é que, com a pesquisa em mãos, os participantes do desafio tragam uma maneira nova de explorar os dados: seja numa análise exploratória simples ou utilizando técnicas avançadas, seguir os critérios de avaliação é crucial.</p><p>Foi então que eu me deparei com a questão: <strong>o que fazer com os dados fornecidos?</strong></p><h4>2.2 - As linhas e colunas</h4><p>Aqui o processo foi o mesmo de várias análises e projetos que eu já fiz:<br>- Baixar o <strong>.csv;</strong><br>- Carreguei no Python e fiz as primeiras análises com .shape e .info() <em>(Imagens 1 e 2)</em>;</p><p>- Realizei análises exploratórias iniciais para entender o comportamento dos dados.</p><p>Depois de uma análise inicial, já consegui algumas informações preciosas:<br>o dataset tem <strong>5217 entradas</strong>, com <strong>403 colunas</strong>. Apesar de não serem muitos dados, a impressão que temos é que existem muitas colunas iniciais, o que mais na frente poderia assustar depois de processos como <strong>one-hot encoding </strong>e <strong>normalização.</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*JVhqxmTmkNBtVJ9f0zgNYg.png" /><figcaption>Distribuição por Gênero — Imagem 1</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ltlVgLpZ2m3EZdyQ3o9B2Q.png" /><figcaption>Distribuição por Raça — Imagem 2</figcaption></figure><p>Mas surgiu um problema…</p><p><strong>Todas essas análises exploratórias mais simples já estão inseridas no Relatório </strong>feito pelo Data Hackers, ou seja, só o uso do Python com bibliotecas como Seaborn e Matplot não seria o suficiente para fazer um início de projeto para participar do Challenge.</p><p>Então eu inverti um ponto do processo: primeiro pensar unicamente no problema e pensar em abordagens que vão além dessas análises, foi ai que eu tive duas ideias.</p><h4>2.3 — O Problema de Negócio</h4><p>É até meio engraçado pensar no processo de construir uma solução a partir de uma fonte de dados que <strong>não foi te dada como um problema.</strong></p><p>Nessa minha estrada como Analista/Cientista, o começo de um projeto sempre vem com um problema de negócio envolvido, por exemplo:</p><ul><li>“Preciso de um ETL automatizado para gerar dashboards diários.”</li><li>“Quero reduzir o churn de assinaturas.”</li><li>“Preciso prever cancelamentos de planos.”</li><li>“Quero automatizar a geração de relatórios financeiros”</li></ul><p>Depois de analisar um pouco os dados e construir um dicionário (que eu vou falar um pouco mais na frente) eu pensei em talvez seguir por duas frentes.</p><p>2.3.1 — Fazer uma <strong>NLP</strong> (Processamento de Linguagem Natural) nas colunas que <strong>pareciam </strong>ser de comentários dos profissionais sobre as experiências com a profissão. Assim eu poderia fazer uma análise mais complexa sobre os sentimentos dos profissionais de dados.</p><p>2.3.2 — Criar uma ferramenta analítica que utiliza <strong>Sistemas de Recomendação</strong> para sanar uma dor que atinge todos os profissionais da área de TI: o processo (muitas vezes doloroso) de entrevistas de novos colaboradores.</p><p><em>Spoiler:</em> Acabei escolhendo a segunda opção. No próximo tópico, explico o porquê.</p><h3>3. Dicionário de Dados — Uma parte essencial de todo projeto</h3><p>Os dados da pesquisa estão divididos em 8 grupos <em>(Imagem 3)</em>. Só depois de criar um dicionário no Notion, organizando todas as colunas, consegui entender <strong>qual dor eu poderia resolver.</strong></p><p>Se quiser ver o dicionário de dados, tem esse link aqui: <br><a href="https://www.notion.so/luimagno/Projeto-State-of-Data-2024-25-230f2123ce4c803d911fc246b3a1d222?source=copy_link"><strong>Dicionário de dados do State of Data 2024–25</strong></a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/622/1*gEiZxq0LcTgY-KxfmpC9_w.png" /><figcaption>Dicionário de Dados — Imagem 3</figcaption></figure><p>E cheguei na conclusão: já que fazer um NLP não vai ser possível pelo teor dos dados, porque não <strong>criar uma ferramenta analítica para tentar dar uma nova abordagem que auxilie o processo de entrevistas?</strong></p><h3>4. A motivação — porque sofrer em entrevistas me fez ter essa ideia</h3><p>Quem aqui nunca passou um mês, ou até mais em processos de entrevistas? Eu já passei e passo, e por isso acredito que estudar os processos e chegar com uma nova abordagem já pode auxiliar a comunidade em pensar diferente, afinal, profissionais de dados também podem (e devem) contribuir para melhorar os processos de RH.</p><p>Então já que o problema de negócio não foi definido, eu criei o meu próprio e desenvolvi a ideia nisso:</p><p><strong>Os dados do State of Data 2024–25 podem ajudar recrutadores a identificar os melhores talentos em dados no Brasil?</strong></p><p>A resposta é <em>sim</em>, e explicarei como nos próximos capítulos.</p><h3>Gostou da ideia? Acompanhe a construção desse projeto!</h3><p>Se leu até aqui, muito obrigado! Deixe um like se curtiu.</p><p>Um abraço e vamos criar!</p><p>Eu sou o Lui Magno, Analista/Cientista de Dados . Criador de Conteúdo que desejaria ter mais tempo para criar mais conteúdo, e não só sobre Ciência de Dados. Você pode me encontrar no <a href="https://www.linkedin.com/in/lui-magno/">LinkedIn</a>, no <a href="https://www.linkedin.com/in/lui-magno/">Github </a>ou pelo meu <a href="http://luicosta3@gmail.com/">email</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=57864597ac66" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Tutorial - Arrow Functions em Python]]></title>
            <link>https://medium.com/comunidadeds/tutorial-arrow-functions-em-python-f8ffa52c98a0?source=rss-1309221b90a4------2</link>
            <guid isPermaLink="false">https://medium.com/p/f8ffa52c98a0</guid>
            <category><![CDATA[análise-de-dados]]></category>
            <category><![CDATA[ciencia-de-dados]]></category>
            <category><![CDATA[arrow-functions]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[python]]></category>
            <dc:creator><![CDATA[Lui Magno]]></dc:creator>
            <pubDate>Thu, 21 Dec 2023 19:34:57 GMT</pubDate>
            <atom:updated>2023-12-21T19:34:57.157Z</atom:updated>
            <content:encoded><![CDATA[<p>Nunca mais esqueça essa importante feature do Python</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*z1ECz83mLktGq3r_.jpeg" /></figure><p>As Arrow Functions, também conhecidas como lambda functions, representam uma abordagem concisa e elegante para criar funções em Python.</p><p>Essas funções são expressões anônimas, permitindo a criação de funções simples de uma linha sem a necessidade de uma declaração completa. Neste tutorial, vamos explorar em detalhes o conceito de Arrow Functions, compreender quando utilizá-las e descobrir maneiras de otimizar seu uso para obter código mais eficiente e legível.</p><h3>Entendendo as Bases das Arrow Functions</h3><p>As Arrow Functions são construídas utilizando a palavra-chave “lambda“, seguida pelos argumentos e uma expressão. A sintaxe básica é a seguinte:</p><pre>nome_da_funcao = lambda argumentos: expressao</pre><p>Vejamos um exemplo simples para ilustrar o conceito:</p><pre>dobro = lambda x: x * 2<br>print(dobro(5))  <br><br># Saída: 10</pre><p>Neste exemplo, “dobro“ é uma função que multiplica o argumento “x“ por 2. A Arrow Function proporciona uma maneira concisa de definir essa função sem a necessidade de uma declaração tradicional completa.</p><h3>Vantagens Significativas das Arrow Functions</h3><h3>1. Concisão e Facilidade na Leitura</h3><p>Uma das principais vantagens das Arrow Functions é a concisão que elas oferecem. São ideais para funções simples e curtas, tornando o código mais legível e fácil de entender. Comparando a versão lambda com sua equivalente usando uma função tradicional, percebemos a diferença:</p><pre># Arrow Function<br>dobro = lambda x: x * 2<br><br># Função Tradicional<br>def dobro_tradicional(x):<br>    return x * 2</pre><p>A versão lambda é notavelmente mais curta e, muitas vezes, mais clara, especialmente quando a lógica da função é simples.</p><h3>2. Utilidade em Expressões</h3><p>As Arrow Functions são particularmente úteis quando você precisa passar uma função como argumento para outra função, como acontece em funções de ordem superior. Considere o seguinte exemplo:</p><pre>numeros = [1, 2, 3, 4, 5]<br>quadrados = list(map(lambda x: x**2, numeros))<br>print(quadrados)  # Saída: [1, 4, 9, 16, 25]</pre><p>Aqui, a função “map” aplica a função lambda a cada elemento da lista “numeros“, criando uma nova lista contendo os quadrados dos números originais.</p><h3>3. Redução da Sobrecarga de Sintaxe</h3><p>Quando se trata de funções simples, a Arrow Function pode ser uma opção mais limpa em comparação com as funções tradicionais. Isso resulta em uma redução da sobrecarga de sintaxe, especialmente quando você está lidando com operações simples em listas, dicionários ou outras estruturas de dados.</p><h3>Limitações e Considerações Importantes</h3><p>Apesar de suas vantagens, Arrow Functions possuem limitações que devem ser consideradas ao decidir utilizá-las. Aqui estão algumas considerações importantes:</p><h3>1. Adequação para Funções Simples</h3><p>Arrow Functions são ideais para funções simples e expressões, mas podem não ser adequadas para funções mais complexas que exigem várias instruções. Em situações mais elaboradas, o uso de funções tradicionais pode ser mais apropriado.</p><h3>2. Ausência de Documentação Explícita</h3><p>Devido à natureza anônima das Arrow Functions, pode ser mais desafiador para outros desenvolvedores entenderem o propósito da função sem uma documentação adequada. É fundamental manter o código claro e fornecer documentação quando necessário, especialmente ao utilizar Arrow Functions.</p><h3>3. Limitações em Recursividade</h3><p>É importante observar que Arrow Functions não suportam recursividade diretamente. Se a necessidade de uma função recursiva surgir, é mais apropriado utilizar uma função tradicional.</p><h3>Estratégias para Maximizar o Uso Eficaz de Arrow Functions</h3><h3>1. Escolha Sabiamente</h3><p>Use Arrow Functions em situações adequadas, especialmente para funções simples e expressões. Se uma função exigir várias instruções ou for mais complexa, opte por funções tradicionais para manter a clareza e a legibilidade do código.</p><h3>2. Compreenda o Contexto</h3><p>Ao empregar Arrow Functions, compreenda bem o contexto do seu código. Avalie se a concisão adicional é benéfica para a compreensão do código e se a função é apropriada para o uso de uma Arrow Function.</p><h3>3. Explore Funções de Ordem Superior</h3><p>Aproveite as Arrow Functions em conjunto com funções de ordem superior, como “map”, “filter” e “reduce”. Isso pode resultar em código mais conciso e expressivo ao lidar com transformações de dados em coleções.</p><h3>Conclusão</h3><p>As Arrow Functions em Python representam uma adição valiosa à linguagem, proporcionando uma sintaxe concisa e elegante para funções simples. Ao integrar essas funções de forma inteligente em seu código, você pode torná-lo mais eficiente e expressivo. No entanto, é crucial utilizar Arrow Functions com discernimento, compreendendo as situações em que são mais apropriadas e considerando sempre a clareza do código. Ao seguir as estratégias mencionadas neste tutorial, você estará equipado para aproveitar ao máximo as vantagens das Arrow Functions em seus projetos Python.</p><p>Eu sou o Lui Magno, Cientista de Dados na <a href="https://medium.com/u/1aef621c655f?source=post_page-----35a9ac63b88a--------------------------------">Comunidade DS</a>. Criador de Conteúdo que desejaria ter mais tempo para criar mais conteúdo, e não só sobre Ciência de Dados. Você pode me encontrar no <a href="https://www.linkedin.com/in/lui-magno/">LinkedIn</a>, no <a href="https://www.linkedin.com/in/lui-magno/">Github </a>ou pelo meu <a href="http://luicosta3@gmail.com/">email</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f8ffa52c98a0" width="1" height="1" alt=""><hr><p><a href="https://medium.com/comunidadeds/tutorial-arrow-functions-em-python-f8ffa52c98a0">Tutorial - Arrow Functions em Python</a> was originally published in <a href="https://medium.com/comunidadeds">comunidadeds</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Matriz de Confusão: nunca mais se confunda utilizando esse exemplo]]></title>
            <link>https://medium.com/comunidadeds/matriz-de-confus%C3%A3o-nunca-mais-se-confunda-utilizando-esse-exemplo-35a9ac63b88a?source=rss-1309221b90a4------2</link>
            <guid isPermaLink="false">https://medium.com/p/35a9ac63b88a</guid>
            <category><![CDATA[análise-de-dados]]></category>
            <category><![CDATA[confusion-matrix]]></category>
            <category><![CDATA[matriz-de-confusão]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[ciencia-de-dados]]></category>
            <dc:creator><![CDATA[Lui Magno]]></dc:creator>
            <pubDate>Fri, 08 Dec 2023 16:31:51 GMT</pubDate>
            <atom:updated>2023-12-08T16:31:51.654Z</atom:updated>
            <content:encoded><![CDATA[<p>Aprenda o que é Matriz de Confusão e como essa tabela ajuda na visualização do desempenho de um algoritmo de Classificação</p><h3>O que é Matriz de Confusão?</h3><p>No campo do Machine Learning e no campo dos algoritmos de Classificação, a <strong>matriz de confusão</strong> ou <strong>matriz de erro,</strong> é uma tabela específica que tem como intuito permitir a visualização da performance do algoritmo de classificação.</p><p>Cada linha da matriz corresponde a uma instância da classe que representa, enquanto cada coluna representa uma <strong>previsão </strong>de cada classe, ou vice-versa (a depender de quem faz a matriz).</p><p><strong>Vamos a um exemplo mais claro: </strong>suponha que estamos realizando um projeto que detecta animais na floresta amazônica. Para começar, decidimos diminuir o escopo e começar classificando apenas duas espécies: macaco e sapo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/564/1*is_C64cWO1SZKEpRmn9-_w.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/564/1*_FwbopJsn56c4hjXZhNR8w.jpeg" /></figure><p>Nosso dataset inicial fica definido assim, 10 sapos e 10 macacos:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/719/1*pTbyVAkwyBtgmFIWOZhR1w.png" /></figure><p>Veja como a tabela se comporta na hora de classificar cada predição em relação aos valores reais:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/607/1*8ByKZrOJVKIAqn8EnClzjw.png" /><figcaption>Tabela 1 — Matriz de Confusão</figcaption></figure><p>Agora o significado de cada região (quadrado), tomando a ideia de que a <strong>classe positiva</strong> é a de<strong> macacos (</strong>poderia também ser a de sapos, mas vamos de macacos por enquanto<strong>)</strong>:</p><ol><li>True Positive (TP): Previu positivo e é da<strong> classe positiva</strong>. O algoritmo disse que era um <strong>macaco </strong>e de fato era um.</li><li>False Positive (FP): Previu positivo mas é da <strong>classe negativa</strong>. Ou seja, o algoritmo previu que era um <strong>macaco</strong>, mas era um <strong>sapo</strong>.</li><li>True Negative (TN): Previu negativo e é da <strong>classe negativa</strong>. Ou seja, o algoritmo disse que <strong>não </strong>era um <strong>macaco</strong>, e de fato não era, era um <strong>sapo</strong>.</li><li>False Negative (FN): Previu negativo e era da <strong>classe positiva</strong>. Ou seja, o algoritmo disse que <strong>não </strong>era um <strong>macaco</strong>, mas <strong>era</strong>.</li></ol><p>É importante entender aqui: escolhendo a classe positiva como <strong>macaco</strong>, o algoritmo quando faz uma previsão negativa, não diz que as imagens são de um <strong>sapo</strong>, e sim de que aquilo não representa sua classe positiva, ou seja, não são de um macaco. Mas como estamos trabalhando somente com 2 variáveis, podemos admitir que <strong>não ser macaco implica que é um sapo.</strong></p><p>Vamos ver como a tabela 1 fica agora com essas novas informações:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/806/1*lvN2tIFFjNEYrn-P8U5Dgg.png" /></figure><p>Entenderam agora? Vamos revisar:</p><p>True Positive: 8 macacos foram previstos como macacos.</p><p>False Positive: 3 sapos foram previstos como macacos.</p><p>True Negative: 7 sapos foram previstos como não macacos.</p><p>False Negative: 2 macacos foram previstos como não macacos.</p><p>Agora, podemos tirar algumas informações e métricas importantes dessa tabela.</p><h3>Métricas da Matriz de Confusão: Precisão, Acurácia, Recall e F-Score</h3><p>Para entendermos melhor o contexto, podemos tirar algumas métricas de matriz, como por exemplo:</p><ol><li><strong>Acurácia: </strong>A acurácia é definida como a proporção de previsões corretas em relação ao número total de exemplos no conjunto de dados (total de previsões). Em outras palavras: <strong>Quantos macacos e sapos foram previstos de forma correta em relação ao total de previsões feitas?</strong> Olhando para a matriz de confusão da tabela 1, calcularemos a Acurácia assim:</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/373/1*UO0besn2ik45oXnD9u5WlA.png" /></figure><p>Logo, no caso dos Macacos e Sapos, temos:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/417/1*T9uG97XnMz5orR5_NwJNkA.png" /></figure><p><strong>75% de Acurácia.</strong></p><p>2. <strong>Precisão: </strong>Representa a proporção de verdadeiros positivos em relação ao total de previsões positivas do modelo. Ou seja, <strong>qual a porcentagem de macacos previstos corretamente em relação a todas as previsões positivas?</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/329/1*5z6NV4S94C-bPwTnWlg8kg.png" /></figure><p>No caso dos Macacos e Sapos, temos:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/339/1*b5A-6-bBNUjz-rwFndzULw.png" /></figure><p><strong>73% de Precisão.</strong></p><p>3. <strong>Recall: </strong>Indica a proporção de verdadeiros positivos em relação ao total de exemplos positivos reais. No nosso exemplo real, indica a relação das previsões de macacos corretas com o número real de macacos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/262/1*u-gORlcfFQ2OgxBN9GkEWw.png" /></figure><p>Agora no nosso caso exemplo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/331/1*qeVbQCiUVdjXEVOnJlFSvQ.png" /></figure><p><strong>Temos 80% de Recall.</strong></p><p>4.<strong> F-Score</strong>: É a média harmônica entre Precisão e o Recall, proporcionando uma medida mais equilibrada do desempenho de um modelo de classificação. Essa métrica é particularmente útil quando há um desequilíbrio nas classes do conjunto de dados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/377/1*GerMJYWoqwJEDK17pXGyAA.png" /></figure><p>Agora no caso exemplo, temos:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/406/1*weyuSiLvxCXDjogEdCRG0w.png" /></figure><p><strong>Nosso F-score é de 76%.</strong></p><p>Mas é lógico que não precisamos fazer isso todas as vezes nas nossas próprias calculadoras. O Python já tem uma biblioteca incrível que nos fornece todas essas métricas: utilizando o <strong>Scikit Learn,</strong> nós temos acessos a várias métricas que podem nos ajudar a entender melhor nossos conjunto de dados e a matriz de confusão. Você pode ler mais sobre ela <a href="https://scikit-learn.org/stable/"><strong>aqui</strong></a>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/393/1*Uy1RKi-c8RuiMyyb_y5KtQ.png" /><figcaption>Importando a Sklearn Metrics</figcaption></figure><p>Utilizando o método “classification_report” da biblioteca sklearn.metrics, temos acesso a esses dados:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/711/1*AuT3djl9XJaKT2XcdRfb3g.png" /></figure><p>Você pode ver que <strong>todas </strong>as métricas estão presentes nesse resultado do método. Temos a acurácia, precisão, recall e f1-score, ou seja, você não precisa calcular sempre todas as métricas, mas sim fornecer as informações para o método e receber todo o relatório detalhado sobre seus dados.</p><p>Agora vendo nosso classification_report, nós podemos concluir que o nosso modelo tem um desempenho bem legal! Com uma acurácia de 75%, se 10 macacos passaram pelas nossas câmeras, pelo menos 7 deles serão classificados corretamente!</p><h3>Conclusão</h3><p>A Matriz de Confusão pode ser uma aliada poderosa na hora de entender melhor como os seus dados de classificação se comportam, e quais são as lacunas que o seu algoritmo pode atacar.</p><p>Chegamos ao final! Não deixe de compartilhar o artigo e dizer nos comentários se existe algum possível erro ou algo a melhorar! Obrigado por ler até aqui!</p><p>Eu sou o Lui Magno, Cientista de Dados na <a href="https://medium.com/u/1aef621c655f">Comunidade DS</a>. Criador de Conteúdo que desejaria ter mais tempo para criar mais conteúdo, e não só sobre Ciência de Dados. Você pode me encontrar no <a href="https://www.linkedin.com/in/lui-magno/">LinkedIn</a>, no <a href="https://www.linkedin.com/in/lui-magno/">Github </a>ou pelo meu <a href="http://luicosta3@gmail.com/">email</a>.</p><p>Até a próxima!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=35a9ac63b88a" width="1" height="1" alt=""><hr><p><a href="https://medium.com/comunidadeds/matriz-de-confus%C3%A3o-nunca-mais-se-confunda-utilizando-esse-exemplo-35a9ac63b88a">Matriz de Confusão: nunca mais se confunda utilizando esse exemplo</a> was originally published in <a href="https://medium.com/comunidadeds">comunidadeds</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Git para Cientista de Dados: Primeiros Passos e Dicas Essenciais]]></title>
            <link>https://medium.com/comunidadeds/git-para-cientista-de-dados-primeiros-passos-e-dicas-essenciais-47e1d002fda0?source=rss-1309221b90a4------2</link>
            <guid isPermaLink="false">https://medium.com/p/47e1d002fda0</guid>
            <category><![CDATA[git]]></category>
            <category><![CDATA[github]]></category>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[ciencia-de-dados]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[Lui Magno]]></dc:creator>
            <pubDate>Wed, 29 Nov 2023 13:19:51 GMT</pubDate>
            <atom:updated>2023-11-29T13:19:51.259Z</atom:updated>
            <content:encoded><![CDATA[<p>Um guia inicial que vai te ensinar os principais comandos dessa ferramenta tão importante para o Cientista de Dados</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*e3okk9dKJTwm-hFiWlhX4g.jpeg" /></figure><p>O Git é um sistema de controle de versão distribuído amplamente utilizado para rastrear alterações em projetos de software. Ele permite que você acompanhe o desenvolvimento do seu código, coordene o trabalho em equipe e reverta para versões anteriores do seu projeto. Neste tutorial inicial, vamos abordar os conceitos básicos do Git para ajudá-lo a começar.</p><p>De forma direta e simples, vou te mostrar como:</p><ol><li>Criar um repositório,</li><li>Criar ramificações,</li><li>Ver histórico de versões,</li><li>Resolver e Revisar Mudanças.</li></ol><h3>O que é o Git?</h3><p>O Git é um sistema de controle de versão que permite rastrear alterações em arquivos ao longo do tempo. Ele foi criado por Linus Torvalds em 2005 e se tornou a escolha padrão para desenvolvedores em todo o mundo. O Git é distribuído, o que significa que cada desenvolvedor tem uma cópia completa do histórico do projeto em sua máquina local.</p><h3>E como instalar o Git?</h3><p>Antes de começar a usar o Git, você precisa instalá-lo em sua máquina. Você pode baixar o Git no<a href="https://git-scm.com/"> site oficial</a>. Siga as instruções de instalação específicas para o seu sistema operacional. Os passos são muito fáceis e bem iniciais, então não deve levar mais do que 3 minutos.</p><h3>Mas por que o Git é tão importante para um Cientista de Dados?</h3><p>Você já deve saber, a profissão de Cientista de Dado evoluiu de profissões nas áreas de Banco de Dados e Inteligência Artificial. Essa relação com profissões da TI trouxe com ela as ferramentas que outros profissionais da área utilizam. Ou seja, Git, uma ferramenta amplamente utilizada na área de desenvolvimento acabou vindo para Ciência de Dados, assim como se espalhou também por múltiplas áreas.</p><p>No seu dia a dia de trabalho, será preciso versionar e analisar código, e o Git é a ferramenta mais poderosa do momento para lidar com esse tipo de situação:</p><ol><li>Salvar o estado atual do seu código.</li><li>Ver um código antigo pelo histórico do projeto.</li><li>Voltar, avançar e versionar o projeto.</li><li>Ter várias versões do mesmo projeto em instâncias diferentes.</li><li>E muito mais…</li></ol><h3>Configuração Inicial</h3><p>Vamos <strong>imaginar um cenário</strong>: você é o mais novo Cientista de Dados júnior da Data Monkey Ltda. E o seu líder, Linus, pediu que você iniciasse um novo repositório.</p><p>Depois de instalar o Git, é necessário configurar algumas informações, como seu nome de usuário e endereço de e-mail. Isso é crucial para identificar quem fez quais alterações no projeto. Use os seguintes comandos no terminal do Git que você instalou na sua máquina:</p><pre>git config - global user.name &quot;Seu Nome&quot;<br>git config - global user.email &quot;seu.email@example.com&quot;</pre><p>Depois dessa configuração inicial, todos os primeiros passos serão feitos por esse seu usuário. Então se precisar reconfigurar é só reutilizar os comandos acima.</p><h3>Criando um Repositório Git</h3><p>Agora que fez as configurações iniciais, você pode criar o novo repositório que seu líder pediu.</p><p>Um repositório Git é onde seu projeto será armazenado. Você pode iniciar um novo repositório ou clonar um existente. Para iniciar um novo repositório, vá para a pasta do seu projeto e execute:</p><pre>git init</pre><p>Pronto! Isso cria um repositório Git na pasta do seu projeto. Você já está apto a trabalhar e contribuir com o time.</p><h3>Adicionando e Commitando Alterações</h3><p>Já que seu Git já está funcionando na sua máquina, seu chefe pediu que fizesse algumas alterações novas em um arquivo .csv da empresa. Depois do trabalho feito, você precisa salvar essas alterações.</p><p>Para começar a rastrear os arquivos do seu projeto, utilize:</p><pre>git add nome-do-arquivo</pre><p>Para ganhar tempo e adicionar todos os arquivos:</p><pre>git add .</pre><p>Agora vamos fazer nosso primeiro <strong>commit, </strong>um comando que salva todas as alterações em um novo estado salvo:</p><pre>git commit -m &quot;Primeiro Commit&quot;</pre><p>É muito importante que a sua mensagem de commit seja clara e concisa, para que depois você mesmo e outros possam entender sobre do que se trata essa parte do projeto. Linus pode querer entender <strong>qual passo você completou nesses primeiros dias</strong>, e ele poder fazer isso só olhando o nome dos commits, é muito importante.</p><h3>Branches (Ramificações)</h3><p>As ramificações são essenciais para o desenvolvimento paralelo de recursos. Vamos a outra situação muito comum: como um Cientista de Dados Júnior, você precisa ter acesso ao mesmo repositório que seu líder de equipe. É importante que você tenha o acesso ao projeto, mas não de forma que possa influenciar o projeto diretamente, e sim uma “ramificação” desse projeto que você possa criar livremente. Crie essa nova ramificação com:</p><pre>git branch nome-da-branch</pre><p>Mude para essa branch com:</p><pre>git checkout nome-da-ramificacao</pre><h3>Mesclando Ramificações</h3><p>Digamos que seu trabalho na sua ramificação está pronto, como agora mesclar essas alterações para a branch do seu líder?</p><pre>git merge nome-da-ramificacao</pre><p>Se não tiver nenhum problema, sua branch estará agora na branch do seu líder, com todas as alterações já atualizadas</p><h3>Histórico de Commits</h3><p>O histórico de commits fornece uma visão cronológica do projeto, assim você pode ver quais foram as últimas modificações. Se o seu líder ou algum colega de trabalho pedir para você checar algum commit passado, utilize:</p><pre>git log</pre><h3>Vish! Fiz uma besteira…</h3><p>Na sexta-feira, no fim do expediente você fez o comando “git add .” e agora precisa desfazer essas alterações porque viu que fez algo de errado. Use este comando:</p><pre>git checkout nome-do-arquivo</pre><p>Vamos dizer que a besteira que você fez foi maior ainda, e você precisa desfazer o último commit:</p><pre>git reset HEAD~1</pre><p>Pronto, você já tem 2 comandos que vão te auxiliar nas horas que você enviar alguma alteração que não deveria estar upada no repositório. Veja qual se adequa mais a sua situação e use-as com sabedoria.</p><h3>Colaboração com Repositórios Remotos</h3><p>Já que você já fez 1 mês de empresa, Linus pediu que você começasse a contribuir com os repositórios online da Data Monkey. Primeiro, você precisa clonar um repositório online:</p><pre>git clone url-do-repositorio-remoto</pre><p>Agora que você tem o repositório principal na sua máquina, e foi dada a permissão para contribuir com o repositório, crie uma branch para trabalhar, e depois de todas as alterações, faça um commit e “push” as alterações para o repositório online:</p><pre>git push origin nome-da-ramificacao</pre><p>Alguém do seu time fez uma alteração no repositório online e você precisa obter na sua máquina? Fácil:</p><pre>git pull origin nome-da-ramificacao</pre><h3>Conclusão</h3><p>Viu como é fácil? Você não precisa ser um mestre para começar a contribuir com repositórios na sua empresa. Basta procurar comandos básicos e sempre fazer testes com um repositório seu, sempre tomando cuidado com repositórios que outras pessoas colaboram.</p><h3>Mas esse não é o fim…</h3><p>Apesar de tratarmos de muitas opções aqui, o Git tem <strong>muitas</strong> outras funcionalidades, das quais eu vou falar em outro post, tratando de conflitos, customizações e ferramentas.</p><p>Abaixo eu vou deixar 2 vídeos de profissionais que confio, com cursos rápidos que vão te ajudar bastante na hora de utilizar e editar repositórios Git:</p><ol><li><a href="https://www.youtube.com/watch?v=OuOb1_qADBQ">Curso completo de Git do Bonieky Lacerda</a></li><li><a href="https://www.youtube.com/watch?v=UQl-qB88GgM">Minicurso sobre Git e Github do Bruno Lacerda</a></li></ol><p>Obrigado por ler até aqui! Espero que esse texto tenha te ajudado a se familiarizar melhor com o Git! Até a próxima!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=47e1d002fda0" width="1" height="1" alt=""><hr><p><a href="https://medium.com/comunidadeds/git-para-cientista-de-dados-primeiros-passos-e-dicas-essenciais-47e1d002fda0">Git para Cientista de Dados: Primeiros Passos e Dicas Essenciais</a> was originally published in <a href="https://medium.com/comunidadeds">comunidadeds</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Os 10 principais Conhecimentos de um Cientista de Dados]]></title>
            <link>https://medium.com/comunidadeds/os-10-principais-conhecimentos-de-um-cientista-de-dados-f8fb7a8a9d4d?source=rss-1309221b90a4------2</link>
            <guid isPermaLink="false">https://medium.com/p/f8fb7a8a9d4d</guid>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[ciencia-de-dados]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[análise-de-dados]]></category>
            <dc:creator><![CDATA[Lui Magno]]></dc:creator>
            <pubDate>Wed, 22 Nov 2023 16:48:32 GMT</pubDate>
            <atom:updated>2023-11-22T16:48:32.456Z</atom:updated>
            <content:encoded><![CDATA[<p>Quais são os principais conhecimentos que um Cientista de Dados e como eles vão te ajudar a ser um profissional de ponta.</p><figure><img alt="Quais são os principais conhecimentos que um Cientista de Dados e como eles vão te ajudar a ser um profissional de ponta." src="https://cdn-images-1.medium.com/max/1024/0*BG1AXvDv_V0GxUy0" /><figcaption>Com certeza você já sentou na frente do computador para começar os estudos e se sentiu totalmente perdido, eu vim aqui te ajudar nisso.</figcaption></figure><p>Olá! Tudo bem com você? Meu nome é Lui Magno, Cientista de Dados aqui da Comunidade DS. Hoje quero falar com vocês sobre um tema que eu adoraria ter visto mais conciso quando comecei meus estudos na área de dados: <strong>Os 10 principais conhecimentos de um Cientista de Dados.</strong></p><p>É normal se sentir perdido quando você inicia seus estudos sobre algo, seja um curso, um novo trabalho ou até mesmo um hobby. Por isso tanta gente recorre à internet para entender como começar e quais são os melhores caminhos.</p><p>Para Ciência de Dados não é diferente. Existem muitas fontes que dizem muitas coisas diferentes, mas eu vim aqui na tentativa de sondar essas fontes e resumir para você quais são essas áreas de conhecimento. Por isso, elenquei 10 competências/habilidades que todo cientista de dados deve possuir.</p><h3>1 . Programação (Python e R)</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*KaiGG-y2fUN9j17u" /></figure><p>Para atuar na área de Ciência de Dados é fundamental possuir conhecimento em algumas linguagens de programação, sendo as principais o <strong>Python </strong>e o <strong>R.</strong></p><p><strong>Python: </strong>amplamente utilizado na área empresarial, uma das linguagens mais fáceis e acessíveis do mundo! Fontes não vão te faltar: livros, cursos, comunidade e muito mais. A facilidade com que se inicia Python faz muita gente se apaixonar (foi o meu caso).</p><p><strong>R: </strong>mais utilizada no ambiente acadêmico, o R é uma linguagem científica muito utilizada em contexto mais complexos, onde algoritmos mais robustos e pesados são desenvolvidos para resolverem problemas mais específicos. Mas não tenha medo, R também pode ser uma ferramenta poderosa na mão de um Cientista de Dados experiente.</p><p>Você pode achar informações sobre essas linguagens em muitos lugares da internet, mas a minha indicação principal é começar por<strong> livros iniciais</strong>, no último tópico abaixo eu faço algumas indicações de materiais.</p><h3>2. Probabilidade e Estatística</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*cSGOZDSTv9MLKE-0" /></figure><p><strong>Todo</strong> bom Cientista de Dados que se preze precisa de alicerces sólidos em matemática. E esses alicerces se mostram ainda mais importantes quando falamos de <strong>Probabilidade </strong>e <strong>Estatística.</strong></p><p>Que fique bem claro aqui, você não precisa ser um expert ou ter uma formação na área para atuar com isso em Ciência de Dados, mas ter um feedback forte em relação a essas áreas quer dizer que você esteja capacitado a lidar com situações em que contextos matemáticos do tipo não sejam de grande dificuldade para você.</p><p>Mas que contextos são esses? Vou dar alguns exemplos, já para te situar:</p><ol><li>Amostragem e Inferência</li><li>Análise Exploratória de Dados</li><li>Modelagem Estatística e Machine Learning</li><li>Testes A/B e muitos mais.</li></ol><p>Mas <strong>comece pelo simples</strong>, inicie fazendo algumas <strong>Estatísticas Descritivas</strong> iniciais, como algumas porcentagem, separação por grupo e etc. Eu mostro como fazer isso em outro post meu, você pode ver ele aqui -&gt; <a href="https://medium.com/comunidadeds/an%C3%A1lise-de-dados-em-python-4-an%C3%A1lises-iniciais-sobre-o-enem-bc99e7c781fa">Análise de Dados em Python, 4 análises iniciais sobre o Enem.</a></p><h3>3. Inteligência de Negócio</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*J_8kjLidndJlYv-g" /></figure><p>Taí um conceito que eu achava abstrato quando comecei no mundo da Ciência de Dados. Mas depois dos primeiros meses e projetos de portfólio, o conceito ficou mais claro na minha cabeça.</p><p>Hoje em dia eu entendo <strong>Inteligência de Negócio</strong> como uma das skills mais importantes para uma equipe de dados dentro de uma empresa que quer atuar bem no ramo.</p><p>Por definição, Business Intelligence (BI) é o conjunto de tecnologias que transforma dados em insights acionáveis, facilitando a análise e a tomada de decisões estratégicas nas organizações para impulsionar o sucesso empresarial.</p><p>A partir de perguntas é que o entendimento de negócio começa:</p><p>“Será que um apartamento vende melhor por ter mais quartos? Mais vagas de garagem? Mais metros na varanda?”</p><p>“Será que produto X vende mais para pessoas com Y idade?”</p><p>“Será que filme Y deveria ser lançado numa época X do ano?</p><p>Todas elas são respondidas com Inteligência de Negócio.</p><h3>4. Machine Learning</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*VqiRJ76u4CYnv1Rh" /></figure><p>Uma subárea da Inteligência Artificial que permite aos computadores aprenderem e melhorarem baseados em dados. Os algoritmos de ML identificam padrões, tomam decisões, preveem resultados e automatizam tarefas.</p><p>É uma subárea com usos nos mais diversos produtos/áreas: saúde, finanças, marketing, varejo, recrutamento, educação e muito mais. E por isso influencia tanto na área de Ciência de Dados.</p><p>Existem N algoritmos de Machine Learning que são utilizados para resolverem os mais diversos problemas, sejam algoritmos de Classificação (KNN, Regressão ou Decision Trees), algoritmos de Regressão (Decision Trees, Random Forests, Gradient Boosting) ou até mesmo de aprendizado não-supervisionado (K-means, PCA e mais).</p><p>Esses algoritmos são utilizados pelo Cientista de Dados em bibliotecas específicas como Sckit-learn, Tensorflow, Keras e várias outras. Essas bibliotecas (a maioria de fácil acesso) são opções rápidas e dinâmicas de serem adaptadas para qualquer problema que apareça que necessite de uma abordagem de Machine Learning.</p><p>É uma área extremamente interessante e complexa, onde os que se destacam nela costumam se alocar muito bem no mercado de trabalho de Ciência de Dados.</p><h3>05. Engenharia de Software</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*uCG4KmFxWxgStdl5" /></figure><p>O foco nesse tópico é: uso de ferramentas e tecnologias que te auxiliam no dia a dia como um Cientista de Dados!</p><p>A Engenharia de Software vem para ajudar nesse quesito, com ferramentas focadas em atividades específicas, como:</p><ol><li>Git/Github: compartilhamento e versionamento de código.</li><li>Streamlit: uma biblioteca em Python que facilita a criação de aplicativos da web interativos para análise de dados e visualização.</li><li>Anaconda: plataforma para a criação de ambientes de desenvolvimento, utilizando Python, R e suas bibliotecas como o Pandas, o Sckit-learn e muitas outras.</li><li>Jupyter Notebook: queridinho dos profissionais de Ciência de Dados, é uma aplicação web que permite criar e compartilhar documentos que contém código.</li><li>E muitas outras: SQL, Excel, Tableau, PowerBI, Hadoop, Spark…</li></ol><p>Essas ferramentas e linguagens compõem o ecossistema diversificado de um cientista de dados moderno, permitindo a manipulação eficiente de dados, criação de modelos, visualização de resultados e colaboração com outros profissionais. A escolha específica de ferramentas muitas vezes depende das necessidades do projeto e das preferências individuais.</p><p>Por isso a dica é: tente saber um pouco de cada ferramenta e foque naquelas que você tem mais disposição ou aquelas que irão te garantir uma vaga no que você mais quer.</p><h3>06. ETL — Extract, Transform and Load</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/849/0*lr4BQkTHtUcvxOQh" /></figure><p>Significa: Extrair, Transformar e Carregar. É um processo fundamental do campo de gerenciamento e análise de dados, onde as 3 etapas têm muita importância, e devem ser tratadas com seriedade em cada uma delas.</p><p>Vamos imaginar um caso de uso real: uma empresa de jogos precisa saber como os jogadores estão reagindo ao novo lançamento da marca.</p><h3>Extrair</h3><p>Nesta fase, os dados são extraídos de fontes de dados originais, que podem ser bancos de dados, sistemas de arquivos, APIs ou outras fontes de dados. O objetivo é reunir os dados brutos necessários para análise.</p><p>Caso real: <strong>uma empresa de jogos está focada em coletar informações sobre o lançamento.</strong> Por meio de fóruns, reviews em sites especializados, notas em aplicativos e leitura do teor dos comentários, a empresa consegue coletar esses dados e passar para a próxima fase.</p><h3>Transformar</h3><p>Os dados extraídos passam por um processo de transformação, onde são limpos, organizados e estruturados de acordo com os requisitos específicos do sistema de destino ou do modelo de dados. Isso pode envolver a remoção de duplicatas, tratamento de valores ausentes, conversão de formatos e agregação de informações.</p><p>Caso real: <strong>agora com os dados a empresa quer utilizar nele algoritmos e análises para entender melhor como esses dados se comportam e quais serão os próximos passos a partir dessas descobertas.</strong></p><h3>Carregar</h3><p>Na etapa final, os dados transformados são carregados no sistema de destino, que pode ser um data warehouse, um banco de dados analítico ou qualquer outra plataforma de armazenamento de dados. Esses dados preparados e organizados estão agora prontos para serem utilizados em análises, relatórios ou outras aplicações.</p><p>Caso real: <strong>agora é subir essas análises e resultados de algoritmos para o time de negócio decidir o que fazer com as novas informações geradas. Planejar uma expansão? Focar na resolução de bugs? Mais skins cosméticas?</strong></p><h3>07. Algoritmos e Estruturas de Dados</h3><p>Algoritmos e estruturas de dados desempenham papéis fundamentais na Ciência de Dados, contribuindo para a eficiência, desempenho e capacidade de lidar com grandes volumes de dados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*UcYvRLrZbBTKfZJU" /></figure><p>A ideia é: <strong>você não precisa ser um programador expert para ser um Cientista de Dados expert.</strong> Mas as suas skills de algoritmos e estruturas de dados vão te ajudar bastante nas mais diversas atividades que você terá que fazer diariamente.</p><p>Processamento, pré-processamento, Machine Learning, otimização, Visualização e execução do ETL são só algumas das atividades que uma noção mais forte de programação irão te ajudar a executar todas tranquilamente.</p><p>Pode parecer algo meio “assustador” no começo, pelo menos é o que muita gente fala, mas com o foco certo e os professores certos, programação não é nem de perto a atividade mais complexa de um profissional de Ciência de Dados.</p><h3>08. Solução de Problemas</h3><p>Pode parecer até uma skill meio abstrata, mas o “Problem Solving” já um dos pré-requisitos mais pedidos por vagas de dados no mercado. Mas o que seria exatamente essa resolução de problemas?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*WrjzCNJXpuR83tMF" /></figure><p>Achando a definição rápida no google, Resolução de Problemas é um processo que envolve a identificação, análise e resolução de um problema ou desafio específico. Pode ser aplicada em diversas áreas da vida, desde questões cotidianas até problemas complexos em contextos profissionais. Em um contexto mais amplo, a solução de problemas é uma habilidade crucial para superar obstáculos e alcançar objetivos.</p><p>Em Ciência de Dados você precisará dessa skill em várias etapas de quase todos os processos:</p><ol><li>Identificar um problema,</li><li>Selecionar métodos e técnicas adequadas,</li><li>Preparar e limpar dados,</li><li>Escolher modelos,</li><li>Interpretar resultados,</li><li>Comunicação eficaz.</li><li>Abordagem criativa e mais.</li></ol><p>É uma skill que se aprende muito mais na vida real, mas estudar e aplicar em problemas reais de outras pessoas também ajudam muito no desenvolvimento da habilidade.</p><h3>09. Storytelling</h3><p>Em Ciência de Dados, Storytelling é a habilidade de contar histórias envolventes e significativas sobre dados. Ou seja, é a capacidade de um profissional da área de repassar de forma intuitiva tudo aquilo que foi aplicado em etapas anteriores, contando assim uma <strong>história.</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/826/0*Z2xhiP0E5SU6wkep" /></figure><p>Você não vai chegar no chefe do seu setor e dar uma aula de 2 horas sobre Machine Learning, aprendizado supervisionado e regressão linear, né? O tempo de quem está em cargos de gerência é <strong>muito precioso</strong>. Por isso mesmo que pessoas desse nível precisam de instruções sucintas e diretas, com palavras-chave fáceis de serem entendidas.</p><p>Ou seja, <strong>você chegará na apresentação dos seus resultados</strong> com exemplos e palavras de fácil entendimento, pois o time provavelmente não precisa saber da complexidade da solução, mas sim da <strong>facilidade do resultado.</strong></p><h3>10. Soft Skills</h3><p>Por último e não menos importante: <strong>soft skills.</strong> São as características pessoais e traços de personalidade que afetam a forma como as pessoas interagem com os outros e desempenham suas funções no ambiente de trabalho.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*_ZuKHC2kxOGABwCN" /></figure><p>Essas habilidades são muitas vezes mais difíceis de quantificar do que as “hard skills” (habilidades técnicas específicas), mas são igualmente importantes para o sucesso profissional. Alguns exemplos comuns de soft skills incluem:</p><p>“Soft skills” (habilidades interpessoais ou habilidades comportamentais) referem-se a características pessoais e traços de personalidade que afetam a forma como as pessoas interagem uns com os outros e desempenham suas funções no ambiente de trabalho. Essas habilidades são muitas vezes mais difíceis de quantificar do que as “hard skills” (habilidades técnicas específicas), mas são igualmente importantes para o sucesso profissional. Alguns exemplos comuns de soft skills incluem:</p><ol><li>Comunicação,</li><li>Trabalho em equipe,</li><li>Liderança,</li><li>Resolução de problemas,</li><li>Adaptabilidade,</li><li>Ética,</li><li>Empatia,</li><li>Gestão de Tempo e muito mais.</li></ol><p>Dizem que hard skills vão fazer você chegar longe, mas são as soft skills que vão fazer você chegar no topo.</p><h3>Conclusão</h3><p>Sim, existem várias outras skills que um Cientista de Dados deve ter, mas acho que consegui resumir bem para vocês quais são as 10 principais, as que mais escuto falar e ver em comunidades, blogs e redes sociais.</p><p>Praticar e ter essas skills no seu currículo vai te ajudar a encontrar vagas mais rápido, isso tudo junto com outras skills que você já deve ter da sua carga de trabalho e aprendizado.</p><p>Se fosse para citar outras skills que ficaram para trás nesse top 10, eu diria: inglês, bancos de dados, conhecimento em nuvem, desenvolvimento ágil e mais.</p><p>Espero que tenha gostado do texto!</p><h3>Continue estudando!</h3><p>Livros para Ciência de Dados: <a href="https://medium.com/@adrianorqsoares/5-excelentes-livros-sobre-data-science-para-iniciantes-come%C3%A7arem-a-praticar-ci%C3%AAncias-de-dados-e-a811a81b0ecf">https://medium.com/@adrianorqsoares/5-excelentes-livros-sobre-data-science-para-iniciantes-começarem-a-praticar</a> -&gt; Esses livros já englobam Programação, Inteligência de Negócio, Engenharia de Software e StoryTelling.</p><p>Livro para Estatística: Estatística Básica — Wilton de O. Bussab</p><p>Livro de Machine Learning: Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems.</p><p>Livro para Algoritmos e Estruturas de Dados: Lógica de Programação — Andre Luiz Villar Forbellone.</p><p>Indicação de Soft Skills: <strong>Faça parte de comunidades! Seja no linkedIn, no Medium, no Discord, onde você puder. </strong>Treine sua apresentação, comunicação, seja proativo.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f8fb7a8a9d4d" width="1" height="1" alt=""><hr><p><a href="https://medium.com/comunidadeds/os-10-principais-conhecimentos-de-um-cientista-de-dados-f8fb7a8a9d4d">Os 10 principais Conhecimentos de um Cientista de Dados</a> was originally published in <a href="https://medium.com/comunidadeds">comunidadeds</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Análise de Dados em Python, 4 análises iniciais sobre o Enem.]]></title>
            <link>https://medium.com/comunidadeds/an%C3%A1lise-de-dados-em-python-4-an%C3%A1lises-iniciais-sobre-o-enem-bc99e7c781fa?source=rss-1309221b90a4------2</link>
            <guid isPermaLink="false">https://medium.com/p/bc99e7c781fa</guid>
            <category><![CDATA[ciencia-de-dados]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[análise-de-dados]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[pandas]]></category>
            <dc:creator><![CDATA[Lui Magno]]></dc:creator>
            <pubDate>Tue, 07 Nov 2023 12:03:55 GMT</pubDate>
            <atom:updated>2023-11-07T12:03:55.656Z</atom:updated>
            <content:encoded><![CDATA[<p>Um guia prático e rápido para começar a análise de dados utilizando Python.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/900/1*iVLlkS9AEGrGsq80SOw7Ug.png" /></figure><p>Você não precisa ser um profissional para começar a explorar e fazer análise de dados em Python. Uma semana de estudos (ou até menos) e práticas vão te abrir os olhos em relação a essa linguagem. Análise de Dados são para todos, e até uma pessoa comum pode aprender bastante sobre a própria rotina, ou sobre a sua rotina de trabalho com dados.</p><p>Existem muitos dados disponíveis na internet: Kaggle, fontes de dados do governo e até você mesmo! Explorar esses dados, para quem vê de fora, parece uma complicação imensa, mas Python é mais simples do que você imagina. Com um conhecimento bem inicial das bibliotecas e um background básico de programação, é possível criar gráficos bem interessantes que já dizem muito, e que já inspiram muitas perguntas.</p><h3>Onde encontrar dados para realizar uma análise de dados em Python?</h3><p>Em 2020/2021, quando estava desesperadamente precisando de um tema para escrever meu TCC, fiz essa mesma pergunta. <strong>De onde eu vou tirar dados para fazer uma análise utilizando Python?</strong></p><p>Depois de muita pesquisa e aconselhamento, encontrei o site do INEP ( Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira). Lá estão concentrados dados dos mais diversos tipos relacionados à educação, e dentre eles estão os dados do <strong>Exame Nacional do Ensino Médio, </strong>o ENEM.</p><p>Pronto, agora eu já tinha uma ideia do que fazer e de onde os dados viriam:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rY7JONQn9rr_YPNixkZp9A.png" /></figure><p>Mas agora é que o desafio começava de verdade<strong>. </strong>A base de dados “Microdados_Enem2019” consistia em dados das provas e do questionário socioeconômico (QSE) de quase 5 milhões de alunos. Eu precisei, obviamente, diminuir essa fonte de dados, pois seria ambicioso demais e até suscetível a erro querer realizar uma análise de dados de todos os participantes do exame de forma única. Abaixo você irá encontrar os dados do Enem:</p><p><a href="https://www.gov.br/inep/pt-br/acesso-a-informacao/dados-abertos/microdados/enem">Enem</a></p><p>A ideia então foi seguir um processo de filtragem de dados por região. Brasil -&gt; Ceará -&gt; Fortaleza. De 5 milhões de alunos, a minha base de dados agora era de quase 100 mil alunos, um número ainda grande, mas bem razoável.</p><p><strong>OBS: como esse texto não é um tutorial, eu não vou explicar para vocês TODAS as minúcias do meu código, isso vocês podem encontrar em outros blogs ou posts. A ideia aqui é mostrar para vocês que com poucas linhas e um pouco de conhecimento a análise de dados já pode ser feita de forma bem rápida e direta.</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OxEX0_W6rpj3uZptPjC3XA.png" /></figure><ol><li>Importando o <strong>Pandas, uma biblioteca de manipulação de dados do Python.</strong> Depois posso falar mais dela, mas de começo vamos entender que ela vai auxiliar no tratamento dos dados.</li><li>Criando um dataframe raiz (nossos dados), tirando do arquivo que foi feito o download do site do INEP. <a href="https://www.gov.br/inep/pt-br/acesso-a-informacao/dados-abertos/microdados/enem">Site do Inep — Enem</a>.</li><li>Lendo o arquivo .csv do Enem e utilizando o método “<strong>.head”,</strong> onde eu olho o cabeçalho dos dados.</li><li>Finalmente tendo acesso aos dados, onde cada linha dessa tabela corresponde a 1 aluno que fez o Enem 2019 em Fortaleza.</li></ol><p>Viu como é fácil? Sim, com 4 linhas de código eu já posso ver informações diretas sobre <strong>100 mil alunos. </strong>É muito poder.</p><h3>Análise de dados 1 — Proporção de Gênero</h3><p>Vamos explorar mais o poder do Python! Por que não começamos a entender mais o perfil dos estudantes de Fortaleza? Primeiro, quero mostrar para vocês a proporção de <strong>gênero</strong> dos estudantes, vamos a análise 1:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*O5WHQsRdLhyCR-dJ" /></figure><p>Utilizando a função “.<strong>values_counts</strong>” na coluna “<strong>TP_SEXO</strong>” referente ao gênero dos alunos, vemos que existem dados interessantes: quase <strong>55%</strong> dos participantes do ENEM são mulheres, e o restante, <strong>45</strong>%, de homens.</p><p>Essa análise de dados já pode nos levar a insights interessantes: por que mais mulheres que homens? Existe alguma justificativa ou é só a distribuição normal da população? Mulheres se interessam mais pelo ensino superior? Existe uma presença maior de mulheres na cidade de Fortaleza? Ou no Brasil?</p><p>Melhor ainda, <strong>vamos traçar um gráfico:</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/918/1*noKynwASjY2lKfXfyY98vg.png" /></figure><ol><li>Vamos importar a biblioteca <strong>matplotlib, </strong>que vai nos auxiliar na hora de plotar gráficos.</li><li>Escolhendo a cor das nossas barras.</li><li>Gerando as barras a partir dos nossos dados, separados em “Fêmea” e “Macho”, por definição do próprio Ministério da Educação.</li></ol><p>Viu? 6 linhas foram o suficiente para traçar o gráfico desse dado importante que achamos. Vamos fazer a mesma coisa para um parâmetro importantíssimo quando o assunto é educação: <strong>o acesso à internet.</strong></p><h3>Análise de Dados 2: Acesso à internet</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/718/0*51twO3B8R0dKrmzu" /></figure><p>Utilizamos a mesma função do caso anterior, a <strong>“.value_counts”. </strong>Na tabela do Enem, a letra A corresponde a “sem acesso à internet” e a letra B corresponde a “com acesso à internet”. Ou seja, <strong>22% </strong>dos alunos de Fortaleza <strong>não</strong> têm acesso à internet. Mais um insight muito interessante.</p><p>Vamos traçar o gráfico para que o visual nos auxilie na visualização das proporções, isto será nossa análise 2:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/735/0*oP_-INeR-2cNFoTB" /></figure><p>Sentiu o poder do Python? Mas tá longe de acabar, essas análises são bem simplórias, vamos aumentar um pouco mais a complexidade.</p><h3>Análise de dados 3 — Explorando o poder das bibliotecas</h3><p>O próprio Ministério da Educação separa os alunos participantes do Enem em <strong>campos de renda</strong>. Onde, de <strong>A </strong>até <strong>Q</strong>, os alunos são ranqueados dos que possuem menor renda, até os que possuem maior renda. Agora eu pergunto a vocês, será que o fator renda tem alguma relação com o desempenho dos alunos em <strong>matemática?</strong></p><p>Vamos descobrir por meio de mais uma análise!</p><p>Primeiro, para essa análise mais complexa, vamos utilizar um <strong>diagrama de caixa</strong>. Para não nos estendermos muito na explicação<strong>: um diagrama de caixa indica como estão distribuídos os dados, sendo a caixa uma faixa que contém 50% dos valores e as duas faixas restantes os outros 50%, com 25% abaixo e 25% acima da caixa.</strong></p><p>Agora vejam a imagem que eu gerei com a biblioteca matplotlib, criando nossa análise 3:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/718/0*unXBmxHb1IP70q7M" /></figure><p>Estão vendo as caixas? Mesmo não entendendo perfeitamente o que é esse diagrama, conseguimos perceber claramente que <strong>existe um aumento da presença de notas altas em caixas de maior renda.</strong> Ou seja, as pessoas presentes nas classes O, P e Q, por exemplo, costumam estar bem acima no desempenho do que as pessoas nas classes A, B e C.</p><p>Percebeu que análise de dados poderosa? E eu nem <strong>estou perto do potencial visual e analítico </strong>que essas bibliotecas têm.</p><h3>Análise de dados 4 — Outra análise social</h3><p>Vamos fazer o mesmo processo para a categoria <strong>raças/etnias.</strong> A raça/cor definida pelo aluno tem o seguinte significado no QSE: 1. Branca, 2. Preta, 3. Parda, 4. Amarela, 5. Indígena. Na nossa análise 4, as raças/etnias estão divididas abaixo pela <strong>média das notas.</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/777/0*LZry8IAx3rJUES4f" /></figure><p>Viram que existe um leve desvio da caixa azul em relação às outras? E as outras caixas mantêm uma leve relação parecida. Já podemos fazer mil e umas perguntas a partir desse gráfico.</p><p>Conseguiram notar que, mesmo com pouco código, já conseguimos realizar análises iniciais importantes com Python?</p><h3>Conclusão</h3><p>Ser orientado a dados é um dos desafios para as empresas e governos no futuro. Por exemplo, o poder que o Ministério da Educação tem nas mãos com dados como esse é infinito, um universo de possibilidades nas análises de dados e direção de políticas públicas. E é porque a gente nem chegou perto de analisar com profundidade.</p><p>O QSE possui diversas outras questões que podem ser utilizadas para traçar o perfil do aluno do Enem, como escolaridade dos pais, meio locomotor, treineiros, níveis de consumo e muito mais.</p><p>Nos próximos posts eu pretendo escrever sobre o algoritmo de mineração de dados que apliquei nessa base do ENEM. O <strong>Apriori</strong>, algoritmo feito para detectar correlações entre alvos de uma base de dados. Utilizado muito no varejo para descobrir porque pessoas compram produto X em função de produto Y, como pão e leite, por exemplo.</p><p>Utilizei esse algoritmo para traçar relações entre o desempenho dos alunos e suas características socioeconômicas, pois essas análises iniciais foram muito relevantes para a criação de várias outras hipóteses.</p><p>Uma que prevaleceu foi: será que o nível mais alto de escolaridade dos pais influencia mais do que a alta renda deles?</p><p>A resposta para isso fica no próximo post! Obrigado por lerem até aqui! Um abraço, e espero que o artigo tenha sido de ajuda.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=bc99e7c781fa" width="1" height="1" alt=""><hr><p><a href="https://medium.com/comunidadeds/an%C3%A1lise-de-dados-em-python-4-an%C3%A1lises-iniciais-sobre-o-enem-bc99e7c781fa">Análise de Dados em Python, 4 análises iniciais sobre o Enem.</a> was originally published in <a href="https://medium.com/comunidadeds">comunidadeds</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>