<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Lucas Maretti on Medium]]></title>
        <description><![CDATA[Stories by Lucas Maretti on Medium]]></description>
        <link>https://medium.com/@lucasmaretti?source=rss-4be638bb2d93------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*xNv5m7G3XrwwmNed.</url>
            <title>Stories by Lucas Maretti on Medium</title>
            <link>https://medium.com/@lucasmaretti?source=rss-4be638bb2d93------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 07:25:34 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@lucasmaretti/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Sobre eleições e desinformação]]></title>
            <link>https://lucasmaretti.medium.com/sobre-elei%C3%A7%C3%B5es-e-desinforma%C3%A7%C3%A3o-8992c6545d85?source=rss-4be638bb2d93------2</link>
            <guid isPermaLink="false">https://medium.com/p/8992c6545d85</guid>
            <category><![CDATA[eleições]]></category>
            <category><![CDATA[dados]]></category>
            <dc:creator><![CDATA[Lucas Maretti]]></dc:creator>
            <pubDate>Sat, 26 Oct 2024 13:25:01 GMT</pubDate>
            <atom:updated>2024-10-26T13:25:01.459Z</atom:updated>
            <content:encoded><![CDATA[<p>Postado originalmente em: <a href="https://datagnostic.substack.com/">https://datagnostic.substack.com/</a></p><p>As eleições municipais de 2024 vão entrar para a história como sendo uma das de mais baixo nível de respeito entre candidatos. São Paulo talvez seja o exemplo mais ilustrativo com cadeirada, soco na cara e mentiras deslavadas sendo propagadas ao longo de toda campanha.</p><p>Sobre esta última, são tantos os casos de mentiras propagadas que o termo <em>fake news — </em>assim, em inglês mesmo<em> — </em>já virou parte do vocabulário brasileiro. Em 2021, os professores da Universidade de Washington Carl T. Bergstrom e Jevin D. West lançaram o livro “Calling Bullshit”, cujo subtítulo, em tradução livre, é: “A arte do ceticismo em um mundo orientado a dados”. A proposta do livro é fornecer subsídios ao leitor para consumir e pensar criticamente sobre o uso de dados/informação que são usados diariamente como evidência para fazer-nos consumir produtos, nos influenciar a pensar de uma determinada forma ou tomar alguma ação.</p><p>Para isso eles definem o termo <em>“bullshit”</em> (algo como besteira, desinformação ou idiotice em português) como sendo:</p><blockquote><em>Uso de linguagem, números, gráficos e outras formas de apresentação destinadas a persuadir ou impressionar o público, distraindo-o, sobrecarregando-o ou intimidando-o com um flagrante desrespeito pela verdade, pela coerência lógica ou pela informação que está realmente sendo transmitida.</em></blockquote><p>Tomando emprestada definição do livro, podemos entender as fake news como sendo um caso especial de “<em>bullshit</em>”. Políticos sempre foram conhecidos por mentirem descaradamente e agências de marketing sempre inflaram ou embelezaram números para nos fazer acreditar em seus produtos. Mas com a difusão das redes sociais e inteligência artificial, a necessidade de se proteger e saber pensar criticamente sobre o que nos é dado como verdade diariamente tornou-se cada vez mais importante.</p><p>Para ilustrar esse ponto, tomemos dois exemplos das eleições municipais de 2024. Em São Paulo, Pablo Marçal acusou Guilherme Boulos de ser usuário de drogas com base em um processo criminal em que um homônimo do candidato era condenado. O caso em questão referia-se a Guilherme Bardauil Boulos, e não Guilherme Castro Boulos, nome completo do candidato à prefeitura. Semanas depois o mesmo Marçal divulgou um laudo que foi provado ser falso de uma suposta internação de Boulos em uma clínica, novamente por uso de drogas.</p><p>Em Belo Horizonte, o candidato Fuad Noman foi acusado de pedófilo por ter escrito sobre um estupro infantil em um livro de ficção de sua autoria. Nikolas Ferreira, um dos políticos mais influentes de Minas Gerais, especialmente nas redes sociais (com uma conta no Instagram com 12 milhões de seguidores), fez um vídeo endossando a falácia.</p><p>Além de falaciosos, ambos os casos apelam fortemente para o emocional das pessoas. Afinal, ninguém quer votar em um drogado ou pedófilo. E esse tipo de conteúdo, apelativo emocionalmente, é o que gera engajamento em redes sociais, tornando-o candidato a ser impulsionado pelos algoritmos por trás destas redes, entrando em um ciclo vicioso de retroalimentação da mentira e inflamando os ânimos de quem os consome. Se você quer entender melhor isso, vá ao Twitter agora mesmo e digite os termos “Boulos” e “drogas” na pesquisa. Apesar de o caso já ter sido esclarecido ainda há inúmeras pessoas repostando e acreditando na mentira.</p><p>Quem, assim como os candidatos em questão, já se empenhou em desmentir alguma desinformação, deve ter sentido na prática aquilo que o cientista da computação Alberto Brandolini postulou em 2014:</p><blockquote><em>A quantidade de energia necessária para refutar uma mentira [“</em>bullshit<em>”] é uma ordem de grandeza maior do que a necessária para produzi-la</em></blockquote><p>Em outras palavras, corrigir uma desinformação é 10 vezes mais custoso do que espalhar. Esse princípio, conhecido como “Lei de Brandolini”, mostra por que fake news têm um potencial tão destrutivo: enquanto é relativamente simples criar e compartilhar desinformação, desmenti-la exige um esforço meticuloso de checagem, clareza e comunicação. E, mesmo com todo esse empenho, muitas vezes o estrago já está feito: a mentira inicial cria uma impressão duradoura que, ainda que corrigida, permanece na memória coletiva de parte do público.</p><p>Esse fenômeno tem sido amplamente estudado na ciência cognitiva, onde se sabe que o primeiro contato com uma informação tem um efeito psicológico significativo. Quando uma mentira ou meia-verdade se encaixa em preconceitos ou visões de mundo já existentes, ela é absorvida com mais facilidade, criando uma espécie de “verdade alternativa” que persiste, mesmo quando confrontada com evidências contrárias.</p><p>Diante disso, a batalha contra as fake news e outras formas de “<em>bullshit</em>” parece desleal, especialmente em um cenário de redes sociais onde algoritmos priorizam conteúdo sensacionalista, apelativo e mentiroso. É nesse ponto que entra a importância do ceticismo e do pensamento crítico. Como propõem Bergstrom e West em “Calling Bullshit”, precisamos cultivar uma mentalidade crítica e desconfiada em relação às informações que consumimos, questionando a origem dos dados, quem tem a ganhar com essa narrativa e quais interesses estão por trás da apresentação dos fatos. É difícil e utópico, mas estamos em um cenário em que desenvolver essa conscientização já é extremamente crítico frente aos potenciais riscos que a polarização alavancada pelos algoritmos de redes sociais criam.</p><p>Além do papel do indivíduo, cabe também a sociedade como um todo repensar a regulação das plataformas e das tecnologias emergentes. Uma maior transparência nos algoritmos e nas políticas de moderação pode ajudar a criar um ambiente digital menos suscetível à manipulação e mais comprometido com a veracidade das informações.</p><p>Diante do cenário de desinformação amplificado pelas redes sociais, o combate às fake news requer tanto uma postura crítica dos indivíduos quanto uma responsabilidade compartilhada entre cidadãos, plataformas e reguladores. O caminho não é simples, mas a construção de uma sociedade menos vulnerável à manipulação exige uma nova alfabetização digital, onde as habilidades de discernimento e questionamento são tão valorizadas quanto as informações em si.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=8992c6545d85" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[O problema de Monty Hall e como interpretamos probabilidades]]></title>
            <link>https://lucasmaretti.medium.com/o-problema-de-monty-hall-e-como-interpretamos-probabilidades-8d0cd03ee526?source=rss-4be638bb2d93------2</link>
            <guid isPermaLink="false">https://medium.com/p/8d0cd03ee526</guid>
            <category><![CDATA[monty-hall]]></category>
            <category><![CDATA[estatistica]]></category>
            <category><![CDATA[ciencia-de-dados]]></category>
            <dc:creator><![CDATA[Lucas Maretti]]></dc:creator>
            <pubDate>Wed, 28 Feb 2024 13:39:18 GMT</pubDate>
            <atom:updated>2024-02-28T13:40:12.781Z</atom:updated>
            <content:encoded><![CDATA[<p>Texto publicado inicialmente <a href="https://datagnostic.com.br/2024/02/27/o-problema-de-monty-hall-e-como-interpretamos-probabilidades/">aqui</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/640/1*rIi8sudXI-0jZO7DchrT8w.png" /></figure><h3>O problema de Monty Hall</h3><p>O problema de Monty Hall é um exemplo famoso de como lidar com probabilidades não é uma tarefa fácil e intuitiva para nosso sistema cognitivo. Esse problema surgiu em um programa de televisão dos anos 1970 nos EUA chamado Let’s Make a Deal.</p><p>Nele, Monty Hall, o apresentador, apresentava ao participante 3 portas. Atrás de uma delas estava um carro e atrás das outras 2 estavam bodes. A regra do jogo é simples: o participante deve escolher uma porta. Se escolher a que esconde o carro, pode levá-lo como prêmio. Agora, se escolher uma das portas com o bode, não leva nada. A pegadinha do jogo estava em que, a partir do momento em que o participante escolhia uma porta, Monty Hall (que obviamente sabe qual é a porta do carro) abria uma das outras 2 não escolhidas com um bode atrás e perguntava ao participante: “você quer trocar de porta?”</p><p>E aí, você trocaria?</p><h3>Nosso sistema cognitivo e a interpretação de estatística e probabilidades</h3><p>O psicólogo e ganhador do Nobel de Economia Daniel Kahneman detalha no livro “Rápido e Devagar” como muitos anos de pesquisa em economia comportamental e psicologia levou à identificação de dois “sistemas” (denominados Sistema 1 e Sistema 2) de pensamento em nosso processo cognitivo. Os sistemas nada mais são, obviamente, do que uma representação simplificada de complexos processos neurológicos que ocorrem em nosso cérebro quando nos deparamos com determinadas situações. O que chamava a atenção dos pesquisadores era como em ocasiões como quando nos perguntam quanto é 2 + 2 ou quando detectamos um tom de raiva na voz ou expressão facial de alguém isso é automático e instintivo para nós, mas quando precisamos calcular 17 x 54 ou manobrar o carro em uma vaga apertada, é como se nosso cérebro demandasse uma carga muito maior de energia. Em muitos casos torna-se impossível fazer qualquer outra tarefa que não aquela que está demandando maior esforço cognitivo.</p><p>Essa é a essência da diferença entre os Sistemas 1 e 2. O Sistema 1 opera de maneira rápida, automática e com pouco ou nenhum esforço, e não requer uma atenção consciente significativa para funcionar. Ele é responsável por nossas reações imediatas e instintivas, como o reconhecimento de objetos familiares, a compreensão da linguagem e a leitura de expressões faciais emocionais. Este sistema nos permite fazer julgamentos rápidos e tomar decisões sem ter que parar e analisar cada detalhe, uma habilidade que foi crucial para a sobrevivência humana ao longo da evolução (pense em nossos ancestrais na savana — ao ver um leão se aproximando a reação de fugir imediatamente levou muito mais à sobrevivência do que aqueles que ficaram refletindo sobre o que fazer). No entanto, apesar de sua eficiência, o Sistema 1 é também onde muitos de nossos vieses e erros de julgamento se originam, pois ele depende de heurísticas e associações rápidas que nem sempre são corretas.</p><p>Já o Sistema 2 é o modo de pensamento mais lento, deliberativo e analítico. Ele é acionado quando nos deparamos com tarefas que requerem atenção concentrada, como resolver problemas matemáticos complexos, avaliar opções em uma decisão difícil ou aprender uma nova habilidade que não nos é familiar. O Sistema 2 requer um esforço consciente significativo e consome mais recursos energéticos do nosso cérebro, o que muitas vezes nos leva a sentir cansaço mental após períodos prolongados de uso. Ele é capaz de controlar e corrigir as impressões e intuições do Sistema 1, oferecendo uma forma de pensamento mais confiável e menos sujeita a erros, desde que tenhamos a disposição e a energia para ativá-lo.</p><h3>Trocar ou não trocar de porta?</h3><p>No contexto do Problema de Monty Hall, o Sistema 1 pode nos levar a uma conclusão rápida e intuitiva de que as chances são iguais, independentemente de trocarmos de porta ou não, após uma das portas ser aberta pelo apresentador. Essa reação imediata baseia-se na percepção superficial de que, com duas portas restantes, as chances devem ser de 50/50. No entanto, é o Sistema 2, com sua capacidade de parar e analisar a situação mais profundamente, que nos permite compreender que a probabilidade de ganhar realmente aumenta de 1/3 para 2/3 se optarmos por trocar de porta. Se ainda estiver difícil compreender por que é melhor, considere a tabela a seguir:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*jcAwR7QyWcoUxVCn" /></figure><p>Temos 3 possíveis cenários. O primeiro deles (em que escolhemos acertadamente o carro) é o único em que sairíamos perdendo; nos outros 2 ganharíamos o carro ao trocar de porta, por isso a probabilidade é de 2/3.</p><p>Outra forma de enxergar o resultado seria simular um número elevado de jogos assumindo a troca da porta. Fazendo-se isso obtemos o seguinte gráfico, em que podemos ver que com um número elevado de jogos a probabilidade simulada atinge o valor da probabilidade teórica de 2/3 (veja no Anexo no fim deste texto o código em Python para realizar esta simulação):</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1023/0*3zgcMMItQFv5_DoX" /></figure><p>Este é um exemplo perfeito de como o Sistema 2 pode nos ajudar a superar as limitações do Sistema 1 e alcançar uma melhor compreensão das probabilidades envolvidas, desafiando nossa intuição inicial e guiando-nos a uma decisão mais informada.</p><h3>Conclusão</h3><p>Para ilustrar como o raciocínio intuitivo sobre probabilidades muitas vezes nos leva a erros, consideremos o ressurgimento do Problema de Monty Hall, que voltou aos holofotes cerca de duas décadas após sua estreia televisiva. Na década de 90, Marilyn vos Savant, detentora do recorde de QI mais elevado à época, enfrentou um dilúvio de contestações em sua coluna “Ask Marilyn” em uma revista após afirmar que trocar de porta aumentava as chances de vitória. Entre os seus detratores, estavam doutores em matemática, pessoas cuja formação, em teoria, deveria torná-las imunes a tais erros intuitivos. Isso nos mostra que a capacidade de se apegar a crenças confortáveis e familiares não é uma falha de poucos, mas uma característica intrínseca da condição humana.</p><p>A resistência à conclusão de Marilyn vos Savant remete a uma frase de Daniel Kahneman em “Rápido e Devagar”, em que ele observa:</p><blockquote><em>“Sustentar uma dúvida é um trabalho muito mais árduo do que passar suavemente a uma certeza”.</em></blockquote><p>Este fenômeno não se limita a jogos e entretenimento; permeia todas as nossas decisões, desde as mais mundanas até as que carregam consequências significativas. A preferência do nosso Sistema 1 por respostas rápidas e conclusões fáceis pode nos levar a superestimar a probabilidade de eventos que nos pareçam favoráveis e subestimar seus riscos.</p><p>Ao reconhecer e entender as limitações do nosso raciocínio intuitivo, deixa claro a importância de cultivar uma mente mais questionadora e analítica, não nos contentando com a primeira resposta que nos vem à cabeça, mas procurando ativamente por erros e alternativas. Ao fazer isso, não apenas melhoramos nossa habilidade de tomar decisões mais informadas e fundamentadas, mas também nos tornamos mais conscientes das armadilhas que a nossa própria mente pode criar ou cair.</p><h3>Anexo</h3><p>Código em Python para simular os jogos de Monty Hall.</p><pre>import numpy as np<br>from matplotlib import pyplot as plt<br>import random<br>from random import seed<br><br>seed(100)<br>portas = [1,2,3]<br>Nmax = 2000<br>P = [] # armazena a fração de vitorias<br>vN = [] # armazena o numero de jogos<br>for N in np.arange(1, Nmax,10):<br>    vitoria = 0<br>    derrota = 0 <br>    for i in range(0,N):<br>        C = random.choice(portas) #coloca o carro em uma porta<br>        X = random.choice(portas) # seleciona uma porta<br>        if (C!= X): # se carro não está na porta selecionada<br>         # 0 apresendador irá abrir outra porta que tem o bode.<br>         # Trocando a porta, ganha-se o carro.<br>            vitoria += 1<br>    P.append(vitoria/N)<br>    vN.append(N)<br>plt.figure(figsize=(12,8))<br>plt.plot (vN, P, &#39;ro-&#39;, label=&#39;Simulação: Muda a porta&#39;)<br>plt.axhline(y=2/3,color =&#39;red&#39;, label=&#39;Prob. teórica com mudança de porta&#39;)<br>plt.ylim(0,1.05)<br>plt.legend()<br>plt.show(True)</pre><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=8d0cd03ee526" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[The myth of general artificial intelligence]]></title>
            <link>https://lucasmaretti.medium.com/the-myth-of-general-artificial-intelligence-a0d101b1ab3f?source=rss-4be638bb2d93------2</link>
            <guid isPermaLink="false">https://medium.com/p/a0d101b1ab3f</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[intelligence]]></category>
            <category><![CDATA[decision-intelligence]]></category>
            <category><![CDATA[artificial-intelligence]]></category>
            <dc:creator><![CDATA[Lucas Maretti]]></dc:creator>
            <pubDate>Sat, 04 Nov 2023 08:52:27 GMT</pubDate>
            <atom:updated>2023-11-04T08:54:07.922Z</atom:updated>
            <content:encoded><![CDATA[<h3>Introduction</h3><p>It seems like it was longer ago, but Chat-GPT was only launched in November 2022. OpenAI, the developer of the tool, announced that over a million people had signed up to use it one month later. Now this number has reached 180 million. This unprecedented emergence and reach reignited the debate about the impact of artificial intelligence on society. After all, using the chat feels like we are actually having a conversation with someone capable of understanding us and formulating their own ideas and opinions. And examples soon followed to corroborate this view: a researcher announced that the chat had managed to pass the final exam of one of the world’s most prestigious MBAs; a writer announced that he had written a book using only artificial intelligence, among others.</p><p>Shortly after, significant thinkers like Yuval Noah Harari began to express their concerns about the impacts of AI: “The dominance of artificial intelligence over language is a threat to civilization.” Until we reach the point where figures like Elon Musk and Sam Altman, CEO of OpenAI himself, began to advocate for more regulation over these technologies.</p><p>Like almost everything surrounding the field of artificial intelligence and data science, excessive hype and little depth harm the debate. The growing complexity of the architecture of neural networks, like the one behind Chat-GPT, for example, only reinforces the idea of a “black box” behind these types of algorithms. And the examples presented in the media and on social networks tend to leave us with an image that these technologies are as powerful as they are potentially dangerous. But is this really true? If we continue to treat these tools as mysterious black boxes it is impossible to say. Only by dedicating time to investigate how this technology works so well to the point of seeming like another person is typing on the other side of the screen can we truly understand what we are dealing with.</p><h3>What is Artificial Intelligence (AI)</h3><p>It doesn’t help much that the very definition of the term artificial intelligence is not universal. In fact, it is common to hear experts, when asked what AI is, say: it depends on the context. In the entertainment and science fiction milieu, for example, it can be synonymous with machines that have acquired human intelligence capacity. Let&#39;s take the synopsis of the movie “The Resistance,” released in 2023, as an example:</p><blockquote>The Resistance is a drama and science fiction film set in a distant future, amid a planet taken over by an intense war between human beings and artificial intelligence. Former agent Joshua (John David Washington) is recruited to locate a mysterious architect responsible for developing a weapon capable of ending the confrontation and all of humanity. Joshua and his team then head to a dark territory occupied by AI, but they end up making a shocking discovery: the weapon they must destroy is, in fact, an artificial intelligence in the form of a child.</blockquote><p>In the context of data science, however, artificial intelligence refers to a special type of computer program called a machine learning algorithm as Janelle Shane explains in the book &quot;You look like a thing and I love you&quot;.</p><p>To facilitate the identification of an AI, it is necessary to differentiate it from a traditional computer program (rules-based). In this type of traditional program, the developer writes specific instructions (rules) for the computer to execute a task. Thus, the program does exactly what it was instructed to do. Once written and compiled, the program does not change or “learn” from new data unless explicitly updated or rewritten by the developers.</p><p>But a machine learning algorithm discovers the rules through trial and error using a historical data set, evaluating its success according to the objectives specified by the programmer (through so-called error metrics). The goal might be to identify whether an email is spam, predict CO2 emissions from a boiler, or the best move in a chess game, among others. As the AI tries to reach this goal, it may discover rules and correlations between the variables in the data set that the developer did not even know existed. The efficacy of machine learning algorithms depends largely on the amount and quality of data available for training. Additionally, they have the capacity to improve their performance as they are exposed to more data. This is where the term “learning” comes from.</p><h3>The Myth of Generalist Artificial Intelligence</h3><p>One of the most important books on this topic was released at the height of the pandemic, in 2021, called “The Myth of Artificial Intelligence: Why Computers Can’t Think Like Us” by computer scientist Erik J Larson. In this book, the author explains what he considers to be the “myth” of artificial intelligence:</p><blockquote>The AI myth is that its arrival is inevitable, and just a matter of time — and that we have already embarked on a path that will lead to human-level AI.</blockquote><blockquote>However (…) all evidence suggests that human and machine intelligences are radically different. The AI myth insists that the differences are temporary and that more powerful systems will eventually eliminate them.</blockquote><p>Based on the technologies already developed and their applications, we can classify the development of artificial intelligence into two types:</p><p>1. <strong>Narrow AI</strong>: all the solutions we have today are of this type — algorithms that have figured out how to play a perfect game of chess, diagnose certain diseases, or write texts like the one you are reading now. These are algorithms that perform a single task, or a few specific tasks, with competence comparable to that of a human.</p><p>2. <strong>General AI</strong>: it is this that exists only in science fiction movies and which is the subject of most controversies involving artificial intelligence. It is about the possibility of developing a machine that has the same general reasoning capacity as a human being, capable of performing various tasks, learning, and making decisions. This is an artificial intelligence that is really similar to human intelligence.</p><p>Beyond the quantitative aspect (number of neurons), there is the qualitative aspect of the discussion: to have a network that emulates human intelligence, we would need complete knowledge of how the human brain works, which we do not yet have. To give two examples, we have not fully unraveled the science of consciousness or sleep.</p><h3>The Tripartite View of Intelligence</h3><p>With the knowledge we have today, however, it is possible to illustrate why we are still far from generalist AI. This is because what we expect from such technology is, in most cases, an inference. That is, a conclusion drawn from past samples (data). We make inferences every day, often unconsciously: if you burn yourself when touching a hot pan while making lunch today, you will probably remember this fact and think before touching it again the next day.</p><p>Now, if we refer to an image identification algorithm, we want it to correctly identify an image of a cat as a cat, not a tiger.</p><p>Inferential reasoning can be decomposed into 3 components: deduction, induction, and abduction. The first two we are already able to model and translate into code and algorithms. As for the last, and most important, we are not even close.</p><p><strong>1 — Deduction</strong></p><p>Deductive inference is synonymous with syllogism, which is a model of reasoning composed of two premises that lead to a conclusion. An example:</p><p>Premise 1) If it is raining, the streets will be wet</p><p>Premise 2) It is, in fact, raining</p><p>Conclusion: Therefore, the streets are wet.</p><p>In symbolic language:</p><p>If P, then Q</p><p>P</p><p>Therefore, Q.</p><p>This is a type of reasoning that is easy to program with “if-else” condition structures of computers, for example. The first automated systems were created using deductive inference to identify whether software contained bugs or contradictions. Moreover, many of our day-to-day decisions are based on this type of reasoning. One of the main problems with deductive reasoning is that to have a solid conclusion we are assuming that our premises are true. If I say:</p><p>If it is raining, pigs will fly past the window</p><p>It is raining</p><p>Pigs obviously will not fly past the window.</p><p><strong>2 — Induction</strong></p><p>Inductive reasoning is based on observing specific cases and drawing a general conclusion from them. For example:</p><p>Every swan I’ve seen is white.<br>Therefore, all swans are white.</p><p>All major machine learning algorithms and neural networks are automations of inductive reasoning. We feed thousands of examples to these algorithms and generate a model capable of producing an output from a given input.</p><p>And this leads us to one of the main problems of machine learning algorithms: they are only as good as the data we use to train them. Selection bias and data samples not representative of the population are two reasons that help explain ethical issues related to AI such as gender discrimination, social condition, and race.</p><p><strong>3 — Abduction</strong></p><p>Abductive reasoning consists of observing a fact and inferring the most probable cause or explanation for it. For example:</p><p>The floor is wet.</p><p>It probably rained.</p><p>Abduction does not guarantee the conclusion; instead, it proposes the most plausible explanation. The floor could be wet because a water truck burst nearby. Or someone forgot a hose open. There are several possibilities.</p><p>Abduction is crucial in the structure of inference because it is often the main mechanism we use to generate hypotheses and explanations for observed phenomena. Although deduction and induction are essential for drawing conclusions and generalizing from data, abduction is crucial for hypothesis generation and problem-solving in uncertain situations. Some of the reasons why abduction is so challenging to model and program:</p><p>Complexity of the real world: In many real-world scenarios, especially in areas like medical diagnosis, forensic analysis, and scientific investigation, the available data is often incomplete or ambiguous. Abduction allows the formulation of the most plausible explanations based on limited or uncertain information.</p><p>Flexibility and Creativity: Abductive reasoning is closely linked to creativity, serendipity, and the ability to think “outside the box.” When faced with new or unexpected situations, humans often resort to abduction to find new explanations or solutions.</p><p>Ambiguity and Uncertainty: Abductive reasoning often deals with uncertain or incomplete information. Traditional logical systems, which deal with certainties, may struggle with this.</p><p>Subjectivity: What seems to be the “best” or “most plausible” explanation to one person may not seem so to another. Capturing this subjective element in a computational model is a challenge.</p><p>Integration with other cognitive processes: Human abduction often integrates various cognitive processes, such as memory retrieval, emotional assessment, and contextual analysis. Replicating this integration in artificial systems is complex.</p><p>That is why such a valued skill in a scientist/data analyst is the ability to understand the business. Only with this understanding, which comes with time and experience, is it possible to create a background that allows generating new and out-of-the-box ideas — that is, abductive reasoning in action.</p><p>Although there have been advances in computational models of abduction, especially within the field of artificial intelligence, there’s still a long way to go before machines can emulate this type of reasoning with the same proficiency as humans. AI systems that can perform abductive reasoning are typically highly specialized and operate within very constrained environments with a limited set of variables and possible outcomes.</p><p>Thus, while we have made significant progress in AI, replicating the full spectrum of human intelligence, including all three forms of inferential reasoning, especially the more nuanced and creative aspects of abduction, remains an ongoing challenge.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a0d101b1ab3f" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Sobre como pensar com dados]]></title>
            <link>https://lucasmaretti.medium.com/sobre-como-pensar-com-dados-625ac9de3965?source=rss-4be638bb2d93------2</link>
            <guid isPermaLink="false">https://medium.com/p/625ac9de3965</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[cognitive-bias]]></category>
            <category><![CDATA[data-skills]]></category>
            <category><![CDATA[data-literacy]]></category>
            <dc:creator><![CDATA[Lucas Maretti]]></dc:creator>
            <pubDate>Tue, 30 May 2023 23:35:58 GMT</pubDate>
            <atom:updated>2023-06-09T11:13:45.044Z</atom:updated>
            <content:encoded><![CDATA[<p>O conjunto de habilidades requerido para se trabalhar com dados recebe várias definições: alfabetização de dados (<em>data literacy</em> no inglês), capacidade digital (<em>digital capability</em>), entre outros. Na prática, são as habilidades necessárias para identificar e delimitar um problema, acessar e manipular uma base de dados referentes ao problema, extrair insights e comunicá-los. Saber executar bem estas etapas é um ótimo indicativo de uma pessoa orientada a dados (<em>data-driven</em>).</p><p>Como desenvolver tais habilidades é um tema que não é debatido em profundidade, ainda mais quando comparado com a atenção dada a novidades tecnológicas, como o desenvolvimento recente de redes neurais profundas, seus &quot;<em>transformers&quot;</em> e &quot;LLMs&quot;. Eu entendo, eu também li <a href="https://www.uol.com.br/tilt/noticias/redacao/2023/05/30/enganei-o-chatgpt-para-ele-criar-fabrica-de-virus-em-menos-de-8-horas.htm?ref=datagnostic.ghost.io">a notícia</a> sobre o professor que conseguiu enganar ChatGPT e fazê-lo criar uma fábrica de vírus e fui fisgado. Avanços tecnológicos e o <em>hype</em> em volta são mesmo muito interessantes.</p><p>Mas quando o assunto muda para desenvolvimento de habilidades em dados, quando procurar algum curso na área, note que quase sempre o foco é em uma ferramenta, seja Python (quantas &quot;trilhas para se tornar um cientista de dados usando Python&quot; você já não viu?), Power BI, Tableau, etc. E muito pouco em como desenvolver uma mentalidade de resolução de problemas com dados que seja agnóstica à ferramenta.</p><p>O ponto principal que quero endereçar aqui é que tanto no mundo corporativo quanto na sociedade em geral, o foco excessivo e a superestimação dos últimos desenvolvimentos tecnológicos cria abismos imaginários para muitas pessoas que querem começar a usar mais dados mas que se sentem perdidas em meio a tanta informação com foco em tecnologia e ainda por cima usando termos obscuros em inglês. Isso se traduz na fatídica frase “isso não é pra mim”, que costuma andar junto com uma parecida, mais antiga: “eu não sou de exatas”.</p><p>Assim como não existe o mito da persona de exatas e da de humanas, também não existe a persona de dados e aquela que é incapaz de trabalhar com dados. Qualquer um pode e deve, e não é necessário ter um diploma em matemática ou estatística para isso. Da minha experiência nos últimos quatro anos trabalhando fornecendo treinamento e desenvolvendo programas para ajudar as pessoas a serem mais orientadas a dados em suas rotinas, o que vejo que falta nas organizações é simplesmente dar a devida valorização à questão, da mesma forma com que se dá às tecnologias mais faladas no momento. No fim das contas ainda são as pessoas que geram resultados. Com a tecnologia como meio. Das 15 habilidades listadas pela <a href="https://www.gupy.io/blog/habilidades-do-futuro">plataforma Gupy</a> do profissional do futuro, pelo menos 5 tem relação direta uma mentalidade orientada a dados: aprendizagem ativa, pensamento analítico e inovação, criatividade, pensamento crítico e resolução de problemas complexos.</p><p>Existem duas perguntas que eu acredito que indivíduos e organizações devam se fazer quando pensamos em desenvolvimento de habilidades em dados. A primeira é <strong>o que queremos alcançar com isso?</strong> Parece uma pergunta simples e ingênua com uma resposta direta, mas não é. Uma resposta comum é conseguir uma mudança de paradigma. Pode ser que uma abordagem baseada em dados para resolver problemas não seja o padrão. Em vez disso, o status quo é baseado em intuição e experiências passadas. Ou pode ser que se deseje uma capacitação para uso de novas tecnologias, ou para se preparar para uma nova carreira, como analista, cientista ou engenheiro de dados. A resposta vai ajudar no direcionamento sobre quais conceitos, cursos ou treinamentos você precisa ir atrás.</p><p>A segunda pergunta é para quem quer a mudança de paradigma: <strong>o que significa ser orientado por dados?</strong> Não acredito que exista uma resposta bem definida e aceita, portanto vou dar a minha visão. Significa ser o mais <em>objetivo</em> e <em>rigoroso</em> possível nas conclusões tiradas da análise dos dados.</p><p>O rigor pode ser alcançado quando usamos as ferramentas certas para modelar, interpretar e visualizar dados. E as ferramentas neste caso vêm da Estatística, a linguagem dos dados. A boa notícia é que você não precisa de um diploma universitário em matemática para aprender o que é necessário. Precisa apenas saber quais ferramentas usar dentre uma gama de inúmeras opções. A resposta à primeira pergunta aliada a um bom programa de alfabetização de dados deve ser capaz de fornecer esse discernimento. Eu sou da opinião de que um ótimo ponto de partida é um sólido conhecimento em <a href="https://www.fm2s.com.br/blog/estatistica-descritiva-basica-e-centralidade#:~:text=A%20Estat%C3%ADstica%20Descritiva%20%C3%A9%20o,intervalos%20de%20confian%C3%A7a%20dos%20dados.">estatística descritiva</a>.</p><p>A objetividade está relacionada a uma armadilha comum que estraga as análises: nossos vieses cognitivos. Se você usa o LinkedIn com certa frequência é muito provável que já tenha visto alguém postar sobre a história dos aviões da segunda guerra mundial. Esse post obrigatoriamente vem ilustrado com essa imagem aqui:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/769/0*kU0jYTWv-75Ocw2t.png" /><figcaption>Fonte: algum dos milhares de textos do LinkedIn sobre este</figcaption></figure><p>Se você não conhece a história, segue um breve resumo. O governo americano chamou alguns matemáticos brilhantes para tentar resolver o seguinte problema: como melhor reforçar os aviões que voltavam de combate durante a segunda guerra para deixá-los mais resistentes para combates futuros? A base de dados que os matemáticos tinham eram os aviões que voltavam e as marcas dos tiros (as bolinhas vermelhas na imagem acima) que esses aviões sofreram. É muito comum quem olha essa imagem e o problema descrito pensar de cara que deve-se reforçar toda a região das asas e a cauda, quando na verdade é o contrário. A sacada está em entender que se o avião voltou ele é um sobrevivente e as regiões marcadas já são resilientes. O problema são os aviões que não sobreviveram e não compõem a base de dados. A solução foi reforçar justamente a região central do avião (a que não tem bolinhas vermelhas entre a asa e cauda) que é onde fica o motor. Os aviões que foram abatidos provavelmente tomaram tiro no motor e nunca voltaram para contar a história. Esse é um clássico exemplo de <strong>viés de sobrevivência</strong>.</p><p>Os efeitos dos vieses sobre nossos julgamentos se estendem por todos os aspectos do ciclo de alfabetização de dados: leitura, análise e comunicação. Não é coincidência que alguns dos melhores e mais famosos livros sobre o assunto têm algum tipo de jogo de palavras sobre isso em seus títulos. “Iludidos pelo Acaso”, de Nassim Taleb. “Como mentir com estatística”, de Darrel Huff. “Factfulness — dez razões pelas quais estamos errados sobre o mundo”, de Ola Rosling.</p><p>O exemplo a seguir ilustra bem a importância da combinação estatística + ciência cognitiva (também conhecida como teoria da decisão).</p><p>Suponha que temos uma empresa realiza empréstimos bancários para varejistas (nossa <em>população</em> para esta situação específica). Para avaliar se um negócio em particular é um bom pagador nós montamos uma base de dados a partir de pagamentos realizados via cartão de crédito (nossa <em>amostra</em>). Atualmente com as “maquininhas” é muito fácil coletar estes dados via internet. O problema de seguir com uma base de dados como esta para desenvolver um modelo de machine learning que vá classificar varejistas para ganhar ou não empréstimos é que nós estaríamos ignorando todos os varejistas (em geral os pequenos) que ainda dependem pagamentos em espécie. Esse é um caso típico do chamado <strong>viés de amostragem</strong>. Entender a relação entre população e amostra é estatística. Entender como uma amostragem inadequada pode afetar nosso julgamento é teoria de decisão.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*b4wyJcPXWtpouzL1.jpg" /></figure><p>No livro ‘Factfulness’, Ola Rosling lista dez instintos que nos impedem de fazer melhores interpretações do mundo, explorando como a dualidade do conhecimento estatístico e os vieses cognitivos afetam nossa interpretação dos dados. O exemplo a seguir vem do livro.</p><p>O gráfico à esquerda mostra a diferença entre as notas médias de matemática de homens e mulheres nos testes SAT nos Estados Unidos de 1965 a 2016. O gráfico à direita mostra a diferença entre a renda média das pessoas que vivem no México e nos Estados Unidos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*mP-5_pR22mMSPKDI.jpg" /><figcaption>Fonte: Factfulness, College Board via Perry e Gapminder</figcaption></figure><p>Instintivamente, poderíamos olhar para esses gráficos e concluir que os homens são melhores em matemática do que as mulheres e que as pessoas que vivem nos Estados Unidos têm renda mais alta do que os mexicanos. Mas é realmente o caso? O que nós fizemos foi pegar todos os resultados do teste e, ano a ano, condensar os inúmeros resultados de garotos e garotas em uma única métrica: a média (exemplo de um conceito estatístico básico em ação: saber medida de tendência central). Uma maneira diferente de analisar os mesmos dados seria ver a distribuição das notas sem nenhum tipo de agregação, apenas mantendo a distinção por gênero. O gráfico abaixo mostra o resultado desta nova análise para o ano de 2016:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*9bHMQUMfPvRCIMYw.jpg" /><figcaption>Fonte: Factfulness, College Board via Perry e Gapminder</figcaption></figure><p>Agora temos uma noção melhor de como os indivíduos compõem o número médio. Há uma sobreposição quase completa entre as pontuações de matemática de homens e mulheres. Isto é, a maioria das mulheres tem um par masculino: um homem com a mesma pontuação em matemática que elas. Quando se trata de rendimentos no México e nos Estados Unidos, a sobreposição também existe, apesar de parcial. O que fica claro, porém, olhando para os dados dessa maneira, é que os dois grupos de pessoas — homens e mulheres, mexicanos e pessoas que vivem nos Estados Unidos — não estão separados. Eles se sobrepõem.</p><p>Estes exemplos ilustram o que eu acredito ser os pilares de uma alfabetização em dados efetiva e que podem ser resumidos na equação a seguir:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*S4HqoqSBB0NHTGrn.jpg" /></figure><p>Basear-se apenas nos números (fundamentação estatística), sem levar em conta os potenciais riscos discriminatórios dos nossos vieses cognitivos (teoria de decisão) na tomada de decisão é o que nos leva a erros de julgamento, <a href="https://www.youtube.com/watch?v=Ok5sKLXqynQ">discriminação algorítmica</a> e a projetos de transformação digital que fracassam.</p><p>Eu gostaria muito de poder indicar algum curso nesses fundamentos que fugissem ao foco em alguma ferramenta específica, mas não tenho. Se você tiver alguma sugestão deixa um comentário para mim. O que eu tenho são algumas dicas de leitura que podem ajudar nesse começo de jornada:</p><ul><li><a href="https://www.amazon.com.br/Estat%C3%ADstica-para-serve-como-funciona/dp/8537815128/ref=sr_1_1?crid=OPWBHYVRS2JM&amp;keywords=charles+wheelan&amp;qid=1686003505&amp;sprefix=charles+wheelan%2Caps%2C247&amp;sr=8-1">Estatística: O que é, para que serve, como funciona</a></li><li><a href="https://www.amazon.com.br/Storytelling-com-Dados-Visualiza%C3%A7%C3%A3o-Profissionais/dp/8550804681/ref=sr_1_5?keywords=cole+nussbaumer+knaflic&amp;qid=1686002089&amp;sprefix=Cole+kn%2Caps%2C217&amp;sr=8-5">Storytelling com dados</a></li><li><a href="https://www.amazon.com.br/R%C3%A1pido-devagar-Daniel-Kahneman/dp/853900383X/ref=sr_1_3?crid=1S8VTLYNASZVK&amp;keywords=rapido+e+devagar&amp;qid=1686003551&amp;sprefix=Rapido+e+devagar%2Caps%2C205&amp;sr=8-3">Rápido e devagar: duas formas de pensar</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=625ac9de3965" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[How Industrial IoT helps manufacturing industries]]></title>
            <link>https://medium.com/manufacturing-analytics/how-industrial-iot-helps-manufacturing-industries-f572e347e91f?source=rss-4be638bb2d93------2</link>
            <guid isPermaLink="false">https://medium.com/p/f572e347e91f</guid>
            <category><![CDATA[data-analytics]]></category>
            <category><![CDATA[process-engineering]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[manufacturing-analytics]]></category>
            <dc:creator><![CDATA[Lucas Maretti]]></dc:creator>
            <pubDate>Sun, 25 Dec 2022 14:02:55 GMT</pubDate>
            <atom:updated>2022-12-25T14:02:55.720Z</atom:updated>
            <content:encoded><![CDATA[<h3>Introduction</h3><p>In the context of industry 4.0, smart manufacturing initiatives are diverse in its nature and complexity but can be broken down into a few main categories: digitalization of shop floor using tablets, usage of drones and augmented reality; interconnection of different sectors using new technologies in IT/OT; 3D printing and analysis of the ever increasing amount of data generated — commonly known as Big Data. The goal of this article will be to discuss the latter — what are the key checkpoints and challenges industries have to address in order to effectively use data as the promising asset it is.</p><h3>The KDD process</h3><p>For that we will use what is described as the KDD process — Knowledge Discovery in Databases — applied to manufacturing. The KDD process basically describes what are the necessary steps to transform raw data into actionable insights. A diagram of such process is presented below, adapted from the work of Dogan et al (2014) in their paper called “Machine Learning and Data Mining in Manufacturing”:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*ro8qPjj3SyoRRFI7.jpeg" /></figure><p>In short, what this diagram tells us is that in order for industries to optimize their KPIs, such as yield, product quality and others using their data it is necessary to:</p><p>1) Understand which are the main data sources (related to the KPIs we wish to optimize and the process itself) and how to collect data from them. Long term investments in automation, database implementation as well as ERP systems succesfully led manufacturing industries to collect the key data of their process. But now the challenge is how to collect and make this data available in a centralized way for the end users to benefit from. This is our first data challenge, which we will call <strong>the connectivity (data access) challenge</strong>.</p><p>2) After the data is collected, what are the steps that needs to be taken in order to transform the data collected from different systems and sources which are, most of the time, in different frequencies and granularities. Common activities a data user has to address in this particular scenario are: dealing with missing values, conversion of units, joining different types of tabular data extracted from different sources. And finally, to store it in a centralized database (or Data Warehouse, as mentioned in the picture above) — or query one such database if it is the case. This is the second data challenge, <strong>the data transformation challenge</strong>.</p><p>3) Finally, the last aspect that needs to be addressed is how to transform information derived from the data collected and transformed into actionable insights? That is, which application is best suited for the user’s need? Is it necessary a Business Intelligence (BI) tool, a Machine Learning application or something else? This is the final challenge, called <strong>the data usage challenge</strong>.</p><p>With this in my mind, the KDD process can simplified in terms of the data challenges as shown in the picture below:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*iXG0BdQ90qTXnzb2.jpeg" /></figure><p>The steps are sequential in order, because it is necessary to have all the necessary data mapped out and collected before transformed and stored in a data warehouse, for example. Likewise, data needs to be correctly transformed in order for an unbiased analysis to be conducted.</p><h3>What is IoT and how it can help to solve the challenges</h3><p>Many solutions can be encountered nowadays for dealing with the “data deluge” industries face. But when considering the reality of the manufacturing and transformation industries the Industrial IoT (Internet of Things) solution is the one that stands out because it addresses the 3 challenges at once. This technology is characterized by the use of internet to connect sensors, machines and devices. Therefore, by nature the first challenge is at the core of the solution. Afterwards, by utilizing the power of cloud computing, data transformation can be automated and a replica of the industrial process can be built using the virtual twin technology. Finally by providing ready-to-use applications, the usage step is also addressed, where each user can use whatever application is best for their own reality.</p><h3>Conclusion</h3><p>The manufacturing environment is characterized by being rapidly changing and that has the need for fast responses from production and process engineers on their everyday challenges. By using the power of internet and cloud computing and storage the Industrial IoT solution is the best choice for manufacturing industries that are investing in their journeys to become more data-driven because it allows just that: rapid access to contextualized data that is usually scattered accross different sources for the end users to make rapid and data-driven decisions easily, via laptop, tablet or even a mobile phone.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f572e347e91f" width="1" height="1" alt=""><hr><p><a href="https://medium.com/manufacturing-analytics/how-industrial-iot-helps-manufacturing-industries-f572e347e91f">How Industrial IoT helps manufacturing industries</a> was originally published in <a href="https://medium.com/manufacturing-analytics">manufacturing-analytics</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Understanding customers’ preferences through data: A Starbucks marketing campaign analysis]]></title>
            <link>https://lucasmaretti.medium.com/understanding-customers-preferences-through-data-a-starbucks-marketing-campaign-analysis-9f4d0c056144?source=rss-4be638bb2d93------2</link>
            <guid isPermaLink="false">https://medium.com/p/9f4d0c056144</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[starbucks]]></category>
            <category><![CDATA[udacity]]></category>
            <dc:creator><![CDATA[Lucas Maretti]]></dc:creator>
            <pubDate>Mon, 14 Feb 2022 00:31:15 GMT</pubDate>
            <atom:updated>2022-02-15T01:25:16.143Z</atom:updated>
            <content:encoded><![CDATA[<p><em>This article is part of Udacity’s Data Science Nanodegree Capstone project.</em></p><p><strong><em>The data analysis part of this project was done using Python and all resources related to this can be found on my </em></strong><a href="https://github.com/lucasmaretti/starbuckscapstone"><strong><em>GitHub</em></strong></a></p><h3>Project Overview</h3><p>Starbucks is an American chain of coffeehouses originated in Seattle and has the accolade of being the worlds’ largest in its niche market. The company is, as of November 2021, <a href="https://en.wikipedia.org/wiki/Starbucks">present in 80 countries with over 30 thousand stores spread across the globe</a>. Being a company so big increases the challenges when developing marketing strategies and acquiring information about its users. In order to tackle these challenges the company released its own app, which is used to place orders, make payments and also send marketing-related promotional offers for the customers. All of this generates data for the company, that can use it to drive business data driven decisions.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*oOEfmRtiXYzC2fQ-" /><figcaption>This photo is licensed under a Creative Commons license.</figcaption></figure><p>The aim of this capstone project was to analyze the promotional offers and transaction data from the app , which were kindly provided by Starbucks. The data collected and generated from the interaction of the users with the app make up for the raw data used in this capstone project, which is comprised of 3 JSON files:</p><ol><li><strong>Profile.json </strong>— Contains users’ age, gender, income, and date of membership</li><li><strong>Portfolio.json — </strong>Comprised of informations such as difficulty of the offers (meaning how much the user has to pay in order to complete it), channel used for communication, such as web, email, mobile or social media or a combination those, reward- how much the user gets for completing the offer- and classification of the offer, which can be one of three categories: Discount, Buy-one-get-one (BOGO) or Informational<em>.</em> Also, there is a total of 10 different offers.</li><li><strong>Transcript.json</strong> —Records of interactions of users with the offers and amount spent (if any).</li></ol><h4>Problem statement</h4><p>The main goal of this project was to use this data to determine which demographic groups respond best to which offer type. For that goal to be achieved 2 approaches were used: visualizations through exploratory data analysis and clustering using the k-means algorithm. A possible outcome expected from the analysis would be something like: ‘male customers of a certain age range and income tend to complete a certain type of offer more often.’</p><h4>Metrics</h4><p>For the k-means algorithm the fundamental step is to determine the optimal number of clusters into which the data may be clustered. The <strong>Elbow Method</strong> is one of the most popular methods to determine this optimal value of k. This approach is more qualitative and it was used combined with the the silhouette scored method, which is quantitative to determine the optimum number of clusters. By combining the 2 approaches, an optimal number of 4 clusters was defined.</p><h4>Data Preprocessing</h4><p>Data cleaning and wrangling was specially tricky in this project due to the fact that each offer could go one of 3 ways: it could be received, viewed and completed — in which case it would be classified as “offer_complete”; it could be received, viewed and not complete — then classified as “offer_ignored” or it could be received, not viewed and completed- the classification in this case was “accident_completion”. This needed to be done for all 3 types of offers (BOGO, discount and informational) and each had its particularities that needed to be addressed. This part took around 80% of the amount of work in data preparation. After this was achieved, the 3 files were merged into one dataframe which is indexed by the customer_id — that is, each line in the final dataframe corresponds to a user (14825 observations or users in total). That way we have the amount offers completed by each type (as well as total) for each costumer, which in turn has its own demographic characteristics.</p><p>On the final dataframe feature engineering was done to aid the analysis of the demographic data of the customers by transforming the age and income variables (both of which spanned a wide range of values) into cohorts.</p><p>The <strong>age cohort</strong> was based on <a href="https://www.marketresearch.com/Frost-Sullivan-v383/Growth-Opportunities-Capturing-Value-Baby-30817435/">research</a> [1] done on the fields of psychology and marketing based on the idea of generational cohorts, such as the ‘baby boomers’, generation X, Y and Z, and others. Based on the resources found, the following age stratification was used:</p><p>* 18–28 — Gen Z</p><p>* 29–39 — Gen Y</p><p>* 40–58 — Gen X</p><p>* 59–75 — Baby boomers</p><p>* 76+ — Post-War Cohort</p><p>Also <strong>income cohorts</strong> were generated in order to understand the different social classes that were present based on <a href="https://datadrivenmarketing.equifax.com/economic-cohorts/">Equifax’s definition</a>:</p><p>* &lt; 50k — Low income</p><p>* 50–75k — Moderate Income lower end</p><p>* 75–100k — Moderate Income upper end</p><p>* &gt;100k — High Income</p><h4>Exploratory data analysis</h4><p><strong><em>Initial analysis on demographic data of the customers</em></strong></p><p>Initial exploration was done to understand better the characteristics of the individuals in the sample provided. To begin with it was noted that the there is a gender disparity with roughly 30% more males than females in the sample, as can be seen in the chart below.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/704/1*9fqeJi5qMEfp1fJxFvNHNg.jpeg" /></figure><p>Then, by using the age and income cohorts we were able to generate the following charts, which are the count of users stratified based on the engineered variables:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/703/1*WramE6i81IeJ9dAygQJNCQ.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/703/1*3Td5UDiYdGuvkkMfV7H76Q.jpeg" /></figure><p>The main initial takeaways after looking at the demographics of the customers were (not all visualizations generated were pasted in this article but they can be found on GitHub):</p><p>1) The majority of individuals in the dataset are male</p><p>2) The majority of the sample that comprehends this dataset are Generation X individuals (between 40–58 years old)</p><p>3) Regarding income, the majority of the sample that comprehends this dataset is composed of individuals that earn between 50k — 75k (moderate income — lower end)</p><p>4) Ages range from 18 to 108 years old with a mean of 54.</p><p>5) Income of users range from 30k to 120k USD.</p><p>6) We are aware that for this project this is simulated data for the sake of the exercise, but it is important to note that ideally this population should be representative of the Starbucks customers; if this is not known, it could be useful to use USA’s population distribution as reference. This data seems to be biased towards having certain stratum of the population. This aspect will also be taken into account throughout the rest of the analysis.</p><p><strong><em>Analyzing the offers</em></strong></p><ol><li><strong><em>Most popular offers by means of which were complete the most</em></strong></li></ol><p>To understand which offers were more popular the metric used was check which offers were completed the most, which leads to the following chart:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/817/1*Zk1MNbDHepFNzWePXmF-yw.jpeg" /></figure><p>We have 5 major popular offers that stand out among the 10:</p><ul><li>offer 1: BOGO</li><li>offer 2: BOGO</li><li>offer 6: Discount</li><li>offer 7: Discount</li><li>offer 9: BOGO</li></ul><p>Percentage-wise, those 3 BOGO offers account for 40% of all offers completed. Clearly there is something going on there, BOGO offers appear to be a favorite among the users.</p><p><strong><em>2. Accident completion</em></strong></p><p>Next, the offers were analyzed in terms of which were the ones that were accidentally completed the most. These are offers which the users received, did not see but completed. This is important because Starbucks would not like to send promotional offers to users that are like to spend that amount anyway.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/814/1*oANjbn8NeGvvUw9V7y2JWQ.jpeg" /></figure><p>We have 3 major popular offers that stand out among the 10 for accident completion:</p><ul><li>offer 5: Discount</li><li>offer 4: BOGO</li><li>offer 10: Discount</li></ul><p>The 3 offers have an interesting characteristic in common: they did not use social media as a channel for marketing</p><p>Two other interesting characteristics of these offers are</p><ol><li>Offer 5 is the most difficult, requiring the biggest amount of money to be completed.</li><li>Despite offers 4 and 10 being bogo and discount respectively they are similar in terms of duration, difficulty and reward given.</li></ol><h4>Combining demographics and offer completion information (Implementation and refinement)</h4><p>As mentioned previously, EDA and clustering analysis were used to analyze the informations of demographics of customers and offer completion together. In order to use the k-means clustering algorithm some pre-processing steps were needed on the data which are important to mention, such as:</p><ul><li>Dummy categorical variables such as the age and income cohorts</li><li>Scale the features</li><li>Reduce dimensionality of the dataframe. This was done using PCA and reducing the matrix to 2 dimensions.</li><li>The elbow method was used to determine the optimal number of clusters, along with the silhouette method. Both methods combined showed that the optimal number of clusters was 4, as can be seen in the below charts</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/464/1*gzo-jF-eUEzQnZ7nWYw-3Q.jpeg" /><figcaption>SSE x # of clusters chart used for the elbow method</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/462/1*D9oZ8t3MXyKmsT_K7qkU-Q.jpeg" /><figcaption>4 clusters resulted in the highest silhouette score value</figcaption></figure><p>The clusters and its centroids can be seen below:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/418/1*cqt_fC3dwoi6xLN7lpwgvA.jpeg" /></figure><p>The final results of the clusters and its characteristics will be presented along with the exploratory data analysis made.</p><p><strong><em>Clusters summary (model evaluation)</em></strong></p><p>For this part, EDA and cluster analysis will be shown together as they both analysis reinforce one another.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/994/1*lGhJ5AyrMBXbv3P6-oR7Cw.jpeg" /></figure><p>Clusters 0 and 2 help explain the demographics of <em>individuals </em>who <em>complete high number of offers</em>. For that reason they will further analyzed and presented together. Their characteristics are:</p><p><strong><em>Cluster 0</em></strong>: Comprised of females aged 40 and over with high number of total offers completed; among the total offers, the individuals tend to prefer discount offers over the others.</p><p><strong><em>Cluster 2</em></strong>: Mostly generation X (40–58 year old) males, with moderate income ranging from 50–75k with elevated number of completed offers; among the total offers, the individuals tend to prefer BOGO offers over the others.</p><p>The following charts produced during exploratory data analysis already pointed toward this direction. The 2 plots below shows the demographics of users who completed offers 1,2 and 9 the most, which are the offers we saw earlier that represent 40% of total offers completed:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/794/1*3E6xSamTediup8FnT06QVw.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/803/1*c4eJ1D5lv9tkeSVXnYN1Aw.jpeg" /></figure><p>Cluster 1 helps understand the demographics of users with elevated accident completion of offers:</p><p><strong><em>Cluster 1</em></strong>: Females over 59 years with high income (75k+ USD) who tend to complete offers by accident; this includes offer 5, which is the most difficult one as we saw previously.</p><p>The following charts produced during exploratory data analysis also indicated this, as can be seen from this first plot, that shows that females complete offer 5 more than males, reversing the trend of the original population:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/790/1*CMZuNOKMxlUz_6c9v8iqvA.jpeg" /></figure><p>Cluster 3 is comprised of Gen Y and Z males with low income. In terms of offers, they complete very few offers. The appearance of this cluster tends to illustrate the point made earlier about bias in the data. The younger population of individuals aged 18–39 besides being underrepresented in relation to the total population, is within itself overrepresented with individuals of lower income, as can be seen in the plot below:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/801/1*PdAWLS_7NfznAgupE0AzCw.jpeg" /></figure><h4>Justification, reflection and improvement</h4><p>The EDA along with the clustering analysis were able to provide a comprehensive understanding of Starbucks’ customer behavior based on the data of the marketing campaign made available for this capstone project.</p><p>It should be noted first that the results obtained and observed are strongly dependent on the sample characteristics of the population of this dataset. As noted earlier, on the gender aspect there is a higher prevalence of males over females (about 30% more males); on the age distribution aspect, there is a much higher presence of individuals with age between 40 and 58. And on the income aspect, the majority of people have income in the range of 50k to 75k USD. The exercise is clear in mentioning that this is simulated data for the sake of testing the algorithms and data science skills, but it felt important to make this remark for the readers’ information. As a data scientist, it is important to understand the data that one is working with.</p><p>Speaking about the results itself, it became clear that BOGO and Discount offers are two main drivers of when we speak about the customers with elevated rate of offers completed in general. Based on the EDA and clustering analysis, these customers that complete lots of offers can be divided into two main groups:</p><p>1) Males who belong in the generation X age cohort (40–58 years), with moderate income ranging from 50k to 75k USD and who prefer BOGO offers the most.</p><p>2) Females aged 40+ who prefer mainly discount offers.</p><p>Starbucks should keep sending promotional offers to this individuals, but focus on different strategies taking into account the demographic aspect.</p><p>The clustering analysis showed interesting trends and allowed for 2 other conclusions (one for each cluster)</p><p>First is that the younger portion of the sample — generations Y and Z (18–39 years of age) — were the age cohorts that completed offers the least. This can be explained partially by the fact this population is underrepresented on the moderate to high income strata.</p><p>Second, regarding accidental completion of offers, the demographics of the individuals who complete offers by accident the most is composed of elderly women of high income. So Starbucks should probably not send discounts to these individuals as they tend to purchase anyway.</p><p>Also, it is important to notice that the 3 offers with elevated accident completion have in common the fact that they did not use social media for marketing. Starbucks could perform an A/B test to understand the impact of social media marketing.</p><h4>Resources</h4><p>[1] Other sources consulted on this matter were: <a href="http://socialmarketing.org/archives/generations-xy-z-and-the-others/">http://socialmarketing.org/archives/generations-xy-z-and-the-others/</a> <a href="https://www.kasasa.com/exchange/articles/generations/gen-x-gen-y-gen-z">https://www.kasasa.com/exchange/articles/generations/gen-x-gen-y-gen-z</a> <a href="https://www.wordstream.com/blog/ws/2016/09/28/generational-marketing-tactics">https://www.wordstream.com/blog/ws/2016/09/28/generational-marketing-tactics</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9f4d0c056144" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[A arte do trabalho]]></title>
            <link>https://lucasmaretti.medium.com/a-arte-do-trabalho-978a769a562d?source=rss-4be638bb2d93------2</link>
            <guid isPermaLink="false">https://medium.com/p/978a769a562d</guid>
            <category><![CDATA[puscifer]]></category>
            <category><![CDATA[maynard-james-keenan]]></category>
            <dc:creator><![CDATA[Lucas Maretti]]></dc:creator>
            <pubDate>Tue, 04 Jan 2022 01:47:00 GMT</pubDate>
            <atom:updated>2022-01-04T01:47:00.756Z</atom:updated>
            <content:encoded><![CDATA[<p>Em junho de 2019 eu decidi deixar o emprego estável que eu tinha em uma grande corporação para ir trabalhar numa empresa muito menor, que ninguém havia ouvido falar (inclusive eu). O salário era praticamente o mesmo, os benefícios menores em número. A oferta tinha como principal atrativo trabalhar com algo mais estimulante do que eu tinha até então.</p><p>Obviamente foi uma decisão difícil; é muito tentador e fácil ceder ao comodismo de uma vida previsível. Felizmente à época de tomar essa decisão eu topei com uma matéria feita pela revista Revolver com Maynard James Keenan, vocalista do Tool, Puscifer e A Perfect Circle mostrando um lado pouco conhecido do músico: o de empreendedor, produtor de vinhos e dono de restaurante em Jerome, Arizona. E como ele enxerga o trabalho, com relação à si mesmo e à comunidade em que está inserido. A matéria virou um mini documentário de 4 partes que pode ser assistido no <a href="https://www.youtube.com/watch?v=hrcJz63En94">YouTube</a>.</p><p>Maynard costuma ser alvo de ódio dos fãs nas redes sociais devido ao longo hiato entre os lançamentos das suas bandas. A Perfect Circle lançou Eat the Elephant em 2018, 14 anos desde o último CD. Já o Tool ficou 13 sem soltar um álbum novo até o Fear Inoculum, de 2020. O que esse cara fica fazendo esse tempo todo deixando os fãs ansiosos? Por que tanto tempo entre criações novas? A série ajuda a entender, e traz algumas visões interessantes sobre inspiração, legado, auto aperfeiçoamento e sucesso, compiladas aqui. Além de ter sido uma fonte de inspiração importante para eu tomar uma decisão da qual eu não me arrependo 2 anos e meio depois.</p><p><strong>Inspiração</strong></p><p>“[sobre a vinicultura e a comunidade ao redor] é uma tentativa de reacender um pouco isso. Para entender como somos vulneráveis, como não estamos no controle. (…) no cultivo de uvas você é escravo do clima, da terra. O que eu busco é manter essa arte viva, manter essas histórias vivas. Eu tenho muito mais a dizer na música, através das palavras, por causa disso. Se eu passasse o dia inteiro no estúdio eventualmente eu ia acabar sem experiências de vida reais e só me restaria escrever sobre o ônibus ou sobre alguma ação judicial que deu errado, entende? Você acaba se desconectando. Essa é a reconexão.”</p><p><strong>Legado</strong></p><p>“Se eu sou relevante ou não é… irrelevante. Porque eu vou fazer o que eu quero fazer independentemente de alguém ficar sabendo ou não. Quanto a legado, eu acho que algumas das músicas que fizemos vão viver por si. Mas pegue Bowie por exemplo: Bowie faleceu e isso gerou comoção das pessoas, gerou reverências pelo que ele fez. E de certa maneira acabou. Ele não está mais aqui, ele não pode mais fazer o que ele fazia. Então essa devoção e essa reverência são unidirecionais pois ele não está mais aqui. O que nós estamos procurando fazer aqui em Jerome com a produção de uvas e vinho e todos os esforços comunitários que vem atrelados a isso (…) é que pode ser que hajam alguns fundadores desse movimento, mas se nós não estivermos mais aqui, haverão outras pessoas que irão continuar o que nós começamos. Então de certa maneira isso é mais do que um legado pois você estabeleceu algo que vai continuar 100 ou 200 anos depois que você não estiver mais aqui.”</p><p><strong>Auto aperfeiçoamento</strong></p><p>[sobre jiu jitsu e a prática de esporte] “a prática do esporte aumenta o fluxo de oxigênio no cérebro e é excelente para criatividade e produtividade. (…) sobre o jiu jitsu, é uma das coisas mais difíceis que eu já tentei na minha vida. Assim que você atinge um platô, existe um acima deste e depois outro, e outro. É uma experiência que transpira humildade. Sempre haverá alguém mais rápido ou mais forte ou mais técnico do que você. (…) Você entra como faixa branca sem saber nada e é uma longa caminhada se você quiser a preta. Toda vez que for treinar você precisará colocar o esforço e a evolução vem sempre devagar. É uma longa jornada e depende apenas de você. Você tem que dedicar seu tempo, você tem que progredir, você tem que fazer. Ninguém pode e ninguém vai fazer por você. Se você chegar à faixa preta é porque você mereceu. Não existem atalhos.”</p><p><strong>Sucesso</strong></p><p>“Eu vi acontecer com amigos e colegas, sabe? Eles alcançam sucesso em algo e pensam que é por causa de um elemento em particular ou por causa de algo que aconteceu exclusivamente por causa deles mesmos: ‘<em>eu fiz isso’</em>. Quando na verdade pode ter sido totalmente pelo acaso. Acidental. Um milhão de variáveis que se ordenaram de forma a colocar você nesta posição de sucesso. E então eles falam: ‘<em>eu sei o que eu estou fazendo</em>’. Assim que você fala e se convence disso, você está morto. Você tem que crescer, duvidar. A vida é constante mudança e caos. E você tem que ser adaptável. Então, independente do trabalho que você fizer, siga uma combinação da sua mente com seu coração. Sua intuição é importante e suas experiências são tão importantes quanto, se não mais. Faça aquilo que te motive e que te faça buscar sempre o próximo nível. A vida vai continuar quando você não estiver mais aqui então seja feliz com quaisquer que sejam suas escolhas. Se você fizer seu trabalho com precisão, com paixão, se expressando com base nas suas experiências e intuições, as pessoas vão se identificar com isso, elas vão aprender algo com isso e o dia delas pode até ficar melhor por causa da honestidade com que você está fazendo seu trabalho. Você pode acabar ajudando essas pessoas, a si mesmo e à sua família. Mas entenda que no final do dia ninguém deve nada a você. Você não deve nada a ninguém. Você só está fazendo.”</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=978a769a562d" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Indo além da retrospectiva anual do Spotify]]></title>
            <link>https://lucasmaretti.medium.com/indo-al%C3%A9m-da-retrospectiva-anual-do-spotify-9ac213cfc3d?source=rss-4be638bb2d93------2</link>
            <guid isPermaLink="false">https://medium.com/p/9ac213cfc3d</guid>
            <category><![CDATA[spotify]]></category>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[clustering]]></category>
            <category><![CDATA[análise-de-dados]]></category>
            <dc:creator><![CDATA[Lucas Maretti]]></dc:creator>
            <pubDate>Wed, 15 Dec 2021 02:32:11 GMT</pubDate>
            <atom:updated>2021-12-15T02:32:11.504Z</atom:updated>
            <content:encoded><![CDATA[<p><em>Como o Spotify interpreta nossos gostos musicais e monta playlists customizadas e sugere músicas para seus usuários.</em></p><p>“Eu sa-bi-a que você ia postar esse story” — foi, com justiça, uma mensagem que recebi mais de uma vez como reação no dia 01 de dezembro à postagem que eu fiz no Instagram das bandas e músicas mais ouvidas no Spotify. Isso por que foi neste dia que eles lançaram a versão deste ano da retrospectiva, bem como outros insights interessantes baseados nos milhares de dados que nós geramos ao ouvir músicas e podcasts ao longo do ano — todos passíveis de serem compartilhados nas redes sociais (e assim foi feito!). Eu, como usuário diário do aplicativo, com 32.000+ minutos de utilização em 2021 e dezenas de stories postados das minhas músicas favoritas ao longo do ano, decidi acessar meus dados pessoais do app através da API do Spotify e ver o que mais eu poderia aprender sobre meu meu gosto musical e sobre como o Spotify faz sugestões e analisa nossos gostos musicais para além do que foi mostrado na retrospectiva.</p><p>Os detalhes técnicos, notebook Python usado e códigos podem ser acessados neste link do <a href="https://github.com/lucasmaretti/Spotipy/blob/main/SpotiPY_.ipynb">Github</a>.</p><h3>O que caracteriza uma música?</h3><p>A matéria prima principal do Spotify é o áudio, seja na forma de música ou podcast. Portanto, nada mais coerente do que um serviço de streaming desta natureza ter uma vasta gama de informações referentes a cada um dos itens do seu catálogo para ser capaz de interpretar os gostos de cada usuário e fazer recomendações. O print a seguir mostra algumas informações referentes a uma única consulta (que traz metadados sobre ela como nome do artista que performa a música, nome do álbum a que pertence, dentre outros) e a uma única música:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CyTRkBt_KE-m27AsXdbNXQ.jpeg" /><figcaption>Metadados de uma única música consultados a partir da API do Spotify</figcaption></figure><p>Além dos metadados, o Spotify classifica suas músicas com as chamadas “audio features” — um conjunto de características que definirão, por exemplo, quão dançável é a música, acústica, animada / feliz ou triste, entre outras. A descrição da documentação oficial pode ser encontrada <a href="https://developer.spotify.com/documentation/web-api/reference/#/operations/get-several-audio-features">aqui</a>. A explicação das principais features que eu usei na análise que vai a seguir é a minha interpretação fugindo um pouco das formalidades técnicas:</p><p><strong>key</strong>: é o tom da música. Se é em Lá, Fá, Sol sustenido, etc.</p><p><strong>mode</strong>: complemento ao tom da música: se trata-se uma música em tom maior ou menor</p><p><strong>valence</strong>: é um valor numérico para caracterizar se a música tende a ter uma pegada mais feliz / animada (valores mais altos) ou triste / brava (valores mais baixos).</p><p><strong>loudness</strong>: quão barulhenta a música é em decibéis. Espera-se que uma música de death metal tenha valores mais altos nessa feature do que uma de pop ou MPB.</p><p><strong>acousticness</strong>: valor que varia entre 0 e 1. Quanto mais próximo de 1, mais acústica é a música.</p><p><strong>energy</strong>: outra medida que varia entre 0 e 1. Tem o objetivo de medir quão intensa (energética) é a música. Uma música desta natureza para o Spotify é rápida e barulhenta (de novo, heavy metal é um exemplo bom para ilustrar). Uma sonata de Wagner seria classificada com energia baixa.</p><p><strong>danceability: </strong>quão “dançável” é a música. Como veremos, uma música pode ser energética, mas não dançável (metal de novo) e vice-versa.</p><p>Para ilustrar estes conceitos na prática vejamos como 4 artistas bem diferentes da minha lista de músicas são categorizados de acordo com eles:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/956/1*c8htqakzbFfQH1VRgoW2zA.jpeg" /><figcaption>Audio features dos artistas Gojira, Lana Del Rey, Red Hot Chili Peppers e blink-182.</figcaption></figure><p><a href="https://www.youtube.com/watch?v=kl-2GUMijPM">Gojira</a> é uma banda de death metal, isso se traduz e valores muito baixos de valence, acousticness e danceability e muito altos de energy, loudness e instrumentalness.</p><p><a href="https://www.youtube.com/watch?v=HB-Bk3nvvpo">Lana Del Rey</a> é uma cantora de música pop, sendo a maioria de suas músicas mais calmas (categoria “tempo” é bem mais baixa), acousticness alta, energy e loudness bem baixos.</p><p><a href="https://www.youtube.com/watch?v=vVy9Lgpg1m8">blink-182</a> é um exemplo interessante para ilustrar como as audio features diferenciam uma banda de pop-punk de uma de death metal, como o Gojira. Ambas tem energy e loudness elevadas. Porém, fatores como valence (as músicas do blink são animadas e felizes em sua maioria) e danceability ajudam a diferenciá-las.</p><h3>Agrupando músicas com características semelhantes</h3><p>Se você é um usuário do Spotify já deve ter reparado nas Daily Mixes que o aplicativo monta com base no seu histórico recente, agrupando em cada uma bandas similares com algumas pitadas de músicas que você nunca ouviu mas que o algoritmo entende que combinam com a playlist em questão. O print abaixo traz como exemplo as minhas Daily Mixes:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BzoDr-SjuejtgL7fcbzX6Q.jpeg" /></figure><p>Em jargão de ciência de dados esse agrupamento de músicas semelhantes é o que se chama de “clusterização”- um cluster nada mais é do que um grupo de elementos com características semelhantes. O próximo passo na minha análise foi ver se com as audio features fornecidas pelo Spotify eu conseguiria construir meus próprios clusters (minimamente coerentes) usando um algoritmo simples desta natureza em cima das audio features fornecidas. O resultado dos 6 grupos gerados pode ser visto abaixo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/698/1*e7VSYY3gvRIN7h3ta9SXHQ.png" /></figure><p>Dos 6 clusters, 5 foram facilmente identificados pelo estilo das músicas agrupadas — os mais ilustrativos são:</p><ul><li>Cluster 2: músicas energéticas, dançáveis, animadas e moderadamente barulhentas — aqui entraram todos as músicas pop punk (blink-128, NOFX, Bad Religion) e outras de rock. Exemplos de músicas: Temper Temper — Lime Cordiale; Champagne e Água Benta — Charlie Brown Jr.</li><li>Cluster 5: músicas energéticas, barulhentas, com valência baixa e nada dançáveis — o cluster do metal, com Gojira, Deftones, Tool e outros.</li></ul><p>Curiosamente o cluster 1 foi o mais difícil de categorizar em termos de estilo musical, mas ele compreende músicas mais tristes, com baixa energia, com instrumental destacado — olhando a lista de músicas, são músicas com pegada mais de música balada, como Pyro do Kings of Leon e algumas do John Mayer.</p><p>Através de técnicas de clusterização como esta exemplificada, o Spotify é capaz de preparar as Daily Mixes. Para recomendar novas músicas dentro dos Mixes (bem como na playlist “Descobertas da Semana”) há duas alternativas — buscar bandas similares às suas mais ouvidas ou usuários com gostos parecidos e, a partir disso, sugerir bandas e músicas que por ventura você ainda não conheça.</p><h3>Conclusões</h3><p>Como várias outras soluções que se baseiam em algoritmos (quem nunca recebeu uma recomendação de compra nada a ver da Amazon?) nada é 100% perfeito, mas o uso da técnica ilustrada ajuda muito sistemas de recomendação para plataformas como o Spotify. Foi interessante ver também que sem as áudio features, nada disso seria possível — isto é, a qualidade dos dados sempre importará mais do que o algoritmo em si. Para mandar sugestões de playlists o time do Spotify provavelmente usa algoritmos mais sofisticados e utiliza muitas outras características das músicas e artistas (gênero musical, local de origem) além das que eu utilizei para gerar sugestões mais assertivas.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9ac213cfc3d" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Por uma visão mais realista e humanista da ciência de dados]]></title>
            <link>https://medium.com/zeroeum/por-uma-vis%C3%A3o-mais-realista-e-humanista-da-ci%C3%AAncia-de-dados-a89f4c599fdf?source=rss-4be638bb2d93------2</link>
            <guid isPermaLink="false">https://medium.com/p/a89f4c599fdf</guid>
            <category><![CDATA[ciencia-de-dados]]></category>
            <category><![CDATA[ai-ethics]]></category>
            <dc:creator><![CDATA[Lucas Maretti]]></dc:creator>
            <pubDate>Sun, 01 Aug 2021 14:04:14 GMT</pubDate>
            <atom:updated>2021-08-01T14:04:14.746Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/900/0*CwgHteWGZsOD16N9.png" /><figcaption>Imagem do documentário Coded Bias do Netflix. Imagem: Divulgação</figcaption></figure><p><strong><em>Introdução</em></strong></p><p>O campo da inteligência artificial é visto hoje como panaceia para muitos dos problemas enfrentados por distintas áreas de negócio graças ao suposto grande poder de predição que entregam. De indústrias de manufatura que querem prever a qualidade final do produto no fim da linha antes de o teste ser realizado no laboratório a fintechs que desejam prever churn de clientes, o uso de algoritmos já se tornou parte da realidade da maioria das pessoas. Mas como tudo, até mesmo de uma ciência aparentemente inofensiva como a matemática pode ser danosa. A atratividade do uso de algoritmos para resolver desafios está relacionado à promessa de soluções fáceis para problemas complexos de maneira rápida. Como se machine learning fosse uma solução “plug and play”, essas promessas são vendidas diariamente, levando, na esmagadora maioria das vezes, a implementação ao fracasso. Não à toa a <a href="https://www.bcg.com/en-us/publications/2020/increasing-odds-of-success-in-digital-transformation">BCG estimou em 70% a quantidade de iniciativas de transformação digital que fracassam</a> em relatório do final de 2020.</p><p><strong><em>Necessidades básicas: você sabe contar?</em></strong></p><p>Em um <a href="https://hackernoon.com/the-ai-hierarchy-of-needs-18f111fcc007">artigo</a> que deveria ser mandatório ler e internalizar para qualquer profissional que vá trabalhar com transformação digital, Monica Rogati se utiliza do conceito da pirâmide de Maslow para fazer uma analogia com empresas que querem se digitalizar: deve-se buscar atender algumas necessidades mínimas antes de ter um algoritmo de machine learning rodando. Os dados são acessíveis? São confiáveis? Tem-se uma fundação de analytics para suportar o deployment do modelo? Se a resposta para qualquer uma dessa pequena amostra de perguntas que a autora elenca for não ou se se houver dúvidas, deve-se dar um passo atrás e cuidar da criação de uma estrutura para suportar a iniciativa de digitalização almejada.</p><p>À parte o lado técnico, tem-se o lado humano. Afinal, não importa de nada a tecnologia se a empresa não possui uma cultura de dados internalizada por aqueles que a utilizarão ou serão afetados por ela de alguma forma. E é nesse aspecto que a maioria das empresas falham, preterindo o aspecto pessoas em relação a tecnologia. Se fôssemos criar uma hierarquia de necessidades pensando no lado humano deveríamos começar mapeando quais são as necessidades básicas que os colaboradores devem ter para trabalhar efetivamente com dados com base nos objetivos do negócio. Um curso de fundamentos de estatística costuma ser uma solução inicial. Para, em seguida, irmos subindo gradualmente na escala de necessidades até o ponto em que a pergunta “nós sabemos minimamente como este algoritmo que estamos implementando funciona e, principalmente, <strong>quais são suas limitações</strong>?” seja respondida com um sim. Afinal, todos os algoritmos têm limitações e é isso muitos tomadores de decisão tem dificuldade de entender. E quando estas não são conhecidas o mau uso destes modelos pode ter impacto devastador, análogo ao de armas de destruição, para emprestar o termo cunhado pela matemática e escritora Cathy O’Neill no livro “Weapons of Math Destruction”.</p><p><strong><em>Armas de destruição matemática</em></strong></p><p>Neste livro a autora lista 3 características para que um algoritmo seja caracterizado como um WMD (“weapon of math destruction”, ou seja, um algoritmo com elevado potencial danoso):</p><ol><li><strong>Opacidade </strong>— É sabido o que o está sendo modelado ou para o quê o modelo é usado?</li><li><strong>Dano</strong> — O modelo trabalha contra o interesse de alguma pessoa de maneira injusta? Em outras palavras, tem potencial de danificar ou destruir vidas?</li><li><strong>Escala</strong> — O modelo tem potencial de ser usado em larga escala, podendo afetar grande quantidade de pessoas?</li></ol><p>Além disso, é preciso lembrar que algoritmos e modelos são simplificações do mundo escritos em linguagem matemática. E por mais robustos que sejam, eles não capazes de capturar todas as nuances e complexidades daquilo que objetivam modelar. Além disso, algoritmos são treinados em dados do passado e se baseiam na suposição de que esses padrões irão se repetir. O que torna importante lembrar um mantra da ciência de dados: se entra lixo, sai lixo. Ou seja, qualidade dos dados importa muito.</p><p>Um exemplo de mau uso de algoritmos mencionado pela autora é o uso de modelos para prever onde crimes irão ocorrer pela polícia de uma pequena cidade da Pensilvânia, que por basear o modelo essencialmente na geografia, direcionava a polícia a aumentar a patrulha e ação em bairros pobres e com histórico de crimes menores como furto e roubo. Isso acabou criando um ciclo vicioso de policiais patrulhando e prendendo mais em bairros pobres, sem que as causas verdadeiras do porquê esses bairros eram sempre elencados pelo algoritmo fossem de fato endereçadas, como desigualdade social e atuação de facções criminosas. A geografia do bairro neste exemplo é um exemplo de variável “proxy”, que ilustra um outro perigo do mau uso de algoritmos. São variáveis que não explicam diretamente (isto é, não possuem relação de causalidade) o que se quer prever, mas que estão correlacionadas de alguma forma. Outros exemplos de mau uso incluem avaliação de professores de rede pública e bancos que usam modelos que classificam clientes para fornecer ou não crédito.</p><p>Em oposição aos WMDs, idealmente as 3 características de um bom modelo são:</p><ol><li><strong>Transparente</strong> —há acesso aberto e público aos dados e estrutura do modelo.</li><li><strong>Estatisticamente rigoroso</strong>— há um elevado volume de dados relevantes para o resultado do modelo.</li><li><strong>Constantemente atualizados</strong> — há um fluxo constante de dados atualizados a alimentar o modelo, tornando capaz de atualizá-lo facilmente para refletir as mudanças pelas quais passa o processo modelado.</li></ol><p><strong><em>Heurísticas e vieses</em></strong></p><p>Pode soar estranho eu querer aparentemente minimizar o real impacto ou raio de alcance que esses algoritmos tem ou focar no seu lado negativo, mas deixo claro de antemão: eu sou fascinado por essa área, dedicando parte do meu tempo livre para estudar e ler sobre este tema, além de trabalhar com isso. O que busco fazer aqui nada mais é do que clamar por um pouco mais de pé no chão. Os algoritmos são realmente poderosos, inclusive capazes de influenciar eleições e como as pessoas se comportam em sociedade e promover inúmeras facilidades para nosso dia a dia, como já foi documentado e demonstrado.</p><p>Mas ao mesmo tempo que um algoritmo de deep learning é capaz de categorizar com acurácia uma imagem minha — homem, branco, de meia idade, até pouco tempo atrás ele não faria o mesmo com uma pessoa negra — a resposta dada pelo algoritmo na verdade não seria nem de que se tratava de um humano e sim um macaco, como bem mostrou Joy Buolamwini em suas pesquisas, resumidas no documentário “Coded Bias”. E estamos falando de algoritmos desenvolvidos por gigantes como Google e IBM.</p><p>O fato é que os algoritmos são desenvolvidos por humanos, treinados em dados gerados por humanos e aplicados por humanos. E nosso processo de tomada de decisão é muitas vezes falho e enviesado, como mostrou Daniel Kahneman no livro “Rápido e Devagar” (compilado de anos de suas pesquisas com Amos Tversky). Cometemos sistematicamente duas grandes falhas: primeiro, agimos na maior parte do tempo guiados pelo nosso sistema emocional (ao invés do racional) — o que é explicado em termos genéticos: nossos instintos são direcionados à sobrevivência e à reprodução. Os poucos milhares de anos que nos separam do homem ancestral que precisava coletar e caçar para sobreviver é pouco em termos biológicos. Assim, ao se deparar com um animal quadrúpede e ameaçador nosso ancestral não iria parar para refletir se estava diante de uma espécie que estava afim de devorá-lo ou só estava inspecionando-o por curiosidade; e sim reagir de alguma forma instintiva como correr. Afinal, em um situação similar anterior nosso herói correu e sobreviveu. A associação feita pelo nosso cérebro é: se sobrevivi, foi porque corri, então irei correr de novo. Esse exemplo ajuda a ilustrar como nosso cérebro foi moldado ao longo de anos de evolução para fazer, involuntariamente, associações lineares de causalidade do tipo: se A ocorreu e o resultado visto foi B, logo A causou B. O que em nosso mundo atual simplesmente não é verdade em muitos casos.</p><p>Segundo, usamos heurísticas e cometemos erros de lógica ao avaliar situações que demandam raciocínio baseado em probabilidade. Kahneman e Tversky, mostraram que até mesmo estatísticos profissionais eram sujeitos ao mesmos vieses dos não especialistas. Um exemplo famoso de viés foi descrito através do “problema da Linda”. Os participantes recebiam a descrição de uma profissional: “<em>Linda tem 31 anos, é solteira, extrovertida e muito inteligente. Ela é formada em filosofia. Como estudante, ela era bastante preocupada com questões de discriminação e justiça social e também participou de demonstrações antinucleares</em>”. Em seguida, deveriam julgar a probabilidade de cada uma das seguintes alternativas: “<em>(A) Linda é ativista do movimento feminista; (B) Linda é caixa de banco; e (A&amp;B) Linda é caixa de banco e ativista do movimento feminista”</em> (Tversky &amp; Kahneman, 1983, p. 297). Foi observado que 85% dos participantes julgaram a opção A como mais provável que a A&amp;B e este como mais provável que a opção B. Isso viola um princípio fundamental da teoria de probabilidade, dado que é impossível a chance do evento A&amp;B — composto por 2 condições verdadeiras ao mesmo tempo — ser maior do que as probabilidades individuais que o compõe.</p><p>É comum ver o argumento de que algoritmos são baseados no rigor da matemática fundada em metodologia científica e não faz sentido pensar em vieses. Na verdade faz, quando lembrarmos que a grande questão está em como os resultados entregues serão interpretados e utilizados pelas pessoas, estas sim estão sujeitas a vieses e falibilidade. Portanto, os pilares “tecnologia” e “pessoas” não deveriam ser vistos como entidades separadas com planos de ação individuais, e sim como interdependentes.</p><p>Entender as limitações do uso de algoritmos, seja pelo aspecto técnico, seja pelo humano não significa minimizar seu potencial. Pelo contrário, significa ter mais transparência no grau de confiança no que podem entregar, além de nos proteger com relação a eventuais danos de seu mau uso, principalmente no que se refere a tomadas de decisões erradas pela crença enganosa de que são infalíveis.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a89f4c599fdf" width="1" height="1" alt=""><hr><p><a href="https://medium.com/zeroeum/por-uma-vis%C3%A3o-mais-realista-e-humanista-da-ci%C3%AAncia-de-dados-a89f4c599fdf">Por uma visão mais realista e humanista da ciência de dados</a> was originally published in <a href="https://medium.com/zeroeum">zeroeum</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Resenha do livro “Como mentir com estatística”]]></title>
            <link>https://medium.com/zeroeum/resenha-do-livro-como-mentir-com-estat%C3%ADstica-c1c63668da53?source=rss-4be638bb2d93------2</link>
            <guid isPermaLink="false">https://medium.com/p/c1c63668da53</guid>
            <category><![CDATA[estatistica]]></category>
            <category><![CDATA[livros]]></category>
            <category><![CDATA[ciencia-de-dados]]></category>
            <dc:creator><![CDATA[Lucas Maretti]]></dc:creator>
            <pubDate>Sat, 22 May 2021 21:27:40 GMT</pubDate>
            <atom:updated>2021-05-22T21:34:41.252Z</atom:updated>
            <content:encoded><![CDATA[<p><em>“O pensamento estatístico um dia será tão necessário para a cidadania eficiente quanto a capacidade de ler e escrever.” — H. G .Wells</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/687/1*M7YEJ0auRQUFANyoVJzsEQ.png" /></figure><p>Quando pensamos em livros que “passaram no teste do tempo” geralmente pensamos em grandes obras de ficção. Mas ao terminar de reler “Como mentir com estatística” de Darrel Huff cheguei à conclusão de que o mesmo pensamento é válido para livros de não ficção também. Ousaria até argumentar especulativamente que a importância da mensagem transmitida por ele hoje é maior na nossa sociedade do que em 1954, quando foi lançado.</p><p>É um livro que busquei acreditando que agregaria a mim como cientista de dados e terminei pensando que todo mundo deveria lê-lo como cidadão, a exemplo de outros livros como “Rápido e Devagar”, de Daniel Kahneman, e tantos outros ótimos nesta linha que fazem o leitor questionar a forma como interpreta o mundo através de descobertas científicas e mostrando-nos que, muitas vezes, a lente que usamos para enxergá-lo é turva e propondo-nos alternativas mais nítidas.</p><p>O mérito do livro está tanto na forma quanto no conteúdo. A forma se traduz em um livro leve, curto, com ótimas ilustrações de Irving Geis, que assina o livro como co-autor e é escrito com bom humor. Bom humor esse que se reflete de cara no título do livro, que não pretende de fato ensiná-lo a mentir e sim como nos defender das mentiras que nos cercam e que supostamente se alicerçam no uso da estatística. Citando a analogia do próprio autor: “Talvez eu possa justificá-lo [o livro] como faria um ladrão aposentado, cujas memórias publicadas equivalem a um curso de pós-graduação sobre como arrombar um cadeado e andar por aí sem ser notado: os trambiqueiros já conhecem esses truques; os homens honestos precisam aprendê-los para se defenderem”.</p><p>O autor aborda alguns dos principais usos incorretos de conceitos estatísticos a partir de exemplos em jornalismo, propaganda, pesquisas de opinião e científicas e que são resumidas no capítulo final com um passo a passo sugerido pelo autor de como se defender ao se deparar com tais estatísticas:</p><ol><li>Quem está falando?</li><li>Como ele sabe?</li><li>O que está faltando?</li><li>Alguém mudou de assunto?</li><li>Isso faz sentido?</li></ol><p>Sobre alguns dos conceitos que o livro aborda, o primeiro deles trata de amostragem. Idealmente quando vamos fazer algum tipo de pesquisa sobre uma população como, por exemplo, avaliar intenções de voto de políticos, é impossível entrevistar centenas de milhões de pessoas (no caso do Brasil) — o universo da pesquisa, em linguagem estatística. Então, o que é feito é uma amostragem da população. Essa amostragem precisa ser representativa da população no máximo de suas facetas possíveis, como raça, escolaridade, faixa etária, etc. Além disso deve ser aleatória para garantir o máximo possível ausência de vieses. Fica claro que é um processo extremamente custoso. Além disso a entrevista em si é sujeita a alguns vieses como a forma com que a pergunta é feita, entre outros. São em casos como esse que as perguntas “Quem está falando?” e “Como ele sabe?” tornam-se importantes. Citando o livro novamente: “Nenhuma conclusão de que ‘67% dos americanos são contra’ isso ou aquilo deve ser lida sem a pergunta persistente: 67% de quais americanos?”.</p><p>A estatística nos provê algumas métricas excelentes para condensar informações em um único número: média, desvio padrão, variância. Ao mesmo tempo isso pode ser bom e ruim, já que se usarmos uma única métrica para resumirmos uma massa de dados provavelmente estamos deixando algum tipo de informação de fora. Por exemplo, se reportarmos a média, podemos estar omitindo uma informação importante sobre o intervalo de confiança daquela média, o que pode ser de extrema importância quando da comparação de duas médias distintas, ou do desvio padrão, que pode nos indicar que a amostra tem alta variabilidade, no caso de ter elevado desvio padrão. Isso se relaciona com a terceira pergunta — “O que está faltando?”</p><p>Outros pontos explorados no livro são as visualizações que se valem de alterações na escala do gráfico para passar a impressão de grande variação nos dados, bem como do mantra constantemente (e sempre importante de) ser repetido de que “correlação não implica causa”, que servem de embasamento para as duas últimas perguntas da lista.</p><p>Todos esses temas são explorados no livro com exemplos do dia a dia, principalmente de jornais, revistas ou pesquisas de opinião. É um tema que se torna cada vez mais essencial, principalmente em uma era em que com informações e opiniões nos sendo bombardeadas o tempo todo via tweets, stories eposts de LinkedIn, torna-se fácil simplesmente tomar uma opinião como fato, quando na verdade a análise crítica do que vemos e lemos é mais essencial do que nunca.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c1c63668da53" width="1" height="1" alt=""><hr><p><a href="https://medium.com/zeroeum/resenha-do-livro-como-mentir-com-estat%C3%ADstica-c1c63668da53">Resenha do livro “Como mentir com estatística”</a> was originally published in <a href="https://medium.com/zeroeum">zeroeum</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>