<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Paulo Magno on Medium]]></title>
        <description><![CDATA[Stories by Paulo Magno on Medium]]></description>
        <link>https://medium.com/@paulinhomagno?source=rss-5b6a1d24d423------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*3o6g8joooijfM8k2cslBJg.jpeg</url>
            <title>Stories by Paulo Magno on Medium</title>
            <link>https://medium.com/@paulinhomagno?source=rss-5b6a1d24d423------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Thu, 19 Nov 2026 01:47:53 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@paulinhomagno/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Explorando Stored Procedures no MySQL]]></title>
            <link>https://medium.com/@paulinhomagno/explorando-stored-procedures-no-mysql-7aef0b7864a0?source=rss-5b6a1d24d423------2</link>
            <guid isPermaLink="false">https://medium.com/p/7aef0b7864a0</guid>
            <category><![CDATA[análise-de-dados]]></category>
            <category><![CDATA[sql]]></category>
            <category><![CDATA[banco-de-dados]]></category>
            <category><![CDATA[stored-procedure]]></category>
            <category><![CDATA[mysql]]></category>
            <dc:creator><![CDATA[Paulo Magno]]></dc:creator>
            <pubDate>Wed, 22 Jan 2025 14:19:47 GMT</pubDate>
            <atom:updated>2025-01-22T14:19:47.044Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/400/1*QJ60HLuL4dcvKByAaFnV9A.png" /></figure><p>Quando trabalhamos com bancos de dados, é comum repetirmos operações. Em vez de reescrever as mesmas consultas SQL várias vezes, por que não automatizar? É aí que entram as <em>Stored Procedures</em>. Aqui explico essa funcionalidade no MySQL com exemplos práticos.</p><h3>O que são Stored Procedures?</h3><p>Uma <em>Stored Procedure</em> é como um script armazenado no banco de dados. Ela contém um conjunto de instruções SQL que podem ser executadas repetidamente com apenas um comando. Pense nela como uma função em linguagens de programação, mas que roda diretamente no banco de dados.</p><h3>Por que usar Stored Procedures?</h3><p>Elas oferecem várias vantagens, como:</p><ul><li><strong>Reutilização de código</strong>: Escreva uma vez, use sempre que necessário.</li><li><strong>Redução de tráfego</strong>: Executa no servidor do banco, diminuindo a comunicação com a aplicação.</li><li><strong>Organização</strong>: Centraliza a lógica no banco, deixando o sistema mais organizado.</li><li><strong>Segurança</strong>: Permite restringir acessos a operações específicas.</li></ul><h3>Criando uma Stored Procedure no MySQL</h3><p>Vamos criar uma <em>Stored Procedure</em> que calcula o total de vendas por cliente em um banco de dados de exemplo.</p><h3>Estrutura básica:</h3><pre>DELIMITER //<br>CREATE PROCEDURE total_vendas_cliente (IN cliente_id INT, OUT total_vendas DECIMAL(10, 2))<br>BEGIN<br>    SELECT SUM(valor_total)<br>    INTO total_vendas<br>    FROM vendas<br>    WHERE cliente_id = cliente_id;<br>END //<br>DELIMITER ;</pre><h3>Explicando o código:</h3><ul><li>DELIMITER: Troca o delimitador padrão (;) para evitar conflitos durante a criação da procedure.</li><li>IN cliente_id: Declara um parâmetro de entrada.</li><li>OUT total_vendas: Declara um parâmetro de saída.</li><li>BEGIN … END: Define o bloco de instruções.</li><li>SELECT INTO: Atribui o resultado da soma ao parâmetro de saída.</li></ul><h3>Executando a Stored Procedure:</h3><p>Após criada, você pode executá-la assim:</p><pre>CALL total_vendas_cliente(1, @resultado);<br>SELECT @resultado;</pre><p>Aqui, passamos o cliente_id como parâmetro e armazenamos o resultado na variável @resultado.</p><h3>Outros exemplos práticos</h3><h3>Atualizar status de pedidos</h3><p>Se quisermos atualizar o status de pedidos antigos para “concluído”:</p><pre>DELIMITER //<br>CREATE PROCEDURE atualizar_status_pedidos (IN dias INT)<br>BEGIN<br>    UPDATE pedidos<br>    SET status = &#39;concluído&#39;<br>    WHERE DATEDIFF(CURDATE(), data_pedido) &gt; dias;<br>END //<br>DELIMITER ;</pre><p>Chamada:</p><pre>CALL atualizar_status_pedidos(30);</pre><h3>Gerar relatórios simplificados</h3><p>Uma procedure que retorna todos os pedidos de um cliente:</p><pre>DELIMITER //<br>CREATE PROCEDURE listar_pedidos_cliente (IN cliente_id INT)<br>BEGIN<br>    SELECT *<br>    FROM pedidos<br>    WHERE cliente_id = cliente_id;<br>END //<br>DELIMITER ;</pre><p>Chamada:</p><pre>CALL listar_pedidos_cliente(5);</pre><p>As stored procedures são ótimas ferramentas para centralizar a lógica no banco de dados, otimizando a performance e garantindo maior segurança nas operações. Elas simplificam processos repetitivos e reduzem a dependência do código da aplicação, tornando os sistemas eficiente. No entanto, é importante usá-las de forma criteriosa, considerando a complexidade das operações e o impacto na manutenção do sistema. Com um bom planejamento, as stored procedures podem se tornar grandes aliadas no desenvolvimento de soluções eficientes.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7aef0b7864a0" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[CTEs, Subqueries, Tabelas Temporárias e Views: Qual a Melhor Escolha?]]></title>
            <link>https://medium.com/@paulinhomagno/ctes-subqueries-tabelas-tempor%C3%A1rias-e-views-qual-a-melhor-escolha-483abddb8286?source=rss-5b6a1d24d423------2</link>
            <guid isPermaLink="false">https://medium.com/p/483abddb8286</guid>
            <category><![CDATA[banco-de-dados]]></category>
            <category><![CDATA[análise-de-dados]]></category>
            <category><![CDATA[sql]]></category>
            <category><![CDATA[mysql]]></category>
            <dc:creator><![CDATA[Paulo Magno]]></dc:creator>
            <pubDate>Mon, 30 Dec 2024 13:43:08 GMT</pubDate>
            <atom:updated>2024-12-30T13:43:08.923Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/500/1*SMenBNt8qxloTX1BISxeDQ.jpeg" /></figure><p>Ao trabalhar com SQL, é comum nos depararmos com diferentes abordagens para manipulação e análise de dados, como <strong>CTEs</strong>, <strong>subqueries</strong>, <strong>tabelas temporárias</strong> e <strong>views</strong>. Embora essas ferramentas possam, a princípio, resolver problemas semelhantes, cada uma possui características específicas que influenciam sua eficiência e utilidade em diferentes cenários.</p><p>Neste artigo, exploraremos as diferenças entre elas, como utilizar cada uma no MySQL e os casos de uso mais adequados para cada abordagem, auxiliando na escolha certa para o seu projeto.</p><h4><strong>CTEs (Common Table Expressions)</strong></h4><ul><li><strong>O que são:</strong> São tabelas temporárias definidas dentro de uma consulta SQL, utilizadas para armazenar resultados intermediários.</li><li><strong>Armazenamento:</strong> Geralmente armazenadas em memória durante a execução da consulta.</li><li><strong>Processamento:</strong> São processadas junto com a consulta principal.</li></ul><p><strong>Sintaxe MySQL:</strong></p><pre>WITH nome_cte AS (<br>    SELECT coluna1, coluna2<br>    FROM tabela<br>    WHERE condição<br>)<br>SELECT * FROM nome_cte;</pre><p><strong>Melhores aplicações:</strong></p><ul><li>Consultas complexas: Facilitam a divisão de consultas complexas em partes menores e mais gerenciáveis.</li><li>Recursão: Ideais para consultas recursivas, como encontrar hierarquias em dados.</li><li>Reutilização de resultados: Permitem reutilizar resultados intermediários em diferentes partes da consulta.</li></ul><h4><strong>Subqueries</strong></h4><ul><li><strong>O que são:</strong> São consultas dentro de outras consultas, utilizadas para filtrar dados, calcular valores agregados ou comparar valores de diferentes linhas.</li><li><strong>Armazenamento:</strong> Geralmente não são armazenadas explicitamente, mas seus resultados são calculados durante a execução da consulta principal.</li><li><strong>Processamento:</strong> São processadas junto com a consulta principal.</li></ul><p><strong>Sintaxe MySQL:</strong></p><pre>SELECT coluna1<br>FROM tabela<br>WHERE coluna2 IN (SELECT coluna2 FROM outra_tabela);</pre><p><strong>Melhores aplicações:</strong></p><ul><li>Filtragem de dados: Permitir filtrar dados com base em condições complexas.</li><li>Cálculos agregados: Calcular valores como soma, média, contagem e usá-los em outras partes da consulta.</li><li>Comparação de valores: Comparar valores de diferentes linhas.</li></ul><h4><strong>Tabelas Temporárias</strong></h4><ul><li><strong>O que são:</strong> Tabelas físicas, criadas temporariamente no banco de dados, para armazenar resultados intermediários ou dados que serão utilizados em várias consultas.</li><li><strong>Armazenamento:</strong> Armazenadas no banco de dados.</li><li><strong>Processamento:</strong> Podem ser processadas de forma independente ou em conjunto com outras consultas.</li></ul><p><strong>Sintaxe MySQL:</strong></p><pre>CREATE TEMPORARY TABLE nome_tabela (<br>    coluna1 int,<br>    coluna2 varchar(50));</pre><p><strong>Melhores aplicações:</strong></p><ul><li>Grandes conjuntos de dados: Ideais para armazenar grandes volumes de dados por um período mais longo.</li><li>Múltiplas consultas: Permitem reutilizar os mesmos dados em várias consultas diferentes.</li><li>Complexidade da consulta: Podem simplificar consultas complexas, dividindo-as em partes menores.</li></ul><h4><strong>Views</strong></h4><ul><li><strong>O que são:</strong> Tabelas virtuais que são definidas por uma consulta SQL.</li><li><strong>Armazenamento:</strong> A definição da view é armazenada no banco de dados, mas os dados não são materializados até que a view seja consultada.</li><li><strong>Processamento:</strong> A consulta é recalculada toda vez que acessada, garantindo dados atualizados, mas podem ter impacto no desempenho dependendo da consulta dentro da view</li></ul><p><strong>Sintaxe MySQL:</strong></p><pre>CREATE VIEW nome_view AS<br>SELECT coluna1, coluna2<br>FROM tabela<br>WHERE condição;</pre><p><strong>Melhores aplicações:</strong></p><ul><li>Abstração de dados: Escondem a complexidade de consultas subjacentes.</li><li>Segurança: Podem ser utilizadas para controlar o acesso a dados.</li><li>Reutilização de consultas: Permitem reutilizar consultas complexas.</li></ul><h4><strong>Quando usar cada uma?</strong></h4><ul><li><strong>CTEs:</strong> Ideais para consultas complexas, recursivas e quando você precisa reutilizar resultados intermediários dentro de uma única consulta.</li><li><strong>Subqueries:</strong> Perfeitas para filtrar dados, calcular valores agregados e comparar valores de diferentes linhas.</li><li><strong>Tabelas temporárias:</strong> Ótimas para grandes conjuntos de dados, múltiplas consultas e quando você precisa de mais controle sobre os dados intermediários.</li><li><strong>Views:</strong> Ideais para abstrair dados, controlar o acesso e reutilizar consultas complexas.</li></ul><p>A escolha entre CTEs, subqueries, tabelas temporárias e views depende de diversos fatores, como a complexidade da consulta, o volume de dados, a necessidade de reutilização dos resultados e o nível de controle que você precisa sobre os dados intermediários. Ao entender as características e as melhores aplicações de cada uma dessas ferramentas, você poderá tomar decisões mais informadas e otimizar suas consultas SQL.</p><p>E deve-se considerar que a prática é fundamental. Experimente diferentes abordagens e analise os resultados para encontrar a melhor solução para cada caso.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=483abddb8286" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[PySpark: Transformação de Dados em Grande Escala]]></title>
            <link>https://medium.com/@paulinhomagno/pyspark-transforma%C3%A7%C3%A3o-de-dados-em-grande-escala-25c95b790514?source=rss-5b6a1d24d423------2</link>
            <guid isPermaLink="false">https://medium.com/p/25c95b790514</guid>
            <category><![CDATA[análise-de-dados]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[spark]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[pyspark]]></category>
            <dc:creator><![CDATA[Paulo Magno]]></dc:creator>
            <pubDate>Thu, 19 Dec 2024 20:07:09 GMT</pubDate>
            <atom:updated>2024-12-19T20:07:09.896Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wDEi5sAwEqcXnE3skgVHzg.jpeg" /></figure><h3>O que é PySpark?</h3><p>O PySpark é a interface em Python para o Apache Spark, uma poderosa ferramenta de processamento distribuído para Big Data. Ele combina a escalabilidade do Spark com a simplicidade do Python, permitindo manipular grandes volumes de dados com facilidade.</p><h4>Por que usar PySpark?</h4><p>Diferente de ferramentas como Pandas ou SQL, o PySpark é projetado para lidar com dados em ambientes distribuídos, oferecendo:</p><ul><li><strong>Escalabilidade:</strong> Lida com terabytes de dados.</li><li><strong>Velocidade:</strong> Processamento em paralelo.</li><li><strong>Flexibilidade:</strong> Suporte a DataFrames e integração com ferramentas de Machine Learning.</li></ul><h3>Conceitos Fundamentais</h3><h4><strong>RDDs (Resilient Distributed Datasets)</strong></h4><p>Os RDDs (Resilient Distributed Datasets) são a base do Spark, projetados para armazenar dados de forma distribuída e realizar operações em grandes volumes. Eles oferecem grande flexibilidade e controle, permitindo executar uma ampla gama de transformações como <em>map</em>, <em>filter</em> e <em>reduce</em>. Sua principal vantagem é o suporte a dados não estruturados, como arquivos de texto ou logs, sem necessidade de esquema definido. No entanto, essa flexibilidade exige maior detalhamento na programação, tornando as operações mais complexas e menos automatizadas em comparação com APIs de nível superior, como DataFrames.</p><h4><strong>DataFrames</strong></h4><p>Os DataFrames são uma abstração de alto nível no PySpark, projetados para facilitar o trabalho com dados tabulares em grandes volumes e ambientes distribuídos. Semelhantes ao Pandas, mas otimizados para escalabilidade, eles utilizam um esquema definido, especificando tipos de dados para cada coluna. Além de tornar o código mais conciso e legível, os DataFrames aproveitam o <a href="https://www.databricks.com/glossary/catalyst-optimizer"><em>Catalyst Optimizer</em> </a>para melhorias automáticas de desempenho. Ideais para trabalhar com formatos como CSV, JSON ou bancos de dados relacionais, são excelentes para exploração interativa e manipulação eficiente de dados.</p><h4>Principais diferenças entre RDD e Dataframe:</h4><h4>RDD</h4><ul><li><strong>Flexibilidade:</strong> Suporta operações avançadas e qualquer tipo de dado.</li><li><strong>Desempenho:</strong> Menos eficiente devido à ausência de otimizações específicas.</li><li><strong>Facilidade:</strong> Exige mais codificação e menor integração com SQL.</li></ul><h4>DataFrame</h4><ul><li><strong>Eficiência:</strong> Otimizado pelo Catalyst (motor de consulta do Spark).</li><li><strong>Facilidade:</strong> Possui API simplificada e suporte direto para SQL e integração com MLlib.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/473/1*j2I3bI9qIxHEZI4saOOh-A.png" /></figure><h3>SparkContext</h3><p>O <strong>SparkContext</strong> é o ponto de entrada para qualquer aplicação Spark. Ele representa a conexão com um cluster Spark e é responsável por:</p><ul><li><strong>Criar RDDs:</strong> É através do SparkContext que você inicia a criação de RDDs (Resilient Distributed Datasets), a unidade básica de computação no Spark. Você pode carregar dados de diversos formatos (CSV, Parquet, etc.) ou criar RDDs a partir de coleções existentes.</li><li><strong>Gerenciar o cluster:</strong> O SparkContext se comunica com o gerenciador de cluster (como YARN ou Spark Standalone) para alocar recursos e coordenar a execução das tarefas.</li><li><strong>Configurar a aplicação:</strong> Permite configurar diversas propriedades da aplicação, como o número de partições, o nível de log, etc.</li></ul><p>Ao criar um SparkContext, você passa uma série de argumentos que configuram o ambiente de execução da sua aplicação, como o nome da aplicação, o modo de execução (local, cluster), e outras opções.</p><p><strong>Argumentos Comuns:</strong></p><p><strong>appName:</strong> Um nome amigável para a sua aplicação. Ele é usado para identificar a aplicação no gerenciador de recursos.</p><p><strong>master:</strong> Especifica o modo de execução. As opções mais comuns são:</p><ul><li><strong>local:</strong> Executa a aplicação em modo local, em um único processo.</li><li><strong>yarn:</strong> Executa a aplicação em um cluster YARN.</li></ul><p>Existem muitos outros que podem ser utilizados para configurar o SparkContext, mas aqui não é o objetivo. Mas, é interessante o seu estudo para otimizar o desempenho e gerenciar melhor os recursos.</p><p>Exemplo de código:</p><p><em>O método parallelize é uma forma comum e direta de criar um RDD (Resilient Distributed Dataset) a partir de uma coleção local.</em></p><pre>from pyspark import SparkContext<br><br>sc = SparkContext(master=&quot;local&quot;, appName=&quot;Minha primeira aplicação Spark&quot;)<br>rdd= sc.parallelize([1, 2, 3, 4])</pre><h3>SparkSession</h3><p>O SparkSession é o ponto de entrada principal para interagir com o Apache Spark a partir da versão 2.0. Ele unifica as funcionalidades anteriormente dispersas em diferentes contextos (como SparkContext, SQLContext e HiveContext), proporcionando uma interface única e mais intuitiva para trabalhar com dados estruturados e não estruturados.</p><p><strong>O que ele faz?</strong></p><ul><li><strong>Criação de DataFrames e Datasets:</strong> O SparkSession é o ponto de partida para criar DataFrames e Datasets, que são as estruturas de dados principais utilizadas no Spark para representar dados tabulares e distribuídos.</li><li><strong>Execução de consultas SQL:</strong> Permite executar consultas SQL de forma eficiente sobre seus dados, utilizando o motor SQL do Spark.</li><li><strong>Acesso a metadados:</strong> Oferece um catálogo para gerenciar metadados e tabelas, facilitando a organização dos seus dados.</li><li><strong>Integração com outras ferramentas:</strong> Permite a integração com outras ferramentas do ecossistema Spark, como o Spark Streaming e o MLlib.</li></ul><p><strong>Por que usar SparkSession?</strong></p><ul><li><strong>Simplificação:</strong> Unifica as funcionalidades em uma única interface, facilitando o uso.</li><li><strong>Performance:</strong> Beneficia das otimizações do Catalyst Optimizer, que melhora o desempenho das consultas SQL.</li><li><strong>Flexibilidade:</strong> Permite trabalhar com diferentes tipos de dados e formatos de arquivos.</li><li><strong>Extensibilidade:</strong> Pode ser customizado para atender a necessidades específicas.</li></ul><p>Assim, como o SparkContext, ao criar um SparkSession, você pode passar uma série de argumentos para configurar o ambiente de execução da sua aplicação. Esses argumentos permitem personalizar a sessão de acordo com as suas necessidades específicas, como o modo de execução, os recursos a serem utilizados e outras opções.</p><p>A princípio alguns argumentos são semelhantes ao do SparkContext, o que podemos notar no exemplo abaixo, mas, há muitos outros específicos para o SparkSession.</p><p>Exemplo:</p><pre>from pyspark.sql import SparkSession<br><br>spark = SparkSession \<br>    .builder \<br>    .appName(&quot;MinhaAplicacaoSpark&quot;) \<br>    .master(&quot;local&quot;) \<br>    .getOrCreate()</pre><h4>SparkContext x SparkSession</h4><p>A <strong>SparkContext</strong> é o núcleo da execução no Apache Spark, sendo usada para configurar e gerenciar a aplicação distribuída. É necessária para operações básicas, como criar RDDs.</p><p>A <strong>SparkSession</strong>, conforme já dito, introduzida no Spark 2.0, unifica funcionalidades do SparkContext, SQLContext, HiveContext e StreamingContext. É uma interface de mais alto nível que simplifica o código e é recomendada para novas aplicações, suportando DataFrames, SQL e outras APIs.</p><p>Resumindo, SparkSession é mais moderno e versátil, enquanto SparkContext é a base tradicional para operações no Spark.</p><h3>Principais Funções de Transformação no PySpark</h3><h4>map()</h4><p>Aplica uma função a cada elemento de um RDD, transformando os dados em um novo formato.</p><p><strong>Exemplo:</strong> Gerar números ao quadrado.</p><pre>data = spark.sparkContext.parallelize([1, 2, 3, 4])<br>squared_data = data.map(lambda x: x**2)</pre><h4>filter()</h4><p>Filtra linhas de um DataFrame com base em uma condição.</p><p><strong>Exemplo:</strong> Selecionar pessoas com mais de 18 anos.</p><pre>data = [(1, &quot;João&quot;, 15), (2, &quot;Ana&quot;, 22), (3, &quot;Pedro&quot;, 18)]<br>df = spark.createDataFrame(data, [&quot;id&quot;, &quot;nome&quot;, &quot;idade&quot;])<br>adultos = df.filter(df.idade &gt; 18)</pre><h4>flatMap()</h4><p>Expande os elementos de uma coluna em várias partes.</p><p><strong>Exemplo:</strong> Separar frases em palavras.</p><pre>data = spark.sparkContext.parallelize([&quot;PySpark é incrível&quot;, &quot;Adoro ciência de dados&quot;])<br>words = data.flatMap(lambda frase: frase.split(&quot; &quot;))<br>print(words.collect())  </pre><p>Saída:</p><pre>[&#39;PySpark&#39;, &#39;é&#39;, &#39;incrível&#39;, &#39;Adoro&#39;, &#39;ciência&#39;, &#39;de&#39;, &#39;dados&#39;]</pre><h4>groupBy()</h4><p>Agrupa os dados por uma chave comum.</p><p><strong>Exemplo:</strong> Agrupar por curso e contar o número de alunos.</p><pre>data = [(1, &quot;Ana&quot;, &quot;Engenharia&quot;), (2, &quot;Pedro&quot;, &quot;Matemática&quot;), (3, &quot;João&quot;, &quot;Engenharia&quot;)]<br>df = spark.createDataFrame(data, [&quot;id&quot;, &quot;nome&quot;, &quot;curso&quot;])<br>agrupado = df.groupBy(&quot;curso&quot;).count()<br>agrupado.show()</pre><p>Saída:</p><pre>+-----------+-----+<br>|      curso|count|<br>+-----------+-----+<br>| Matemática|    1|<br>|Engenharia |    2|<br>+-----------+-----+</pre><h4>join()</h4><p>Realiza uma junção entre dois DataFrames.</p><p><strong>Exemplo:</strong> Unir clientes e vendas.</p><pre>clientes = [(1, &quot;Ana&quot;), (2, &quot;Pedro&quot;)]<br>vendas = [(1, 5000), (2, 3000)]<br>df_clientes = spark.createDataFrame(clientes, [&quot;id&quot;, &quot;nome&quot;])<br>df_vendas = spark.createDataFrame(vendas, [&quot;id&quot;, &quot;valor&quot;])<br><br>resultado = df_clientes.join(df_vendas, on=&quot;id&quot;, how=&quot;inner&quot;)<br>resultado.show()</pre><p>Saída:</p><pre>+---+-----+-----+<br> | id| nome|valor|<br> +---+-----+-----+<br> |  1|  Ana| 5000|<br> |  2|Pedro| 3000|<br> +---+-----+-----+</pre><h4>union()</h4><p>Combina dois DataFrames com o mesmo esquema.</p><p><strong>Exemplo:</strong> Unir dados de períodos diferentes.</p><pre>dados1 = [(1, &quot;João&quot;, 20), (2, &quot;Ana&quot;, 25)]<br>dados2 = [(3, &quot;Pedro&quot;, 30), (4, &quot;Maria&quot;, 35)]<br>df1 = spark.createDataFrame(dados1, [&quot;id&quot;, &quot;nome&quot;, &quot;idade&quot;])<br>df2 = spark.createDataFrame(dados2, [&quot;id&quot;, &quot;nome&quot;, &quot;idade&quot;])<br><br>unido = df1.union(df2)<br>unido.show()</pre><p>Saída:</p><pre>+---+-----+-----+<br> | id| nome|idade|<br> +---+-----+-----+<br> |  1| João|   20|<br> |  2|  Ana|   25|<br> |  3|Pedro|   30|<br> |  4|Maria|   35|<br> +---+-----+-----+</pre><h4>withColumn()</h4><p>Adiciona ou modifica colunas de um DataFrame.</p><p><strong>Exemplo:</strong> Criar uma coluna com o dobro da idade.</p><pre>from pyspark.sql.functions import col<br><br>df = spark.createDataFrame([(1, &quot;João&quot;, 20), (2, &quot;Ana&quot;, 25)], [&quot;id&quot;, &quot;nome&quot;, &quot;idade&quot;])<br>novo_df = df.withColumn(&quot;idade_dobro&quot;, col(&quot;idade&quot;) * 2)<br>novo_df.show()</pre><p>Saída:</p><pre>+---+----+-----+-----------+<br> | id|nome|idade|idade_dobro|<br> +---+----+-----+-----------+<br> |  1|João|   20|         40|<br> |  2| Ana|   25|         50|<br> +---+----+-----+-----------+</pre><p>O PySpark é uma ferramenta essencial para o processamento de grandes volumes de dados, oferecendo escalabilidade, desempenho e flexibilidade incomparáveis. Com sua sintaxe inspirada em Python e a capacidade de lidar com diversos formatos de dados, o PySpark simplifica a análise de dados complexos, desde a coleta até a geração de insights acionáveis. Ao integrar-se perfeitamente com outras tecnologias de big data, o PySpark se torna a escolha ideal para empresas que buscam extrair valor máximo de seus dados e impulsionar a tomada de decisões baseada em dados.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=25c95b790514" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[O Que realmente são insights e como extraí-los dos dados?]]></title>
            <link>https://medium.com/@paulinhomagno/o-que-realmente-s%C3%A3o-insights-e-como-extra%C3%AD-los-dos-dados-30db6c9d3f0d?source=rss-5b6a1d24d423------2</link>
            <guid isPermaLink="false">https://medium.com/p/30db6c9d3f0d</guid>
            <category><![CDATA[estatistica]]></category>
            <category><![CDATA[análise-de-dados]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Paulo Magno]]></dc:creator>
            <pubDate>Mon, 09 Dec 2024 16:56:32 GMT</pubDate>
            <atom:updated>2024-12-09T17:04:08.402Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*P0Uq4xipfsGlDwr2nOG9_w.png" /></figure><p>Insights são descobertas valiosas extraídas de dados que ajudam a responder perguntas, identificar tendências e orientar a tomada de decisões estratégicas. Eles não são apenas números ou tabelas, mas informações acionáveis que agregam valor a negócios.</p><h3>Por que são importantes?</h3><p>Insights transformam dados brutos em conhecimento, guiam as decisões, seja para lançar um novo produto, otimizar uma campanha de marketing, entender melhor as necessidades e desejos dos clientes, ou melhorar um processo interno.</p><h3>Como extrair valor dos dados?</h3><p>Converter dados em insights é um processo e requer o uso de técnicas analíticas e ferramentas. Vamos explorar algumas práticas fundamentais.</p><h3>Objetivo</h3><p>Definir um objetivo de forma clara antes de iniciar a análise de dados é fundamental para garantir que os insights obtidos sejam relevantes para a tomada de decisão. Ao saber o que se busca, é possível escolher as métricas, estratégias, melhores caminhos e ferramentas, para que os insights gerados sejam diretamente relacionados ao problema em questão. E uma boa forma de se fazer isto é por uma pergunta, que orientará todo o processo. Exemplos de perguntas :</p><ul><li>“Quais produtos têm melhor desempenho?”</li><li>“Quais campanhas de marketing geram maior ROI?”</li><li>“A região X gera mais receita a Y? Por quê?”</li><li>“Por que a região X apresenta menor retenção de clientes?”</li></ul><h3>Limpeza dos dados</h3><p>A limpeza e preparação de dados são etapas cruciais antes de iniciar qualquer análise. Sem isto é como construir uma casa sobre uma fundação frágil: a estrutura toda estará comprometida. Da mesma forma, uma análise baseada em dados não tratados ou incompletos levará a decisões equivocadas.</p><p>Principais atividades nesta etapa:</p><ul><li>Identificação e correção de erros de digitação e outliers.</li><li>Dados em formatos adequados para facilitar a análise</li><li>Tratar valores nulos.</li><li>Remover duplicatas.</li><li>Verificar necessidade de normalização dos dados para que estejam em uma escala comum.</li><li>Combinar dados de fontes diferentes para criar um conjunto de dados mais completo.</li></ul><p>Alguns problemas que a limpeza de dados ajuda a resolver:</p><ul><li><strong>Dados duplicados:</strong> Contagem incorreta de clientes ou vendas.</li><li><strong>Valores ausentes:</strong> Análise com viés.</li><li><strong>Formatos inconsistentes:</strong> Dificuldade em realizar cálculos e comparações.</li><li><strong>Outliers:</strong> Distorção de resultados.</li></ul><p>A limpeza e preparação de dados é um processo fundamental para garantir a qualidade e a confiabilidade das suas análises. Não à toa, esta é a etapa onde analistas e cientista de dados mais investem tempo em suas atividades, pois assim, garantem mais assertividade nas tomadas de decisões.</p><h3>Análise Descritiva</h3><p>Em termos simples, a análise descritiva é o processo de resumir e descrever um conjunto de dados. Ela utiliza medidas estatísticas para apresentar os principais características e tendências dos dados.</p><p><strong>Principais técnicas da análise descritiva:</strong></p><ul><li><strong>Medidas de tendência central:</strong> Média, mediana e moda.</li><li><strong>Medidas de dispersão:</strong> Variância, desvio padrão e amplitude.</li><li><strong>Tabelas de frequência:</strong> Distribuição das categorias ou valores de uma variável.</li></ul><p>Em uma análise de vendas de uma loja online, por exemplo, a análise descritiva poderia te ajudar a responder perguntas como:</p><ul><li>Qual foi a média de vendas por mês no último ano?</li><li>Qual foi o produto mais vendido?</li><li>Qual foi o valor máximo e mínimo de uma compra?</li><li>Qual é a distribuição das faixas etárias dos nossos clientes?</li></ul><p>A análise descritiva é o primeiro passo para transformar dados em insights. Ela fornece uma base sólida para entender e explorar os seus dados.</p><h3>Visualizações de Dados</h3><p>A visualização de dados é a arte de representar informações de forma gráfica, tornando-as mais fáceis de entender e interpretar. É transformar números em histórias visuais que podem revelam padrões, tendências e insights que, muitas vezes, passariam despercebidos se observássemos apenas números e cálculos.</p><p><strong>Tipos mais comuns de visualizações:</strong></p><ul><li><strong>Gráficos de linha:</strong> Ideais para mostrar tendências ao longo do tempo.</li><li><strong>Gráficos de barras ou rosca:</strong> Comparar categorias ou grupos.</li><li><strong>Gráficos de pizza:</strong> Mostrar a composição de um todo.</li><li><strong>Gráficos de dispersão:</strong> Relacionar duas variáveis numéricas.</li><li><strong>Mapas:</strong> Visualizar dados geográficos.</li><li><strong>Infográficos:</strong> Combinar diversos elementos visuais para contar uma história.</li></ul><p>No exemplo de vendas de uma loja online. Um gráfico de linha poderia mostrar as vendas ao longo dos meses, um gráfico de barras poderia comparar as vendas por categoria de produto e um mapa poderia mostrar as regiões com maior concentração de clientes.</p><p><em>Esta etapa faz parte da análise descritiva, foi colocada à parte, pois como vimos é muito importante para encontrar insights.</em></p><h3><strong>Machine Learning</strong></h3><p><strong>Machine learning</strong> ou aprendizado de máquina é uma área da inteligência artificial que permite que sistemas aprendam com dados, identificando padrões e tomando decisões com mínima intervenção humana. Essa capacidade de “aprender” torna o machine learning uma ferramenta poderosa para descobrir insights profundos e valiosos em grandes conjuntos de dados.</p><p><strong>Machine learning para insights:</strong></p><ul><li><strong>Aprendizagem supervisionada:</strong> O modelo é treinado com dados rotulados (ex: dados de clientes com informações sobre compras e se eles realizaram ou não uma compra subsequente). O modelo aprende a mapear as características dos dados de entrada para um resultado específico (por exemplo, prever se um novo cliente fará uma compra).</li><li><strong>Aprendizagem não supervisionada:</strong> O modelo busca padrões nos dados sem a necessidade de rótulos pré-definidos. Isso é útil para descobrir grupos de clientes semelhantes ou identificar anomalias em dados.</li><li><strong>Aprendizagem por reforço:</strong> O modelo aprende através de interação com um ambiente, recebendo recompensas ou punições por suas ações. É utilizado em aplicações como jogos e robótica.</li></ul><p><strong>Exemplos de aplicação:</strong></p><ul><li>Recomendação de produtos: Plataformas de e-commerce utilizam machine learning para recomendar produtos aos clientes com base em seus históricos de compras e preferências.</li><li>Segmentação de clientes: Permite que as empresas dividam sua base de clientes em grupos menores, com características e comportamentos semelhantes.</li><li>Detecção de fraudes: Bancos e empresas de cartão de crédito utilizam machine learning para identificar transações fraudulentas.</li><li>Previsão de demanda: Empresas de varejo utilizam machine learning para prever a demanda por produtos, otimizando a gestão de estoque.</li><li>Análise de sentimentos: Analisar opiniões de clientes em redes sociais para entender a percepção da marca.</li></ul><p><strong>Desafios:</strong></p><ul><li>Qualidade dos dados: A qualidade dos dados utilizados para treinar os modelos é fundamental para a obtenção de resultados precisos.</li><li>Interpretabilidade: Alguns modelos, como as redes neurais profundas, podem ser difíceis de interpretar, dificultando a compreensão de como eles chegaram a determinada conclusão.</li><li>Viés: Os modelos podem apresentar vieses presentes nos dados de treinamento, levando a resultados discriminatórios.</li></ul><p>O machine learning é uma ferramenta poderosa para extrair insights valiosos de grandes volumes de dados, encontrar padrões e tendências que até visualmente não é possível. Assim, se constata o grande valor que a Matemática e a Estatística podem trazer para os negócios.</p><h3>Conclusão</h3><p>A extração de insights é uma jornada que transforma dados brutos em conhecimento estratégico. Ao realizar as etapas comentadas, as empresas podem desvendar padrões ocultos, tomar decisões mais assertivas e gerando valor para o negócio.</p><p>No entanto, é fundamental lembrar que a análise de dados é um processo contínuo. A medida que os negócios evoluem e os dados se acumulam, é preciso reavaliar e atualizar as análises para garantir que os insights sempre permaneçam relevantes.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=30db6c9d3f0d" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Desvendando a Binary Cross-Entropy com Teoria da Informação]]></title>
            <link>https://medium.com/@paulinhomagno/desvendando-a-binary-cross-entropy-com-teoria-da-informa%C3%A7%C3%A3o-cd116afc57de?source=rss-5b6a1d24d423------2</link>
            <guid isPermaLink="false">https://medium.com/p/cd116afc57de</guid>
            <category><![CDATA[binary-crossentropy]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[log-loss]]></category>
            <category><![CDATA[regressão-logística]]></category>
            <category><![CDATA[entropia]]></category>
            <dc:creator><![CDATA[Paulo Magno]]></dc:creator>
            <pubDate>Tue, 03 Dec 2024 17:47:58 GMT</pubDate>
            <atom:updated>2024-12-03T17:48:24.936Z</atom:updated>
            <content:encoded><![CDATA[<p><strong>A Binary Cross Entropy (BCE, entropia cruzada binária, ou logloss)</strong> é uma função de custo muito utilizada em aprendizado de máquina para avaliar o desempenho de modelos de classificação binária. Ela quantifica a diferença entre a distribuição de probabilidade prevista pelo modelo e a distribuição real dos dados.</p><p>Mas, antes de entendê-la um pouco mais, vamos ao campo da teoria da informação que possui conceitos importantes que estão dentro da BCE.</p><p>A teoria da informação é um campo fascinante que estuda como medir e transmitir informações de forma eficiente. Os conceitos centrais nesse campo é a <strong>informação </strong>e <strong>entropia.</strong></p><h3>O Conceito de Informação</h3><p>A base da teoria da informação começa com uma pergunta simples: quanto sabemos sobre um evento que ocorre? Se algo é completamente previsível, como o sol nascer, temos pouca “informação nova”. Porém, se algo é improvável, como ganhar na loteria, sua ocorrência carrega mais “informação”. Ou seja, a informação quantifica a surpresa/incerteza de um evento. Eventos de alta probabilidade são menos surpreendentes, tendo menor quantidade de informação, o contrário de eventos de baixa probabilidade.</p><p>Podemos generalizar essa ideia com a fórmula:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/224/1*K0D0_slcJ-ZqeGL47lus5A.png" /></figure><p>Onde:</p><ul><li>I(x): quantidade de informação associada ao evento x,</li><li>p(x): probabilidade do evento.</li></ul><p><em>Obs.: O sinal de menos é necessário porque p(x), a probabilidade de um evento, está sempre entre 0 e 1 (0 &lt; p(x) ≤1 ). O logaritmo de um número entre 0 e 1 é negativo</em><strong><em>,</em></strong><em> multiplicando-o por −1 torna o resultado positivo.</em></p><p><strong>Exemplo</strong>:<br>Se a chance de chover hoje é de 25% (p(x)=0.25), a informação ao observar que realmente choveu é:</p><p>I(chuva)= −log⁡2(0.25) = 2 bits.</p><p>Os bits medem a quantidade de incerteza resolvida ao observar um evento. Quanto mais improvável um evento, mais bits de informação ele contém. No exemplo, significa que a ocorrência de chuva hoje carrega 2 bits de novidade ou incerteza resolvida.</p><h3>Entropia</h3><p>Enquanto a informação trata de eventos individuais, a <strong>entropia</strong> quantifica a incerteza em todo o sistema. Quanto maior a incerteza, maior a entropia. A fórmula é:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/404/1*9gQMAGvpvjvcSxlhdWWwSA.png" /></figure><p><em>Obs.: A entropia na teoria da informação é representada pela letra H como uma abreviação de “Hedon”, um termo que Claude Shannon, o criador da teoria da informação, utilizou para se referir ao conteúdo informacional ou incerteza de um sistema. O uso da letra </em><strong><em>H</em></strong><em> também é uma convenção comum em física e matemática, representando funções relacionadas a energia, entropia e incerteza.</em></p><p>A informação mede um evento com uma probabilidade, por exemplo: cara 50%, chuva 25%. A entropia mede a incerteza de uma distribuição de probabilidade: cara 50% e coroa 50%; chuva 25%, nublado 35% e ensolarado 40%.</p><ul><li><strong>Exemplo:</strong> Uma moeda honesta tem maior entropia do que uma moeda viciada que sempre cai na cara. A moeda honesta apresenta mais incerteza sobre o resultado de um lançamento.</li></ul><p>Vamos verificar a entropia de uma moeda honesta (p(cara) = p(coroa) = 0.5):</p><p>H = −(0.5 * log(​0.5) + 0.5 * log​(0.5)) = 1 bit.</p><p>A entropia de uma moeda viciada (p(cara) = 0.75 e p(coroa) = 0.25):</p><p>H = −(0.75 * log(​0.75) + 0.25 * log​(0.25)) = 0.8113 bit.</p><p>A entropia na moeda viciada é menor do que a de uma moeda honesta, pois a probabilidade de sair cara é maior, diminuindo a surpresa ao obter esse resultado.</p><h3><strong>Entropia Cruzada (Cross Entropy)</strong></h3><p>A <strong>entropia cruzada </strong>surge ao comparar duas distribuições de probabilidade em um mesmo conjunto de eventos: a real (p(x)) e a prevista (q(x)). O resultado dela significa o quão “distantes” duas distribuições estão uma da outra.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/419/1*GGykSpOkYnz8BjUHtpcmRA.png" /></figure><p>Onde:</p><ul><li><strong>p(x):</strong> Probabilidade do evento x na distribuição P (distribuição real)</li><li><strong>q(x):</strong> Probabilidade do evento x na distribuição Q (distribuição prevista)</li></ul><p><strong>Interpretação:</strong></p><ul><li>Quanto menor a entropia cruzada, mais próximas estão as duas distribuições. Se as duas distribuições forem idênticas, a entropia cruzada será igual à entropia da distribuição P.</li><li>A entropia cruzada penaliza mais quando a distribuição prevista atribui probabilidade baixa a eventos com alta probabilidade na distribuição real.</li></ul><p><strong>Exemplo</strong>:<br>Um modelo de machine learning prevê a probabilidade de um cliente clicar em um anúncio (q(clicar) = 0.7). A probabilidade real foi p(clicar) = 0.9. A cross-entropy mede o quão bem o modelo se aproxima da realidade:</p><p>H(p,q) = −(0.9 * log⁡0.7 + 0.1 * log⁡0.3) = 0.457 bits.</p><p>Vamos resumir o que foi visto até aqui:</p><ul><li>Informação quantifica a incerteza de um evento.</li><li>Entropia quantifica a incerteza de uma variável que tem uma distribuição de probabilidade.</li><li>A entropia cruzada calcula a entropia entre duas distribuições de probabilidade.</li></ul><h3><strong>Binary Cross-Entropy</strong></h3><p>A Binary Cross-Entropy (entropia cruzada binária), também chamada de <em>logloss </em>é uma variação específica da entropia cruzada, especialmente adaptada para problemas de classificação binária. Em problemas binários, temos apenas duas classes possíveis, como “sim” ou “não”, “positivo” ou “negativo” que é o caso da regressão logística.</p><p>Esta função de custo quantifica a diferença entre a distribuição de probabilidade prevista por um modelo e a distribuição de probabilidade real. Em outras palavras, ela mede o quão bem o modelo está prevendo a probabilidade de uma amostra pertencer a uma determinada classe.</p><p>Valores menores de entropia cruzada indicam que o modelo está fazendo previsões mais confiantes e corretas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/590/1*Ge14wtoQ35fItMOiBdoU7g.png" /></figure><p><strong>N</strong>: O número total de exemplos no conjunto de dados.</p><ul><li>O termo 1/N garante que a média da perda seja calculada, permitindo comparação entre conjuntos de dados de tamanhos diferentes.</li></ul><p><strong>yi​</strong>: O rótulo verdadeiro do dado (valor real), onde yi∈{0,1}.</p><ul><li>Representa a classe correta do exemplo i. É 1 para positivo e 0 para negativo.</li></ul><p><strong>log(y^​i​)</strong> e <strong>log⁡(1−y^i)</strong>: Funções logarítmicas usadas para penalizar as predições incorretas.</p><ul><li>log⁡(y^i)\: Penaliza a baixa probabilidade atribuída à classe verdadeira yi = 1.</li><li>log⁡(1−y^i): Penaliza a alta probabilidade atribuída à classe errada yi = 0.</li></ul><p>Vamos entender melhor:</p><p>Em uma exemplo, vamos atribuir A classe quadrado (1) e a classe círculo (0).</p><p>Em uma amostra a classe real é quadrado (1) e o previsto pelo modelo da regressão logística é 0.9 (a fórmula da regressão logística retorna a probabilidade de ser/ocorrer 1). Colocando na fórmula veja que a segunda parte será anulada pela multiplicação por 0 (1–1 ), conforme em vermelho abaixo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/629/1*3vt0f8l1c4o8UywGUI8z9w.png" /></figure><p>O resultado = 0,15.</p><p>Agora, a classe real é círculo (0) e o previsto pelo modelo 0.7 (ou seja, classificado como 1). Veja que, neste caso, a primeira parte é que será anulada por uma multiplicação por 0:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/643/1*I_PqwsRhCcNQR_A2imR0uA.png" /></figure><p>O resultado = 1,73.</p><p>Veja que, no primeiro exemplo, o modelo acertou então a função de custo foi bem baixa (se o modelo retornasse exatamente 1, o resultado seria 0). No segundo, o modelo errou, então o resultado foi maior, na proporção da probabilidade que retornou, se este retornasse uma probabilidade próxima de 0 o erro era menor então, o resultado da BCE seria menor.</p><p>Podemos reparar, então, que a BCE é o conjunto de duas funções, a primeira parte para quando a classe for 1, e a segunda parte para quando a classe for 0.</p><p>Veja o gráfico que podemos gerar com a BCE, uma curva para a classe 1 (True value: 1) e outra para a classe 0 (True value:0).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_pLWYj3qVqi7r0-FIMdgMQ.jpeg" /></figure><p>Note que quando a classe real é 0 (curva vermelha), o erro (BCE) se aproxima de 0 quando a probabilidade se aproxima do 0. Quando a classe real é 1 (curva azul), o erro se aproxima de 0 quando a probabilidade se aproxima de 1.</p><p>Em resumo, esta função de custo mede o quão bem as predições probabilísticas do modelo se alinham com os rótulos verdadeiros. Quanto mais próximas as probabilidades previstas estiverem dos valores reais, menor será o valor da BCE, indicando que o modelo está performando bem.</p><p>O passo a passo para entender a função de custo Binary Cross Entropy:</p><ul><li>A quantidade de informação é inversamente proporcional à probabilidade de ocorrência de um evento. Eventos mais improváveis carregam mais “informação”.</li><li>A entropia mede a incerteza em uma distribuição de probabilidade.</li><li>A entropia cruzada é uma métrica para medir a divergência entre distribuições de probabilidade real e prevista.</li><li>Enfim, a BCE é derivada da entropia cruzada, adaptada para problemas de classificação binária.</li></ul><p>Para ainda mais detalhes de cada um dos conceitos, recomendo os vídeos abaixo de um canal que apresenta, também, outros temas de machine learning:</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FciWT5r-ckpw%3Flist%3DPLtQM10PgmGogjn0cikgWi8wpQUnV6ERkY&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DciWT5r-ckpw&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2FciWT5r-ckpw%2Fhqdefault.jpg&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/eaae909e07142f30ace0b366d4b9627e/href">https://medium.com/media/eaae909e07142f30ace0b366d4b9627e/href</a></iframe><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2F3J-LBtHVsm4%3Flist%3DPLtQM10PgmGogjn0cikgWi8wpQUnV6ERkY&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3D3J-LBtHVsm4&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2F3J-LBtHVsm4%2Fhqdefault.jpg&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/5b5ad22cb7e9c9168e10182d70b650a6/href">https://medium.com/media/5b5ad22cb7e9c9168e10182d70b650a6/href</a></iframe><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=cd116afc57de" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Cálculo de Distâncias em Machine Learning]]></title>
            <link>https://medium.com/@paulinhomagno/c%C3%A1lculo-de-dist%C3%A2ncias-em-machine-learning-0dd0d04a927c?source=rss-5b6a1d24d423------2</link>
            <guid isPermaLink="false">https://medium.com/p/0dd0d04a927c</guid>
            <dc:creator><![CDATA[Paulo Magno]]></dc:creator>
            <pubDate>Fri, 29 Nov 2024 23:57:49 GMT</pubDate>
            <atom:updated>2024-11-29T23:57:49.544Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/350/1*jTK_MECJ2fK0QEleBWpYwA.png" /></figure><p>Em <strong>Machine Learning</strong>, a medida de <strong>distância</strong> é um elemento importante e muito utilizada em problemas de classificação, agrupamento e reconhecimento de padrões. Como ela pode se determinar a <strong>similaridade</strong> e <strong>dissimilaridade</strong> entre os dados (pontos, vetores). A <strong>similaridade</strong> se refere a quão próximos ou parecidos dois pontos de dados são, enquanto a <strong>dissimilaridade</strong> é uma medida de quão diferentes ou afastados esses pontos estão. Diferentes métricas de distância são usadas para quantificar essas relações, e cada uma tem suas vantagens dependendo da natureza dos dados e da aplicação. Vamos explorar algumas das distâncias mais comuns utilizadas em algoritmos de aprendizado de máquina.</p><h3>Distância Euclidiana</h3><p>A <strong>distância Euclidiana</strong> é a mais comum e também a mais intuitiva. Ela é baseada no teorema de Pitágoras e calcula a distância “em linha reta” entre dois pontos.</p><p>Para compreender o cálculo vamos imaginar dois pontos, o ponto A de coordenadas (2, 3) e o ponto B com coordenadas (5, 7). A fórmula seria assim:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/411/1*vjbPs2aBwc3YShinNDKAgQ.png" /></figure><p>Fazendo as substituições e efetuando os cálculos:</p><p>d = √((5–2)² + (7–3)² ) = √(3 ² +4 ²) = √(9 + 16) = √25 = 5</p><p>Em um espaço de duas dimensões podemos visualizar graficamente a distancia euclidiana entre dois pontos, utilizando o exemplo dado:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/567/1*YrNZTQef8OVcoMqLGr3q1g.png" /></figure><p>Generalizando a fórmula da distância entre dois pontos P=(p1,p2,…,pn) e Q=(q1,q2,…,qn) em um espaço n-dimensional, a fórmula é dada por:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/334/1*pkSkd99J0-BK9QB9dpMVQQ.png" /></figure><p>A distância euclidiana mede a dissimilaridade, pois quanto maior, menos próximos ou parecidos são os objetos.</p><p>Ela é muito útil quando se deseja medir a <strong>distância direta</strong> entre dois pontos, como no algoritmo <strong>K-NN, K-means </strong>e o <strong>SVM</strong>.</p><h3>Distância de Manhattan</h3><p>Ao contrário da distância euclidiana (que representa a distância “em linha reta”), a <strong>distância de Manhattan </strong>representa a distância percorrendo caminhos ortogonais, ou seja, movendo-se apenas nas direções horizontais e verticais.</p><p>A fórmula é:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/285/1*RxjM_9KdbjISNHLRh5-eoQ.png" /></figure><p>Vamos utilizar o exemplo anterior para realizar um cálculo, o ponto A (2, 3) e o ponto B (5, 7).</p><p>d = |x₂ — x₁| + |y₂ — y₁|</p><p>d = |5–2| + |7–3| = |3| + |4| = 3 + 4 = 7</p><p>Veja no gráfico como fica a distância de Manhattan entre dois pontos em duas dimensões.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/567/1*AAiiOYkcGaVECJF31YvrdQ.png" /></figure><p><strong>Por que “Manhattan”?</strong></p><p>O nome se refere à grade de ruas da cidade de Nova York, onde a distância entre dois pontos é calculada seguindo as ruas, sem atalhos em diagonal.</p><p>Veja na imagem abaixo um contraponto entre a distância de Manhattan e a Euclidiana para analisar a distância entre dois lugares.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/350/1*742PTTwH1vhwa2yVVZUwog.jpeg" /></figure><p>Assim como a euclidiana, a Manhattan mede a dissimilaridade, mas essa métrica é mais adequada para dados que não seguem uma estrutura linear ou <strong>quando as características têm diferentes escalas e a direção do movimento é importante</strong>. Ela é frequentemente usada em cenários de dados espaciais e em <strong>modelos de redes neurais</strong>.</p><h3>Similaridade de Cosseno</h3><p>A <strong>similaridade de cosseno</strong> mede o cosseno do <strong>ângulo</strong> entre dois vetores, em vez da distância física entre eles. A fórmula é:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/283/1*51XWMFK754k73lr9j-7PTA.png" /></figure><p>Onde:</p><ul><li>P x Qé o produto escalar dos vetores A e B.</li><li>||P|| é a norma do vetor P.</li><li>||Q|| é a norma do vetor Q.</li></ul><p>Vamos analisar cada parte da fórmula e ver que o cálculo é simples.</p><h4>Calcular o Produto Escalar</h4><p>O produto escalar (P x Q) é a soma dos produtos dos elementos correspondentes dos dois vetores:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/228/1*m_kD_ki7GTGUzMNdE7tkiQ.png" /></figure><p><strong>Exemplo</strong>: Para P=[1,2,3] e Q=[4,5,6]:</p><p>P ⋅ Q = (1⋅4) + (2⋅5) + (3⋅6) = 4 + 10 + 18 = 32</p><h4>Calcular as Normas dos Vetores</h4><p>A norma é uma medida que representa o “tamanho” ou “magnitude” do vetor. Para a similaridade de cosseno é utilizada a norma euclidiana, que é simplesmente a distância do ponto representado pelo vetor até a origem no espaço cartesiano de um vetor. É calculada usando a fórmula da raiz quadrada da soma dos quadrados de seus elementos:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/203/1*sSSWDLhMRAWnQCEZTU-44w.png" /></figure><p><strong>Exemplo</strong>: Para P=[1,2,3]:</p><p>∥P∥ = √(¹²)+(²²)+(³²) = 1 + 4 + 9 = 14</p><p>Similarmente, para B=[4,5,6]:</p><p>∥Q∥ = √(⁴²)+(⁵²)+(⁶²) = 16 + 25 + 36 = 77</p><h4>Calcular a Similaridade de Cosseno</h4><p>Agora, substituímos os valores na fórmula da similaridade de cosseno:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/408/1*zscO7ooF0VgWTP_nHBic4Q.png" /></figure><p>A similaridade de cosseno varia entre -1 e 1.</p><ul><li><strong>1:</strong> Os vetores são idênticos.</li><li><strong>0:</strong> Os vetores são ortogonais (perpendiculares), ou seja, não há similaridade.</li><li><strong>-1:</strong> Os vetores são opostos.</li></ul><p><strong>Quanto mais próximo de 1, maior a similaridade.</strong></p><p>No exemplo, a similaridade de cosseno ≈ 0.976 indica que os vetores A e B estão muito próximos em termos de direção.</p><p>Veja, nos gráficos abaixo, exemplos de valores de similaridade de cosseno.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NMW_G0IoRwDgicfaKuR8og.png" /></figure><p>A similaridade de cosseno é uma métrica especialmente útil em dados <strong>textuais</strong> ou <a href="https://www.ibm.com/br-pt/think/topics/vector-embedding"><strong>embeddings</strong> </a>de alto dimensionalidade, como em <strong>análise de sentimentos</strong> ou <strong>recomendações de produtos</strong>, onde a magnitude dos vetores não é relevante, mas sim sua direção.</p><h3>Distância de Minkowski</h3><p>A <strong>distância de Minkowski</strong> é uma generalização das distâncias Euclidiana e Manhattan. Ela oferece uma forma flexível de medir a distância entre dois pontos em um espaço n-dimensional.</p><p>Imagine dois pontos em um espaço n-dimensional, representados pelos vetores x= (x₁, x₂, …, xₙ) e <strong>y</strong> = (y₁, y₂, …, yₙ). A distância de Minkowski entre esses dois pontos é definida como:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/334/1*su-sfFRCZPhgzBK2A0HK2Q.png" /></figure><p>Onde:</p><ul><li><strong>d(x, y):</strong> Distância de Minkowski entre os pontos x e y</li><li><strong>x₁, x₂, …, xₙ:</strong> Coordenadas do ponto x</li><li><strong>y₁, y₂, …, yₙ:</strong> Coordenadas do ponto y</li><li><strong>p:</strong> Parâmetro que determina o tipo de distância (p ≥ 1)</li></ul><h4>Entendendo o Parâmetro p</h4><p>O valor de p determina o tipo de distância que estamos calculando:</p><ul><li><strong>p = 1:</strong> A fórmula fica a distância de Manhattan ou distância L1.</li><li><strong>p = 2:</strong> A fórmula fica a distância euclidiana ou distância L2.</li></ul><p><strong>Outros valores de p:</strong></p><ul><li><strong>p &lt; 1:</strong> A distância se concentra mais nas coordenadas com as maiores diferenças.</li><li><strong>p &gt; 2:</strong> A distância se torna mais sensível a grandes diferenças nas coordenadas.</li></ul><p><strong>Exemplo</strong></p><p>Em um sistema de recomendação de filmes pode se usar a distância de Minkowski para calcular a similaridade entre os perfis dos usuários. Onde A=[a1​,a2​,…,an​] e B=[b1,b2,…,bn] são vetores representando os perfis ou características (ex.: preferências em cada gênero de filmes).</p><p><strong>p=1 — Distância de Manhattan: </strong>Considera que as diferenças em cada gênero de filme são igualmente importantes, são tratadas de forma uniforme.</p><p><strong>p=2 — Distância Euclidiana: </strong>é mais sensível a grandes diferenças entre os valores de um gênero, o quadrado das diferenças entre os elementos, amplifica as discrepâncias maiores.</p><p><strong>p&gt;2 — Penalização mais forte: </strong>há uma forte penalização para as maiores diferenças devido à elevação ao expoente p.</p><p>Um imagem para resumir as métricas estudadas:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3uZPoDGYPS6nhWAnKCK8hg.png" /></figure><p>Além das imagens e gráficos, neste artigo exploramos os conceitos, explicação dos cálculos e aplicação, assim, podemos desenvolver algoritmos mais eficientes e precisos.</p><p>As métricas de distância são ferramentas essenciais em diversas áreas da ciência de dados, como processamento de imagens, reconhecimento de padrões, recomendação de itens e análise de texto.</p><p>No Python, a biblioteca <a href="https://docs.scipy.org/doc/scipy-0.14.0/reference/spatial.distance.html">SciPy</a> possui funções para cálculo de distâncias.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=0dd0d04a927c" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Inferência na Regressão Logística]]></title>
            <link>https://medium.com/@paulinhomagno/infer%C3%AAncia-na-regress%C3%A3o-log%C3%ADstica-792475201c38?source=rss-5b6a1d24d423------2</link>
            <guid isPermaLink="false">https://medium.com/p/792475201c38</guid>
            <category><![CDATA[regressão-logística]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[ciencia-de-dados]]></category>
            <category><![CDATA[estatistica]]></category>
            <dc:creator><![CDATA[Paulo Magno]]></dc:creator>
            <pubDate>Tue, 26 Nov 2024 23:58:23 GMT</pubDate>
            <atom:updated>2024-11-27T00:01:05.973Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/300/1*KrR8W-R994RvpGmKaVxb-A.png" /></figure><p>A inferência na regressão logística refere-se ao processo de analisar a significância estatística dos coeficientes (ou parâmetros) do modelo para entender a relação entre as variáveis independentes (features) e a variável dependente (target). No contexto de regressão logística, a variável dependente é categórica binária (geralmente codificada como 0 ou 1).</p><h3>Objetivos da Inferência</h3><ul><li><strong>Determinar se um coeficiente é estatisticamente significativo</strong>: Utilizamos o teste de hipótese para avaliar se o coeficiente é significativamente diferente de zero.</li><li><strong>Analisar a relação entre variáveis independentes e a variável alvo</strong>: Coeficientes significativos indicam uma associação relevante entre as variáveis explicativas e o resultado.</li><li><strong>Calcular intervalos de confiança</strong> para os coeficientes, ajudando a entender a precisão das estimativas.</li></ul><h3>Como é feita a Inferência Estatística?</h3><p>A inferência é baseada em testes estatísticos, como:</p><ul><li><strong>Valor-p (p-value)</strong>: Avalia se o coeficiente é significativamente diferente de zero.</li><li>Se o valor-p é pequeno (geralmente &lt; 0,05), rejeitamos a hipótese nula de que o coeficiente é igual a zero.</li><li><strong>Estatística Z</strong>: Mede quantos desvios-padrão o coeficiente está distante do zero.</li><li><strong>Intervalos de Confiança</strong>: Mostram a faixa de valores prováveis para o coeficiente.</li></ul><h3>Exemplo Prático em Python</h3><p>Vamos demonstrar como fazer inferência em uma regressão logística usando um exemplo prático com o conjunto de dados <strong>‘Breast Cancer Wisconsin’</strong>, que é um dataset clássico para classificação binária.</p><p>Vamos usar apenas algumas variáveis para simplificar:</p><ul><li><strong>mean radius</strong></li><li><strong>mean texture</strong></li><li><strong>mean perimeter</strong></li></ul><pre>import pandas as pd<br>import numpy as np<br>import statsmodels.api as sm<br>from sklearn.datasets import load_breast_cancer<br><br># Carregar o dataset de câncer de mama<br>data = load_breast_cancer()<br>df = pd.DataFrame(data.data, columns=data.feature_names)<br>df[&#39;target&#39;] = data.target<br><br># Selecionar as features e a variável alvo<br>X = df[[&#39;mean radius&#39;, &#39;mean texture&#39;, &#39;mean perimeter&#39;]]<br>y = df[&#39;target&#39;]<br><br># Adicionar uma constante (necessário para o modelo statsmodels)<br>X = sm.add_constant(X)<br><br># Criar e ajustar o modelo<br>model = sm.Logit(y, X)<br>result = model.fit()<br><br># Exibir o resumo dos resultados<br>print(result.summary())</pre><p>Saída:</p><pre>                     coef    std err          z      P&gt;|z|      [0.025      0.975]<br>----------------------------------------------------------------------------------<br>const             18.3255      1.961      9.347      0.000      14.483      22.168<br>mean radius        6.0262      0.996      6.048      0.000       4.073       7.979<br>mean texture      -0.2428      0.045     -5.342      0.000      -0.332      -0.154<br>mean perimeter    -1.0675      0.155     -6.889      0.000      -1.371      -0.764</pre><p>O output incluirá várias métricas importantes:</p><ul><li><strong>coef (Coeficiente)</strong>: Impacto da variável independente sobre a variável dependente.</li><li><strong>std err (Erro Padrão)</strong>: Variabilidade dos coeficientes.</li><li><strong>z</strong>: Estatística z (coef / erro padrão).</li><li><strong>P&gt;|z| (Valor-p)</strong>: Probabilidade de observar os dados sob a hipótese nula. Valores pequenos indicam significância.</li><li><strong>[0.025 0.975] (Intervalo de Confiança)</strong>: Limites inferior e superior para o coeficiente.</li></ul><h3>Interpretação</h3><ul><li><strong>Coeficientes Positivos</strong>: Aumentam a probabilidade do evento (classificação como 1).</li><li><strong>Coeficientes Negativos</strong>: Diminuem a probabilidade do evento.</li><li><strong>Valor-p &lt; 0,05</strong>: Significa que há uma forte evidência de que o coeficiente é diferente de zero.</li></ul><p><em>mean radius</em>:</p><ul><li><strong>Coeficiente</strong>: 6.0262</li><li><strong>Valor-p</strong>: 0.0000 (significativo)</li><li>Interpretação: Um aumento em 1 unidade no <em>mean radius</em> aumenta a log-odds (probabilidade logarítmica) de ser classificado como 1 (câncer maligno).</li></ul><p><em>mean texture</em>:</p><ul><li><strong>Coeficiente</strong>: -0.2428</li><li><strong>Valor-p</strong>: 0.000(significativo)</li><li>Interpretação: Um aumento em 1 unidade no <em>mean texture </em>reduz a log-odds (probabilidade logarítmica) de ser classificado como 1 (câncer maligno)</li></ul><p><em>mean perimeter</em>:</p><ul><li><strong>Coeficiente</strong>: -1.0675</li><li><strong>Valor-p</strong>: 0.0000 (significativo)</li><li>Interpretação: Assim como, <em>mean texture,</em> um aumento em 1 unidade no <em>mean perimeter</em> reduz a log-odds (probabilidade logarítmica) de ser classificado como 1 (câncer maligno).</li></ul><h3>Explicação dos Coeficientes</h3><p>Os coeficientes (β) na regressão logística representam as mudanças nas <strong>log-odds</strong> (logaritmo das chances) de o evento de interesse ocorrer (ou seja, o target ser igual a 1) para cada unidade adicional na variável independente. A seguir, exploramos a fórmula da regressão logística e interpretamos melhor o significado dos coeficientes.</p><p><strong>Log-Odds:</strong><br>A fórmula da regressão logística é:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/593/1*FuRl5A86OWRKHG5MQsW3lg.png" /></figure><p>Onde:</p><ul><li>p é a probabilidade do evento ocorrer (target = 1).</li><li>(p/1-p)​ é a razão de chances (odds).</li><li>β0​ é o intercepto.</li><li>β1,β2,…,βn são os coeficientes das variáveis independentes X1,X2,…,Xn.</li></ul><p>O resultado da fórmula acima precisa ser convertido em <strong>probabilidade</strong>, já que estamos lidando com um resultado binário (como no exemplo: câncer maligno ou não). Para isso, utilizamos a <strong>função sigmoide</strong>, representada como σ(z), essa função aplica uma transformação, garantindo que os dados da saída fiquem no intervalo [0, 1], o que facilita a interpretação. A fórmula da sigmoide é:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/154/1*a32ico4-I_B3x8kOgshfdw.png" /></figure><p>No caso da regressão logística,conforme a fórmula vista mais acima, o <strong>logit</strong> é a combinação linear do intercepto (β0​) e dos coeficientes (β1,β2,…) multiplicados pelas variáveis independentes (X1,X2,…). Substituindo na fórmula, temos:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/386/1*EgmhTiUZvDzlpT7IcYMiNQ.png" /></figure><h3>Transformando Log-Odds em Odds</h3><p>Para interpretar os coeficientes em termos de <strong>odds ratio</strong>, usamos a exponenciação:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/31/1*zOI146hMJ22coBB-UQHlrw.png" /></figure><p>Este valor representa como as chances mudam para cada unidade de aumento em Xi​:</p><ul><li>Se o valor &gt; 1, há um aumento nas chances do evento ocorrer.</li><li>Se o valor &lt; 1, há uma diminuição nas chances.</li></ul><h3>Aplicando ao Exemplo</h3><p>Para o coeficiente de <strong>mean texture</strong>:</p><ul><li>Coeficiente (β\betaβ) = −0.2428–0.2428−0.2428</li><li>Resultado (eβe^{\beta}eβ) = e−0.2428≈0.7961e^{-0.2428} \approx 0.7961e−0.2428≈0.7961</li></ul><h3>Interpretação:</h3><p>Um aumento de 1 unidade em <strong>mean texture</strong> reduz (já que o resultado é menor que 1) as chances do target ser 1 (câncer maligno) em aproximadamente <strong>20,39%</strong>. O cálculo é dado por:</p><p>(1−0.7961) × 100% ≈ 20.39%</p><p>Portanto, cada unidade adicional em <strong>mean texture</strong> diminui as chances do evento (câncer maligno) ocorrer em cerca de <strong>20,39%</strong>.</p><p>A regressão logística é uma ferramenta muito explorada para modelar e interpretar a relação entre variáveis independentes e um resultado binário. Este artigo apresentou como os coeficientes da regressão logística podem ser interpretados para entender o impacto de cada variável nas chances de um evento ocorrer.</p><p>A análise detalhada dos coeficientes com exemplos numéricos demonstrou a importância de entender não apenas a significância estatística, mas também a magnitude e direção dos efeitos das variáveis no modelo.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=792475201c38" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[DBSCAN: Uma Boa Alternativa ao K-means em Algoritmos de clustering]]></title>
            <link>https://medium.com/@paulinhomagno/dbscan-uma-boa-alternativa-ao-k-means-em-algoritmos-de-clustering-888d84d4f477?source=rss-5b6a1d24d423------2</link>
            <guid isPermaLink="false">https://medium.com/p/888d84d4f477</guid>
            <category><![CDATA[dbscan]]></category>
            <category><![CDATA[k-means]]></category>
            <category><![CDATA[agrupamento]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[clustering]]></category>
            <dc:creator><![CDATA[Paulo Magno]]></dc:creator>
            <pubDate>Fri, 22 Nov 2024 21:08:28 GMT</pubDate>
            <atom:updated>2024-11-22T21:08:28.254Z</atom:updated>
            <content:encoded><![CDATA[<h3>Algoritmo Não Supervisionado</h3><p>Algoritmos <strong>não supervisionados</strong> são modelos de machine learning que não dependem de rótulos ou categorias predefinidas para fazer previsões ou classificações. Assim, eles identificam padrões ocultos nos dados sem a necessidade de um “professor” que forneça a resposta certa. Na verdade, esses algoritmos agrupam dados com base em características comuns. Exemplos de problemas que podem ser resolvidos com aprendizado não supervisionado incluem <strong>redução de dimensionalidade</strong>, e <strong>agrupamento (clustering)</strong>.</p><p>O <strong>DBSCAN</strong> (Density-Based Spatial Clustering of Applications with Noise) é um algoritmo de clustering não supervisionado, ele identifica grupos densos de dados em conjuntos de dados e sabendo lidar com outliers. Vamos compreender seu funcionamento, suas vantagens e desvantagens, e como ele se compara com o popular <strong>K-means</strong>.</p><h3>DBSCAN</h3><p>O <strong>DBSCAN</strong> é um algoritmo de clustering baseado na densidade dos pontos de dados. A densidade se refere à concentração de pontos em uma determinada região do espaço de dados. Intuitivamente, um ponto com alta densidade local está cercado por muitos outros pontos, enquanto um ponto com baixa densidade está mais isolado.</p><p>Este algoritmo agrupa pontos em regiões com alta densidade e classifica pontos em regiões de baixa densidade como <strong>outliers</strong>. O algoritmo não requer que você defina o número de clusters antes de aplicá-lo, ao contrário do <strong>K-means</strong>.</p><h4>Como o DBSCAN Funciona?</h4><p>O DBSCAN usa dois parâmetros principais:</p><ol><li><strong>Épsilon (ε)</strong>: A distância máxima entre dois pontos para que sejam considerados vizinhos.</li><li><strong>MinPts</strong>: O número mínimo de pontos necessários para formar um cluster denso.</li></ol><p>Ele classifica os pontos da seguinte forma:</p><ul><li><strong>Core points (pontos centrais):</strong> São os pontos que têm pelo menos MinPts vizinhos dentro de uma distância ε.</li><li><strong>Border points (pontos de borda):</strong> São pontos que estão dentro da distância ε de um ponto central, mas não possuem MinPts vizinhos.</li><li><strong>Outliers (ruídos)</strong>: São pontos que não pertencem a nenhum cluster, ou seja, estão em regiões de baixa densidade.</li></ul><p>Imagine que você tem um conjunto de dados com dois grupos de pontos: um grupo denso e outro esparso. O DBSCAN irá identificar a região densa como um cluster e rotulará os pontos esparsos como ruído.</p><p>Veja a ilustração abaixo, onde os pontos vermelhos centrais representam o grupo denso (cluster), os pontos amarelos são bordas e o ponto azul é ruído.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*N2z0ixeKa3w0bFrSMN_T0g.png" /><figcaption>Fonte: wikipedia</figcaption></figure><h3>Vantagens do DBSCAN</h3><ol><li><strong>Detecção de Outliers</strong>: O DBSCAN identifica automaticamente os outliers como pontos de ruído, sem a necessidade de pré-processamento.</li><li><strong>Clusters de Forma Arbitrária</strong>: Ao contrário do K-means, que só consegue identificar clusters esféricos, o DBSCAN pode identificar clusters de qualquer forma, desde que existam regiões densas.</li><li><strong>Sem a Necessidade de Definir o Número de Clusters</strong>: Diferente do K-means, onde o número de clusters (K) precisa ser especificado, o DBSCAN pode determinar a quantidade de clusters automaticamente.</li></ol><h3>Desvantagens do DBSCAN</h3><ol><li><strong>Escolha de Parâmetros</strong>: A escolha dos parâmetros ε (distância) e MinPts (mínimo de pontos) pode ser difícil, e seu desempenho pode ser sensível a esses valores.</li><li><strong>Desempenho em Alta Dimensionalidade</strong>: Em espaços de alta dimensão, as distâncias entre os pontos se tornam menos significativas, o que pode prejudicar o desempenho do DBSCAN.</li></ol><h3>DBSCAN x K-means</h3><p>O <strong>K-means</strong> é um algoritmo baseado em centroides. De forma resumida, ele precisa que você defina o número de clusters (K) e atribui cada ponto ao cluster cujo centroide está mais próximo. O algoritmo recalcula os centroides até que as atribuições de cluster não mudem mais.</p><h4>Diferenças principais:</h4><ul><li><strong>Número de Clusters</strong>: O K-means requer a definição do número de clusters, enquanto o DBSCAN não precisa disso.</li><li><strong>Forma dos Clusters</strong>: O K-means só funciona bem quando os clusters têm formas esféricas, enquanto o DBSCAN pode identificar clusters de formatos irregulares.</li><li><strong>Tratamento de Outliers</strong>: O K-means não lida bem com outliers, pois eles influenciam diretamente o cálculo dos centroides. O DBSCAN, por outro lado, pode identificá-los como pontos de ruído.</li></ul><p><strong>Uso do DBSCAN:</strong></p><ul><li><strong>Descoberta de clusters desconhecidos:</strong> Ele é capaz de identificar automaticamente a quantidade de clusters de forma adaptativa.</li><li><strong>Clusters de formas irregulares:</strong> Se os grupos de dados possuem formas complexas e não convencionais, como crescentes ou anéis, o DBSCAN é indicado, pois não faz suposições sobre a forma dos clusters.</li><li><strong>Dados com ruído:</strong> Quando os dados contêm muitos outliers, o DBSCAN é robusto em lidar com esses casos, ignorando-os na formação dos clusters.</li></ul><p><strong>Quando usar o K-means:</strong></p><ul><li><strong>Clusters esféricos e bem definidos:</strong> O K-means funciona melhor quando os grupos de dados são aproximadamente esféricos e bem separados.</li><li><strong>Dados limpos:</strong> Se os dados possuem poucos outliers e ruídos, o K-means pode ser aplicado de forma mais direta e eficiente.</li><li><strong>Simplicidade e eficiência:</strong> O K-means é um algoritmo simples e rápido, especialmente para grandes conjuntos de dados.</li></ul><h3>Visualização</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/629/1*Fix0cfbpQfPow1-wXFDYWw.jpeg" /><figcaption>Fonte: <a href="https://miro.medium.com/v2/resize:fit:1258/1*NaST23vfauexGyEhj2xXwQ.jpeg">https://miro.medium.com/v2/resize:fit:1258/1*NaST23vfauexGyEhj2xXwQ.jpeg</a></figcaption></figure><p>A imagem acima é uma visualização clássica para comparar o desempenho dos algoritmos de agrupamento DBSCAN e K-means em diferentes cenários. Vamos analisar cada par de gráficos:</p><h3>Cenário 1: Dados em forma de anéis concêntricos</h3><ul><li><strong>DBSCAN:</strong> O DBSCAN identifica corretamente os dois anéis concêntricos (círculos que compartilham o mesmo centro.) como clusters distintos. Isso demonstra a capacidade do DBSCAN de lidar com clusters de formas aleatórias, mesmo quando eles estão aninhados.</li><li><strong>K-means:</strong> O K-means divide cada anel em dois semicírculos, o que não representa a estrutura real dos dados. Isso ocorre porque o K-means assume que os clusters são convexos e de forma esférica.</li></ul><h3>Cenário 2: Dados com ruído e densidades variáveis</h3><ul><li><strong>DBSCAN:</strong> O DBSCAN identifica os dois clusters principais, ignorando os pontos de ruído. Ele é capaz de lidar com dados com densidades variáveis, agrupando os pontos de acordo com sua densidade local.</li><li><strong>K-means:</strong> O K-means divide os dados em três clusters, incluindo os pontos de ruído. Isso ocorre porque o K-means força todos os pontos a pertencerem a um cluster, mesmo que eles sejam outliers.</li></ul><h3><strong>Conclusão</strong></h3><ul><li><strong>DBSCAN:</strong> É mais adequado para dados com formas irregulares, densidades variáveis e presença de outliers. Ele não faz suposições sobre a forma dos clusters e é capaz de identificar clusters de qualquer forma, mesmo quando eles estão aninhados.</li><li><strong>K-means:</strong> Funciona melhor quando os clusters são aproximadamente esféricos e bem separados. Ele é sensível à presença de outliers e pode dividir clusters não convexos de forma inadequada.</li></ul><p>Ambos os algoritmos têm seus prós e contras. A escolha entre eles depende das características dos dados e do problema específico em que se está trabalhando.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=888d84d4f477" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Correlação, Linearidade e Relações Monotônicas]]></title>
            <link>https://medium.com/@paulinhomagno/correla%C3%A7%C3%A3o-linearidade-e-rela%C3%A7%C3%B5es-monot%C3%B4nicas-0437889ad744?source=rss-5b6a1d24d423------2</link>
            <guid isPermaLink="false">https://medium.com/p/0437889ad744</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[correlação-linear]]></category>
            <category><![CDATA[correlação-de-pearson]]></category>
            <category><![CDATA[correlação-de-spearman]]></category>
            <category><![CDATA[estatistica]]></category>
            <dc:creator><![CDATA[Paulo Magno]]></dc:creator>
            <pubDate>Tue, 19 Nov 2024 18:30:12 GMT</pubDate>
            <atom:updated>2024-11-19T18:30:12.719Z</atom:updated>
            <content:encoded><![CDATA[<p>A correlação é uma ferramenta essencial para avaliar a relação entre variáveis. No entanto, entender como os diferentes tipos de relações (lineares, não lineares ) afetam a interpretação da correlação é crucial para análises de dados eficazes. Este artigo explora a<strong> </strong>correlação de Pearson, linearidade, relações monotônicas e análise visual. Também apresentamos exemplos práticos em Python para ilustrar cada conceito.</p><h3>Correlação de Pearson</h3><p>A <strong>correlação de Pearson</strong> mede a força e a direção do relacionamento <strong>linear</strong> entre duas variáveis. Seu coeficiente (rrr) varia de -1 a 1:</p><ul><li>r=1: Relação linear positiva perfeita.</li><li>r=−1: Relação linear negativa perfeita.</li><li>r=0: Nenhuma relação linear.</li></ul><pre>import numpy.random as rd<br>import pandas as pd<br>from scipy.stats import pearsonr<br><br># dados para exemplo<br>rd.seed(10)<br>x = rd.rand(100)<br>y = 2 * x + rd.normal(0, 0.1, 100)<br><br># calculando o o coeficiente de Pearson<br><br>r, p_value = pearsonr(x, y)<br>print(f&quot;Coeficiente de Pearson: {r:.2f}, p-valor: {p_value:.3f}&quot;)<br><br># analise p-valor<br><br>if p_value &lt; 0.05:<br>    print(&quot;A correlação é estatisticamente significativa.&quot;)<br>else:<br>    print(&quot;A correlação não é estatisticamente significativa.&quot;)</pre><pre>Coeficiente de Pearson: 0.98, p-valor: 0.000<br>A correlação é estatisticamente significativa.</pre><p>Obs: O p-valor é incluído no cálculo do coeficiente de correlação de Pearson para avaliar a significância estatística da relação linear entre as variáveis. Ele responde à pergunta: a correlação observada entre as variáveis é estatisticamente significativa ou poderia ter ocorrido ao acaso?</p><p>Embora o coeficiente de Pearson (r) quantifique a força e a direção da relação linear, ele não indica se essa correlação é confiável ou apenas resultado de flutuações aleatórias nos dados, outliers, tamanho da amostra. O p-valor complementa essa análise ajudando a mitigar essa interpretação, determinando se a correlação linear é estatisticamente significativa.</p><h3>Linearidade</h3><p>A correlação de Pearson é útil apenas para relações lineares. Quando os dados não seguem um padrão linear (como relações quadráticas ou exponenciais), o coeficiente de Pearson pode ser próximo de zero, mesmo que exista uma relação forte.</p><pre>import numpy as np<br>import matplotlib.pyplot as plt<br><br># relação não linear (quadrática)<br>x = np.linspace(-10, 10, 100)<br>y = x**2<br><br>r, _ = pearsonr(x, y)<br>print(f&quot;Coeficiente de Pearson: {r:.2f}&quot;)<br><br># gráfico de dispersão<br>plt.scatter(x, y)<br>plt.title(&quot;Exemplo de Relação Não Linear&quot;)<br>plt.xlabel(&quot;x&quot;)<br>plt.ylabel(&quot;y&quot;)<br>plt.grid(True)<br>plt.show()</pre><pre>Coeficiente de Pearson: -0.00</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/571/1*OkoBtHA2cpBxNTzWi77Xkg.png" /><figcaption>Gráfico de dispersão</figcaption></figure><h3>Relação Monotônica</h3><p>Uma relação <strong>monotônica</strong> entre duas variáveis ocorre quando os valores de uma variável tendem a <strong>aumentar</strong> ou <strong>diminuir</strong> consistentemente em relação aos valores da outra, sem necessariamente apresentar uma relação linear.</p><p>Em outras palavras, a relação monotônica implica que a direção da associação (positiva ou negativa) é constante, mas o ritmo de mudança pode variar.</p><p>Para identificar relações monotônicas, usamos as correlações de <strong>Spearman</strong> ou <strong>Kendall</strong>.</p><p>Correlação de Spearman:</p><pre>from scipy.stats import spearmanr<br>import numpy as np<br><br># dados com relação monotônica não linear, usando o logaritmo<br>x = np.random.rand(100)<br>y = np.log(x + 0.01)<br><br><br># Comparando a correlação de Pearson e Spearman em dados não lineares<br><br># correlação de Pearson<br># correlação de Pearson<br>r, p_value = pearsonr(x, y)<br>print(f&quot;Coeficiente de Pearson: {r:.2f}, p-valor: {p_value:.3f}&quot;)<br><br># correlação de Spearman<br>r_spearman, p_value = spearmanr(x, y)<br>print(f&quot;Coeficiente de Spearman: {r_spearman:.2f}, p-valor: {p_value:.3f}&quot;)<br><br># gráfico<br>plt.scatter(x, y)<br>plt.title(&quot;Relação Monotônica&quot;)<br>plt.xlabel(&quot;x&quot;)<br>plt.ylabel(&quot;y&quot;)<br>plt.grid(True)<br>plt.show()</pre><pre>Coeficiente de Pearson: 0.91, p-valor: 0.000<br>Coeficiente de Spearman: 1.00, p-valor: 0.000</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/578/1*rty3yu0DLqp8OAUuZxX9yg.png" /><figcaption>Gráfico de dispersão</figcaption></figure><p>Correlação de Kendall:</p><pre>from scipy.stats import kendalltau<br><br># correlação de Kendall<br>r_kendall, p_value = kendalltau(x, y)<br>print(f&quot;Coeficiente de Kendall: {r_kendall:.2f}, p-valor: {p_value:.3f}&quot;)</pre><pre>Coeficiente de Kendall: 1.00, p-valor: 0.000</pre><p>Foi utilizado o logaritmo, pois, à medida que a variável X aumenta, log⁡(X) também aumenta, mas o ritmo de crescimento diminui à medida que o valor da variável aumenta.</p><p>Essa característica de crescimento sempre positivo (ou negativo no caso de logaritmo de valores decrescentes) garante que a relação seja monotônica, ou seja:</p><ul><li>Sempre crescente (em casos de logaritmos positivos).</li><li>Sempre decrescente (se aplicarmos −log⁡(X), por exemplo).</li></ul><p>A correlação de Spearman muitas vezes é utilizada de forma intercambiável com a de Kendall, não há um consenso detalhado, mas, há artigos que enfatizam que uma pode ser melhor que a outra no teste não paramétrico que mede uma relação monotônica. Esta publicação não entrará neste tema específico.</p><h3><strong>Análise Visual</strong></h3><p>Conforme pode-se notar a avaliação visual é uma maneira intuitiva de identificar padrões não lineares e apoiar a análise.</p><p>Pode-se perceber que no exemplo anterior, a correlação de Pearson foi alta (0,91) embora havia uma relação monotônica, sem visualizar os dados se poderia pensar que havia uma linearidade entre os dados, por isso, a visualização se torna muito importante.</p><p>Uma outra forma de comprovarmos isto é, através do chamado <a href="https://pt.wikipedia.org/wiki/Quarteto_de_Anscombe">Quarteto de Ascombe</a>, que são quatro conjuntos de dados com estatísticas descritivas idênticas, e inclusive a correlação de Pearson mas que, ao serem visualizados, apresentam padrões muito diferentes.</p><p>Veja o código e o resultado com as estatística:</p><pre>import numpy as np<br>import pandas as pd<br>import seaborn as sns<br>import matplotlib.pyplot as plt<br><br># carregando o dataset Anscombe do seaborn<br>df = sns.load_dataset(&quot;anscombe&quot;)<br><br># função para calcular as estatísticas<br>def calculate_stats(x, y):<br>    <br>    # média  <br>    mean_x = np.mean(x)<br>    mean_y = np.mean(y)<br><br>    #variância<br>    var_x = np.var(x, ddof=1)  # Variância amostral de X<br>    var_y = np.var(y, ddof=1)  # Variância amostral de Y<br>    <br>    # correlação de Pearson<br>    corr_coeff = np.corrcoef(x, y)[0, 1] <br>    <br>    # coeficientes da reta de regressão (y = ax + b)<br>    a, b = np.polyfit(x, y, 1)<br><br>    # coeficiente de Determinação (R^2)<br>    y_pred = a * np.array(x) + b<br>    ss_total = np.sum((y - np.mean(y))**2)<br>    ss_residual = np.sum((y - y_pred)**2)<br>    r_squared = 1 - (ss_residual / ss_total)<br><br>    # retorna as estatíticas<br>    return mean_x, var_x, var_y, mean_y, corr_coeff, a, b, r_squared<br><br># lista para armazenar os resultados<br>results = []<br><br># calculando as estatísticas para cada conjunto e armazenando no DataFrame<br>for dataset in df[&#39;dataset&#39;].unique():<br>    subset = df[df[&#39;dataset&#39;] == dataset]<br>    x = subset[&#39;x&#39;]<br>    y = subset[&#39;y&#39;]<br>    mean_x, var_x, var_y, mean_y, corr_coeff, a, b, r_squared = calculate_stats(x, y)<br>    results.append({<br>        &quot;Conjunto&quot;: dataset,<br>        &quot;Média X&quot;: mean_x,<br>        &quot;Variância X&quot;: var_x,<br>        &quot;Variância Y&quot;: var_y,<br>        &quot;Média Y&quot;: mean_y,<br>        &quot;Coeficiente de Pearson&quot;: corr_coeff,<br>        &quot;Coeficiente de Regressão (a)&quot;: a,<br>        &quot;Intercepto (b)&quot;: b,<br>        &quot;Coeficiente de Determinação (R²)&quot;: r_squared<br>    })<br><br># convertendo os resultados para um DataFrame<br>df_stats = pd.DataFrame(results)<br><br>df_stats</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kpnqDGDiPCysqb9yJooFqQ.png" /><figcaption>Tabela das estatísticas das base de dados</figcaption></figure><p>Agora, o gráfico, demonstrando que não basta apenas as medidas.</p><pre># gerando os gráficos de dispersão para cada conjunto<br>plt.figure(figsize=(12, 8))<br><br>for i, dataset in enumerate(df[&#39;dataset&#39;].unique()):<br>    subset = df[df[&#39;dataset&#39;] == dataset]<br>    plt.subplot(2, 2, i + 1)<br>    plt.scatter(subset[&#39;x&#39;], subset[&#39;y&#39;], color=&#39;blue&#39;, label=f&#39;Conjunto {dataset}&#39;)<br>    plt.title(f&quot;Conjunto {dataset}&quot;)<br>    plt.xlabel(&quot;X&quot;)<br>    plt.ylabel(&quot;Y&quot;)<br>    plt.grid(True)<br>    <br>    # ajuste da reta de regressão<br>    a, b = np.polyfit(subset[&#39;x&#39;], subset[&#39;y&#39;], 1)<br>    plt.plot(subset[&#39;x&#39;], a * subset[&#39;x&#39;] + b, color=&#39;red&#39;, label=&#39;Reta de Regressão&#39;)<br>    plt.legend()<br><br># layout<br>plt.tight_layout()<br>plt.suptitle(&#39;Quarteto de Anscombe&#39;, fontsize=16, y=1.03)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yu7UGFCDvd19VQabcTO3VA.png" /></figure><p>Com isto, é fundamental saber que nenhuma métrica deve ser utilizada isoladamente. A escolha do método adequado depende da natureza da relação entre as variáveis e do contexto da análise. Assim, uma boa análise combina métricas estatísticas, ferramentas visuais e conhecimento do problema para obter insights mais profundos e confiáveis.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=0437889ad744" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Relação do Teorema de Bayes com Precisão e Recall]]></title>
            <link>https://medium.com/@paulinhomagno/rela%C3%A7%C3%A3o-teorema-de-bayes-e-m%C3%A9tricas-de-classifica%C3%A7%C3%A3o-de-machine-learning-6ea7e27e0ecb?source=rss-5b6a1d24d423------2</link>
            <guid isPermaLink="false">https://medium.com/p/6ea7e27e0ecb</guid>
            <category><![CDATA[métricas-machine-learning]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[estatísticas]]></category>
            <category><![CDATA[teorema-de-bayes]]></category>
            <dc:creator><![CDATA[Paulo Magno]]></dc:creator>
            <pubDate>Tue, 12 Nov 2024 18:07:10 GMT</pubDate>
            <atom:updated>2024-11-12T20:24:43.172Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/591/1*PEmw4L1ZgziPKIwclF34rg.jpeg" /></figure><p>Em <strong>machine learning</strong>, avaliar o desempenho de um modelo de classificação é essencial para garantir a qualidade de suas previsões. Para isso, é fundamental compreender bem o conceito de cada métrica de avaliação. As principais métricas utilizadas são <strong>Acurácia</strong>, <strong>Precisão (Precision)</strong>, <strong>Recall (Sensibilidade)</strong> e <strong>F1-Score</strong>.</p><p>Além disso, para analistas de dados, o conhecimento sobre <strong>probabilidade</strong> é extremamente valioso, e o <strong>Teorema de Bayes</strong> é uma ferramenta central nesse campo. Portanto, este artigo busca relacionar o conceito de duas (<strong>Precisão</strong> e <strong>Recall)</strong> com os princípios de probabilidade do Teorema de Bayes. Ao explorar essas duas bases fundamentais da ciência de dados, espero reforçar a compreensão de como esses conceitos se conectam na prática.</p><h3>O Teorema de Bayes</h3><p>O <strong>Teorema de Bayes</strong> é uma fórmula que descreve a probabilidade de um evento ocorrer com base em informações prévias. Ele é dado por:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/748/1*IdKG7tvw7wUQmMI8XneupA.png" /></figure><p>Onde:</p><ul><li>P(A∣B): Probabilidade de <strong>A</strong> ocorrer dado que <strong>B</strong> ocorreu (Probabilidade a posteriori). É como atualizamos nossa crença sobre A após observar B, é probabilidade a se descobrir.</li><li>P(B∣A): Probabilidade de <strong>B </strong>ocorrer dado que <strong>A </strong>ocorreu (Verossimilhança). Reflete o quão provável é observarmos <strong>B </strong>quando sabemos que A<strong> </strong>é verdadeiro, é uma probabilidade já conhecida.</li><li>P(A): Probabilidade de <strong>A </strong>ocorrer (Probabilidade a priori). É a probabilidade inicial de <strong>A </strong>ocorrer antes de considerarmos qualquer evidência adicional (como o evento <strong>B</strong>)</li><li>P(B): Probabilidade de <strong>B </strong>ocorrer (Evidência). a probabilidade de que o evento <strong>B </strong>ocorra, independentemente de <strong>A</strong>. Isso funciona como um fator de normalização para garantir que a soma das probabilidades seja igual a 1.</li></ul><h4>Exemplo</h4><p>Um banco deseja identificar transações fraudulentas em tempo real. Para isso, utiliza um algoritmo de detecção baseado em dados históricos. O objetivo é calcular a probabilidade de uma transação ser fraudulenta (Evento <strong>A</strong>), dado que ela foi marcada como suspeita pelo sistema (Evento <strong>B</strong>). Ou seja, queremos calcular P(A∣B) utilizando o <strong>Teorema de Bayes</strong>.</p><p>Definições:</p><ul><li>P(A): Probabilidade de uma transação ser fraudulenta.</li><li>P(B): Probabilidade de uma transação ser marcada como suspeita.</li><li>P(B∣A): Probabilidade de uma transação ser marcada como suspeita, dado que é realmente fraudulenta.</li></ul><p>Com base em dados históricos, sabemos que:</p><ul><li>P(A)=0.02 (2% das transações são fraudulentas)</li><li>P(B)=0.1 (10% das transações são marcadas como suspeitas pelo algoritmo)</li><li>P(B∣A)=0.85(85% das transações fraudulentas são corretamente identificadas como suspeitas)</li></ul><p>Queremos, então,calcular P(A∣B), ou seja, a probabilidade de uma transação ser realmente fraudulenta dado que foi marcada como suspeita.</p><p>Vamos trazer o resultado utilizando o Python para o cálculo.</p><pre># dados históricos<br>P_A = 0.02       # probabilidade de uma transação ser fraudulenta<br>P_B = 0.1        # probabilidade de uma transação ser marcada como suspeita<br>P_B_given_A = 0.85  # probabilidade de ser marcada como suspeita dado que é fraudulenta<br><br># aplicando o Teorema de Bayes<br>P_A_given_B = (P_B_given_A * P_A) / P_B<br><br>print(f&quot;A probabilidade de uma transação ser fraudulenta, dado que foi marcada como suspeita, é: {P_A_given_B:.2%}&quot;)</pre><p>Saída:</p><pre>A probabilidade de uma transação ser fraudulenta, dado que foi marcada como suspeita, é: 17.00%</pre><h4>Explicação</h4><p>Mesmo que o algoritmo marque uma transação como suspeita, a probabilidade de que essa transação seja realmente fraudulenta é de apenas <strong>17%</strong>.</p><p>Isso ocorre porque, embora o algoritmo tenha uma boa capacidade de detectar fraudes (P(B∣A)=85%), a <strong>taxa geral de fraudes</strong> no conjunto de transações é muito baixa (P(A)=2%).</p><p>Esse exemplo ilustra a importância de considerar tanto a precisão do modelo (P(B∣A)) quanto a prevalência do evento (P(A)) ao interpretar os resultados de um modelo de classificação. Em cenários onde a taxa de ocorrência de um evento é baixa, como em fraudes bancárias, o Teorema de Bayes nos ajuda a ajustar nossas expectativas, destacando a necessidade de uma análise cuidadosa para evitar conclusões precipitadas.</p><h3><strong>Métricas de Avaliação de Modelos de Classificação</strong></h3><p>Vamos a alguns conceitos fundamentais para a compreensão das métricas citadas:</p><ul><li><strong>Verdadeiro Positivo (VP):</strong> Ocorre quando o modelo previu corretamente uma classe positiva. No exemplo, era realmente fraude e o modelo também o classificou como fraude.</li><li><strong>Falso Positivo (FP):</strong> Ocorre quando o modelo previu incorretamente uma classe positiva. Era negativo (transação não fraudulenta), mas o modelo o classificou como positivo (fraude). É também conhecido como “falso alarme”.</li><li><strong>Verdadeiro Negativo (VN):</strong> Ocorre quando o modelo previu corretamente uma classe negativa. Não era uma transação fraudulenta e o modelo também o classifico não fraudulenta.</li><li><strong>Falso Negativo (FN):</strong> Ocorre quando o modelo previu incorretamente uma classe negativa. No exemplo, era fraude, mas o modelo o classificou como transação não fraudulenta.</li></ul><h4>Precisão (Precision)</h4><p>A <strong>Precisão</strong> foca na qualidade das previsões positivas do modelo, ou seja, quantas das transações identificadas como fraudulentas realmente são fraudes. Podemos descrever a fórmula da seguinte forma:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/870/1*8WvzShNLl5SdMIU05zdd3w.png" /></figure><p><strong>Relação com o Teorema de Bayes:</strong></p><p>Então, podemos entender a precisão como uma estimativa da <strong>probabilidade condicional</strong> P(A∣B). No contexto do nosso exemplo, isso significa calcular a probabilidade de uma transação ser realmente fraudulenta (A), dado que o modelo a classificou como suspeita (B).</p><p>Neste contexto, podemos descrever a Precisão como:</p><p>Precisão=P(Fraude∣Marcada como Suspeita)</p><p>Ou seja:</p><ul><li><strong>P(A∣B)</strong>(Precisão): A probabilidade de uma transação ser realmente uma fraude (A), dado que o modelo a marcou como suspeita (B).</li></ul><h4>Recall (Sensibilidade)</h4><p>O <strong>Recall</strong>, também conhecido como <strong>Sensibilidade</strong>,<strong> </strong>mede a capacidade do modelo de identificar corretamente as instâncias positivas (fraudes, neste caso) do número total de casos positivos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/832/1*rZQ-1zvC6aG22O7FEynXJA.png" /></figure><p><strong>Relação com o Teorema de Bayes</strong>:</p><p>Assim, o <strong>Recall </strong>pode ser interpretado como a <strong>probabilidade condicional</strong> P(B∣A). No exemplo dado, isso significa a probabilidade de uma transação ser marcada como suspeita (B), dado que ela é realmente uma fraude (A).</p><p>Portanto, podemos descrever o Recall como:</p><p>Recall=P(Marcada como Suspeita∣Fraude)</p><p>Ou seja:</p><ul><li><strong>P(B∣A)</strong> (Recall): A probabilidade de o modelo identificar uma transação como suspeita (B) dado que ela é, de fato, fraudulenta (A).</li></ul><h3>Conclusão</h3><p>O Teorema de Bayes fornece uma base teórica interessante para entender as métricas de precisão e recall . Ao compreender como essas métricas se relacionam com as probabilidades condicionais e posteriores, podemos tomar decisões mais informadas sobre a escolha e avaliação de modelos de classificação. Ao utilizar essas métricas em conjunto, podemos obter uma visão mais completa do desempenho do modelo e identificar suas forças e fraquezas.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6ea7e27e0ecb" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>