<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Will Ferreira on Medium]]></title>
        <description><![CDATA[Stories by Will Ferreira on Medium]]></description>
        <link>https://medium.com/@willferreira08?source=rss-f9989fd0105f------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*fQuVNnFwY_fNYJXdxgndDw.jpeg</url>
            <title>Stories by Will Ferreira on Medium</title>
            <link>https://medium.com/@willferreira08?source=rss-f9989fd0105f------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 23:53:16 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@willferreira08/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Inovação em Tempo Real: Transformando a Gestão de Frotas do Will Market com Azure]]></title>
            <link>https://medium.com/@willferreira08/inova%C3%A7%C3%A3o-em-tempo-real-transformando-a-gest%C3%A3o-de-frotas-do-will-market-com-azure-1f06ac901b46?source=rss-f9989fd0105f------2</link>
            <guid isPermaLink="false">https://medium.com/p/1f06ac901b46</guid>
            <category><![CDATA[azure]]></category>
            <category><![CDATA[cloud-computing]]></category>
            <category><![CDATA[power-bi]]></category>
            <category><![CDATA[apps]]></category>
            <dc:creator><![CDATA[Will Ferreira]]></dc:creator>
            <pubDate>Tue, 02 Jan 2024 12:32:45 GMT</pubDate>
            <atom:updated>2024-01-02T12:32:45.855Z</atom:updated>
            <content:encoded><![CDATA[<h4>Explorando a Integração de C# Apps, Event Hub, Data Lake e Power BI para Transformar a Gestão de Frotas</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BauL4N7Ehc9aazeM4ED7Pg.png" /></figure><p>Em um mundo cada vez mais impulsionado por dados, a habilidade de coletar, analisar e agir sobre informações em tempo real tornou-se um diferencial competitivo crucial. No cerne desta revolução digital está o poder da engenharia de dados, capaz de transformar operações cotidianas em oportunidades de otimização e inovação. Este artigo explora um caso prático desta transformação no “Will Market”, um supermercado que revolucionou a gestão de sua frota de caminhões através da implementação de uma solução de ponta baseada em tecnologias Azure.</p><p>A jornada do Will Market no universo da engenharia de dados começou com o desenvolvimento de um aplicativo em C# para simular os dados de sua frota de caminhões, gerando informações valiosas como número do caminhão, temperatura na camera frigorifica, horário da medida (Timestamp), odômetro. A integração deste app com o Azure Event Hub abriu portas para uma ingestão de dados em tempo real, seguida pelo armazenamento e processamento desses dados no Azure Data Lake e Azure Stream Analytics. O resultado final, visualizado de forma simples e intuitiva no Power BI.</p><p>p.s: Para este projeto o foco não é a criação de um dashboard completo no power bi.</p><p>Neste artigo, mergulhamos nos detalhes dessa solução integrada, destacando como cada componente do Azure contribuiu para uma visão mais abrangente e eficiente da logística de frota. Com isso, o Will Market não só melhorou a eficiência de suas operações, mas também se posicionou na vanguarda da inovação tecnológica no varejo.</p><h4>Produção de Dados: Aplicativo C#</h4><p>Foi desenvolvido um App em C# para simular uma frota de caminhões, o aplicativo gera dados em tempo real.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*o0A6aOzDmFlNzN9U.png" /></figure><p>Abaixo uma parte do App:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OxtoDFfzPB3T6yMSYw05sA.png" /></figure><p>O próximo passo crucial foi o envio desses dados gerados para o Azure Event Hub. O Event Hub desempenha um papel vital como um ponto central de ingestão de dados em tempo real, agindo como uma ponte entre a geração de dados pelo aplicativo e sua subsequente análise e armazenamento. A capacidade do Event Hub de lidar com grandes volumes de dados em tempo real torna-o uma escolha ideal para este tipo de aplicação, assegurando que os dados gerados pelo aplicativo sejam recebidos, processados e disponibilizados para análise sem atrasos, garantindo assim uma visão em tempo real e atualizada do estado da frota de caminhões.</p><h4>Azure Event Hub</h4><p>O Azure Event Hub desempenha um papel crucial no ecossistema de dados do Will Market, atuando como a espinha dorsal para a ingestão de dados em tempo real. Assim que os dados são gerados pelo aplicativo em C#, eles são enviados para o Event Hub, que se responsabiliza por recebê-los e disponibilizá-los para processamento e análise subsequentes. A importância do Event Hub neste processo não pode ser subestimada, pois ele não apenas garante a transmissão fluida de dados em grande volume, mas também mantém a alta performance e a integridade desses dados. Uma das principais características do Azure Event Hub é sua escalabilidade, permitindo que ele se adapte facilmente ao crescente volume de dados gerados pela frota de caminhões, uma característica indispensável para o Will Market, que busca expandir e otimizar continuamente suas operações de entrega. Além disso, a confiabilidade do Event Hub assegura que os dados, críticos para as operações diárias e decisões estratégicas, estejam sempre disponíveis e precisos, formando a base para análises detalhadas e insights acionáveis.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Vw7RTcldk4spnsu7SkPvlQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*M7VnsBX8Au8X4x0Z0xOkrQ.png" /></figure><p>De modo que, tem-se uma visualização no Event Hub a partir do App:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HeWnApMtCQ4RmyIu8thXJA.png" /></figure><h4>Azure Data Lake</h4><p>O Azure Data Lake representa o núcleo do armazenamento de dados no projeto de engenharia de dados do Will Market. Este serviço de armazenamento se destaca pela sua alta escalabilidade e segurança, características essenciais para gerenciar eficientemente o volume crescente de dados gerados pela frota de caminhões. A integração do Data Lake com outros serviços do Azure facilita o processamento e a análise dos dados, criando um ecossistema coeso e eficiente para a manipulação de grandes conjuntos de dados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/0*Xt68GW7pEJcRP_Pu.jpg" /></figure><h4>Azure Stream Analytics</h4><p>O Azure Stream Analytics é a força motriz por trás do processamento de dados em tempo real. Esta ferramenta permite a realização de análises complexas e a geração de alertas instantâneos, crucial para o monitoramento contínuo da frota. Capaz de realizar análises temporais e geoespaciais, bem como correlacionar dados de diferentes fontes, o Azure Stream Analytics é uma ferramenta poderosa que proporciona insights profundos e imediatos a partir dos dados coletados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*S3yS_54i6yGblTr2.png" /></figure><p>A topologia do ASA (Azure Stream Analytics) é ilustrada abaixo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/979/1*lcTLtV_shMU7x5qJv-WQ_A.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_-qd_zVWu2prkjpIkVnWiA.png" /></figure><h4>Power BI</h4><p>A integração dos dados processados com o Power BI marca a etapa final do processo de análise de dados. O Power BI serve como uma plataforma para visualização e análise detalhada dos dados, oferecendo dashboards e relatórios que ilustram insights visuais sobre o desempenho da frota, padrões de entrega, manutenção do veículo, entre outros. Esta fase é fundamental para transformar grandes volumes de dados em informações acionáveis e compreensíveis.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/995/1*asiIxdZvZZTLMknG7gm9kw.png" /></figure><p>Foi criado foi um relatório simples com alguns visuais para validar o fluxo de dados e conexões. Ilustração abaixo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*C363cvK5IEqUTohqgzBPaw.png" /></figure><h4>Benefícios e Resultados Esperados</h4><p>A implementação deste projeto promete trazer melhorias significativas na logística do Will Market. A análise de dados em tempo real possibilita a otimização de rotas, a redução de custos de combustível e a melhoria na eficiência das entregas. Além disso, a manutenção preventiva dos veículos, possibilitada pela análise dos dados coletados, pode minimizar paradas não planejadas. Os insights estratégicos obtidos a partir da análise de dados são inestimáveis para a tomada de decisões estratégicas dentro do Will Market.</p><h4>Desafios e Considerações</h4><p>Entretanto, o projeto enfrenta alguns desafios significativos. A escalabilidade dos dados é um aspecto crítico que exige atenção contínua, assegurando que o sistema possa lidar com o aumento do volume de dados sem comprometer o desempenho. A segurança e a privacidade dos dados coletados são fundamentais, especialmente em um ambiente onde dados sensíveis estão sendo constantemente manipulados e analisados. Além disso, a integração eficaz entre os diferentes serviços do Azure é crucial para o sucesso do projeto, exigindo uma coordenação precisa e uma compreensão profunda de cada componente do sistema.</p><p>Este projeto de engenharia de dados no Will Market não é apenas um testemunho do poder da tecnologia moderna na otimização de operações comerciais, mas também um exemplo brilhante de como a análise de dados pode ser transformadora no mundo dos negócios.</p><h4>Referências</h4><ol><li>Azure Event Hub Documentation: Microsoft Azure. Fornece informações técnicas detalhadas sobre o Azure Event Hub, incluindo sua arquitetura, capacidades de ingestão de dados e integração com outros serviços Azure.</li><li>Azure Data Lake Overview: Microsoft Azure. Um guia completo sobre o Azure Data Lake, abordando suas características de escalabilidade, segurança e integração com outros serviços Azure.</li><li>Azure Stream Analytics Documentation: Microsoft Azure. Detalha as funcionalidades do Azure Stream Analytics, incluindo processamento de dados em tempo real, análises temporais e geoespaciais.</li><li>Power BI Official Resources: Microsoft Power BI. Oferece uma visão geral do Power BI, tutoriais e exemplos de dashboards e relatórios para análise de dados.</li><li>Modern Data Warehousing with Azure: Um livro ou recurso online que explora as melhores práticas e estratégias para armazenamento de dados e análise em ambientes Azure.</li><li>Case Studies on Fleet Management: Publicações ou estudos de caso que discutem a aplicação de tecnologias de dados na gestão de frotas, fornecendo insights e exemplos reais.</li><li>Data Security and Privacy in Cloud Computing: Artigos e pesquisas acadêmicas sobre segurança e privacidade de dados em ambientes de computação em nuvem, abordando as melhores práticas e desafios.</li><li>C# Programming Guide: Documentação oficial da Microsoft sobre programação em C#, útil para entender o desenvolvimento de aplicativos que interagem com serviços Azure.</li><li>Integrating Azure Services: Um guia ou artigo técnico que detalha a integração entre diferentes serviços Azure, como Event Hub, Data Lake, Stream Analytics e Power BI.</li><li>Logistics Optimization Through Data Analytics: Artigos ou livros que exploram como a análise de dados pode ser usada para otimizar a logística e as operações de entrega</li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1f06ac901b46" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[A Dança da Descida: Uma Análise sobre Gradiente Descendente na Contextualização da Regressão Linear…]]></title>
            <link>https://medium.com/@willferreira08/a-dan%C3%A7a-da-descida-uma-an%C3%A1lise-sobre-gradiente-descendente-na-contextualiza%C3%A7%C3%A3o-da-regress%C3%A3o-linear-3e6a856ad8ef?source=rss-f9989fd0105f------2</link>
            <guid isPermaLink="false">https://medium.com/p/3e6a856ad8ef</guid>
            <category><![CDATA[mathematics]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[technology]]></category>
            <category><![CDATA[gradient-descent]]></category>
            <category><![CDATA[regression-modeling]]></category>
            <dc:creator><![CDATA[Will Ferreira]]></dc:creator>
            <pubDate>Mon, 27 Nov 2023 10:21:21 GMT</pubDate>
            <atom:updated>2023-11-27T10:21:21.242Z</atom:updated>
            <content:encoded><![CDATA[<h3>A Dança da Descida: Uma Análise sobre Gradiente Descendente na Contextualização da Regressão Linear Múltipla</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*7bbCEBRrbJ-La15LZBGFuw.jpeg" /></figure><p><strong>Gradiente Descendente (Gradient Descent)</strong>: um algoritmo que ajusta iterativamente os parâmetros para minimizar um objetivo.</p><p>Imagine que você está navegando em uma cadeia de montanhas à noite apenas com uma lanterna. <br> <br>Seu objetivo é chegar ao ponto mais baixo da cordilheira. Antes de dar qualquer passo, você avalia a inclinação ao seu redor e segue na direção em que a inclinação está visivelmente descendo. Você dá passos maiores para encostas maiores e passos menores para encostas menores. Por fim, você se encontrará em um ponto baixo em que a inclinação é plana, um valor de 0. Parece muito bom, certo? Essa abordagem com a lanterna é conhecida como gradiente descendente, na qual seguimos em direções que seguem uma inclinação descendente.</p><p>No aprendizado de máquina, consideramos as várias somas de perdas quadradas que podemos encontrar com diferentes parâmetros como uma paisagem com picos e vales. Nosso objetivo é reduzir nossas perdas e navegar nesse cenário para atingir esse objetivo. O gradiente descendente tem uma característica útil: a derivada parcial atua como uma lanterna, permitindo-nos visualizar os gradientes de cada parâmetro (neste caso, m e b ou β0 e β1). Nossa direção de passo para m e b segue a inclinação negativa, o que nos permite descer. Aumentamos o tamanho dos passos (steps) para obter uma convergência mais rápida. Dê passos maiores para inclinações mais acentuadas e passos menores para inclinações mais suaves. Para calcular o comprimento do passo, podemos dividir a inclinação por uma fração, que chamamos de <strong>taxa de aprendizado (learning rate)</strong>. Uma taxa de aprendizado mais alta resultará em um progresso mais rápido à custa da precisão. Mas uma taxa de aprendizado menor aumentará o tempo necessário para o treinamento e exigirá mais iterações.</p><p>Decidir sobre uma taxa de aprendizado é semelhante a selecionar uma criatura para descer uma ladeira: uma formiga, um humano ou um gigante.</p><p>Uma formiga, representando uma pequena taxa de aprendizado, dará passos minúsculos e precisará de um tempo inaceitavelmente longo para chegar ao fundo; no entanto, ela o fará com precisão. Decidir sobre uma taxa de aprendizado é semelhante a selecionar uma criatura para descer uma ladeira: uma formiga, um humano ou um gigante. Um gigante, representando uma grande taxa de aprendizado, dará passos significativos e chegará ao pé da ladeira mais rapidamente. A taxa de aprendizado pode ultrapassar repetidamente o limite mínimo, tornando-o inalcançável, apesar dos diversos passos dados. Um ser humano com uma taxa de aprendizado moderada provavelmente atingiria o equilíbrio certo entre velocidade e precisão, alcançando o mínimo com sucesso.</p><h4>Caminhemos Antes de Andar</h4><p>Para a função f(x) = (x — 9)² + 8, precisamos determinar o valor de x que nos dará o ponto mais baixo dessa função. Embora possamos resolver isso algebricamente, usaremos a usaremos o gradiente para fazer isso. Aqui está uma representação visual do nosso objetivo. Conforme ilustrado na figura abaixo. Nós queremos mover x em direção ao mínimo, onde a inclinação é igual a 0.</p><pre>import numpy as np<br>import matplotlib.pyplot as plt<br><br># Função para calcular o valor da função f(x)<br><br>def f(x):<br>    return (x - 9)**2 + 8<br><br># Derivada da função f(x)<br><br>def df(x):<br>    return 2 * (x - 9)<br><br># Algoritmo de Gradiente Descendente<br><br>def gradient_descent(initial_x, learning_rate, num_iterations):<br>    x_values = [initial_x]<br>    for _ in range(num_iterations):<br>        gradient = df(x_values[-1])<br>        new_x = x_values[-1] - learning_rate * gradient<br>        x_values.append(new_x)<br>    return x_values<br><br># Parâmetros do Gradiente Descendente<br><br>initial_x = 0  # Ponto inicial<br>learning_rate = 0.1<br>num_iterations = 50<br><br># Executando o Gradiente Descendente<br><br>minimized_points = gradient_descent(initial_x, learning_rate, num_iterations)<br><br># Encontrando o ponto mínimo<br><br>min_x = minimized_points[-1]<br>min_y = f(min_x)<br><br># Plotando a função e os pontos mínimos encontrados<br><br>x_vals = np.linspace(-2, 12, 100)<br>y_vals = f(x_vals)<br><br>plt.plot(x_vals, y_vals, label=&#39;f(x) = (x-9)^2 + 8&#39;)<br>plt.scatter(minimized_points, [f(x) for x in minimized_points], color=&#39;red&#39;, label=&#39;Pontos Mínimos Encontrados&#39;)<br>plt.scatter(min_x, min_y, color=&#39;green&#39;, marker=&#39;X&#39;, label=f&#39;Mínimo em ({min_x:.2f}, {min_y:.2f})&#39;)<br>plt.title(&#39;Gradiente Descendente para f(x) = (x-9)^2 + 8&#39;)<br>plt.xlabel(&#39;x&#39;)<br>plt.ylabel(&#39;f(x)&#39;)<br>plt.legend()<br>plt.show()</pre><p>Ilustradamente:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/571/1*ZB53xIrI27vBVQ9BIJKjog.png" /><figcaption>Fonte: Autor.</figcaption></figure><p>Fazendo referência ao gráfico, fica evidente que a função atinge seu mínimo em x = 9. O código que precede essa declaração deve se aproximar desse valor. A taxa de aprendizado divide a inclinação e a subtrai do valor de x a cada iteração. Inclinações maiores levarão a passos maiores, enquanto inclinações menores resultarão em movimentos menores. Com iterações suficientes, x acabará atingindo o ponto mínimo da função (ou<br>uma aproximação próxima a ele), onde a inclinação é zero.</p><h4>Visão Matemática</h4><p>Já sabemos que o gradiente descendente um algoritmo de otimização usado para encontrar o mínimo de uma função. Matematicamente, ele utiliza o conceito de derivadas parciais para determinar a inclinação ou gradiente da função em relação a cada parâmetro. Seja <em>J</em>(<em>θ</em>) a função de custo que queremos minimizar, onde <em>θ</em> representa o vetor de parâmetros. O gradiente de <em>J</em> em relação a <em>θ</em> é denotado por ∇<em>J</em>(<em>θ</em>).</p><p>O algoritmo segue a direção oposta do gradiente para atualizar iterativamente os parâmetros, buscando atingir o ponto mínimo da função de custo. A atualização dos parâmetros (<em>θ</em>) é realizada da seguinte maneira:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/305/1*xo3xZil1eelpKq-J5hn0cw.png" /></figure><p>Onde <em>α</em> é a taxa de aprendizado, um hiperparâmetro crucial que determina o tamanho do passo em cada iteração. Uma taxa de aprendizado muito pequena pode resultar em convergência lenta, enquanto uma taxa muito grande pode levar a oscilações ou até mesmo a divergência.</p><p><strong>Função de Custo: A Base da Otimização:</strong> A função de custo, frequentemente representada como <em>J</em>(<em>θ</em>) ou <em>L</em>(<em>θ</em>), quantifica o quão distantes estão as previsões do modelo dos valores reais. Em problemas de regressão, uma função comum é o Erro Quadrático Médio (MSE):</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/305/1*xHRIsOuHqGEB-aQ2PZaW1A.png" /></figure><p>Onde <em>m</em> é o número de exemplos de treinamento, <em>hθ</em> (<em>x</em>) é a função de hipótese, e (<em>x</em>(<em>i</em>),<em>y</em>(<em>i</em>)) são os pares de treinamento. A escolha da função de custo depende do problema em questão.</p><p><strong>O Papel Crucial da Otimização:</strong> O Gradiente Descendente minimiza a função de custo ajustando os parâmetros do modelo. A cada iteração, os parâmetros são atualizados de acordo com o gradiente negativo, movendo-se na direção que mais rapidamente reduz o valor da função de custo. Esse processo é repetido até que a convergência seja alcançada ou um número predeterminado de iterações seja atingido.</p><h4>Gradiente Descendente e Regressão Linear Múltipla</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*m9ep0qJBkBoXgwPpcunOJw.jpeg" /></figure><p>Poderá estar curioso sobre a forma como aplicamos este conceito à regressão linear. O princípio é o mesmo, só que as nossas “variáveis” são representadas por m e b (ou β0 e β1) em vez de x.</p><p>A razão é que, numa regressão linear simples, os valores de x e y já são dados como parte dos dados de treino. As “variáveis” que necessitam de ser resolvidas são, na realidade, os parâmetros m e b. Isto permite-nos determinar a linha de melhor ajuste, que pode então aceitar uma variável x para prever um novo valor y.</p><p>Como é que calculamos os declives para m e b? Precisamos das derivadas parciais para cada destes parâmetros. Que função estamos a diferenciar? <br>É importante minimizar a perda e isso significa que precisamos de minimizar a função da soma dos quadrados. Para isso, precisamos de<br>diferenciar a função da soma dos quadrados em relação a m e b.</p><p>Em notação matemática, onde e(x) representa a função de perda da soma dos quadrados, aqui estão as derivadas parciais para m e b:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/433/1*ImUybG0jBl6Bg5Kv9f8tPg.png" /></figure><p>Se a taxa de aprendizagem for reduzida, o algoritmo necessitará de mais iterações, resultando numa aprendizagem lenta. Inversamente, aumentá-la acelerará o processo de aprendizagem, mas a aproximação será mais fraca.<br>Inversamente, o seu aumento acelerará o processo de aprendizagem, mas a aproximação será mais pobre.</p><p>É importante notar que quando um algoritmo de aprendizagem automática é referido como “aprendizagem” ou “treino”, está simplesmente a ajustar um modelo de regressão.</p><h4>Aplicando em uma Regressão Linear Múltipla</h4><p>Vamos utilizar o Conjunto de Dados do Boston Housing, que abrange a taxa média de ocupação de residências, acompanhada por outras 13 variáveis potencialmente associadas aos preços das habitações. Estes fatores incluem condições socioeconômicas, ambientais, facilidades educacionais, e outros aspectos semelhantes. O conjunto de dados é composto por 506 observações referentes a 14 variáveis, sendo 12 delas numéricas e 1 categórica. O propósito deste projeto consiste em desenvolver um modelo de regressão linear para estimar a taxa média de ocupação das residências pelos proprietários em Boston.</p><ul><li>Dataset: <a href="https://www.kaggle.com/datasets/vikrishnan/boston-house-prices">Kaggle</a>.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*JVC9jBNCy-7-ZJLVXluWbg.png" /></figure><p>O código abaixo resolve a regressão linear e imprime os coeficientes utilizando à técnica do gradiente descendente. De modo que,</p><pre># Gerando os dados<br>observations = len(dados)<br>variables = dados.columns<br><br># Aplicando Padronização<br><br>X = dados.iloc[:,:-1]<br>standardization = StandardScaler()<br>Xst = standardization.fit_transform(X)<br>original_means = standardization.mean_<br>originanal_stds = standardization.scale_<br><br><br># Gerando X e Y<br>Xst = np.column_stack((Xst,np.ones(observations)))<br>y  = dados[&#39;MEDV&#39;].values<br><br><br>import random<br>import numpy as np<br><br>def random_w( p ):<br>    return np.array([np.random.normal() for j in range(p)])<br><br>def hypothesis(X,w):<br>    return np.dot(X,w)<br><br>def loss(X,w,y):<br>    return hypothesis(X,w) - y<br><br>def squared_loss(X,w,y):<br>    return loss(X,w,y)**2<br><br>def gradient(X,w,y):<br>    gradients = list()<br>    n = float(len( y ))<br>    for j in range(len(w)):<br>        gradients.append(np.sum(loss(X,w,y) * X[:,j]) / n)<br>    return gradients<br><br>def update(X,w,y, alpha = 0.01):<br>    return [t - alpha*g for t, g in zip(w, gradient(X,w,y))]<br><br>def optimize(X,y, alpha = 0.01, eta = 10**-12, iterations = 1000):<br>    w = random_w(X.shape[1])<br>    path = list()<br>    for k in range(iterations):<br>        SSL = np.sum(squared_loss(X,w,y))<br>        new_w = update(X,w,y, alpha = alpha)<br>        new_SSL = np.sum(squared_loss(X,new_w,y))<br>        w = new_w<br>        if k&gt;=5 and (new_SSL - SSL &lt;= eta and new_SSL - SSL &gt;= -eta):<br>            path.append(new_SSL)<br>            return w, path<br>        if k % (iterations / 20) == 0:<br>            path.append(new_SSL)<br>    return w, path  <br><br><br><br># printindo o resultado                           <br><br>alpha = 0.01 # tamanho de passos para iterações <br>w, path = optimize(Xst, y, alpha, eta = 10**-12, iterations = 20000)<br>print (&quot;Coeficientes finais padronizados: &quot; + &#39;, &#39;.join(map(lambda x: &quot;%0.4f&quot; % x, w)))  </pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/406/1*ecxjLXSYs_y_rijDqTaEOw.png" /></figure><p>A utilização do gradiente descendente na otimização dos coeficientes da regressão linear múltipla é justificada por sua eficácia na minimização da função de custo associada ao modelo. Aqui estão algumas razões fundamentais para escolher o gradiente descendente e os benefícios pós-otimização:</p><p>1. Eficiência em Otimização:</p><ul><li>O gradiente descendente é particularmente eficiente em problemas de otimização convexa, como a minimização da função de custo na regressão linear múltipla. Sua abordagem iterativa permite convergir rapidamente para o mínimo global ou local, dependendo da convexidade da função.</li></ul><p>2. Lidando com Grandes Conjuntos de Dados:</p><ul><li>Em conjuntos de dados grandes, calcular diretamente a solução analítica (equação normal) para encontrar os coeficientes pode ser computacionalmente caro. O gradiente descendente lida bem com grandes volumes de dados, permitindo atualizações iterativas em pequenos lotes (gradiente estocástico) ou no conjunto de dados completo.</li></ul><p>3. Adaptabilidade a Funções Não Lineares:</p><ul><li>O gradiente descendente é versátil e pode ser aplicado a modelos com funções de custo não lineares. Isso é particularmente útil em casos mais complexos em que a relação entre as variáveis independentes e dependentes não é estritamente linear.</li></ul><p>4. Regularização e Ajuste Fino:</p><ul><li>O gradiente descendente pode ser facilmente estendido para incorporar técnicas de regularização, como L1 (LASSO) e L2 (Ridge). Isso ajuda a evitar overfitting e permite ajustes finos nos coeficientes para melhorar o desempenho do modelo em dados de teste.</li></ul><p>5. Atualização Contínua com Novos Dados:</p><ul><li>Em ambientes dinâmicos em que novos dados estão constantemente disponíveis, o gradiente descendente pode ser adaptado para atualizar os coeficientes de maneira contínua, mantendo o modelo ajustado às mudanças nas relações entre variáveis.</li></ul><p><strong>Pós-otimização:</strong></p><ul><li>Interpretabilidade Melhorada: Os coeficientes resultantes da otimização via gradiente descendente são ajustados para representar a relação entre as variáveis independentes e dependentes. Essa interpretabilidade aprimorada facilita a compreensão das influências individuais de cada variável sobre a variável de resposta.</li><li>Melhor Desempenho Preditivo: O ajuste dos coeficientes pelo gradiente descendente visa minimizar a discrepância entre as previsões do modelo e os valores reais. Isso, por sua vez, leva a um melhor desempenho preditivo quando o modelo é aplicado a novos dados.</li></ul><p>Em resumo, o gradiente descendente é uma escolha poderosa para otimização de modelos lineares múltiplos, proporcionando eficiência, adaptabilidade e facilidade de interpretação, com benefícios pós-otimização que incluem desempenho aprimorado e capacidade de ajuste contínuo.</p><h4>Conclusão</h4><p>O artigo abordou de maneira abrangente o processo de otimização por gradiente descendente e sua aplicação específica na regressão linear múltipla. A explanação matemática por trás do gradiente descendente foi cuidadosamente delineada, destacando a importância dessa técnica em encontrar os parâmetros ideais para modelos de machine learning.</p><p>Ao utilizar um exemplo prático com a função de custo representativa da regressão linear múltipla, o artigo proporcionou uma visão prática da implementação do gradiente descendente em Python. O código apresentado e as visualizações gráficas contribuíram significativamente para a compreensão do processo iterativo de atualização de parâmetros em direção ao mínimo da função de custo.</p><p>Em resumo, o artigo forneceu uma introdução sólida ao gradiente descendente, destacando sua aplicação específica na regressão linear múltipla. A combinação de explicações teóricas e exemplos práticos contribuiu para tornar o tema acessível a leitores com diferentes níveis de familiaridade com o assunto.</p><h3>Referências</h3><ul><li>Lopes, M. (2023). Data Formation. Curso de Data Science. <a href="https://www.comunidadeds.com/">comunidadeds.com</a>. <a href="https://medium.com/u/15bdfcc99625">Meigarom</a></li><li>Cavalcanti, Y. (2023). Case de Nivelamento. Bootcamp DSCOM. <a href="https://hotmart.com/pt-br/marketplace/produtos/bootcamp-portfolio-ciencia-de-dados/L85505662D">BootCamp: Crie seu portfólio em ciência de dados</a>. <a href="https://medium.com/u/9217c3af5f59">Yanna Cavalcanti</a></li><li>Hermuche, A. (2023). Aulas Mentoria. Comunidade O Último Código. <a href="https://medium.com/u/f78a171df2f2">Anwar Martins Hermuche</a></li><li><a href="https://www.analyticsvidhya.com/blog/2021/08/understanding-gradient-descent-algorithm-and-the-maths-behind-it/">Understanding Gradient Descent Algorithm and the Maths Behind It</a> — Analytics Vidhya, agosto de 2021.</li><li>Nield, T. (2022). <em>Essential Math for Data Science: Take Control of Your Data with Fundamental Linear Algebra, Probability, and Statistics.</em> O’Reilly Media.</li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3e6a856ad8ef" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Desvendando Padrões de Dados: Uma Jornada pelos Métodos de Clusterização K-means, Gaussian Mixture…]]></title>
            <link>https://medium.com/@willferreira08/desvendando-padr%C3%B5es-de-dados-uma-jornada-pelos-m%C3%A9todos-de-clusteriza%C3%A7%C3%A3o-k-means-gaussian-mixture-0046d3daae7c?source=rss-f9989fd0105f------2</link>
            <guid isPermaLink="false">https://medium.com/p/0046d3daae7c</guid>
            <dc:creator><![CDATA[Will Ferreira]]></dc:creator>
            <pubDate>Tue, 14 Nov 2023 12:06:14 GMT</pubDate>
            <atom:updated>2023-11-14T12:06:14.610Z</atom:updated>
            <content:encoded><![CDATA[<h3>Desvendando Padrões de Dados: Uma Jornada pelos Métodos de Clusterização K-means, Gaussian Mixture Model, Hierarchical Clustering e DBSCAN</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kViMTvXc0wBVcicBMgxl4A.png" /></figure><h4><strong>1. O que é clusterização?</strong></h4><p>Imagine uma abundância de pontos de dados, desde detalhes intrincados do histórico de compras do cliente até medidas precisas de diferentes espécies ou a composição sutil de um pixel de imagem. O agrupamento, a arte de organizar esses pontos de dados em subconjuntos, revela um mundo no qual os elementos de cada subconjunto compartilham uma profunda semelhança que os distingue dos elementos de outros subconjuntos. Esses agrupamentos, formados por características, atributos ou relacionamentos comuns que não são imediatamente aparentes, são a chave para desvendar os padrões ocultos em seus dados.</p><p>A importância do clustering transcende os setores, desempenhando um papel central em aplicativos tão diversos quanto segmentação de mercado, sistemas de recomendação, detecção de anomalias e segmentação de imagens. É a bússola que orienta as empresas a visar segmentos específicos de clientes, ajuda os pesquisadores a categorizar meticulosamente as espécies e permite que os sistemas de visão por computador dissequem e diferenciem meticulosamente os objetos em imagens complexas. Em essência, compreender a miríade de técnicas e algoritmos que sustentam o clustering torna-se primordial na busca de extrair insights valiosos das paisagens intrincadas de conjuntos de dados complexos.</p><p>Este artigo explora quatro técnicas de clusterização fundamentais, destacando seu papel essencial na análise de dados. Os modelos em foco são o K-means, a Gaussian Mixture Model (GMM), o Hierarchical Clustering e o Density-Based Spatial Clustering of Applications with Noise (DBSCAN). Cada um desses métodos possui características distintas e oferece abordagens únicas para identificar grupos latentes nos dados.</p><p>Ao longo deste artigo, apresento uma análise comparativa da performance de cada modelo, destacando suas vantagens e limitações. Em última análise, o objetivo é equipar os profissionais da área com o conhecimento necessário para aplicar clusterização de maneira eficaz, impulsionando a tomada de decisões assertivas.</p><h4>1.1 O dataset</h4><p>Para a aplicação de todos os outros algoritmos desse artigo, foi-se utilizado o <a href="https://www.kaggle.com/datasets/vjchoudhary7/customer-segmentation-tutorial-in-python"><em>Mall Customer Segmentation Data</em></a>, uma base de dados didática e simplificada de usuários de um shopping. A base contém 4 colunas: “Gender”, “Age”, “Annual Income (k$)” e “Spending Score” (uma classificação de 0 a 100 dada pelo shopping com base no comportamento de gasto do cliente).</p><p>Como esse texto se trata de um texto introdutório e mais focado nos algoritmos e conceitos, vamos relevar alguns processos realizados nos dados e aplicar os algoritmos de Clustering considerando apenas duas <em>features: </em>Annual Income (k$) e Spending Score (1–100), que podem ser vistos no gráfico a seguir:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/571/1*eimWPBXwmh-NNWsiO5XoNQ.png" /><figcaption>Font: Autor.</figcaption></figure><p>Destaca-se que, a fim de alcançar resultados mais consistentes, é essencial realizar a normalização das características, ajustes finos, engenharia de características, filtragem de variáveis e Análise Exploratória de Dados (EDA).</p><h4>1.2 Métrica Silhouette Score na Análise de Clusters</h4><p>A avaliação eficaz de algoritmos de clustering é essencial na extração de insights significativos de conjuntos de dados complexos. Este artigo explora a métrica Silhouette Score como uma ferramenta fundamental para avaliar a qualidade dos clusters gerados por quatro métodos distintos: K-means, Gaussian Mixture Model, Hierarchical Clustering e DBSCAN. A análise visa fornecer uma visão aprofundada dessas técnicas e como o Silhouette Score pode ser aplicado para medir a eficácia de cada uma.</p><p>O Silhouette Score é uma métrica que quantifica o quão bem definidos são os clusters formados pelos algoritmos de clustering. Ele combina a coesão intra-cluster com a separação inter-cluster, fornecendo uma pontuação que varia de -1 a 1 para cada ponto em um conjunto de dados. Mais próxima de 1, melhor a métrica.</p><p>De modo, que:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/818/1*Gl3rx0yfgm9c0v7haJ0g1w.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/587/1*nfjPetH_BIGtMEZjP49taQ.png" /></figure><p>Diante disso, a aplicação do Silhouette Score tem como objetivo:</p><ul><li>Determinar o número ideal de cluster: escolher o número de cluster que maximiza o Silhouette Score.</li><li>Avaliação dos algoritmos: comparar a qualidade dos cluster gerados por diferentes modos.</li></ul><h4>2. Clusterização baseada em centroides</h4><p>O clustering baseado em centroides se baseia em centroides, ou pontos representativos, para definir clusters em conjuntos de dados. O objetivo é minimizar a distância entre os pontos de dados e seus centroides de cluster.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*jQIYWlc2Ck2TJMom.gif" /><figcaption>Exemplo de algoritmo baseado em centroide (fonte: <a href="https://theanlim.rbind.io/post/clustering-k-means-k-means-and-gganimate/">THEAN C. LIM</a>).</figcaption></figure><h4><strong>2.1 K-Means</strong></h4><p>O K-means divide eficientemente os dados em k clusters definidos pelo usuário, atribuindo iterativamente pontos ao centroide mais próximo até que a convergência seja alcançada. Ideal para atributos numéricos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/480/0*M-ZeQ9Kn4uyUIGr0.gif" /><figcaption>K-Means Clustering.</figcaption></figure><h4>2.1.1 Funcionamento do K-means</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/853/1*A63XiYYeG5gLJOoXJsTpaw.gif" /><figcaption>Fonte: Autor.</figcaption></figure><p>Para k = 2 (número de clusters):</p><ul><li>Inicialize o centroide aleatoriamente.</li><li>calcule a distância de todos os pontos em relação ao centroide 01.</li><li>calcule a distância de todos os pontos em relação ao centroide 02.</li><li>Determine o ponto ao cluster de menor distância.</li><li>Reposicione o centro.</li><li>Recalcule as distâncias de todos os pontos em relação ao centroide 01.</li><li>Recalcule as distancias de todos os pontos em relação ao centroide 02.</li><li>Atribua os pontos aos centroides mais próximos.</li><li>Reposicione o centro.</li></ul><p>A iteração irá finalizar quando o ponto médio do centroide ficar imóvel.</p><h4>2.1.2 Características do K-means</h4><ul><li>Número de cluster é um hiperparâmetro.</li><li>Usa métrica de distâncias (e.g euclidiana, Manhatan, Mahalanobis, Minkowski, Similaridade de Cosseno e Levenshtein).</li><li>Cluster circular.</li><li>Cada ponto pertence a um único cluster.</li><li>Os dados precisam estar em escalas comparáveis (precisa de uma reescala ou normalização dos dados).</li></ul><h4>2.1.3 Vantagens e Desvantagens</h4><p><strong>Vantagens</strong></p><ul><li>Simplicidade e Eficiência: o K-means é fácil de entender e implementar, sendo computacionalmente eficiente para conjuntos de dados de tamanho moderado a grande.</li><li>Rápido Convergência: em muitos casos, o algoritmo converge rapidamente para uma solução, especialmente quando os clusters têm formas esféricas e tamanhos aproximadamente iguais.</li><li>Escalabilidade: o K-means pode ser escalado para grandes conjuntos de dados, tornando-o adequado para aplicações em larga escala.</li><li>Resultados Interpretáveis: os resultados do K-means são facilmente interpretáveis, pois cada ponto de dados é atribuído a um cluster específico.</li><li>Ampla Aplicabilidade: o K-means funciona bem em muitos cenários, especialmente quando os clusters são claramente separados e o formato deles é aproximadamente esférico.</li></ul><p><strong>Desvantagens</strong></p><ul><li>Dependência da Inicialização: a performance do K-means pode depender da escolha inicial dos centroides, o que pode levar a soluções diferentes. A inicialização inadequada pode resultar em agrupamentos subótimos.</li><li>Sensibilidade à Escala: o algoritmo é sensível à escala dos dados, o que significa que variáveis com escalas diferentes podem afetar negativamente os resultados.</li><li>Assumir Forma Esférica dos Clusters: o K-means pressupõe que os clusters têm formas esféricas e tamanhos aproximadamente iguais, o que pode não ser verdadeiro em todos os conjuntos de dados.</li><li>Número de Clusters Pré-definido: o usuário precisa especificar o número de clusters desejado antecipadamente, o que pode ser desafiador em situações em que esse número não é conhecido.</li><li>Sensibilidade a Outliers: o K-means é sensível a outliers, pois os centroides são influenciados pela média dos pontos, o que pode distorcer a localização dos clusters.</li></ul><h4>2.1.4 Aplicando no dataset</h4><pre>from sklearn.metrics import silhouette_score<br>from sklearn.datasets import make_blobs<br>from sklearn.cluster import KMeans<br>import plotly.express as px<br><br>kmeans_list = []<br>kmax = 10<br>clusters = range(2, kmax + 1)<br>for k in clusters:<br>    # model definition<br>    kmeans_model = KMeans( n_clusters=k )<br><br>    # model training<br>    kmeans_model.fit( scaled_data )<br><br>    # model predict<br>    labels = kmeans_model.predict(scaled_data )<br><br>    # model performance<br>    sil = silhouette_score( scaled_data, labels, metric=&#39;euclidean&#39; )<br>    kmeans_list.append( sil )<br><br># visualizando graficamente o Sillhouette Score<br><br><br>plt.plot( clusters, kmeans_list, linestyle=&#39;--&#39;, marker=&#39;o&#39;, color=&#39;b&#39; )<br>plt.xlabel( &#39;Clusters&#39; );<br>plt.ylabel( &#39;Silhouette Score&#39; );<br>plt.title( &#39;Silhouette Score x Clusters - K-means&#39; )<br><br># visualizando clusters<br>km = KMeans(n_clusters=6,init=&#39;k-means++&#39;, random_state=0) #definindo o modelo de clustering que iremos utilizar<br><br><br>labels = km.fit_predict(scaled_data)<br>data[&#39;Cluster&#39;] = labels.astype(str)<br><br># Visualizar clusters usando Plotly Express Scatter Plot<br>fig = px.scatter(data, x=&#39;Spending Score (1-100)&#39;, y=&#39;Annual Income (k$)&#39;, color=&#39;Cluster&#39;,<br>                     title=f&#39;K-Means Clustering with 6 Clusters&#39;, labels={&#39;Cluster&#39;: &#39;Cluster&#39;})<br><br>fig.show()<br></pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/576/1*8hL-0D4_FTffquq9DYHS5w.png" /><figcaption>Fonte: Autor.</figcaption></figure><p>Observamos que o melhor score é para 6 clusters.</p><p>Visualizando os clusters:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PNi_AgrHqy0hVQCsB-sYeQ.png" /><figcaption>Fonte: Autor.</figcaption></figure><h4>3. Clusterização baseada em Distribuição</h4><p>A clusterização baseado na distribuição, como o Modelo de Mistura Gaussiana (GMM) modela os dados como distribuições de probabilidade. Eficaz na identificação de clusters com características estatísticas.</p><h4>3.1 Gaussian Mixture Model (GMM)</h4><p>O Gaussian Mixture Model representa dados com múltiplas distribuições gaussianas, identificando agrupamentos de diferentes formas e tamanhos. É amplamente utilizado no reconhecimento de padrões, na estimativa de densidade e na compressão de dados.</p><p>Visualizando uma distribuição para uma dimensão (variável), observa-se um gráfico similar a este:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*6tfYOLrNr76TL1myREX0Xg.png" /><figcaption>Visualização Gaussiana para uma dimensão.</figcaption></figure><p>Se adicionarmos outra dimensão (variável), a visualização será como se olharmos “de cima” (um plano). De modo que:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/787/1*boyBlnZBqZQt8JOSxIPvWg.png" /><figcaption>Visualização Gaussiana para duas dimensões.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/360/0*srjtk6aN1dwfea7Y.gif" /><figcaption>EM Clustering using GMMs.</figcaption></figure><h4>3.1.1 Funcionamento do GMM</h4><p>Neste contexto, surge a pergunta: como encontrar a posição das curvas Gaussianas? A resposta para essa pergunta está em estimar os valores de média e desvio padrão para um número K de Gaussianas.</p><p>Esses valores são determinados por meio de uma técnica chamada Maximização da Expectativa (EM). Basicamente, o processo se dá por:</p><ul><li>Escolha um número de Gaussianas.</li><li>Inicialize os parâmetros aleatoriamente no espaço.</li><li>Calcule a probabilidade de um cada ponto pertencer a uma das K curvas Gaussianas (Expectitation).</li><li>Atualize os parâmetros das curvas (Maximization).</li><li>Recalcule a probabilidade de cada ponto pertencer a uma das K curvas Gaussianas.</li></ul><p>P.s: Em breve trarei um texto apresentando essa técnica (EM) para aprofundarmos no funcionamento dos modelos de mistura gaussiana.</p><p>Digamos que temos três distribuições gaussianas (mais sobre isso na próxima seção) — GD1, GD2, GD3 e GD4. Estes têm um determinado valor de média (μ1, μ2, μ3 e μ4) e variância (σ1, σ2, σ3 e σ4), respectivamente. Para um determinado conjunto de pontos de dados, nosso GMM identificaria a probabilidade de cada ponto de dados pertencer a cada uma dessas distribuições.</p><p>Num espaço unidimensional, a função densidade de probabilidade de uma distribuição gaussiana é dada por:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/307/0*vQJakM-dTGdYv-p3.png" /></figure><p>onde μ é a média e σ² é a variância.</p><p>No entanto, isso só seria para uma dimensão. No caso de mais de duas variáveis (dimensões), em vez de uma curva em sino 2D, teremos uma curva em sino 3D conforme mostrado abaixo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/728/0*hMgmm7o5FPgqSzWu.png" /><figcaption>Curva em sino 3D.</figcaption></figure><p>A função densidade de probabilidade seria dada por:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/544/0*etDR2OHxfIFTqq86.png" /></figure><p>onde x é o vetor de entrada, μ é o vetor médio 2D e Σ é a matriz de covariância 2×2. A covariância definiria agora a forma desta curva. Podemos generalizar o mesmo para dimensões d.</p><h4>3.1.2 Características do GMM</h4><ul><li>Possui 3 hiperparâmetros: o número de cluster K, a média de cada cluster K, a variância de cada cluster K.</li><li>Probabilidade de o ponto pertencer à uma distribuição de probabilidade.</li><li>Cada ponto tem um grau de incertezas sobre pertencer aos clusters.</li><li>Inicialização aleatórias dos parâmetros.</li><li>Formato do cluster pode ser ajustado.</li></ul><h4>3.1.3 Vantagens e Desvantagens</h4><p><strong>Vantagens:</strong></p><ul><li>Flexível em Relação ao Formato dos Clusters: ao contrário do K-means, o GMM não faz suposições sobre a forma dos clusters, permitindo modelar clusters com diferentes formas e tamanhos.</li><li>Modelagem de Distribuição Probabilística: o GMM modela a distribuição de probabilidade dos dados em cada cluster, o que é útil quando os dados têm uma estrutura mais complexa.</li><li>Robustez a Outliers: por considerar a distribuição probabilística, o GMM é menos sensível a outliers em comparação com o K-means.</li><li>Adaptabilidade à Correlação entre Variáveis: o GMM é capaz de modelar correlações entre diferentes variáveis, proporcionando uma representação mais precisa dos relacionamentos complexos nos dados.</li></ul><p><strong>Desvantagens:</strong></p><ul><li>Complexidade Computacional: o treinamento de um GMM é computacionalmente mais intensivo em comparação com o K-means, tornando-o menos eficiente para grandes conjuntos de dados.</li><li>Dependência do Número de Componentes: assim como o K-means, o GMM requer a especificação do número de componentes (clusters) antecipadamente, o que pode ser desafiador.</li><li>Sensibilidade à Inicialização: o desempenho do GMM pode ser sensível à escolha inicial dos parâmetros, especialmente em casos em que o número de componentes não é conhecido a priori.</li><li>Interpretação Mais Complexa: interpretar os resultados do GMM pode ser mais complexo devido à natureza probabilística do modelo e à associação de probabilidades aos pontos de dados.</li><li>Requer Mais Dados para Treinamento: o GMM, especialmente quando o número de componentes é alto, pode exigir um conjunto de dados maior para treinamento eficaz.</li></ul><h4>3.1.4 Aplicando no dataset</h4><pre>from sklearn.mixture import GaussianMixture<br><br>gmm_list = []<br><br>for k in clusters:<br>    <br># model definition<br>    gmm_model = GaussianMixture( n_components=k )<br><br>    # model training<br>    gmm_model.fit(scaled_data )<br><br>    # model predict<br>    labels = gmm_model.predict( scaled_data )<br><br>    # model performance<br>    sil = silhouette_score( scaled_data, labels, metric=&#39;euclidean&#39; )<br>    gmm_list.append( sil )<br><br># visualizando graficamente o Sillhouette Score<br><br>plt.plot( clusters, gmm_list, linestyle=&#39;--&#39;, marker=&#39;o&#39;, color=&#39;b&#39; )<br>plt.xlabel( &#39;Clusters&#39;);<br>plt.ylabel( &#39;Silhouette Score&#39;);<br>plt.title( &#39;Silhouette x Clusters - GMM&#39;);<br><br>data[&#39;Cluster&#39;] = labels.astype(str)<br># Visualizar clusters usando Plotly Express Scatter Plot<br>fig = px.scatter(data, x=&#39;Spending Score (1-100)&#39;, y=&#39;Annual Income (k$)&#39;, color=&#39;Cluster&#39;,<br>                     title=f&#39;K-Means Clustering with 6 Clusters&#39;, labels={&#39;Cluster&#39;: &#39;Cluster&#39;})<br><br>fig.show()</pre><p>Observamos que o GMM o maior Silhouette Score foi para 6 clusters:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/576/1*_nPET0Kl5XFroStZj2fBZA.png" /><figcaption>Fonte: Autor</figcaption></figure><p>Visualizando os clusters:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rZUslXznXB0sgyhu0d1Rig.png" /><figcaption>Fonte: Autor</figcaption></figure><h4>4. Clusterização Hierárquica (Hierarchical Clustering)</h4><p>A clusterização com o modelo hierárquico na aprendizagem automática não supervisionada organiza os pontos de dados num dendrograma, revelando relações a várias escalas. Técnicas como Spectral Clustering, Birch e Ward’s Method facilitam a exploração em profundidade de estruturas e padrões de dados complexos. Nesse artigo, abordaremos a técnica Ward’s Method ou Agglomerative Clustering, por ser comumente utilizado.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/720/0*Hyo4RtQPPuphDNZy.gif" /><figcaption>Hierarchical Clustering.</figcaption></figure><h4>4.1 Agglomerative Clustering</h4><p>Ward’s Method, uma técnica de agrupamento hierárquico aglomerativo, começa por fundir pontos de dados em agrupamentos, formando uma hierarquia. Amplamente utilizado nas ciências ambientais e na biologia para classificações taxonômicas, o agrupamento hierárquico ajuda os analistas a explorar as ligações de dados a vários níveis. Esta ferramenta valiosa é particularmente útil para compreender estruturas e padrões de dados complexos em várias escalas, especialmente quando se lida com relações hierárquicas complexas ou se analisam dados a diferentes resoluções.</p><h4>4.1.1 Funcionamento do Agglomerative Clustering</h4><p>Tem-se que o processo de funcionamento para esse tipo de modelo o seguinte:</p><ul><li>Cada ponto é considerado um cluster.</li><li>Calcule a distância entre todos os pontos do espaço.</li><li>Identifique o vizinho mais próximo.</li><li>Crie um cluster.</li><li>Repita o processo.</li></ul><h4>4.1.2 Características do Agglomerative Clustering</h4><p>O Agglomerative Clustering é um algoritmo de agrupamento hierárquico que se destaca por várias características. Aqui estão algumas das principais características do Agglomerative Clustering:</p><ul><li>Hierarquia de Clusters: o Agglomerative Clustering gera uma estrutura hierárquica de clusters, formando uma árvore (dendrograma) que representa a ordem em que os clusters são mesclados. Isso permite a análise em diferentes níveis de granularidade.</li><li>Abordagem Bottom-Up: também conhecido como “bottom-up” ou “aglomerativo”, o algoritmo começa considerando cada ponto de dados como um cluster individual e, em seguida, mescla gradualmente os clusters com base em sua similaridade, subindo na hierarquia.</li><li>Similaridade/Distância entre Clusters: a medida de similaridade ou distância entre clusters é fundamental no Agglomerative Clustering. Pode ser usado um critério como distância euclidiana, distância de Manhattan, correlação, entre outros.</li><li>Métodos de Ligação (Linkage): o algoritmo utiliza métodos de ligação para calcular a similaridade entre clusters. Alguns métodos comuns incluem ligação simples (single linkage), ligação completa (complete linkage) e ligação média (average linkage), cada um com suas próprias características.</li><li>Não é Necessário Especificar o Número de Clusters: ao contrário de alguns outros métodos de agrupamento, como o K-means, o Agglomerative Clustering não requer a pré-especificação do número de clusters. O dendrograma gerado permite a escolha do número ideal de clusters pós-análise.</li><li>Flexibilidade em Métricas de Distância: o Agglomerative Clustering é flexível em relação à métrica de distância utilizada para medir a dissimilaridade entre pontos de dados. Isso permite a adaptação do algoritmo a diferentes tipos de dados e domínios.</li><li>Sensibilidade à Inicialização: a sensibilidade à inicialização é menor comparada ao K-means, já que o Agglomerative Clustering não requer a seleção aleatória de centros de cluster iniciais. No entanto, ainda pode ser sensível a escolhas de parâmetros, como o método de ligação.</li><li>Eficiência em Conjuntos de Dados Pequenos e Médios: o Agglomerative Clustering é frequentemente mais eficiente em conjuntos de dados pequenos e médios, pois a complexidade computacional pode aumentar significativamente com o tamanho do conjunto de dados.</li><li>Sensibilidade a Outliers: Como o algoritmo se baseia na proximidade média entre clusters, pode ser sensível a outliers, o que pode afetar a formação dos clusters.</li></ul><h4>4.1.3 Vantagens e Desvantagens</h4><p><strong>Vantagens:</strong></p><ul><li>Intuitivo e Interpretável: o processo de formação de clusters de maneira hierárquica é intuitivo e fácil de entender, o que facilita a interpretação dos resultados.</li><li>Hierarquia de Clusters: o método gera uma estrutura hierárquica de clusters, permitindo a análise em diferentes níveis de granularidade. Isso pode ser útil ao explorar padrões em diferentes escalas.</li><li>Não é necessário especificar o número de clusters: ao contrário de métodos como o K-means, o Agglomerative Clustering não requer a pré-especificação do número de clusters. Isso pode ser uma vantagem quando o número ideal de clusters não é conhecido a priori.</li><li>Robusto para diferentes métricas de distância: pode ser utilizado com várias métricas de distância, tornando-o flexível para diferentes tipos de dados e domínios.</li></ul><p><strong>Desvantagens:</strong></p><ul><li>Complexidade Computacional: o algoritmo pode ser computacionalmente caro, especialmente para conjuntos de dados grandes, devido à necessidade de calcular e atualizar as distâncias entre todos os pares de pontos.</li><li>Sensibilidade a Outliers: o Agglomerative Clustering pode ser sensível a outliers, pois a mesclagem de clusters ocorre com base na proximidade média. Outliers podem distorcer a formação de clusters.</li><li>Dificuldade em Lidar com Conjuntos de Dados de Tamanho Variável: pode ter dificuldade em lidar com conjuntos de dados de tamanhos variáveis, pois a distância média entre clusters é influenciada pelo tamanho dos clusters.</li><li>Não Adequado para Grandes Conjuntos de Dados: em grandes conjuntos de dados, a complexidade do algoritmo pode se tornar proibitiva, tornando-o menos eficiente em comparação com métodos mais escaláveis.</li></ul><h4>4.1.4 Aplicando no dataset</h4><pre>from scipy.cluster import hierarchy as hc<br><br># visualizando o Dendograma<br><br>hc.dendrogram(<br>    hc_model,<br>    truncate_mode=&#39;lastp&#39;,<br>    p=12,<br>    leaf_rotation=90,<br>    leaf_font_size=8,<br>    show_contracted=True<br>)<br><br>plt.show()<br><br></pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/556/1*EBZWe0xvCSvd-ekystnmuA.png" /><figcaption>Dendograma.</figcaption></figure><pre>hc_list = []<br>for k in clusters:<br>    # model definition &amp; training<br>    hc_model = hc.linkage( scaled_data, &#39;ward&#39; )<br><br>    # model predict<br>    labels = hc.fcluster( hc_model, k, criterion=&#39;maxclust&#39; )<br><br>    # metrics<br>    sil = silhouette_score( scaled_data, labels, metric=&#39;euclidean&#39; )<br>    hc_list.append( sil )<br><br># visualizando graficamente o Sillhouette Score<br><br><br>plt.plot( clusters,  hc_list, linestyle=&#39;--&#39;, marker=&#39;o&#39;, color=&#39;b&#39; )<br>plt.xlabel( &#39;Clusters&#39;);<br>plt.ylabel( &#39;Silhouette Score&#39;);<br>plt.title( &#39;Silhouette x Clusters - Hierarchical Clustering&#39;);<br><br># visualizando clusters<br><br>labels = hc.fcluster( hc_model, k, criterion=&#39;maxclust&#39; )<br>data[&#39;Cluster&#39;] = labels.astype(str)<br># Visualizar clusters usando Plotly Express Scatter Plot<br>fig = px.scatter(data, x=&#39;Spending Score (1-100)&#39;, y=&#39;Annual Income (k$)&#39;, color=&#39;Cluster&#39;,<br>                     title=f&#39;K-Means Clustering with 6 Clusters&#39;, labels={&#39;Cluster&#39;: &#39;Cluster&#39;})<br><br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/576/1*Jk69FFGU8oeyB-TQDwmzEg.png" /><figcaption>Fonte: Autor.</figcaption></figure><p>Para o Hierarchical Clustering o maior Silhouette Score se deu para 6 clusters.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Mc49cgjKDQb1JQi_QYQpOQ.png" /><figcaption>Fonte: Autor.</figcaption></figure><h4>5. Clusterização baseada em Densidade Espacial</h4><p>O clustering baseado em densidade identifica os clusters analisando a densidade dos pontos de dados em regiões específicas, levando em conta padrões irregulares. Os principais algoritmos incluem DBSCAN, Mean-Shift Clustering e Affinity Propagation. Nesse artigo irei abordar a técnica DBSCAN, por também ser comumente utilizada.</p><h4>5.1 DBSCAN (Density-Based Spatial Clustering of Applications with Noise)</h4><p>O DBSCAN agrupa os dados identificando regiões densas sem especificar previamente o número do agrupamento. Resistente ao ruído, é ideal para conjuntos de dados com densidades e formas variáveis.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/675/0*7VfVZ5tx5f4205Xn.gif" /></figure><h4>5.1.1 Funcionamento do DBSCAN</h4><p>O funcionamento executa os seguintes passos:</p><ul><li>O DBSCAN começa com um ponto de dados inicial arbitrário que não foi visitado. A vizinhança deste ponto é extraída utilizando uma distância epsilon ε (todos os pontos a uma distância ε são pontos de vizinhança).</li><li>Se houver um número suficiente de pontos (de acordo com MinPoints) dentro desta vizinhança, o processo de agrupamento começa e o ponto de dados atual torna-se o primeiro ponto no novo agrupamento. Caso contrário, o ponto é rotulado como ruído (mais tarde, este ponto ruidoso pode tornar-se parte do agrupamento). Em ambos os casos, o ponto será marcado como “visitado”.</li><li>Para este primeiro ponto no novo cluster, os pontos dentro da sua vizinhança de distância ε também passam a fazer parte do mesmo cluster. Este processo de fazer com que todos os pontos na vizinhança ε pertençam ao mesmo agrupamento é depois repetido para todos os novos pontos que acabaram de ser adicionados ao grupo de agrupamentos.</li><li>Os dois primeiros processos repetem-se até que todos os pontos do agrupamento estejam determinados, ou seja, todos os pontos da vizinhança ε do agrupamento foram visitados e etiquetados.</li><li>Uma vez terminado o agrupamento atual, um novo ponto não visitado é recuperado e processado, resultando na descoberta de outro agrupamento ou ruído. Este processo repete-se até que todos os pontos sejam marcados como visitados. No final deste processo, uma vez que todos os pontos foram visitados, cada ponto terá sido marcado como pertencente a um cluster ou como ruído.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/496/0*cCpDC3nQPbD0WPB7" /><figcaption>DBSCAN Funcionamento.</figcaption></figure><h4>5.1.2 Característica do DBSCAN</h4><ul><li>Baseado em Densidade: o DBSCAN define clusters como regiões de alta densidade separadas por áreas de baixa densidade. Ele identifica pontos centrais, pontos de borda e pontos de ruído, dependendo de como os pontos estão agrupados em relação à densidade local.</li><li>Identificação Automática de Número de Clusters: diferentemente de algoritmos como o K-means, o DBSCAN não requer a especificação prévia do número de clusters. Ele é capaz de identificar o número de clusters automaticamente com base na densidade local dos dados.</li><li>Lida com Formas Irregulares e Tamanhos Variados de Clusters: o DBSCAN é eficaz na identificação de clusters de formas irregulares e tamanhos variados. Isso o torna particularmente útil em conjuntos de dados onde os clusters não têm uma forma esférica e podem ter densidades diferentes.</li><li>Robusto a Ruído: o DBSCAN é robusto a pontos de ruído, pois os considera como áreas de baixa densidade. Pontos isolados que não fazem parte de clusters significativos são tratados como ruído e não são atribuídos a nenhum cluster.</li><li>Não sensível a escala: ao contrário de certos algoritmos, como o K-means, o DBSCAN não é sensível à escala dos dados, o que significa que não é necessário normalizar as variáveis antes de aplicar o algoritmo.</li><li>Parâmetros Principais: raio (eps) — define a distância máxima entre dois pontos para que um seja considerado vizinho do outro. Número Mínimo de Pontos (MinPoints) — define o número mínimo de pontos em uma vizinhança para que um ponto seja considerado um ponto central.</li><li>Pontos Centrais, Pontos de Borda e Pontos de Ruído: ponto central — Um ponto com pelo menos MinPoints pontos em sua vizinhança dentro de um raio eps. Ponto de Borda — um ponto que está na vizinhança de um ponto central, mas com menos de MinPoints pontos em sua própria vizinhança. Ponto de Ruído — um ponto que não é um ponto central nem de borda.</li><li>Desempenho Eficiente para Grandes Conjuntos de Dados: o DBSCAN é eficiente em termos computacionais e pode lidar bem com grandes conjuntos de dados.</li></ul><h4>5.1.3 Vantagens e Desvantagens</h4><p><strong>Vantagens:</strong></p><ul><li>Identificação Automática de Número de Clusters: o DBSCAN é capaz de identificar automaticamente o número de clusters em um conjunto de dados, tornando-o particularmente útil quando o número de clusters não é conhecido a priori.</li><li>Lida com Densidades Variáveis: é eficaz na identificação de clusters em que a densidade dos pontos varia. Isso o torna útil em situações em que os clusters têm formas e tamanhos irregulares.</li><li>Robustez a Outliers: o DBSCAN é robusto a pontos de dados isolados ou outliers, pois trata esses pontos como ruído e não os inclui em nenhum cluster significativo.</li><li>Forma clustering de diferentes formatos: ao contrário de métodos baseados em centroides, como o K-means, o DBSCAN não assume a forma esférica dos clusters, tornando-o adequado para clusters com formas arbitrárias.</li><li>Não Requer Especificação Prévia do Número de Clusters: não é necessário especificar o número de clusters antecipadamente, o que facilita a aplicação em situações em que a estrutura dos dados não é conhecida de antemão.</li><li>Eficiência Computacional: o DBSCAN é eficiente em termos computacionais e pode ser aplicado a grandes conjuntos de dados.</li></ul><p><strong>Desvantagens:</strong></p><ul><li>Sensibilidade aos Parâmetros: o desempenho do DBSCAN é sensível à escolha dos parâmetros, como o raio (eps) e o número mínimo de pontos (MinPoints). Uma seleção inadequada desses parâmetros pode resultar em agrupamentos indesejados.</li><li>Dificuldade com Densidades Variáveis e Tamanhos Diferentes: em conjuntos de dados com clusters de densidades muito variáveis ou tamanhos muito diferentes, o DBSCAN pode ter dificuldade em encontrar uma configuração de parâmetros que funcione bem para todos os clusters.</li><li>Dificuldade em Lidar com Clusters de Diferentes Densidades: o DBSCAN pode ter dificuldade em lidar com clusters de diferentes densidades, pois um único valor de raio (eps) pode não ser ideal para todos os clusters.</li><li>Dependência da Métrica de Distância: o desempenho do DBSCAN pode ser afetado pela escolha da métrica de distância. A métrica euclidiana é comumente utilizada, mas em certos casos, outras métricas podem ser mais apropriadas.</li><li>Sensibilidade à Escala: apesar de ser menos sensível à escala em comparação com alguns algoritmos, o DBSCAN ainda pode ser afetado pela escala das variáveis, especialmente quando as diferenças de escala são extremas.</li></ul><h4>5.1.4 Aplicando no dataset</h4><pre>from sklearn import cluster       as c<br>from sklearn import metrics       as m<br><br>eps=0.6<br>min_samples=10<br><br><br># model definition<br>dbscan_model = c.DBSCAN( eps=eps, min_samples=min_samples )<br><br># mode training &amp; predict <br>labels = dbscan_model.fit_predict( scaled_data )<br><br>sil = m.silhouette_score( scaled_data, labels, metric=&#39;euclidean&#39; )<br>print( &#39;Silhouette Score: {}&#39;.format( sil ) )<br>print( &#39;Number of Clusters: {}&#39;.format( len( np.unique( labels ) ) ) )<br>print( np.unique( labels ) )<br><br>Silhouette Score: 0.2904356073760902<br>Number of Clusters: 5<br>[-1  0  1  2  3]</pre><p>O DBSCAN apresentou um maior Silhouette Score para 5 clusters.</p><p>O funcionamento do DBSCAN difere na forma de inicializar os parâmetros. Nesse caso eps e Minpoints. De forma que, precisamos encontrar o valor de épsilon e MinPoints e então treinar nosso modelo novamente. Para épsilon , estou usando o gráfico de distância K. Para traçar um gráfico de distância K, precisamos da distância entre um ponto e seu ponto de dados mais próximo para todos os pontos de dados no conjunto de dados. Obtemos isso usando NearestNeighbors de sklearn.neighbors.</p><pre>neighbors = NearestNeighbors( n_neighbors=min_samples ).fit( scaled_data )<br>distances, indices = neighbors.kneighbors( scaled_data )<br>distances = np.sort( distances, axis=0 )<br>distances = distances[:,1]<br>plt.plot( distances )<br>plt.title( &#39;K -distance Graph&#39; ,fontsize= 20 ) <br>plt.xlabel( &#39;Pontos de dados classificados por distância&#39; ,fontsize= 14 ) <br>plt.ylabel( &#39;Epsilon&#39; ,fontsize= 14 ) <br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/572/1*QtsYjWslnEXb4RTsW4TZug.png" /></figure><p>O valor ideal de épsilon está no ponto de curvatura máxima no gráfico de distância K, que neste caso é 0.6. Agora é hora de encontrar o valor de MinPoints .</p><p>Amostras Mínimas (“MinPoints”) Não existe uma maneira automática de determinar o valor MinPoints para DBSCAN. Em última análise, o valor MinPointsdeve ser definido utilizando conhecimento do domínio e familiaridade com o conjunto de dados. A partir de algumas pesquisas que fiz, aqui estão algumas regras básicas para selecionar o valor MinPoints:</p><ul><li>Quanto maior o conjunto de dados, maior deve ser o valor de MinPoints Se o conjunto de dados for mais barulhento, escolha um valor maior de MinPoints Geralmente, MinPoints deve ser maior ou igual à dimensionalidade do conjunto de dados</li><li>Para dados bidimensionais, use o valor padrão do DBSCAN de MinPoints = 4 (Ester et al., 1996).</li><li>Se seus dados tiverem mais de 2 dimensões, escolha MinPoints = 2*dim, onde dim= as dimensões do seu conjunto de dados (Sander et al., 1998).</li></ul><p>Visualizando os clusters:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*cr1k3OTHldOGIdG6eTcaNg.png" /></figure><p>O resultado da clusterização, diferentemente dos anteriores, apresentou um cluster “-1” para alguns dados. Isso indica que esses dados são outliers, ou seja, não pertencem a nenhum dos grupos formados.</p><h4>6. Resultados: Avaliação dos Algoritmos de Clustering com Silhouette Score</h4><p>Ao aplicar os algoritmos de clustering K-means, Gaussian Mixture Model (GMM), Hierarchical Clustering e DBSCAN no dataset, a avaliação utilizando a métrica Silhouette Score forneceu insights valiosos sobre a qualidade dos clusters formados. Os resultados destacam a eficácia dos algoritmos em diferentes configurações, com ênfase nos scores mais elevados alcançados.</p><p>A imagem abaixo resume as pontuações de Silhouette Score para diferentes números de clusters em cada algoritmo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/952/1*sonG2_msITFFkfyH8gqMng.png" /></figure><p>E graficamente podemos visualizar a análise de cluster por Silhoutte Score:</p><p><strong>A) K-means</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_pI6wGIqOvqYZ_ea6hI66w.png" /><figcaption>Fonte: Autor.</figcaption></figure><p><strong>B) GMM</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PXw1XRCjokSgVd8xzVfuGA.png" /><figcaption>Fonte: Autor.</figcaption></figure><p><strong>C) Hierarchical Clustering</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*g7J_WjIXMuxpLzVMKklrEg.png" /><figcaption>Fonte: Autor.</figcaption></figure><p><strong>D) DBSCAN</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*O_J3EqYveskhxDQi-u5fqA.png" /><figcaption>Fonte: Autor.</figcaption></figure><p>O melhor desempenho para 6 Clusters:</p><ul><li>Os algoritmos K-means, GMM e Hierarchical Clustering apresentaram os maiores scores de Silhouette para 6 clusters, indicando uma estrutura de agrupamento mais distinta nesse número.</li></ul><p>DBSCAN com 5 Clusters:</p><ul><li>Surpreendentemente, o DBSCAN alcançou seu maior Silhouette Score com 5 clusters. Isso pode ser atribuído à sua capacidade de lidar com clusters de formas e densidades variadas, revelando uma estrutura mais adequada com essa configuração.</li></ul><p>Diferenças de Desempenho:</p><ul><li>Cada algoritmo exibiu padrões distintos em relação ao número ideal de clusters. Essas diferenças sugerem a importância de ajustar os parâmetros de cada algoritmo de acordo com as características específicas do conjunto de dados.</li></ul><p>Esses resultados ressaltam a aplicabilidade do Silhouette Score na escolha do número ótimo de clusters, fornecendo uma base sólida para a tomada de decisões assertivas.</p><h4>Conclusão</h4><p>o longo deste artigo, mergulhamos em quatro algoritmos distintos de clustering — K-means, Gaussian Mixture Model (GMM), Hierarchical Clustering e DBSCAN — aplicados a um conjunto de dados da indústria de shopping e varejo. A métrica Silhouette Score foi a bússola que nos guiou na avaliação da eficácia desses algoritmos, oferecendo insights valiosos sobre a estrutura subjacente dos dados.</p><p><strong>Variedade de Abordagens:</strong> cada algoritmo revelou nuances distintas na forma como interpretam e agrupam os dados. O K-means, buscando clusters esféricos, contrasta com o GMM, que modela distribuições probabilísticas. O Hierarchical Clustering destaca-se pela criação de dendrogramas que podem capturar hierarquias nos dados, enquanto o DBSCAN se destaca na identificação de clusters com formas e densidades variadas.</p><p><strong>Pontuação de Silhouette como Guia:</strong> a métrica Silhouette Score emergiu como uma ferramenta valiosa na avaliação comparativa. Nosso estudo destacou configurações específicas que maximizaram o Silhouette Score para cada algoritmo, contribuindo para a identificação do número ótimo de clusters.</p><p><strong>Diferenças-Chave e Aplicações Práticas:</strong> as diferenças entre os algoritmos não são apenas técnicas; elas têm implicações práticas. Do K-means à flexibilidade do DBSCAN, cada algoritmo pode ser adaptado a diferentes cenários. O K-means pode ser uma escolha sólida quando se assume a esfericidade dos clusters, enquanto o DBSCAN brilha em ambientes onde a densidade e a forma dos clusters são desconhecidas.</p><p><strong>Contribuição para Cientistas de Dados:</strong> Este artigo aspira a ser uma ferramenta valiosa para cientistas de dados que buscam orientação na seleção e aplicação de algoritmos de clustering. Entender as nuances de cada algoritmo e como ajustar parâmetros para otimizar resultados pode ser crucial para extrair insights significativos dos dados.</p><p><strong>Perspectivas Futuras:</strong> à medida que avançamos, é fundamental reconhecer que não existe uma abordagem única que se aplique a todos os cenários. Cada conjunto de dados é único, e a escolha do algoritmo deve ser orientada pela compreensão das características específicas dos dados em questão. À medida que a ciência de dados continua a evoluir, a busca por métodos de clustering mais avançados e adaptáveis permanece uma área promissora.</p><p>Esperamos que este artigo forneça uma base sólida para nós cientistas de dados, capacitando-nos a navegar pela diversidade de algoritmos de clustering e aprimorar suas capacidades na análise de dados. Que essas explorações continuem a impulsionar a inovação e a compreensão em um campo que está no cerne da tomada de decisões estratégicas.</p><p>Considerando o escopo deste estudo sobre clustering, algumas sugestões para trabalhos futuros incluem:</p><ol><li>Exploração de Outras Métricas de Avaliação: Investigar o desempenho dos algoritmos de clustering usando métricas além do Silhouette Score. Outras métricas, como a Calinski-Harabasz Index ou Davies-Bouldin Index, podem oferecer insights adicionais sobre a qualidade dos agrupamentos.</li><li>Análise de Sensibilidade a Parâmetros: Realizar uma análise detalhada da sensibilidade dos algoritmos a diferentes configurações de parâmetros. Isso ajudará a identificar a robustez dos algoritmos em diferentes contextos e conjuntos de dados.</li></ol><ul><li>Comparação com Abordagens de Aprendizado Profundo: Explorar a eficácia de abordagens de aprendizado profundo, como redes neurais, em comparação com os métodos de clustering tradicionais.</li><li>Implementação de Técnicas de Redução de Dimensionalidade: Avaliar o impacto da aplicação de técnicas de redução de dimensionalidade, como PCA (Análise de Componentes Principais) ou t-SNE, antes da aplicação dos algoritmos de clustering. Isso pode facilitar a visualização e o entendimento dos agrupamentos.</li><li>Aprofundamento na Análise de Clusters Relevantes: Ao identificar clusters significativos, realizar uma análise mais detalhada dos padrões de comportamento dos clientes dentro desses clusters. Isso pode gerar insights específicos que podem ser utilizados para estratégias de marketing e personalização.</li></ul><h4>Referências</h4><ul><li>Lopes, M. (2023). Data Formation. Curso de Data Science. <a href="https://www.comunidadeds.com/">comunidadeds.com</a>. <a href="https://medium.com/u/15bdfcc99625">Meigarom</a></li><li>Cavalcanti, Y. (2023). Case de Nivelamento. Bootcamp DSCOM. <a href="https://hotmart.com/pt-br/marketplace/produtos/bootcamp-portfolio-ciencia-de-dados/L85505662D">BootCamp: Crie seu portfólio em ciência de dados</a> . <a href="https://medium.com/u/9217c3af5f59">Yanna Cavalcanti</a></li><li>Hermuche, A. (2023). Aulas Mentoria. Comunidade O Último Código. <a href="https://medium.com/u/f78a171df2f2">Anwar Martins Hermuche</a></li><li><a href="https://www.youtube.com/watch?v=elavyNSLVtI">https://www.youtube.com/watch?v=elavyNSLVtI</a></li><li><a href="https://realpython.com/k-means-clustering-python/">https://realpython.com/k-means-clustering-python/</a></li><li><a href="https://en.wikipedia.org/wiki/DBSCAN">https://en.wikipedia.org/wiki/DBSCAN</a></li><li><a href="https://scikit-learn.org/stable/modules/clustering.html">https://scikit-learn.org/stable/modules/clustering.html</a></li><li><a href="https://towardsdatascience.com/understanding-the-concept-of-hierarchical-clustering-technique-c6e8243758ec">https://towardsdatascience.com/understanding-the-concept-of-hierarchical-clustering-technique-c6e8243758ec</a></li><li><a href="https://en.wikipedia.org/wiki/Cluster_analysis">https://en.wikipedia.org/wiki/Cluster_analysis</a></li><li><a href="https://developers.google.com/machine-learning/clustering/clustering-algorithms">https://developers.google.com/machine-learning/clustering/clustering-algorithms</a></li><li><a href="https://machinelearningmastery.com/clustering-algorithms-with-python/">https://machinelearningmastery.com/clustering-algorithms-with-python/</a></li><li><a href="https://en.wikipedia.org/wiki/Cluster_analysis">https://en.wikipedia.org/wiki/Cluster_analysis</a></li><li><a href="https://www.kaggle.com/code/vjchoudhary7/kmeans-clustering-in-customer-segmentation/data">https://www.kaggle.com/code/vjchoudhary7/kmeans-clustering-in-customer-segmentation/data</a></li><li><a href="https://scikit-learn.org/stable/modules/clustering.html">https://scikit-learn.org/stable/modules/clustering.html</a></li><li><a href="https://developers.google.com/machine-learning/clustering/algorithm/advantages-disadvantages">https://developers.google.com/machine-learning/clustering/algorithm/advantages-disadvantages</a></li><li><a href="https://www.geeksforgeeks.org/affinity-propagation-in-ml-to-find-the-number-of-clusters/">https://www.geeksforgeeks.org/affinity-propagation-in-ml-to-find-the-number-of-clusters/</a></li><li><a href="https://www.digitalvidya.com/blog/the-top-5-clustering-algorithms-data-scientists-should-know/">https://www.digitalvidya.com/blog/the-top-5-clustering-algorithms-data-scientists-should-know/</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=0046d3daae7c" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Hands-On: GitHub Copilot — um novo aliado para a documentação técnica]]></title>
            <link>https://medium.com/@willferreira08/hands-on-github-copilot-um-novo-aliado-para-a-documenta%C3%A7%C3%A3o-t%C3%A9cnica-fa2a8cec65b5?source=rss-f9989fd0105f------2</link>
            <guid isPermaLink="false">https://medium.com/p/fa2a8cec65b5</guid>
            <dc:creator><![CDATA[Will Ferreira]]></dc:creator>
            <pubDate>Sun, 24 Sep 2023 15:57:49 GMT</pubDate>
            <atom:updated>2023-09-24T15:57:49.319Z</atom:updated>
            <content:encoded><![CDATA[<h3>Hands-On: GitHub Copilot — um novo aliado para a documentação técnica</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UZBM2-w5py761czdBUikWA.png" /></figure><p>A documentação técnica é um componente essencial de qualquer projeto de software. Ela fornece informações sobre como usar um software, seus recursos e funcionalidades. A documentação técnica pode ser escrita em diferentes formatos, como manuais, artigos, tutoriais e exemplos de código.</p><p>A escrita de documentação técnica pode ser um processo demorado e desafiador. É preciso ter um conhecimento profundo do software e ser capaz de comunicar informações de forma clara e concisa.</p><p>O GitHub Copilot é uma ferramenta de inteligência artificial que pode ajudar a acelerar o desenvolvimento de documentação técnica. O Copilot pode gerar automaticamente texto, incluindo código, documentação e comentários.</p><p>Neste artigo, executaremos um hands-on que se propõe a simular a criação de uma função simples, que tem o objetivo de calcular um número médio da soma de dois valores, além de criar uma documentação para ela.</p><p><strong>Executando o GitHub Copilot</strong></p><p>O Copilot pode ajudar a escrever a documentação de um método, sugerindo uma explicação para o que ele faz. Por exemplo, ele pode sugerir o seguinte:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/569/1*XmpLlpRR48HwRBG4SQV8KA.png" /></figure><p>No exemplo, iniciamos criando um arquivo. Não iremos nos prender a qual tecnologia será usada — afinal, o Copilot foi treinado em múltiplas linguagens e sabe lidar muito bem com isso.</p><p>Notem que, neste caso, criamos um arquivo em R e começamos a escrever a função. A ideia neste ponto é descrever o que a função fará, para munirmos o Copilot com as informações necessárias.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/616/1*CkB32O36daCgha5po6kGGg.png" /></figure><p>Conforme vamos escrevendo, ele começa a entender e fazer predições mais assertivas:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/573/1*h88W_9GjAE9AjkvutRN0zw.png" /></figure><p>Neste ponto, a ferramenta já entendeu a lógica da nossa aplicação e é capaz de sugerir de forma automática a linha para o segundo parâmetro.</p><p>O Copilot pode gerar a função pronta com base na documentação. Além disso, a documentação também é gerada. Abaixo, compartilhamos um exemplo da documentação gerada:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/691/1*geKTDtyjX48Tlutj2QUYWA.png" /></figure><p>Ou seja, quanto mais clara e bem escrita a documentação, melhores serão as sugestões do Copilot. Isso ajuda engenheiros a trabalhar com o código no futuro.</p><p>Agora, vamos criar um README.md para o projeto. O Copilot também pode ajudar com isso.</p><p><strong>Criando o Readme.md</strong></p><p>Para começar, vamos criar nosso README.md e iniciar nosso trabalho. Neste exemplo, coloquei no início um título para o repositório. A seguir, a mágica começa a acontecer. Percebam que já começamos com sugestões da ferramenta:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/618/1*4quyAtJ9qwXi3x0YLW8bpQ.png" /></figure><p>Um ponto importante: apesar do potencial do Copilot, a ferramenta precisa que você a guie para o caminho correto. Então, neste começo descrevemos de uma forma bem breve o objetivo da função. Dessa forma, podemos receber sugestões mais assertivas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/803/1*3epF3BnQvsbbikwVM0wCRQ.png" /></figure><p>Como demonstrado no exemplo abaixo, a partir da descrição, o Copilot já começa a entender o contexto e sugerir de forma assertiva pontos relevantes para a documentação.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/790/1*NTgfvBsNyj8UGIr-2hA2-w.png" /></figure><p>Conforme passamos para os próximos passos, ele passa a sugerir uma ordem de informações e tópicos para nosso README.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*C_MvhqNQVxEszeGXmagfrw.png" /></figure><p>Usando o Copilot, podemos gerar uma documentação clara e objetiva sobre a função. No entanto, é importante lembrar que a ferramenta é um suporte, não uma fórmula mágica. Ela só funcionará bem se você fornecer informações relevantes.</p><p><strong>Conclusão</strong></p><p>O Copilot é uma ferramenta valiosa para a escrita de códigos e documentações. Ele pode aumentar a produtividade, reduzir erros, facilitar a escrita de documentações e gerar exemplos de uso de funções e métodos.</p><p>Você já usou o Copilot? Deixe sua opinião nos comentários! Tem alguma dúvida ou sugestão? Compartilhe com a gente para continuarmos a conversa.</p><p><em>Tags: #githubcopilot #aiparaprogramação #copilotparadocumentação #ferramentasdeinteligenciaartificial #copilotparaaumentarprodutividade #copilotparareduzirerros #githubcopilot #aiparaprogramação #copilotparadocumentação #ferramentasdeinteligenciaartificial #copilotparaaumentarprodutividade #copilotparareduzirerros</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=fa2a8cec65b5" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Explorando Dados com Python e SQL: Uma Abordagem Analítica]]></title>
            <link>https://medium.com/@willferreira08/explorando-dados-com-python-e-sql-uma-abordagem-anal%C3%ADtica-c8a6f148d97d?source=rss-f9989fd0105f------2</link>
            <guid isPermaLink="false">https://medium.com/p/c8a6f148d97d</guid>
            <category><![CDATA[sql]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[technology]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[programming]]></category>
            <dc:creator><![CDATA[Will Ferreira]]></dc:creator>
            <pubDate>Mon, 10 Jul 2023 15:20:36 GMT</pubDate>
            <atom:updated>2023-07-10T15:26:10.557Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jFFdf-cKE12p_QGRJ_Ku_A.png" /></figure><p>Nos últimos anos, a quantidade de dados gerados em diversos setores da sociedade tem crescido exponencialmente. Com isso, surgem oportunidades valiosas para compreender e extrair insights significativos a partir dessas imensas quantidades de informações. No entanto, o desafio é transformar esse mar de dados em conhecimento útil e acionável. É aqui que a análise exploratória de dados desempenha um papel fundamental.</p><p>A análise exploratória de dados é uma abordagem crucial para descobrir padrões, tendências e relações ocultas nos dados, antes de embarcar em análises mais complexas. Essa técnica permite explorar, visualizar e resumir os dados de forma a obter um melhor entendimento do conjunto de informações disponíveis. Ao analisar os dados de maneira exploratória, é possível identificar questões interessantes, formular hipóteses e criar uma base sólida para análises subsequentes.</p><p>Neste artigo, exploraremos os principais conceitos e métodos envolvidos na análise exploratória de dados utilizando <strong>Python</strong> e <strong>SQL.</strong> Abordaremos desde a coleta inicial dos dados até a aplicação de técnicas estatísticas e visuais para revelar insights ocultos.</p><h4>Entendimento da base de dados</h4><p>Nesta publicação, faremos uso de um arquivo no formato .db que contém seis tabelas distintas. Através do processo de tratamento e modelagem desses dados, buscaremos extrair insights relevantes que possam fornecer apoio para a tomada de decisões fundamentadas com base nas informações analisadas. Com o objetivo de fornecer uma visão clara e significativa, exploraremos técnicas que nos permitirão identificar padrões e relações importantes presentes nos dados.</p><p><strong>Descrição do Dataset</strong></p><p>O arquivo .db contém as seguintes tabelas:</p><ol><li><strong>accounts:</strong> Tabela que apresenta as informações cadastrais de cada conta.<br>Colunas:</li></ol><ul><li>id: ID identificador da tabela</li><li>account number: Número da conta</li><li>birth: Data de nascimento</li><li>occupation: Tipo de negócio autodeclarado</li><li>email: E-mail da conta</li><li>address id: ID identificador da tabela address</li><li>created at: Data de criação da conta</li></ul><p><strong>2. address:</strong> Tabela que identifica os pares de estado e cidade.</p><p>Colunas:</p><ul><li>id: ID identificador da tabela</li><li>state: Estado de residência do cliente</li><li>city: Cidade de residência do cliente</li></ul><p>3. <strong>levels:</strong><br>Cada conta recebe uma classificação de acordo com a forma que utiliza a plataforma. Contas que utilizam com maior consistência ou com grande potencial podem receber uma melhor classificação (A&gt;B&gt;C&gt;). Caso identifique-se que a conta possui características suspeitas, de fraude, é atribuída a categoria F e executado o encerramento).</p><p>Colunas:</p><ul><li>id: ID identificador da tabela</li><li>account number: Número da conta</li><li>level: A, B, C, D e F</li><li>created at: Data da classificação</li></ul><p>4. <strong>charges: </strong>Apresenta as emissões de boletos realizadas pelos clientes com os respectivos status de pago ou não.<br>Colunas:</p><ul><li>id: ID identificador da tabela</li><li>account_number: Número da conta</li><li>status: Status da cobrança paid ou unpaid</li><li>value: Valor da cobrança (em centavos)</li><li>created_at: Data de criação do boleto</li></ul><p>5.<strong> transactions:</strong> As transações efetivadas por cada conta, logo, caso um boleto tenha sido pago esta informação estará presente nesta tabela e na tabela charges.<br>Colunas:</p><ul><li>id: ID identificador da tabela</li><li>account_number: Número da conta</li><li>transaction_type_id: ID identificador da tabela transaction_type</li><li>value: Valor da transação (em centavos)</li><li>created_at: Data da transação</li></ul><p>6. <strong>transaction_type:</strong> Permite identificar qual o tipo de cada transação da tabela transactions.<br>Colunas:</p><ul><li>id: ID identificador da tabela</li><li>description: boleto_recebido, pix_enviado e pix_recebido</li><li>description_long: BOLETO RECEBIDO PELO CLIENTE’, ‘PIX ENVIADO PELO CLIENTE PARA UMA CONTA EXTERNA’ e ‘PIX RECEBIDO PELO CLIENTE</li></ul><h4><strong>Aplicação em Python e SQL</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*q7XOoQYHpQH4QmYLCTv2jA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RCmuHt0epBel9Pt4SRQDAQ.png" /></figure><p><strong>Analisando a tabela ‘accounts’</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TrEWKuFgm3AzQZW_J_mj8A.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xWB-qIJsu6KN7cl78vsEww.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YU99Snw_9rR0Wj2hV2jI2A.png" /></figure><p><strong>Analisando a Tabela ‘transactions’</strong></p><p>As transações efetivadas por cada conta, logo, caso um boleto tenha sido pago esta informação estará presente nesta tabela e na tabela charges.</p><p><strong>Dicionários de Dados</strong></p><p>Tipos de Transações</p><p>1 = Boleto Recebido pelo Cliente</p><p>2 = Pix Enviado Pelo Cliente para Uma Conta Externa</p><p>3 = Pix Recebido Pelo Cliente</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1012/1*GBPVRxBUMZl9VA7XrQqDYg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1017/1*Ys6EQdI_bZNZxgMmCEWG7g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*a1Tmb-y-IEmuhwWsZSkakg.png" /></figure><p><strong>Entendendo melhor essas informações</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1007/1*20K_3yqJsSTh9r8eJ6l3pA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1014/1*DfTs2iPyhsxBMWI_W2ro1Q.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1017/1*tXQ2lzhRFzgBcgQLeNOAmw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1015/1*lWWdeyLlhnotTxrgGQZmuw.png" /></figure><p><strong>Mesclando as tabelas ‘accounts’ e ‘transactions’</strong></p><ul><li>accounts: Tabela que apresenta as informações cadastrais de cada conta.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1022/1*JhiYrbkVPdvuY4jXjNVltA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1016/1*v4lhjs_CwJv04gKkLQLDcA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1012/1*zGlzL2Zarn2ridhUoM9oog.png" /></figure><p><strong>Analisando a tabela ‘charges’</strong></p><p>Apresenta as emissões de boletos realizadas pelos clientes com os respectivos status de pago ou não.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1016/1*TxyHuQ-_T6N8vvp6L2bUew.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/845/1*-HnlDZA5d33k0LXcEVLGOQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/855/1*P-o7TRf_Ioz5_Lb9ziA-Zg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1021/1*pV7eqF0jfKXt87hVdeTSEA.png" /></figure><p><strong>Mesclando as tabelas ‘accounts’, ‘address’ e ‘transactions’</strong></p><ul><li>address: Tabela que identifica os pares de estado e cidade.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/846/1*SHwq70hJICnAjOikgaAK9A.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/845/1*1XxJVkm80Qq5D7u3S4qBdQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/838/1*jfLYCOyhgSLlh1PZYTHx0w.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/847/1*TomtuP1zo40KgsR19Y9I8g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/853/1*a4uEqsHbcjNLPJwLeyMtew.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/840/1*CSb69t6jZM2vjO8YwuOmKw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/853/1*a4uEqsHbcjNLPJwLeyMtew.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/863/1*D5alYxDVwTZqwilPcaPDmw.png" /><figcaption>Analisando a tabela ‘levels’</figcaption></figure><p><strong>Analisando a tabela ‘levels’</strong></p><p>Cada conta recebe uma classificação de acordo com a forma que utiliza a plataforma. Contas que utilizam com maior consistência ou com grande potencial podem receber uma melhor classificação (A&gt;B&gt;C&gt;F). Caso identifique-se que a conta possui características suspeitas, de fraude, é atribuída a categoria F e executado o encerramento).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/834/1*pp6sNbzNc74htJuufDE7Kw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/838/1*itYif6deon2kQh0YpcaojQ.png" /></figure><p><strong>Mais informações</strong></p><p>Neste post, vimos algumas análises descritivas que possibilitaram responder algumas perguntas como: distribuição dos dados, informações cruzadas entre variáveis, qual estado realizou mais transações, quantidade de boletos pagos e não pagos, entre outros.</p><p>Para mais informações desse projeto acesse o link: <a href="https://github.com/willbastosferreira/projetos_ds.git">GitHub</a></p><h4>Conclusão</h4><p>A análise exploratória de dados utilizando Python e SQL é uma abordagem essencial para entender e extrair informações valiosas de conjuntos de dados. Ao combinar a poderosa linguagem de programação Python com a flexibilidade e capacidade de consulta do SQL, é possível obter insights significativos para tomada de decisão. Através da exploração de dados, podemos identificar padrões, tendências e anomalias, além de realizar visualizações eficazes. Essa abordagem permite compreender melhor o contexto dos dados, realizar transformações necessárias e prepará-los para análises mais aprofundadas. Com a análise exploratória de dados em Python e SQL, podemos tomar decisões mais informadas e embasadas em evidências, impulsionando o sucesso dos projetos e das organizações como um todo.</p><p><em>Tags: #DataAnalysis #DataExploration #PythonProgramming #SQLQueries #DataVisualization #DataInsights #DataPreparation #StatisticalAnalysis #DataMining #BusinessIntelligence #DataAnalytics #DataDrivenDecisions #DataWrangling #ExploratoryDataAnalysis #DataScience</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c8a6f148d97d" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Big Data e Análise de Dados]]></title>
            <link>https://medium.com/@willferreira08/big-data-e-an%C3%A1lise-de-dados-37bcb058b633?source=rss-f9989fd0105f------2</link>
            <guid isPermaLink="false">https://medium.com/p/37bcb058b633</guid>
            <category><![CDATA[big-data-analytics]]></category>
            <category><![CDATA[big-data]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[Will Ferreira]]></dc:creator>
            <pubDate>Mon, 12 Jun 2023 15:44:00 GMT</pubDate>
            <atom:updated>2023-06-12T15:44:00.927Z</atom:updated>
            <content:encoded><![CDATA[<h4>Como Utilizar Dados para Tomar Decisões Mais Inteligentes</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*m7D0bzZepJKgQn5uC2Kn4g.png" /></figure><p>O mundo dos negócios está mudando rapidamente. Hoje em dia, as empresas têm mais informações do que nunca sobre seus clientes, processos de negócios e muito mais. O Big Data e a análise de dados são duas áreas que podem ajudar as empresas a aproveitar esses dados para tomar decisões mais informadas e inteligentes.</p><p><strong>O que é Big Data?</strong></p><p>O termo Big Data refere-se a conjuntos de dados extremamente grandes e complexos que não podem ser processados usando métodos tradicionais. Esses dados podem incluir informações de redes sociais, transações financeiras, dados meteorológicos e muito mais. O Big Data é caracterizado por quatro Vs: volume, velocidade, variedade e valor.</p><ul><li><strong>Volume:</strong> O Big Data é caracterizado por grandes volumes de dados. Esses dados podem ser tão grandes que não podem ser armazenados em um único servidor.</li><li><strong>Velocidade:</strong> O Big Data é caracterizado por sua velocidade. Os dados são gerados em tempo real, o que significa que é necessário processá-los rapidamente para obter insights.</li><li><strong>Variedade:</strong> O Big Data é caracterizado por sua variedade. Os dados podem vir de várias fontes diferentes, incluindo mídias sociais, sensores, transações financeiras e muito mais.</li><li><strong>Valor:</strong> O Big Data é caracterizado pelo valor que pode ser extraído dele. Os dados podem ser usados para obter insights valiosos sobre os clientes, processos de negócios e muito mais.</li></ul><p><strong>O que é Análise de Dados?</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*akjQP6JFvz8z7_U3" /><figcaption>Photo by <a href="https://unsplash.com/@mjessier?utm_source=medium&amp;utm_medium=referral">Myriam Jessier</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p>A análise de dados é o processo de examinar dados para obter insights e informações úteis. Isso pode incluir a identificação de padrões, tendências e relações entre diferentes conjuntos de dados. A análise de dados pode ser dividida em várias categorias, incluindo análise descritiva, análise diagnóstica, análise preditiva e análise prescritiva.</p><ul><li><strong>Análise Descritiva:</strong> A análise descritiva envolve a descrição de dados usando estatísticas descritivas, como média, mediana e desvio padrão.</li><li><strong>Análise Diagnóstica:</strong> A análise diagnóstica envolve a identificação de problemas em dados existentes. Isso pode incluir a identificação de valores ausentes ou outliers.</li><li><strong>Análise Preditiva:</strong> A análise preditiva envolve a criação de modelos que podem ser usados para prever eventos futuros com base em dados históricos.</li><li><strong>Análise Prescritiva:</strong> A análise prescritiva envolve a criação de modelos que podem ser usados para fornecer soluções para problemas de negócios. Isso pode incluir a identificação de estratégias de marketing mais eficazes ou a otimização de processos de negócios.</li></ul><p><strong>Como o Big Data e a Análise de Dados Podem Ajudar as Empresas?</strong></p><p>O Big Data e a análise de dados podem ajudar as empresas de várias maneiras:</p><ul><li><strong>Melhorar a Tomada de Decisões:</strong> O Big Data e a análise de dados podem fornecer insights valiosos sobre os clientes, processos de negócios e muito mais. Esses insights podem ser usados para tomar decisões mais informadas e inteligentes.</li><li><strong>Identificar Oportunidades de Mercado:</strong> O Big Data e a análise de dados podem ajudar as empresas a identificar oportunidades de mercado. Isso pode incluir a identificação de novos mercados ou a identificação de tendências de mercado.</li><li><strong>Melhorar a Eficiência Operacional:</strong> O Big Data e a análise de dados podem ajudar as empresas a melhorar a eficiência operacional. Isso pode incluir a identificação de gargalos de produção ou a otimização de processos de negócios.</li><li><strong>Personalizar a Experiência do Cliente:</strong> O Big Data e a análise de dados podem ajudar as empresas a personalizar a experiência do cliente. Isso pode incluir a personalização de ofertas de produtos ou serviços com base nos interesses e histórico de compras do cliente.</li></ul><p><strong>Conclusão</strong></p><p>O Big Data e a análise de dados são duas áreas que podem ajudar as empresas a aproveitar os dados para tomar decisões mais informadas e inteligentes. Com o Big Data, as empresas têm acesso a conjuntos de dados extremamente grandes e complexos que podem ser usados para obter insights valiosos. Com a análise de dados, as empresas podem examinar esses dados para obter informações úteis. Juntos, o Big Data e a análise de dados podem ajudar as empresas a melhorar a tomada de decisões, identificar oportunidades de mercado, melhorar a eficiência operacional e personalizar a experiência do cliente.</p><p><strong><em>Referências:</em></strong></p><ul><li><a href="https://www.ibm.com/analytics/big-data">Big Data and Analytics</a></li><li><a href="https://www.oracle.com/big-data/what-is-big-data/">Introduction to Big Data</a></li><li><a href="https://www.investopedia.com/terms/d/data-analysis.asp">What is Data Analysis?</a></li></ul><p><em>Tags: #BigData #AnáliseDeDados #TomadaDeDecisão #EficiênciaOperacional #PersonalizaçãoDoCliente</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=37bcb058b633" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>