<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Reinaldo Zezela on Medium]]></title>
        <description><![CDATA[Stories by Reinaldo Zezela on Medium]]></description>
        <link>https://medium.com/@reinaldozezela?source=rss-2b1c8f8be57c------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*BhtzwxQkEDXaQZY6_-UInQ.jpeg</url>
            <title>Stories by Reinaldo Zezela on Medium</title>
            <link>https://medium.com/@reinaldozezela?source=rss-2b1c8f8be57c------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 08:32:36 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@reinaldozezela/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Data Science Foundations: FoodHub Data Analysis]]></title>
            <link>https://reinaldozezela.medium.com/data-science-foundations-foodhub-data-analysis-83f0d05d0575?source=rss-2b1c8f8be57c------2</link>
            <guid isPermaLink="false">https://medium.com/p/83f0d05d0575</guid>
            <dc:creator><![CDATA[Reinaldo Zezela]]></dc:creator>
            <pubDate>Fri, 04 Oct 2024 14:36:21 GMT</pubDate>
            <atom:updated>2024-10-04T14:50:35.897Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*j-K4yJCy54cZk8vkjFFLtA.jpeg" /></figure><p>In the fast-paced world of food delivery, businesses need data-driven insights to optimize operations and enhance customer satisfaction. In this analysis, I explore FoodHub’s dataset, uncovering patterns related to order costs, delivery times, customer ratings, and popular cuisines. Here’s a breakdown of key findings and actionable recommendations for improving FoodHub’s performance.</p><h3><strong>Executive Summary</strong></h3><p><strong>Key Insights:</strong></p><ol><li><strong>Revenue Generation:</strong> Orders over $20 contribute significantly to FoodHub’s revenue due to higher commission rates. Increasing these high-cost orders could further boost revenue.</li><li><strong>Delivery Times:</strong> A considerable number of orders take more than 60 minutes to be delivered, indicating inefficiencies that need addressing to enhance customer satisfaction.</li><li><strong>Customer Ratings:</strong> Highly-rated restaurants attract more orders and maintain higher ratings, showing that excellent service directly impacts customer satisfaction.</li><li><strong>Cuisine Popularity:</strong> Different cuisines have varying costs and preparation times, with some more popular on weekends. Understanding these trends is key for marketing and operations.</li></ol><p><strong>Recommendations:</strong></p><ol><li><strong>Optimize Delivery Operations:</strong> Streamline delivery processes and allocate more resources during peak times to reduce delays.</li><li><strong>Leverage Top-Rated Restaurants:</strong> Promote highly-rated restaurants with special offers to attract more customers.</li><li><strong>Encourage Customer Feedback:</strong> Incentivize customers to provide ratings to improve service quality.</li><li><strong>Feature Popular Cuisines:</strong> Highlight popular cuisines like American food on weekends to increase order volumes.</li></ol><h3><strong>Business Problem and Solution Approach</strong></h3><p><strong>Problem Definition:</strong><br>FoodHub wants to optimize its operations by analyzing data related to food orders, costs, delivery times, and customer ratings. The goal is to identify trends, improve customer satisfaction, and enhance business performance.</p><p><strong>Solution Approach:</strong></p><ol><li><strong>Data Exploration:</strong> Understand the dataset’s structure and clean missing values.</li><li><strong>Univariate Analysis:</strong> Explore individual variables to uncover key trends.</li><li><strong>Multivariate Analysis:</strong> Investigate relationships between variables to find actionable insights.</li><li><strong>Recommendations:</strong> Propose strategies to improve operations and customer experience based on findings.</li></ol><h3><strong>Data Overview</strong></h3><p><strong>Dataset:</strong><br>The FoodHub dataset consists of 10,000 rows and 10 columns, with key variables including order cost, cuisine type, ratings, food preparation time, and delivery time.</p><ul><li><strong>Key Variables:</strong></li><li>order_id: Unique order identifier.</li><li>cuisine_type: Type of cuisine ordered.</li><li>cost_of_the_order: Order cost ranging from $4.47 to $35.41.</li><li>rating: Customer rating (1-5).</li><li>delivery_time: Delivery duration, with a mean of 24.16 minutes.</li></ul><h3>Univariate Analysis</h3><p>Key findings from analyzing individual variables:</p><ol><li><strong>Popular Restaurants:</strong> Shake Shack is the most ordered-from restaurant.</li><li><strong>Cuisine Preferences:</strong> American cuisine dominates on weekends.</li><li><strong>Order Costs:</strong> 29.24% of orders cost more than $20, contributing significantly to revenue.</li><li><strong>Customer Ratings:</strong> High ratings (4–5) account for the majority of customer feedback.</li><li><strong>Delivery Times:</strong> The average delivery time is 24.16 minutes, but 10.54% of orders take over 60 minutes.</li><li><strong>Frequent Customers:</strong> The top 3 customers placed the most orders, providing an opportunity for targeted loyalty programs.</li></ol><h3>Multivariate Analysis</h3><p>Key relationships between variables:</p><ol><li><strong>Cuisine vs Cost:</strong> Some cuisines are consistently more expensive.</li><li><strong>Cuisine vs Preparation Time:</strong> Preparation time varies greatly across different cuisines.</li><li><strong>Ratings vs Delivery Time:</strong> Shorter delivery times correlate with higher customer ratings.</li><li><strong>Revenue Generation:</strong> Restaurants like Shake Shack and The Meatball Shop are top revenue generators.</li><li><strong>Promotional Opportunities:</strong> Top-rated restaurants like Blue Ribbon Sushi qualify for promotional offers due to their high ratings and frequent orders.</li></ol><h3><strong>Conclusions and Recommendations</strong></h3><ol><li><strong>Revenue Focus:</strong></li></ol><ul><li><strong>High-Value Orders:</strong> Orders over $20 drive significant revenue, contributing to a total of $6,166.3 in commission-based revenue.</li><li><strong>Targeted Promotions:</strong> Promote high-cost orders and offer incentives to increase revenue further.</li></ul><p><strong>2. Optimize Delivery Efficiency:</strong></p><ul><li><strong>Delivery Delays:</strong> Over 10% of orders take more than 60 minutes. Addressing these inefficiencies is essential for improving customer satisfaction.</li><li><strong>Weekday vs Weekend:</strong> Longer delivery times on weekdays suggest a need for better resource allocation during these times.</li></ul><p><strong>3. Improve Customer Ratings:</strong></p><ul><li><strong>Feedback Engagement:</strong> Encourage more customer feedback by offering incentives or sending follow-up messages.</li><li><strong>Leverage Top-Rated Restaurants:</strong> Promote top-rated restaurants to attract more orders and boost brand loyalty.</li></ul><p><strong>4. Focus on Popular Cuisines:</strong></p><ul><li><strong>Cuisine Popularity:</strong> Use insights on cuisine popularity to drive marketing efforts, especially for American cuisine on weekends.</li></ul><p>By leveraging data insights from FoodHub’s operations, the company can enhance its delivery processes, improve customer satisfaction, and increase revenue. Implementing the above recommendations will help the business stay competitive and provide a better experience for its customers.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=83f0d05d0575" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Boston House Price Prediction: A Data Science Approach]]></title>
            <link>https://reinaldozezela.medium.com/boston-house-price-prediction-a-data-science-approach-b6f7db742d4e?source=rss-2b1c8f8be57c------2</link>
            <guid isPermaLink="false">https://medium.com/p/b6f7db742d4e</guid>
            <dc:creator><![CDATA[Reinaldo Zezela]]></dc:creator>
            <pubDate>Fri, 04 Oct 2024 14:09:28 GMT</pubDate>
            <atom:updated>2024-10-04T14:59:44.311Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9r7NamtxOWveAjRFhiE7hw.jpeg" /></figure><p>As housing markets continue to fluctuate, accurately predicting property prices is crucial for real estate investors, developers, and financial institutions. In this analysis, I leveraged data science techniques, particularly linear regression, to predict house prices in Boston based on key features like crime rates, the number of rooms, and proximity to the Charles River. Here’s an overview of the process and key findings.</p><h3><strong>Business Problem Overview</strong></h3><p>The core objective of this project was to develop a predictive model to estimate housing prices in Boston based on various features, ranging from socioeconomic indicators to property-specific data. Accurate predictions can help optimize investment strategies, set competitive pricing, and manage financial risks for stakeholders in the real estate sector.</p><h3><strong>Data Overview</strong></h3><p>The dataset used for this analysis contained 506 records, with features including crime rates, the proportion of residential land zoned for large lots, average number of rooms, property tax rates, and more. Key attributes included:</p><ul><li><strong>CRIM</strong>: Crime rate per capita by town.</li><li><strong>RM</strong>: Average number of rooms per dwelling.</li><li><strong>LSTAT</strong>: Percentage of the lower-status population.</li></ul><h3><strong>Data Exploration and Preprocessing</strong></h3><ul><li><strong>Univariate Analysis</strong>: Most features showed a significant range in values, such as a high variability in crime rates and property tax rates. This variance indicated a diverse range of towns and housing conditions.</li><li><strong>Bivariate Analysis</strong>: Several strong correlations were identified, such as the positive relationship between the number of rooms and house prices, and the negative impact of crime rates and lower-status populations on house values.</li><li><strong>Outliers and Missing Data</strong>: Outliers were detected, especially in house prices (capped at 50), which were handled accordingly. The dataset had no missing values, ensuring a robust analysis.</li></ul><h3><strong>Model Building and Regression Analysis</strong></h3><p>The linear regression model was built to predict house prices using key features. The model performed well, explaining about 77% of the variance in house prices. Here are some significant insights:</p><ul><li><strong>Crime Rate</strong>: Higher crime rates were associated with lower house prices.</li><li><strong>Number of Rooms</strong>: Homes with more rooms tended to have higher prices.</li><li><strong>Proximity to the Charles River</strong>: Homes near the Charles River were valued higher, highlighting the importance of location.</li><li><strong>Socioeconomic Factors</strong>: Areas with a higher percentage of lower-status populations generally had lower house prices.</li></ul><h3><strong>Model Performance and Evaluation</strong></h3><p>Key performance metrics included:</p><ul><li><strong>R-squared</strong>: 0.774, indicating that the model explained 77.4% of the variation in house prices.</li><li><strong>Root Mean Squared Error (RMSE)</strong>: The model had an RMSE of 0.1955 for the training set and 0.1980 for the test set, showing consistency in its predictions.</li><li><strong>Mean Absolute Error (MAE)</strong>: Both the training and test sets had MAE values under 0.16, confirming that the model’s predictions were relatively accurate.</li></ul><h3><strong>Conclusion</strong></h3><p>The linear regression model provided a clear understanding of the factors influencing Boston house prices. Features like crime rate, number of rooms, and proximity to key locations such as the Charles River played a crucial role. This analysis demonstrates the potential of data-driven approaches in real estate, offering valuable insights for stakeholders to make informed decisions.</p><h3><strong>Business Recommendations</strong></h3><ol><li><strong>Focus on Safety</strong>: Improving safety and reducing crime rates could enhance property values.</li><li><strong>Promote Proximity to Natural Features</strong>: Marketing homes near the Charles River can increase their attractiveness to buyers.</li><li><strong>Invest in Educational Facilities</strong>: Lower pupil-teacher ratios can increase property values in an area.</li><li><strong>Improve Accessibility</strong>: Enhancing transportation and proximity to employment centers can positively impact house prices.</li></ol><p>In summary, this data-driven approach to house price prediction can guide real estate strategies, leading to smarter investments and better market understanding.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b6f7db742d4e" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Predicting Used Car Prices: A Data Science Approach]]></title>
            <link>https://reinaldozezela.medium.com/predicting-used-car-prices-a-data-science-approach-a378a7fd3dce?source=rss-2b1c8f8be57c------2</link>
            <guid isPermaLink="false">https://medium.com/p/a378a7fd3dce</guid>
            <dc:creator><![CDATA[Reinaldo Zezela]]></dc:creator>
            <pubDate>Fri, 04 Oct 2024 13:50:52 GMT</pubDate>
            <atom:updated>2024-10-04T15:04:23.534Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hXxFnnuZxXRJ87_UVr7FBA.jpeg" /></figure><p>In today’s world, the used car market is expanding rapidly. Accurately predicting the price of a used car can provide significant value to dealers, customers, and pricing platforms. As part of my recent capstone project, I focused on building a predictive model for used car prices using a dataset with over 7,000 entries. Here’s a look into the process and key findings.</p><h3><strong>Problem Definition</strong></h3><p>The goal was clear: build a model that accurately predicts the price of a used car based on its various features, including the car’s make, year, mileage, and engine specifications. This is critical for reducing pricing errors and improving decision-making for all stakeholders in the market.</p><h3><strong>Data Exploration</strong></h3><p>The dataset included several numerical and categorical features such as Kilometers Driven, Fuel Type, Transmission, and Owner Type. Some interesting insights from the data exploration included:</p><ul><li><strong>Outliers and Skewness</strong>: Features like Kilometers_Driven and Price had significant skewness, which was corrected through log transformations.</li><li><strong>Missing Data</strong>: Several columns had missing values, such as Seats, which were imputed using logical methods like median values for specific car brands.</li></ul><h3><strong>Building the Predictive Model</strong></h3><p>We explored multiple regression models, including:</p><ul><li><strong>Linear Regression</strong></li><li><strong>Ridge and Lasso Regression</strong></li><li><strong>Decision Trees</strong></li><li><strong>Random Forest</strong></li></ul><p>After rigorous evaluation, the <strong>Tuned Random Forest Regressor</strong> emerged as the best-performing model, with the following advantages:</p><ul><li><strong>High Accuracy</strong>: The model performed well on both training and test sets, with an R² score above 0.9.</li><li><strong>Feature Importance</strong>: Features like New Price, Year, and Power were identified as key influencers in predicting the final price.</li></ul><h3>Key Takeaways</h3><ol><li><strong>Preprocessing</strong>: Log transformation and missing data imputation were crucial for improving model performance.</li><li><strong>Feature Engineering</strong>: Creating features like age and price-per-kilometer driven helped the model capture more meaningful relationships in the data.</li><li><strong>Final Model</strong>: The Tuned Random Forest Regressor offered a balance of accuracy and robustness, making it ideal for deployment in a production environment.</li></ol><h3><strong>Recommendations for Stakeholders</strong></h3><ul><li><strong>For Developers</strong>: Deploying this model can improve pricing accuracy in real-time pricing platforms.</li><li><strong>For Decision Makers</strong>: Accurate price prediction can lead to more informed decisions, improving sales and customer satisfaction.</li></ul><h3><strong>Conclusion</strong></h3><p>Predictive modeling in the used car market is a powerful tool that can save businesses money and help consumers get fair prices. This project demonstrates how leveraging machine learning techniques can provide actionable insights and improve overall efficiency in the marketplace.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a378a7fd3dce" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Segmentar Clientes usando a Análise RFM com o R]]></title>
            <link>https://reinaldozezela.medium.com/segmentar-clientes-usando-a-an%C3%A1lise-rfm-com-o-r-815ad448a091?source=rss-2b1c8f8be57c------2</link>
            <guid isPermaLink="false">https://medium.com/p/815ad448a091</guid>
            <category><![CDATA[customer-segmentation]]></category>
            <category><![CDATA[rfm-analysis]]></category>
            <category><![CDATA[r]]></category>
            <dc:creator><![CDATA[Reinaldo Zezela]]></dc:creator>
            <pubDate>Sat, 30 Jul 2022 19:42:03 GMT</pubDate>
            <atom:updated>2022-07-30T20:05:04.866Z</atom:updated>
            <content:encoded><![CDATA[<h3>Segmentar Clientes usando a Análise RFM (<em>Recency, Frequency and Monetary</em>) com R</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*QZMCdLcrsICo_pb1" /><figcaption>Photo by <a href="https://unsplash.com/es/@dlxmedia?utm_source=medium&amp;utm_medium=referral">dlxmedia.hu</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p>No presente <em>Post</em>, vamos explorar alguns conceitos e análises relacionados com os parâmetros <strong>RFM <em>(Recency, Frequency and Monetary)</em></strong>.</p><p>Vamos abordar sobre o que é <strong>RFM</strong> e como podemos usar esses parâmetros para segmentar os clientes e orientar as campanhas de marketing com base no <em>RFM scores</em>. Portanto, vamos começar por definir <strong>o que é RFM</strong> e por que é importante.</p><h4><strong>1.0 Introdução</strong></h4><p><strong>1.1 O que é RFM?</strong></p><p><strong>RFM</strong> é um método usado para analisar o valor do cliente. <strong>RFM</strong> provém de <strong><em>Recency, Frequency and Monetary, </em></strong>isto é Recente, Frequência e Valor Monetário.</p><p><strong>Recency</strong>: pretendemos saber há quanto tempo o cliente visitou nosso site ou há quanto tempo um cliente comprou o nosso produto?</p><p><strong>Frequência</strong>: com que frequência os clientes visitam o nosso site ou com que frequência compram os nossos produtos?</p><p><strong>Valor Monetário</strong>: quanto os clientes gastam quando compram os nossos produtos?</p><p><strong>1.2 Qual é a importância de Análise RFM?</strong></p><p>A <strong>Análise RFM</strong> é uma estrutura de marketing usada para entender e analisar o comportamento do cliente com base nos três factores acima descritos, Recente, Frequência e Valor Monetário (RFM).</p><p>Essa técnica ajuda as empresas a segmentar sua base de clientes em diferentes grupos homogêneos para que possam dedicar-se e direccionar diferentes estratégias de marketing para cada grupo.</p><p><strong>1.3 Aplicação de Análise RFM em uma Base de Dados</strong></p><p>Para demonstrar a aplicabilidade de Análise RFM, seleccionamos a seguinte base de dados disponível publicamente em <a href="https://www.kaggle.com/datasets/vijayuv/onlineretail">https://www.kaggle.com/datasets/vijayuv/onlineretail</a>.</p><p>Este conjunto de dados contém todas as compras feitas em uma empresa de venda à Retalho online com sede no Reino Unido durante um período de 12 meses.</p><p>Portanto, vamos nos concentrar em segmentar os clientes com base nos seus comportamentos de compras, isto é vamos determinar os parâmetros RFM de cada cliente tendo em conta as suas transacções históricas.</p><p><strong>2.0 Análise RFM</strong></p><p>Vamos carregar os dados em R.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/b1628c34df2a8465babed76e515ce085/href">https://medium.com/media/b1628c34df2a8465babed76e515ce085/href</a></iframe><h3>2.1 Examinar os Dados</h3><p>Examinando os dados notamos que, a variável <em>InvoiceDate</em> deve ser transformada para o tipo <em>date()</em>. E, optamos por criar uma nova variável <em>created_at</em> para manipularmos os dados.</p><p>Também, vamos converter o tipo de dados da variável <em>CustomerID</em> para <em>factor</em>, visto que este não será usado para efeitos de cálculos.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/fae3fdae1f5f7a3e8970ca345053a125/href">https://medium.com/media/fae3fdae1f5f7a3e8970ca345053a125/href</a></iframe><p>Também, podemos obter o resumo das principais estatísticas usando a função summary().</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/90dcac612b9c6325dc7e83cb32e07571/href">https://medium.com/media/90dcac612b9c6325dc7e83cb32e07571/href</a></iframe><p>Entretanto, há <strong>135,080</strong> registos cujo <em>CustomerID</em> possui valores nulos (NA’s). Portanto, estes registos serão removidos usando a função complete.cases().</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/9347d80f0162feb291cee9f47f7cecab/href">https://medium.com/media/9347d80f0162feb291cee9f47f7cecab/href</a></iframe><h3>2.2 Análise Exploratória de Dados</h3><p>Pretendemos avaliar o nível de vendas e o número de pedidos ou ordens de compra por categoria de produtos. Portanto, vamos usar o pacote <em>ggplot2</em> para visualizar os dados.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a6eecb7a313d0669bd53b7846ff67332/href">https://medium.com/media/a6eecb7a313d0669bd53b7846ff67332/href</a></iframe><p>Devido a um elevado número de categórias de produtos, <em>Description</em>, retornamos apenas os <strong>Top 50 produtos com maior receita</strong> nos 12 meses do periódo em análise.</p><p>Contudo, <em>REGENCY CAKESTAND 3 TIER</em>é o produto mais rentável com um montante de 132,870 GBP. De seguida, é o WHITE HANGING HEART T-LIGHT HOLDERcom 93,824 GBPe assim por diante.</p><p>Graficamente, podemos representar de modo seguinte:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/4ea08cf970a1de1cf8b2ce353ff4cb0e/href">https://medium.com/media/4ea08cf970a1de1cf8b2ce353ff4cb0e/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4omw5x44JaQaiC7xewAn4w.png" /><figcaption>Top 50 produtos mais rentaveis</figcaption></figure><p>Por um lado, <strong>temos os produtos mais rentáveis</strong>, isto é com mais valor (valor = preço * quantidade), como tratado acima. Por outro, <strong>queremos saber quais são os produtos mais solicitados pelos clientes</strong>. Em outras palavras, produtos solicitados com maior frequência.</p><p>Entretanto, para responder a essa pergunta devemos avaliar o número de pedidos ou ordens de compra feitas pelos clientes, independentemente da quantidade solicitada.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/2f00f5e4de1e650c6b92d79046d2c531/href">https://medium.com/media/2f00f5e4de1e650c6b92d79046d2c531/href</a></iframe><p>Também, vamos representar graficamente.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a386c79181b26a76f4a1d770da4109c4/href">https://medium.com/media/a386c79181b26a76f4a1d770da4109c4/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9o038YznOgI2qq5eYCg7og.png" /><figcaption>Top 50 produtos mais solicitados</figcaption></figure><p>Como podemos observar, a sequência ou ordem de produtos mais solicitados pelos clientes difere com a dos produtos mais rentáveis.</p><p>Ademais, podemos verificar qual é a região com maior base de clientes.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/6624ffa8da8607f2518ae407e357bb58/href">https://medium.com/media/6624ffa8da8607f2518ae407e357bb58/href</a></iframe><p>E, graficamente:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/9bcac0016658adf1d5e89320db44f9f7/href">https://medium.com/media/9bcac0016658adf1d5e89320db44f9f7/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4vBzAsi-f_AL6NzeNBiqXQ.png" /><figcaption>Base de Clientes por paises</figcaption></figure><p>O output mostra que, há mais clientes no Reino Unido (<em>United Kingdom</em>)com aproximadamente 4,000, seguida de, Alemanha (<em>Germany</em>) e França (<em>France</em>) com 95 e 87, respectivamente.</p><h3>2.3 Determinar os parâmetros RFM</h3><p>Primeiro, vamos definir o periódo em análise bem como a <strong>data de referência</strong> para as análises.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/9b512842ac3d9cee5f1a6ffe5a4a1452/href">https://medium.com/media/9b512842ac3d9cee5f1a6ffe5a4a1452/href</a></iframe><p>O output mostra transacções desde <strong>”2010–12–01&quot; para ”2011–12–09&quot;</strong>. Então, vamos considerar data de referência para análise o dia <strong>2011–12–10</strong>.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/7ef3652221d91c6cb9a807a259308a8d/href">https://medium.com/media/7ef3652221d91c6cb9a807a259308a8d/href</a></iframe><p>Portanto, vamos calcular a diferença entre a data de referência, 2011–12–10 e as datas dos pedidos de compras.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/1a532a00df0dcf574a352e47da2f46db/href">https://medium.com/media/1a532a00df0dcf574a352e47da2f46db/href</a></iframe><p>Portanto, agora podemos calcular os parâmetros RFM.</p><p><strong><em>Recency</em> (recente)</strong> é a diferença entre a data de referência e a data em que o cliente fez a sua última compra, isto é a sua compra mais recente.</p><p>Vamos obter a <strong><em>Frequency </em>(Frequência)</strong> somando o número de pedidos feitos por cliente.</p><p><strong><em>Monetary </em>(Valor Monetário) </strong>será calculado somando o valor total gasto por cliente durante o periódo em análise.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/6a7a3defeaa713881db49dbef908ec2a/href">https://medium.com/media/6a7a3defeaa713881db49dbef908ec2a/href</a></iframe><p>Vamos examinar os dados da tabela <strong><em>customer_analysis_tbl</em></strong>.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/9a890fee83df414775762d4c268f45f5/href">https://medium.com/media/9a890fee83df414775762d4c268f45f5/href</a></iframe><p>O output mostra que o seguinte:<br> — <strong><em>Recency</em> (Recente)</strong>: há clientes que não fazem compra há mais de 374 dias, portanto o periódo mais longo. E, o valor mediano é de 50 dias;<br> — <strong><em>Frequency </em>(Frequência)</strong>: há clientes que efectuaram próximo de 8,000 pedidos durante os 12 meses do periódo em análise. O valor mediano é de 43 pedidos por cliente.<br> — <strong><em>Monetary</em> (Valor Monetário)</strong>: há um cliente que gastou um valor total em compras na ordem de 279,489.00 GBP nos 12 meses do periódo em análise. O valor mediano gasto por cliente é de 658.30 GBP. Também, mostra que 75% dos clientes gastam menos de 1,627.10 GBP.<br> — <strong><em>first_purchase</em></strong>: será útil para identificar os novos clientes.<br> <br>Usamos o valor mediano, visto que o valor médio pode ser influenciado pelos valores extremos.</p><p>Portanto, vamos usar o histograma para visualizar graficamente os parâmetros RFM.</p><h3>2.3.1 Histograma com parâmetro <em>Recency</em> (Recente)</h3><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/b70e30550d6f7142ee73ad0361077926/href">https://medium.com/media/b70e30550d6f7142ee73ad0361077926/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SSl1aiS6zgITWKR6cfX3mQ.png" /><figcaption>Histograma para Recency (Recente)</figcaption></figure><p>Verifica-se que, há muitos clientes que realizam compras dentro dos últimos100 dias em relação à data de referência. Contudo, também há clientes que não fazem compras há mais de 300 dias.</p><p>Desta forma, podemos identificar os clientes e direcioná-los de forma diferente. Mas, é muito cedo para definir tendo apenas usado o parâmetro <strong><em>Recency</em></strong>.</p><h3>2.3.2 Histograma com parâmetro <em>Frequency </em>(Frequência)</h3><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/405d1d17b7d1ccb9f7dbfa3a7b22e4f7/href">https://medium.com/media/405d1d17b7d1ccb9f7dbfa3a7b22e4f7/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*g43RxZzHAvwWGJ7-waTf7g.png" /><figcaption>Histograma para Frequency (Frequência)</figcaption></figure><p>Nota-se uma difereça abismal entre as frequências de compras dos clientes. Por exemplo, existe um cliente com 8,000 pedidos é um valor extremamente elevado e distante da maioria dos clientes.</p><p>Entretanto, muitos são os clientes com frequências de pedidos de compras reduzidas.</p><h3>2.3.3 Histograma com parâmetro Monetary (Valor Monetário)</h3><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/bb7c1a1e54156b15bfd470c236541b2f/href">https://medium.com/media/bb7c1a1e54156b15bfd470c236541b2f/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HR3d41E3KGt_ikdK7SFnGQ.png" /></figure><p>Aqui também, o output mostra o quanto a distribuição é afectada pelos valores extremos. Portanto, a maioria dos clientes gastou menos de 1,000 GBP durante o periodo em análise.</p><h3>2.3.4 Diagrama de Dispersão</h3><p>Quando temos mais de duas variáveis, escolhemos um gráfico de dispersão para analisar.</p><p><strong><em>Recency vs Frequency</em></strong></p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/3faa8c05553065f26e175548c63bc0e4/href">https://medium.com/media/3faa8c05553065f26e175548c63bc0e4/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DGbt8G85DfipLO3EkKtepg.png" /></figure><p>Podemos constatar que, há muitos clientes a realizarem suas compras nos últimos 100 dias.</p><p><strong><em>Frequency vs Monetary</em></strong></p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/50c74e66a0a91bc35057a5c4dd4c4211/href">https://medium.com/media/50c74e66a0a91bc35057a5c4dd4c4211/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/989/1*ypbZCQ5c0taJJhOt7Jb1rg.png" /></figure><p>O output mostra que, muitos clientes efectuam compras no valor abaixo de 1000 GBP. No entanto, existem compras <em>outliers</em>, isto é com valores fora do comum.</p><h3>2.4 Como Segmentar os Clientes?</h3><p>Não podemos chegar a nenhuma conclusão com base em apenas os parâmetros <strong>RFM </strong>de forma independente. Portanto, temos que tomar em conta todos os 03 factores.</p><p>O objectivo principal é segmentar os nossos clientes e encontrar os mais valiosos. Por isso, vamos adoptar o princípio de Pareto 80/20, de que 80% do nosso resultado provém de 20% do nosso esforço. Traduzindo para o marketing, significa que 80% da nossa receita é resultado de 20% de nossos clientes mais valiosos.</p><p>Agora, vamos ver como encontrar os clientes mais valiosos.</p><h3>2.4.1 Determinar Percentil</h3><p>Para determinar os RFM <em>scores</em> vamos usar os quartis ou percentis. Portanto, vamos dividir o conjunto de dados em 05 partes iguais, ou seja divisão em 20% cada parte. O objectivo é encontrar os <strong>Top 20 clientes mais valiosos</strong> fazendo jus a lei de pareto <strong>80/20</strong>.</p><p><strong><em>Monetary</em> (Valor Monetário)</strong></p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/bf064fe07947c3e087503a2131e53abc/href">https://medium.com/media/bf064fe07947c3e087503a2131e53abc/href</a></iframe><p>O output mostra que, durante o periódo em análise:</p><ul><li>os clientes <strong>Top20</strong> gastaram um valor acima de 2023.00 GBP ;</li><li>os 20% seguintes gastaram entre 920.00 e 2023.00 GBP; e</li><li>os últimos 20% dos clientes gastaram menos de 246.00 GBP.</li></ul><p><strong><em>Frequency</em> (Frequência)</strong></p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/0f1c54ed34c7a0fa4a8a2f3302151337/href">https://medium.com/media/0f1c54ed34c7a0fa4a8a2f3302151337/href</a></iframe><p>O output mostra o seguinte:</p><ul><li>os <strong>clientes Top20</strong> compraram mais de 125 vezes ao longo do periódo em análise;</li><li>os seguintes 20% dos clientes compraram entre 59 e 125 vezes; e</li><li>os últimos 20% dos clientes compraram menos de 14 vezes durante o periódo em análise.</li></ul><p><strong><em>Recency </em>(Recente)</strong></p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/853f27b192ab81167a56c727e558d292/href">https://medium.com/media/853f27b192ab81167a56c727e558d292/href</a></iframe><p>E, finalmente analisamos a actividade mais recente para cada cliente. Para esse parâmetro em particular <em>recency</em>, a ordem de classificação é inversa, isto é os <strong>Top20 clientes</strong> são os primeiros 20% do percentil. Portanto, o output mostra que:</p><ul><li>os Top20 clientes fizeram compras nos últimos 12 dias;</li><li>os seguintes 20% de clientes compraram no intervalo entre 12 e 32 dias; e</li><li>os últimos 20% de clientes ficaram mais de 174 dias sem efectuar nenhum compra, isto é a sua última compra foi há aproximadamnete 6 meses atrás.</li></ul><h3>2.4.2 Calcular o RFM <em>scores</em></h3><p>Para calcular os <em>RFM score</em>, vamos usar o percentil 20 (P20), isto é dividir a série de dados em 05 partes iguais. Em outras palavras, significa que os <strong>Top20 clientes </strong>ficam com pontuação máxima de 5 (cinco) pontos, enquanto que os últimos 20% ficam com a pontuação mínima de 1 (um) ponto.</p><p>Caso particular, vai para o <strong>parâmetro R (<em>Recency</em>)</strong>, onde a ordem deve ser invertida, isto é os valores baixos levam pontuação máxima (5 pontos) enquanto que, os valores altos ficam com a pontuação minima (1 ponto).</p><p>Portanto, o melhor cliente tem a pontuação máxima de 555 pontos <em>(RFM score)</em> e o pior com pontuação mínima de 111 <em>(RFM score)</em> pontos. Mas, para obtermos uma pontuação de três digitos, fazemos a combinação da pontuação dos parâmetros RFM, usando a fórmula seguinte:</p><ul><li>RFM_score = Recency_score * 100 + Frequency_score * 10 + Monetary_score.</li></ul><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/989d88ad86da666bc25a349292321ddf/href">https://medium.com/media/989d88ad86da666bc25a349292321ddf/href</a></iframe><p>Note que, os clientes com elevado <em>RFM score</em> apresentam valores altos para os parâmetros <em>Frequency </em>e <em>Monetary</em> e baixos para <em>Recency</em>. Por exemplo, o <em>CustomerID = 12347</em> com <em>RFM_score 555</em> é considerado melhor cliente, enquanto que o cliente <em>CustomerID=12353</em> com <em>RFM_score 111</em> é o pior cliente.</p><p>Portanto, para clientes com valores <em>RFM score intermédios</em> precisam de uma análise mais cuidadosa. Como será verificado a seguir.</p><h3>2.4.3 Definir a Segmetação de Clientes</h3><p>A segmentação dos clientes será feita usando <em>RFM score</em>. Por isso, precisamos cuidadosamente de definir e analisar os intervalos dos <em>RFM scores</em>. Assegurando a não duplicação dos clientes em vários segmentos, isto é cada cliente pertence exclusivamente a um único segmento.</p><p>Como podem ter constatado essa abordagem gera 125 segmentos se considerarmos cada <em>RFM score</em> individualmente como sendo um segmento. O que tornaria o processo muito dificil de analisar.</p><p>De um modo geral, o parâmetro <em>Monetary</em> é visto como uma métrica agregadora para sumarizar as transações. Assim, dos 125 segmentos (RFM score) podem ser reduzidos para 25 segmentos apenas usando os parâmetros <em>Recency </em>e <em>Frequency</em>.</p><p>Ademais, se fizermos a combinação destes 25 podemos alcançar segmentos mais manejáveis e intuitivos, reduzindo deste modo para 6-8 segmentos.</p><p>Está foi a fase mais delicada de todo o processo. Encontrar um critério para definir a segmentação de clientes que faça sentido para o seu negócio. Alguns artigos sugerem a definição dos segmentos com base no bom senso e na natureza do negócio. Então, não conformado com essa abordagem, tentei encontrar um critério que fosse geral e independente da natureza do negócio.</p><p>Com ajuda da <em>Tabela 1</em> abaixo, definimos os segmentos usando o seguinte critério:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/525880b304e05d1aebccf6fd6d3bfeda/href">https://medium.com/media/525880b304e05d1aebccf6fd6d3bfeda/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/814/1*tTolhEtiSx77Rm_VkwoV7w.png" /><figcaption>Tabela 1: Definição de Segmentos</figcaption></figure><h3>2.4.4 Distribuição dos Clientes por Segmentos</h3><p>Vamos avaliar como os clientes foram distribuidos pelos segmentos definidos.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a2c8cb140298e3bce5381c8547eb5019/href">https://medium.com/media/a2c8cb140298e3bce5381c8547eb5019/href</a></iframe><p>O output mostra a quantidade de clientes distribuidos pelos segmentos definidos.</p><p>Podemos também, agregar os dados por segmentos.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/7558498102b5c6c28857632eacc99ae0/href">https://medium.com/media/7558498102b5c6c28857632eacc99ae0/href</a></iframe><h3>3.0 Visualização de Dados</h3><p>Para visualizar os dados, vamos apresentar 02 tipos de gráficos:</p><ul><li>treemap (recomendado); e</li><li>gráfico de barras.</li></ul><h3>3.1 Treemap</h3><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/d0db703672d213db10e76d51ae48350e/href">https://medium.com/media/d0db703672d213db10e76d51ae48350e/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/702/1*rYeJHJ7zZfMWN6gqDZExeQ.png" /><figcaption>Treemap</figcaption></figure><h3>3.2 Gráfico de Barras</h3><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/922aabae6e392782080fe441f136f9d0/href">https://medium.com/media/922aabae6e392782080fe441f136f9d0/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/702/1*fqvr4HmEYgQotB3xLBtqXQ.png" /><figcaption>Gráfico de Barras</figcaption></figure><h3>4.0 Conclusão</h3><p>No presente <em>post </em>foi demonstrado como aplicar a técnica RFM usando a ferramenta <strong>R</strong> para segmentar os clientes com base nos seus hábitos de consumo.</p><p>Portanto, esse é um instrumento bastante valioso para um <em>expert</em> em marketing para definir estratégias de como actuar para os diferentes segmentos, independentemente da indústria em que estiver envolvido.</p><p>Aplicamos também, o princípio de Pareto 80/20 para identificar os Top 20 clientes mais valiosos que contribuem com 80% da receita.</p><h3>5.0 Referência</h3><ol><li><a href="https://www.r-bloggers.com/customer-segmentation-using-rfm-analysis/">https://www.r-bloggers.com/customer-segmentation-using-rfm-analysis/</a></li><li><a href="https://www.r-bloggers.com/customer-segmentation-part-1-k-means-clustering/">https://www.r-bloggers.com/customer-segmentation-part-1-k-means-clustering/</a></li><li><a href="https://www.putler.com/rfm-analysis/">https://www.putler.com/rfm-analysis/</a></li><li><a href="https://blog.rsquaredacademy.com/customer-segmentation-using-rfm-analysis/">https://blog.rsquaredacademy.com/customer-segmentation-using-rfm-analysis/</a></li><li><a href="https://earlconf.com/2017/downloads/london/presentations/EARL2017_-_London_-_Alexander_Campbell_-_Customer_segmentation.pdf">https://earlconf.com/2017/downloads/london/presentations/EARL2017_-_London_-_Alexander_Campbell_-_Customer_segmentation.pdf</a></li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/305/1*t-uKE5gp_ZZIkM03HGJB8g.png" /><figcaption>Logo</figcaption></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=815ad448a091" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Proposta de um Framework para desenvolvimento de um Dashboard]]></title>
            <link>https://reinaldozezela.medium.com/proposta-de-um-framework-para-desenvolvimento-de-um-dashboard-df2a3749292b?source=rss-2b1c8f8be57c------2</link>
            <guid isPermaLink="false">https://medium.com/p/df2a3749292b</guid>
            <category><![CDATA[dbt]]></category>
            <category><![CDATA[dashboard]]></category>
            <category><![CDATA[data-analytics]]></category>
            <category><![CDATA[startup]]></category>
            <dc:creator><![CDATA[Reinaldo Zezela]]></dc:creator>
            <pubDate>Sun, 15 May 2022 14:02:45 GMT</pubDate>
            <atom:updated>2022-05-16T18:35:28.315Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/904/1*BHu5y442us-uY2c1lpnnmg.png" /></figure><ol><li><strong>Visão Geral</strong></li></ol><p><strong>Tchingue, Lda</strong> é uma <em>startup</em> especializada em Análise de Dados e Estatística. Foi fundada em 2019, por 02 docentes do Departamento de Matemática e Informática (DMI) da Universidade Eduardo Mondlane (UEM), Mozambique, especialistas em engenharia de software e <em>data science</em>, com intuito de oferecer serviços de alta qualidade nas áreas de Ciências de Dados e Business Intelligence no mercado moçambicano, incluindo a aplicação de algorítmos de <em>machine learning</em> e Inteligência Artificial.</p><p>Essa iniciativa surgiu porque:</p><p>1. Percebemos que, em Moçambique muitas empresas geram dados, mas tiram pouco proveito desses mesmos dados, isto é tem dificuldades em produzir relatórios e fazer a análise de dados;</p><p>2. Também, notamos que os profissionais (ou técnicos) dedicam maior parte de seu tempo compilando os dados do que a analisá-los;</p><p>3. E por fim, constatamos que os gestores ficam dependentes de um <em>expert </em>em Excel para os enviar os relatórios solicitados.</p><p>Portanto, pretendemos mudar essa realidade automatizando todo o processo de produção de relatórios, libertando os profissionais (técnicos) de trabalhos rotineiros para ficarem focados em estratégias para aumento de produtividade.</p><p>Queremos ainda, criar visualizações de dados e dashboards interativos baseados em web. Isto porque, o ambiente web já provou ser a plataforma de comunicação mais eficiente do mundo até então.</p><p>Dito isto, as empresas devem estabelecer uma cultura de análise de dados e tomar decisões inteligentes com agilidade e precisão. A criação de uma cultura de dados <em>(data-driven)</em> não é algo trivial, mas é inevitável. Quanto antes sua empresa iniciar, mais cedo irá colher os resultados.</p><p>Resumindo, estamos focados em desenvolver os 03 principais tipos de projectos em <em>Data Analytics</em>: <strong><em>analytics</em>, automação e produtos de dados</strong>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/818/1*CkOGn0IchFdFsu57I7gjVw.png" /></figure><p><strong>2.0 Objectivos</strong></p><p>A presente proposta de projecto tem como objectivo descrever a metodologia de desenvolvimento e implementação de um dashboard usada pela <strong>Tchingue, Lda</strong>, <em>startup</em> especializada em análise de dados.</p><p>Portanto, será feita uma breve descrição sobre cada uma das etapas necessárias para a construção de um dashboard.</p><p><strong>3.0 Metodologia Proposta e Abordagem aplicada</strong></p><p>De uma forma geral, existem três tipos básicos de dashboards:</p><p><strong>1</strong>. <strong>operacionais</strong> (dados em tempo real relacionados às operações diárias);</p><p><strong>2</strong>. <strong>analíticos </strong>(interativos e de tendências — influenciam a tomada de decisões</p><p>futuras);</p><p><strong>3. estratégicos</strong> (monitorar os KPIs e objectivos estratégicos).</p><p>Independentemente, do tipo de dashboard que se pretende construir, seguimos a abordagem abaixo apresentada:</p><figure><img alt="Framework para a construção de um Dashboard" src="https://cdn-images-1.medium.com/max/752/1*o7PcHnvOwMTBauP2FTmfng.png" /><figcaption>Framework para a construção de um Dashboard</figcaption></figure><p><strong>3.1 Levantamento de requisitos</strong></p><p>Esta é a etapa mais importante do processo, portanto temos que fazer as perguntas certas aos usuários e as partes interessadas e reunir requisitos necessários. Sendo uma fase crucial devemos estabelecer uma base sólida para sua construção, pois influenciará profundamente os próximos passos.</p><p>No entanto, há uma série de aspectos a considerar nesta etapa:</p><p>● <strong>Qual é o público-alvo?</strong> Temos que identificar quem são os potenciais utilizadores do dashboard. Quais são os problemas que os usuários estão a tentar resolver ou quais são as hipóteses que eles gostariam de testar usando o dashboard?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/435/1*oWaKjjtW3yI_I6-i5LPb3w.png" /></figure><p>● <strong>Por quais plataformas o dashboard deve ser acedido?</strong> Pode-se aceder ao dashboard via desktop ou móvel (smartphone e tablets).</p><p>● <strong>O que os usuários gostariam de ver?</strong> Esta é a parte mais importante desta etapa, onde fazemos as perguntas certas aos usuários para entender o que eles querem ver. Há algum KPI ou métrica específico em que eles estejam interessados? Eles querem ver alguma tendência ou crescimento/declínio em certas métricas? Quais são as perguntas ou problemas que os usuários estão a tentar resolver por meio do dashboard?</p><p>● <strong>Com que frequência o dashboard deve ser actualizado?</strong> Pretendem ver o dashboard actualizado anualmente, mensalmente, semanalmente, diariamente ou em tempo real? Essa frequência corresponde à frequência de actualização de dados subjacentes?</p><p>● <strong>Discutir quais fontes de dados podem ser usadas:</strong> Perguntamos aos <em>stakeholders</em> quais fontes de dados podem ser potencialmente usadas para construir o dashboard que eles procuram. Criamos uma lista rápida dos conjuntos de dados principais, periféricos e externos.</p><p>● <strong>Falar sobre os prazos:</strong> É sempre bom discutir quais são os prazos durante esta etapa. Definir quando os <em>stakeholders</em> gostariam de ver a primeira versão (por exemplo, <em>MVP ou design Just-in-time</em>), as iterações e a versão final.</p><p><strong>3.2 Concepção</strong></p><p>Uma vez reunidos os requisitos, é hora de pensar mais em como será o produto final. Nesta etapa, não pensamos apenas nos detalhes técnicos, mas também criamos um plano de trabalho sólido.</p><p>Normalmente, dividimos o projecto em partes, facilitando a delegação de tarefas e, em seguida, sintetizamos tudo em um único produto. Portanto, nesta fase podemos analisar alguns aspectos relacionados com:</p><p>● <strong><em>Wireframing</em></strong>: criamos maquetes para ilustrar como será o produto final. Portanto, discutimos internamente e com a equipe quais gráficos usar, onde eles estarão localizados, qual será a aparência de suas páginas, quais devem ser suas métricas e títulos, onde serão colocados os logotipos e ícones etc.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/618/1*RFau7qzmTrarkpGoOhKeUw.png" /></figure><p>● <strong>Requisitos técnicos:</strong> pensamos e documentamos os detalhes dos requisitos técnicos do dashboard. Incluímos itens como cálculos de KPI, suposições/inclusões/exclusões de dados, fontes de dados (principais, periféricos e externos) e o processo de automação.</p><p>● <strong><em>Storyboarding:</em></strong> Agora que temos uma ideia de como será o produto final, podemos fazer algumas perguntas-chave que os usuários podem querer que o dashboard responda e verificar se elas podem ser respondidas. Por exemplo, qual é a loja que teve o maior crescimento de vendas neste trimestre quando comparado ao igual período do ano passado?</p><p>● <strong>Gestão de projectos:</strong> este é o melhor momento para pensar em como podemos gerir o projecto, quais são as tarefas e etapas, quem fará o quê, qual é o plano de trabalho e, claro, os prazos.</p><p><strong>3.3 Extrair, Transformar e Carregar Dados (ETL)</strong></p><p>Nesta fase, extraímos os dados de diversas fontes e transformamos-os para poderem ser visualizados em qualquer plataforma de BI. Uma boa prática é fazer o maior número possível de cálculos e transformações dentro do ambiente de <em>data warehouse</em> e não na ferramenta de visualização de BI. Desse modo, evita que o processo de cálculos de KPIs seja feita na plataforma BI, o que torna agradável a experiência do utilizador.</p><p>Por isso, nós usamos a ferramenta <strong>dbt</strong> <strong><em>(data build tool)</em></strong>, <a href="https://www.getdbt.com/">https://www.getdbt.com/</a> que permite que analistas e engenheiros de dados transformem dados em seus repositórios (bases de dados ou <em>data warehouse</em>) com mais eficiência.</p><p><strong>dbt</strong> faz o <strong>T</strong> nos processos deELT (Extrair, Carregar, <strong>Transformar</strong>) — ele não extrai ou carrega os dados, mas é extremamente útil em transformar dados que já estão carregados em seu <em>data warehouse</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/947/1*KZlFeN1RVP52Qcctwkpu3g.png" /><figcaption>O fluxo de trabalho de engenharia analítica</figcaption></figure><p><strong>3.4 Construir o Dashboard</strong></p><p>Depois de concluído o processo de transformação dos dados, estes estão prontos para serem usados. Portanto, é hora de construir a visualização de acordo com o <em>wireframe </em>definido. Neste estágio, temos tudo o que precisamos para iniciar a construção de um <em>dashboard</em> — as tabelas de dados que serão conectadas e sabemos ainda quais gráficos serão projectados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/904/1*BHu5y442us-uY2c1lpnnmg.png" /><figcaption>Exemplo de um dashboard</figcaption></figure><p>Nesta fase, vamos ter em conta o seguinte:</p><p>● <strong>Aderir ao guião de estilo da organização:</strong> se a empresa tiver orientações sobre estilos predefinidos, vamos segui-los. Portanto, vamos nos certificar de que os produtos que estamos a criar estão em conformidade com o estilo da marca. Quanto mais familiarizados os usuários estiverem com o layout e as cores, mais aceitarão os novos produtos.</p><p>● <strong>Automatizar Actualizações:</strong> se o dashboard precisar de ser actualizado regularmente, vamos nos certificar de que o processo seja totalmente automatizado de ponta-a-ponta. Nenhuma intervenção ou alteração manual será aceitável.</p><p><strong>3.5 Testes e Controle de Qualidade</strong></p><p>Uma vez concluído o dashboard, realizamos alguns testes/verificações obrigatórios de qualidade antes de compartilhar com os usuários e partes interessadas. Existem três tipos de testes/verificações que fazemos:</p><p><strong>1. Testes de dados:</strong> a visualização é a única camada que comunica com os usuários de negócios, portanto, se os dados estiverem errados nos dashboards, a empresa tomará decisões erradas. Nos testes de dados, certificamos-nos de que todos os números mostrados no dashboard estejam correctos e correspondam aos números da base de dados. Executamos <em>queries </em>(consultas) à base de dados, a fim de assegurar a acurácia dos dados.</p><p><strong>2. Teste de Funcionalidade:</strong> se usarmos os recursos como hierarquia, acções, filtros, botões de navegação, etc., devemos testar esses recursos antes de enviar os relatórios para o servidor.</p><p><strong>3. Verificação de <em>Design</em> e Consistência:</strong> como último passo, precisamos verificar se o <em>design</em> do dashboard está de acordo com o <em>design </em>compartilhado/aprovado pela equipe de negócios e se segue os padrões do nível da organização, tais como a fonte, tamanho, código de cores, etc.</p><p><strong>3.6 Documentação</strong></p><p>Nesta fase, precisamos de apresentar esses dois tipos de documentos:</p><p>● manual do utilizador; e</p><p>● documentos técnicos.</p><p>No entanto, a tecnologia por nós usada, a <strong>dbt</strong> fornece uma maneira automática de gerar documentação do projecto em forma de website. A documentação inclui:</p><p>● <strong>Informações sobre o projecto:</strong> incluindo código de modelo, um <em>Directed Acyclic Graph (DAG)</em> do projecto, testes e muito mais.</p><p>● <strong>Informações sobre o <em>data warehouse</em>: </strong>incluindo tipos de dados de colunas e tamanhos de tabelas. Essas informações são geradas pela execução de <em>queries </em>(consultas) no esquema de informações.</p><p>Abaixo mostramos um exemplo de um documento gerado automaticamente pela <strong>dbt</strong>:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/901/1*nQWeJUqgiKXY43CMoomQXA.png" /><figcaption>Exemplo de um documento gerado automaticamente pela <strong>dbt</strong></figcaption></figure><p><strong>3.6.1 Manual do Utilizador</strong></p><p>● <strong>ficha informativa sobre o dashboard</strong> — qual é a finalidade do dashboard, onde pode ser encontrado e quem contactar caso tenham dúvidas ou necessitem de mais informações;</p><p>● <strong>manual do usuário</strong> — como navegar e usar o dashboard;</p><p>● <strong>perguntas frequentes </strong>— abrangem informações sobre terminologias usadas, com que frequência os dados são actualizados, etc.;</p><p>● advertências e suposições de dados;</p><p>● informações de fonte de dados.</p><p><strong>3.6.2 Documentos Técnicos</strong></p><p>● Passos a seguir para actualizar o dashboard;</p><p>● rastrear/<em>debug</em> problemas;</p><p>● pedido de alterações/mudanças;</p><p>● requisitos técnicos e não técnicos;</p><p>● plano de trabalho;</p><p>● plano de teste.</p><p><strong>3.7 Lançamento</strong></p><p>Nesta fase, temos tudo o que precisamos para lançar o produto final, portanto é hora de informar aos potenciais usuários sobre o dashboard. Após o lançamento, precisamos de garantir que o dashboard responda às expectativas.</p><p>Elaboramos um plano de implementação que abrange o seguinte:</p><p>● <strong>Estamos a construir os produtos de forma iterativa?</strong> Comunicamos aos usuários que o dashboard está sendo construído de forma iterativa -informamos-os sobre quais recursos extras estarão disponíveis na próxima versão. Sempre tentamos construir os produtos de forma iterativa (ágil/<em>kanban</em>) e que esteja pronto para melhorias contínuas.</p><p>● <strong><em>Hard versus soft launch</em></strong> — optamos por uma abordagem de <em>soft launch</em> e evolutiva até atingir a maturidade. Deste modo, criamos condições para uma melhoriacontínua e um grande contributo do <em>feedback</em> dos utilizadores;</p><p>● Conduzimos sessões individuais ou sessões de instruções com os usuários, recolhemos os seus <em>feedback</em> e avaliamos o interesse deles em usar o produto -falamos com os usuários.</p><p>● Asseguramos que os usuários possam aceder os manuais do usuário, fichas técnicas e outras informações relativas sobre o dashboard;</p><p>● Enviamos um questionário aos utilizadores e consolidamos os seus <em>feedbacks</em>.</p><p><strong>3.8 Monitorar o uso do dashboard para identificar os pontos-fracos</strong></p><p>1. Identificamos janelas ou funcionalidades que estão a tornar-se menos populares é uma óptima maneira de identificar um possível ponto-fraco nos dashboards;</p><p>2. Fazemos um inventário de quais painéis são mais e menos populares;</p><p>3. Existem painéis/funcionalidades que eram populares antes, mas deixaram de o ser?</p><p>4. Quais painéis/funcionalidades são usados apenas por uma pequena parte do público-alvo? O baixo uso pode indicar que alguns usuários não foram treinados adequadamente para usar o painel. Isso pode significar que alguns usuários têm perguntas diferentes que o dashboard não responde.</p><p><strong>4.0 Plano de Implementação</strong></p><p>O plano de implementação está fortemente dependente da fase de levantamento de requisitos. Pois, os requisitos e as complexidades variam de empresa para empresa, daí que não podemos definir tarefas sem realizar a recolha dos requisitos.</p><p>Por essa razão, no presente documento não será apresentado um plano de trabalho detalhado. Contudo, vamos apresentar abaixo um modelo padrão para construir um <em>dashboard</em>:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/650/1*h91uasQZhQJGzrxh4Mj0rg.png" /><figcaption>Proposta de um plano de implementação para construir um <em>dashboard</em></figcaption></figure><p><strong>5.0 Estimativas de Custos</strong></p><p>Os custos para desenvolver um dashboard também variam de acordo com as especificações dos clientes verificadas no acto de levantamento dos requisitos.</p><p>Portanto, vamos apresentar aqui uma proposta para servir de referência. Em outras palavras, este será um valor indicativo, o que significa que pode estar acima ou abaixo do mencionado, tendo em conta os elementos de base recolhidos.</p><p>Abaixo exibimos a composição de uma equipe (<em>data team</em>), bem como as suas taxas diárias:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/304/1*g2iksLgrzzMasfcFZeNCSg.png" /><figcaption>Taxa diária dos especialista que compoem a equipa (data team)</figcaption></figure><p>Portanto, vamos mostrar os custos estimados por cada fase de intervenção.</p><ol><li><strong>Levantamento de requisitos:</strong> esperamos dedicar 10 dias para essa actividade e vai requerer o envolvimentos de especialistas em <em>Business Analyst e Data Analyst;</em></li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/751/1*Kjnr1j00AbHcj0-mY1v-Ng.png" /></figure><p><strong>2. Concepção do desenho e <em>layout</em> do <em>dashboard</em>:</strong> também serão alocados 10 dias para essa actividade e estarão afectos 02 técnicos especialistas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/716/1*GpB6KF_1A2lFpBMRvgNKwA.png" /></figure><p><strong>3. Construir modelos e análises:</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/586/1*EutGn9skH03DxdF1aJZeyQ.png" /></figure><p><strong>4. ETL — preparar e transformar os dados para serem usados pelas plataformas de BI</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/750/1*_QStdBxDr1ZbOe8opPZoGg.png" /></figure><p><strong>5. Lançamento do produto final</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/753/1*HbDctZqe0pu-dT_x6IqtHQ.png" /></figure><p><strong>6. Taxa Anual de Manutenção</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/750/1*ougs6fr0OySnwRTCik5vnw.png" /></figure><p>Em resumo, apresentamos os seguintes custos estimados:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/735/1*mMgS6QxJOQIftQKd9ORYqA.png" /></figure><p>Adicionando a taxa anual para assegurar a manutenção do sistema:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/750/1*l7nzbP4ZqEIMBz5QShiA0A.png" /></figure><p><strong>6.0 Pessoal</strong></p><p>Formamos uma equipa de jovens talentosos e dinâmicos com um espírito vencedor e ávidos em aprender coisas novas. Procuramos sempre adquirir novas competências e actuais, visto que o que sabemos hoje torna-se obsoleto amanhã.</p><p>Portanto, construímos um ambiente fértil à inovação e criatividade na nossa organização. Estimulamos a aprendizagem contínua e acreditamos que muitos problemas podem ser resolvidos aplicando tecnologias de informação.</p><p>Normalmente, incubamos e oferecemos estágios profissionais aos nossos estudantes que mais se destacam na faculdade.</p><p>O nosso quadro de pessoal é o nosso maior activo e valorizamos-os.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/268/1*ZXbbMug6QBXBZeDsl71yOw.png" /><figcaption>Logo</figcaption></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=df2a3749292b" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Análise de Dados com R -parte 2: e-commerce no mercado brasileiro]]></title>
            <link>https://reinaldozezela.medium.com/an%C3%A1lise-de-dados-com-r-parte-2-e-commerce-no-mercado-brasileiro-2aaa15cd10?source=rss-2b1c8f8be57c------2</link>
            <guid isPermaLink="false">https://medium.com/p/2aaa15cd10</guid>
            <category><![CDATA[data-manipulation]]></category>
            <category><![CDATA[data-analytics]]></category>
            <category><![CDATA[maps]]></category>
            <category><![CDATA[r]]></category>
            <category><![CDATA[data-visualization]]></category>
            <dc:creator><![CDATA[Reinaldo Zezela]]></dc:creator>
            <pubDate>Wed, 09 Mar 2022 17:35:42 GMT</pubDate>
            <atom:updated>2022-03-09T18:29:18.810Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/543/1*KFNlN_P3nshHLWiKph5HVw.png" /><figcaption>Data Analytics Consulting Company</figcaption></figure><p>Este <em>post </em>é continuidade do anterior, <a href="https://medium.com/@reinaldozezela/an%C3%A1lise-de-dados-com-r-parte-1-d020747f0aa3">parte1</a>. Portanto, caso tenha perdido pode aceder a partir deste link, <a href="https://medium.com/@reinaldozezela/an%C3%A1lise-de-dados-com-r-parte-1-d020747f0aa3">parte1</a>.</p><p>Pretende-se mostrar as potencialidades da ferramenta <strong>R, </strong>desenvolvendo uma análise exploratória de dados com um conjunto de dados fornecidos gratuitamente pela Olist, <a href="https://www.kaggle.com/olistbr/brazilian-ecommerce">https://www.kaggle.com/olistbr/brazilian-ecommerce</a> sobre <em>e-commerce</em> no mercado brasileiro.</p><p>Portanto, o presente trabalho visa responder as seguintes questões:</p><p><strong>P4. Em que dias da semana os clientes brasileiros costumam fazer compras online?<br>P5. Como os clientes estão distribuídos pelos estados?<br>P6. Quantos métodos de pagamento estão disponíveis? e qual é o mais popular?</strong><br>P7. Existe correlação entre o valor do frete e o preço do item?<br>P8. Existe correlação entre o valor do frete e o peso do item?</p><p>Visto que, as perguntas P7 e P8 estão relacionados com <strong>análise de regressão</strong>, então será matéria para a próxima edição, isto é parte3.</p><h3>Em que dias de semana os clientes brasileiros costumam fazer compras online?</h3><p>Para responder a essa pergunta, vamos usar a tabela orders_dat.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/16d9cb099e6aef308d11e8282d1b760c/href">https://medium.com/media/16d9cb099e6aef308d11e8282d1b760c/href</a></iframe><p>Vamos determinar o número de compras efectuadas em dias-de-semana e compará-las.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/9a300b496a78bc4ab5a395be53851aeb/href">https://medium.com/media/9a300b496a78bc4ab5a395be53851aeb/href</a></iframe><p>Graficamente, pode ser representada da seguinte forma:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/dadc45a217eb2905b6ec31ead6039442/href">https://medium.com/media/dadc45a217eb2905b6ec31ead6039442/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*oMIm4elgIEg4cmn2BDwQzw.png" /><figcaption>Fig. 1: Número de pedidos de compra em dias-de-semana</figcaption></figure><p>Observe que, entre terça-feira e sexta-feira são os dias em que se fazem mais compras. No entanto, na <strong>terça-feira</strong> é o dia em que os clientes brasileiros realizam mais compras ao longo da semana, provavelmente nesse dia as lojas realizam campanhas de promoção de seus produtos. Enquanto que, no dia de <strong>Domingo</strong> fazem-se menos compras.</p><p>Ademais, podemos incluir as horas em que mais se realizam os pedidos de compras.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/64732b4793cd51b1e5f5b4ad98d56f81/href">https://medium.com/media/64732b4793cd51b1e5f5b4ad98d56f81/href</a></iframe><p>Graficamente, podemos representar de seguinte modo:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/686592c4c0adbc8bb28ebf2cd315fbe5/href">https://medium.com/media/686592c4c0adbc8bb28ebf2cd315fbe5/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*K8Tsk_Ckellrp33MszMrDA.png" /><figcaption>Fig. 2: Horas em que ocorrem mais pedidos de compra ao longo da semana</figcaption></figure><p>O gráfico da figura 2, mostra claramente que <strong>os pedidos de compra ocorrem com maior frequência no período entre às10:00 e 22:00 horas. </strong>Em outras palavras,<strong> </strong>pode-se afirmar que, de um modo geral os brasileiros fazem as suas compras no intervalo referido.</p><h3>Como os clientes estão distribuídos pelos estados?</h3><p>Visto que, cada ordem de compra está associado a um cliente, então vamos juntar as tabelas orders_dat e customers_dat através do campocustomer_id. Deste modo, vai nos permitir saber o volume de transacções por cidades ou estados.</p><p>Mas, antes de responder directamente a questão acima apresentada podemos estar interessados em saber, por exemplo quantos clientes distintos existem, quantos clientes compraram mais de uma vez, etc.</p><p>Portanto, vamos importar os dados da tabela customers_dat.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a9fe5f78c6fb997bd24f9c4d292cf415/href">https://medium.com/media/a9fe5f78c6fb997bd24f9c4d292cf415/href</a></iframe><p>São 96,096clientes distintos.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/4435cc5f64f2abbfdebf3712149ef4fa/href">https://medium.com/media/4435cc5f64f2abbfdebf3712149ef4fa/href</a></iframe><p>Clientes que compraram mais de uma vez:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/f41dc252e93caeae0819e28a31f621fd/href">https://medium.com/media/f41dc252e93caeae0819e28a31f621fd/href</a></iframe><p>Visto que, o output seria uma lista longa, então intencionalmente preferimos seleccionar os Top20 clientes que efectuaram pedidos de compras mais de uma vez.</p><p>Os clientes estão distribuídos pelos estados de seguinte modo:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/50d188975305fada3f8f260d4946ec5f/href">https://medium.com/media/50d188975305fada3f8f260d4946ec5f/href</a></iframe><p>Graficamente, pode ser representada desta maneira:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a4f34f025722e893dd5bcc0ca0ded147/href">https://medium.com/media/a4f34f025722e893dd5bcc0ca0ded147/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*7t3gUkfHlkfvvxjR5iohhg.png" /><figcaption>Fig. 3: distribuição de clientes por estados</figcaption></figure><p>Note que, <strong>42%</strong> dos clientes são de estado de SP, São Paulo. Também, podemos verificar como o volume de pedidos de compras estão distribuidos pelos estados. Para tal, vamos juntar as tabelas orders_date customers_dat.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/3830bccf40c7cf67dadbd3e69c52d8e8/href">https://medium.com/media/3830bccf40c7cf67dadbd3e69c52d8e8/href</a></iframe><p>Número de pedidos de compras por estados:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/3a51d139dab32279342450845319226d/href">https://medium.com/media/3a51d139dab32279342450845319226d/href</a></iframe><p>Com base nos resultados acima apresentados, podemos afirmar que, o número de pedidos de compras por estados está de alguma forma relacionado com a distribuição de clientes pelos estados.</p><h3>Visualização da distribuição de número de pedidos de compras por cidades no mapa</h3><p>Para visualizar no mapa como estão distribuídos o volume de transacções por cidades, vamos juntar as tabelas geolocation_dat e customers_order_tbltendo como referência os campos, geolocation_zip_code_prefix e customer_zip_code_prefix,respectivamente.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/766c14cd669518723321051763be4ad1/href">https://medium.com/media/766c14cd669518723321051763be4ad1/href</a></iframe><p>Juntando as tabelas temos:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a7736a8a33b886da28caaaa2b20d7e1f/href">https://medium.com/media/a7736a8a33b886da28caaaa2b20d7e1f/href</a></iframe><p>Avaliar número de pedidos de compra por cidades.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/16a1f7f6d777328f6063e6c5549352ee/href">https://medium.com/media/16a1f7f6d777328f6063e6c5549352ee/href</a></iframe><p>Podemos ainda, seleccionar as Top20 <em>zip code </em>(código postal)<em> </em>com maior volume de transacções:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/ff14d1aec391657a14786d57d2f8a8d3/href">https://medium.com/media/ff14d1aec391657a14786d57d2f8a8d3/href</a></iframe><p>Aplicando a geo-localização:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/959b9c1edf1c66df4169c1fe0dae48e2/href">https://medium.com/media/959b9c1edf1c66df4169c1fe0dae48e2/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/702/1*K9v-L_eKipV9J5ZsSa8Xpg.png" /><figcaption>Fig. 4: mapa de Brasil</figcaption></figure><p>Portanto, vamos adicionar a função addCircles()no mapa diferenciando o volume de transacções por <em>zip codes</em> pelos seus raios/diâmetros.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/d44ea484484598ee6c2b288cf391ec93/href">https://medium.com/media/d44ea484484598ee6c2b288cf391ec93/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/702/1*FHsaGKGHEkKTNtaqMchZ3g.png" /><figcaption>Fig. 5: distribuição de números de pedidos de compra por <em>zip_code</em></figcaption></figure><p>O <em>output </em>mostra que, as cidades nos estados de São Paulo e Rio de Janeiro são as que apresentam maior volume de transacções.</p><h3>Quantos métodos de pagamento estão disponíveis? e qual é o mais popular?</h3><p>Vamos usar os dados da tabela, order_payments_dat para responder essa pergunta.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/8e65141c057fecd6991d076cca228dd4/href">https://medium.com/media/8e65141c057fecd6991d076cca228dd4/href</a></iframe><p>Estão disponíveis os seguintes métodos de pagamentos:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/2a08d289a726c9265fd0856599dc5a6d/href">https://medium.com/media/2a08d289a726c9265fd0856599dc5a6d/href</a></iframe><p>Os métodos de pagamento mais populares são:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/9e0685662ff7d076bea373c74d8c3226/href">https://medium.com/media/9e0685662ff7d076bea373c74d8c3226/href</a></iframe><p>O credit_cardé o metodo de pagamento mais popular correspondendo a <strong>74%</strong> de todas as transacções. De seguida, é o boletocom <strong>19%</strong> e por último o debit_card com aproximadamente <strong>1.5%.</strong></p><p>Graficamente, pode ver visto de seguinte modo:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/47effc402d3bb0c066e6593819555c7a/href">https://medium.com/media/47effc402d3bb0c066e6593819555c7a/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*asa_OZn_QOpU1wvZt_B7Cg.png" /><figcaption>Fig. 6: métodos de pagamentos mais usados</figcaption></figure><h3>Considerações Finais</h3><p>Espero que tenham aprendido alguma coisa. Aqui, foi demonstrado as potencialidades da ferramenta <strong>R</strong> para manipular e visualização de dados.</p><p>Portanto, as perguntas, <em>“existe correlação entre o valor do frete e o preço do item?”</em> e <em>“existe correlação entre o valor do frete e o peso do item?” </em>serão objecto de estudo na próxima edição. Por tratar-se de uma matéria relacionada com <strong>análise de regressão</strong>, então será abordado esse tópico.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/543/1*KFNlN_P3nshHLWiKph5HVw.png" /><figcaption>Data Analytics Consulting</figcaption></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2aaa15cd10" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Análise de Dados com R -parte 1:]]></title>
            <link>https://reinaldozezela.medium.com/an%C3%A1lise-de-dados-com-r-parte-1-d020747f0aa3?source=rss-2b1c8f8be57c------2</link>
            <guid isPermaLink="false">https://medium.com/p/d020747f0aa3</guid>
            <category><![CDATA[data-analytics]]></category>
            <category><![CDATA[data-wrangling]]></category>
            <category><![CDATA[data-visualization]]></category>
            <dc:creator><![CDATA[Reinaldo Zezela]]></dc:creator>
            <pubDate>Sat, 12 Feb 2022 04:39:24 GMT</pubDate>
            <atom:updated>2022-02-17T18:47:05.987Z</atom:updated>
            <content:encoded><![CDATA[<h4>e-commerce no mercado brasileiro</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/551/1*NqErg8fro70t8CkXfScQYg.png" /></figure><h4>1.0 Contexto</h4><p>O conjunto de dados que será usado foi generosamente fornecido pela <strong>Olist</strong>, a maior loja de <strong><em>e-commerce</em></strong> no mercado brasileiro. <strong>Olist</strong> conecta pequenas empresas de todo o Brasil ao canal sem complicações e com um único ponto de contacto.</p><p>Esses comerciantes podem vender seus produtos através da <strong>Olist Store</strong> e enviá-los directamente aos clientes usando os parceiros de logística da <strong>Olist</strong>. Veja mais detalhes em seu site <a href="http://www.olist.com./">www.olist.com.</a></p><p>Estes são dados comerciais reais que foram anonimizados. O conjunto de dados contém informações de 100 mil pedidos de 2016 a 2018 feitos em vários mercados no Brasil. Pode-se aceder aos dados através do link, <a href="https://www.kaggle.com/olistbr/brazilian-ecommerce">https://www.kaggle.com/olistbr/brazilian-ecommerce</a>.</p><p>Podemos visualizar um pedido a partir de múltiplas dimensões: desde o <em>status</em> do pedido, preço, pagamento e desempenho do frete até a localização do cliente, atributos do produto e, finalmente, avaliações escritas pelos clientes. Também, contém a geolocalização que relaciona os códigos postais (CEPs) brasileiros às coordenadas lat/lng.</p><p>Logo que, um cliente efectua uma compra do produto da <strong>Olist Store</strong>, um vendedor é notificado para atender esse pedido. Assim que o cliente recebe o produto, ou vence a data prevista de entrega, o cliente recebe um questionário de satisfação por e-mail onde pode dar uma nota sobre a experiência de compra e tecer alguns comentários.</p><p>Portanto, tenha em conta o seguinte:<br>1. Um pedido pode ter vários itens;<br>2. Cada item deve ser atendido por um vendedor distinto;<br>3. Todo o texto identificando lojas e parceiros foram substituídos pelos nomes dos palácios de <em>Game of Thrones</em>.</p><h4>1.1 Estrutura de Dados</h4><p>Os dados são divididos em várias tabelas para melhor compreensão e organização. Consulte o seguinte esquema/estrutura de dados ao trabalhar com ele:</p><figure><img alt="Fig. 1: Estrutura de dados" src="https://cdn-images-1.medium.com/max/971/1*Yr2rJfDFgOTHBt5nLjJNdA.png" /></figure><h4>1.2 Objectivo</h4><p>O presente trabalho tem como objectivo realizar uma <strong>análise explorátoria de dados</strong> sobre o <em>e-commerce</em> no mercado brasileiro, <strong>usando os dados públicos disponibilizados pela Olist</strong>.</p><p>Portanto, vamos nos focar em responder as seguintes perguntas:<br>1. Como o <em>e-commerce</em> evoluiu ao longo do tempo no Brasil?<br>2. Quais são os 10 produtos mais comercializados?<br>3. Qual é o preço médio de cada categoria de produto?<br>4. Em que dias de semana os clientes brasileiros costumam fazer compras online?<br>5. Como os clientes estão distribuídos pelos estados?<br>6. Quantos métodos de pagamento estão disponíveis? e qual é o mais popular?<br>7. Existe correlação entre o valor do frete e o preço do item?<br>8. Existe correlação entre o valor do frete e o peso do item?</p><p>Contudo, estes dados tambémpodem ser usados para análise predictiva, tais como previsão de vendas com base em informações de data de compra; ou desempenho de entrega por forma a optimizar os tempos de entrega aplicando técnicas de machine learning.</p><h3>2.0 Análise Exploratória de Dados</h3><p>O nosso foco será fazer uma análise descritiva dos dados e sumarizá-los. Para isso, será usado o pacote <strong><em>Tidyverse</em></strong>. Portanto, vamos importar os dados e manipulá-los.</p><h4>2.1 Importação de Dados</h4><p>Os dados encontram-se no formato <strong>csv.</strong></p><p>Podemos importar todas as tabelas de dados para o nosso ambiente de trabalho. Mas, intencionalmente vamos importar as tabelas à medida que forem necessárias para facilitar a compreensão.</p><p>Portanto, para responder a primeira pergunta (Como o <em>e-commerce</em> evoluiu ao longo do tempo no Brasil?) vamos importar o conjunto de dados, olist_orders_dataset.csv,visto que está apresenta a data de ocorrência do evento (ordem de compra) e o seu estado.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a468127e7fa0cbda6b66d45e0ae421e0/href">https://medium.com/media/a468127e7fa0cbda6b66d45e0ae421e0/href</a></iframe><p>Examinando os dados, nota-se que as variáveis de tipo <strong>data </strong><em>(date)</em> estão como caracteres <em>(character)</em>, nomeadamente, order_purchase_timestamp,<em> </em>order_approved_at, order_delivered_carrier_date, order_delivered_customer_date<em> </em>e<em> </em>order_estimated_delivery_date.Por isso, devemos convertê-los para tipo <em>date</em>.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/c9fdc0b70b1068a3a63e26c863d21176/href">https://medium.com/media/c9fdc0b70b1068a3a63e26c863d21176/href</a></iframe><p>Observe que, os campos onde a <strong>hora não é relevante para a nossa análise </strong>fez-se a conversão para tipo <em>date, </em>em vez de <em>date timestamp</em>.</p><p>Podemos ainda, examinar os dados usando a função <em>summary()</em>.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/4d719a03b3d46a306c9d1761bd1aeaec/href">https://medium.com/media/4d719a03b3d46a306c9d1761bd1aeaec/href</a></iframe><p>O <em>output</em> mostra que há campos com valores nulos (NA’s). Deste modo, vamos considerar uma ordem de compra efectuada com sucesso, aquela cujo data de aprovação <em>(order_approved_at)</em> é diferente de valor nulo. Portanto, em <strong>R</strong> podemos eliminar esses valores de seguinte modo:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/dc644a38a554298b19f8cdcad079a2e4/href">https://medium.com/media/dc644a38a554298b19f8cdcad079a2e4/href</a></iframe><p>De um total de 99,444 registos, após a remoção de valores nulos no campo <em>order_approved_at</em> passou para 99,281, isto é 160 observações foram removidas.</p><p>Vamos agrupar os dados com base no <em>status</em> do pedido, order_status.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/5269715e8dd7eba4560b8c70eb9e6292/href">https://medium.com/media/5269715e8dd7eba4560b8c70eb9e6292/href</a></iframe><p>Mas, esse resultado pode ser obtido de forma simples, usando a função <strong>count()</strong>.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/73222110006f7d1c3fbf20402d4b0087/href">https://medium.com/media/73222110006f7d1c3fbf20402d4b0087/href</a></iframe><p>Para a nossa análise vamos excluir transacções, cujo o estado da ordem de compra é: <em>canceled</em> ou <em>unavailable</em>. Assim, vamos trabalhar com o seguinte conjunto de dados:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/7ee9e20161b2a2a07a617b71e420b56a/href">https://medium.com/media/7ee9e20161b2a2a07a617b71e420b56a/href</a></iframe><h4>2.2 Manipulação de Dados</h4><p>Para responder as perguntas acima definidas, devemos manipular os dados.</p><h4>2.2.1 Como o <em>e-commerce</em> evoluiu ao longo do tempo no Brasil?</h4><p>Podemos responder essa pergunta avaliando o volume de transacções diárias, semanais, mensais ou anuais ao longo do tempo.</p><p>Para efeitos de exemplificação, vamos extrair o número de pedidos de compras, isto é o volume de transacções diárias e mensais.</p><ol><li>número de transacções diariamente</li></ol><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/7b09cca49ed3309af6cad737c1c3375e/href">https://medium.com/media/7b09cca49ed3309af6cad737c1c3375e/href</a></iframe><p>2. número de transacções mensalmente</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/d58f27105f336a1ec7e2a61fc39dcd1b/href">https://medium.com/media/d58f27105f336a1ec7e2a61fc39dcd1b/href</a></iframe><p>Para melhor compreensão e interpretação dos dados, vamos mostrar os resultados de forma gráfica. Vamos usar o pacote <em>ggplot2</em>, por sinal o mais aplicado para visualização de dados em <strong>R</strong>.</p><p>Abaixo a fig. 2, mostra o volume de transacções por mês de <em>e-commerce</em> no mercado brasileiro.</p><figure><img alt="Fig. 2: Número de transacções por mês no e-commerce no mercado brasileiro" src="https://cdn-images-1.medium.com/max/1024/1*11MyMh8T7JXcAxwmadLkvQ.png" /></figure><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/853f1945181e1500e0e896f83be1acd3/href">https://medium.com/media/853f1945181e1500e0e896f83be1acd3/href</a></iframe><p>O gráfico da fig.2 mostra como o volume de transacções de <em>e-commerce</em> no mercado brasileiro tem evoluído ao longo do tempo. Nota-se uma tendência crescente no número de pedidos de ordens de compras de mês para mês. Portanto, o valor mais elevado foi em Novembro de 2017 com <strong>7,280 pedidos de compra</strong>, provavelmente devido ao <strong>Black Friday</strong>.</p><h4>2.2.2 Quais são os 10 produtos mais comercializados?</h4><p>Para responder a essa questão, devemos unir ou juntar as seguintes tabelas:<br>* orders_dat;<br>* order_items_dat; e<br>* products_dat.</p><p>Portanto, vamos carregar esses conjuntos de dados e examiná-los.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/336a3c67e5e89068e7012eca83085f2c/href">https://medium.com/media/336a3c67e5e89068e7012eca83085f2c/href</a></iframe><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/53fd4c7fdde544523749845042f39efd/href">https://medium.com/media/53fd4c7fdde544523749845042f39efd/href</a></iframe><h4>2.2.2.1 Junção de Tabelas</h4><p>Vamos usar as funções <strong>Joins</strong> do pacote <strong>dplyr</strong> para juntar as tabelas. Tem uma lógica e sintaxe similar à <strong>SQL</strong>.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/67dd2e622edb108a06b37022f34556b3/href">https://medium.com/media/67dd2e622edb108a06b37022f34556b3/href</a></iframe><p>Primeiro, vamos verificar as diferentes categorias de produtos existentes no conjunto de dados.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/0711c41e9b3bc446640a4a4db4dc0108/href">https://medium.com/media/0711c41e9b3bc446640a4a4db4dc0108/href</a></iframe><p>Há 74 categorias de produtos distintas no conjunto de dados. Desses, vamos seleccionar os <em>Top10</em>, isto é os 10 produtos mais comercializados no <em>e-commerce</em> no mercado brasileiro.</p><p>Segundo, contamos o número de pedidos de compra por categoria de produtos e de seguida, ordenamos o resultado da 1a operação na forma decrescente para depois seleccionar os primeiros 10 registos.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/6c94161f856d2d5168e36a1c2c52623d/href">https://medium.com/media/6c94161f856d2d5168e36a1c2c52623d/href</a></iframe><p>O <em>output</em> mostra que a categoria de produto <strong>cama_mesa_banho</strong> é a mais solicitada. Em seguida, vem beleza_saude, esporte_lazer,… até o automotivo na 10a posição.</p><p>Outra abordagem de análise é usar a proporção, em vez de valor absoluto.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/99aa64bd1e4fd2ddadc08acf58ac475e/href">https://medium.com/media/99aa64bd1e4fd2ddadc08acf58ac475e/href</a></iframe><p>A categoria de produto, <strong>cama_mesa_banho</strong> representa, aproximadamente <strong>10% de volume total de transacções</strong>.</p><p>Graficamente, pode ser apresentado de seguinte modo:</p><figure><img alt="Fig. 3: Os 10 produtos mais comercializados no e-commerce no mercado brasileiro" src="https://cdn-images-1.medium.com/max/1024/1*FZEnqge3lmDwJeP8R23Rkw.png" /></figure><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/e42e2989d7f94c85a57a87c25d078df5/href">https://medium.com/media/e42e2989d7f94c85a57a87c25d078df5/href</a></iframe><p>Graficamente, usando proporção temos o seguinte:</p><figure><img alt="Fig. 4: Mostrar os top 10 produtos usando dados proporcionais" src="https://cdn-images-1.medium.com/max/1024/1*hHahGwctAGcO6B2Z33q4Kg.png" /></figure><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/2123b4f1fcd31e3edce76fe85fb4ceba/href">https://medium.com/media/2123b4f1fcd31e3edce76fe85fb4ceba/href</a></iframe><h4>2.2.3 Qual é o preço médio de cada categoria de produto?</h4><p>Para determinar o preço médio de cada categoria de produto, vamos proceder de seguinte modo:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/cf1638f7aacdf972f4483a88ff944cb7/href">https://medium.com/media/cf1638f7aacdf972f4483a88ff944cb7/href</a></iframe><p>Note que, o <em>output</em> mostra 75 observações, quando de facto temos 74 categorias de produtos distintos. Isso significa que, há registos com valores nulos no campo <strong>product_category_name</strong>. Portanto, vamos verificar esses casos:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a1e61cd2717134df30bded391a148c24/href">https://medium.com/media/a1e61cd2717134df30bded391a148c24/href</a></iframe><p>Verificamos que, há 3 registos nessa condição e portanto, vamos removê-los.</p><p>Determinar o preço médio dos produtos por categoria, excluindo os valores nulos no campo, product_category_name.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/6dddadcbb373f6a563194468d7602f6a/href">https://medium.com/media/6dddadcbb373f6a563194468d7602f6a/href</a></iframe><p>Observe que, a categoria de produtos de <strong>PCs</strong> apresenta o preço mais caro, com um valor médio de <strong>1,098.34</strong> Reais.</p><p>Graficamente, pode ser apresentado de seguinte modo:</p><figure><img alt="Fig. 5: Preço médio de produto por categoria" src="https://cdn-images-1.medium.com/max/1024/1*TRiDCD62_JWZ7E0VRynAyA.png" /></figure><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/e2b336cca00248ca5d3e4d1e871117e0/href">https://medium.com/media/e2b336cca00248ca5d3e4d1e871117e0/href</a></iframe><p>Também, podemos seleccionar aleatoriamente o preço médio de <em>n</em> categorias de produtos, bastando para o efeito usar a função <em>slice_sample()</em>.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/814be6db7b322b18db4956bc874dc454/href">https://medium.com/media/814be6db7b322b18db4956bc874dc454/href</a></iframe><p>Se pretendermos achar o preço médio dos <strong>10 produtos mais comercializados no e-commerce no mercado brasileiro</strong>, procedemos de seguinte modo:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/7afe6fe487d07e2b99c13f643af62c4e/href">https://medium.com/media/7afe6fe487d07e2b99c13f643af62c4e/href</a></iframe><p>Pode-se afirmar que, <strong>os preços dos</strong> <strong>10 produtos mais comercializados no e-commerce no mercado brasileiro em média variam entre 70.00 e 200.00 Reais.</strong></p><h3>3.0 Considerações Finais</h3><p>Para terminar, aqui foram demonstradas algumas técnicas de análise exploratória de dados usando a poderosa ferramente <strong>R</strong>. Pretende-se com este exercício mostrar as potencialidades do <strong>R</strong> em análise de dados, concretamente na manipulação e visualização de dados.</p><p>Por isso, espero que tenham aprendido alguma coisa. Este será um exercício continuado, com vista a responder as restantes questões. Fique atento.</p><p>Se tiver perguntas que gostaria de ver resolvidas aqui, esteja livre para as colocar. Estas, servirão de <em>inputs </em>para as próximas edições.</p><figure><img alt="Consultoria em Análise de Dados" src="https://cdn-images-1.medium.com/max/551/1*NqErg8fro70t8CkXfScQYg.png" /></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d020747f0aa3" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Técnicas de Amostragem em R]]></title>
            <link>https://reinaldozezela.medium.com/t%C3%A9cnicas-de-amostragem-em-r-7e0eae7354c4?source=rss-2b1c8f8be57c------2</link>
            <guid isPermaLink="false">https://medium.com/p/7e0eae7354c4</guid>
            <category><![CDATA[r]]></category>
            <category><![CDATA[amostragem]]></category>
            <dc:creator><![CDATA[Reinaldo Zezela]]></dc:creator>
            <pubDate>Tue, 28 Dec 2021 00:43:55 GMT</pubDate>
            <atom:updated>2021-12-28T01:07:29.530Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/282/1*ys4bsYQuoClBUdbeWR50Yg.png" /><figcaption>Consultoria em Análise de Dados</figcaption></figure><h3>1.0 Amostragem em R</h3><p>Vamos praticar a amostragem em <strong>R</strong> usando o pacote <em>tidyverse</em>.</p><p>Suponha que pretendemos colectar dados de distritos de Moçambique, mas não dispomos de recursos suficientes para colectar esses dados em todos os distritos do país.</p><p>Entretanto, temos um ficheiro contendo a lista de todos os distritos de Moçambique (pode ser baixado na internet). Portanto, vamos importar o ficheiro para o nosso ambiente de trabalho, juntamente com os pacotes necessários, neste caso o <em>tidyverse.</em></p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/ae13e94451cb410c88896f48c5d91c32/href">https://medium.com/media/ae13e94451cb410c88896f48c5d91c32/href</a></iframe><h3>1.1 Amostra Aleatória Simples</h3><p>Suponha que nossos recursos são limitados e dá somente para colectar dados em apenas <strong><em>50</em></strong> distritos.</p><p>Uma opção é obter uma <em>amostra aleatória simples</em>. Para tal, vamor usar a função <strong><em>slice_sample ()</em></strong> de <strong><em>dplyr</em></strong><em> (um pacote incluído no tidyverse)</em> para realizar essa operação.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/bb8d6607140a055ac950750adfcaf9e2/href">https://medium.com/media/bb8d6607140a055ac950750adfcaf9e2/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/676/1*hGJQsRVMUZW3KTF40QEojA.png" /></figure><p>Note que sua amostra será diferente da amostra de outra pessoa, apesar de estarmos a executar exactamente o mesmo código. Portanto, aqui estamos a extrair uma amostra aleatória, então sua amostra será diferente da minha, apenas por acaso. No entanto, o tamanho da amostra deve ser o mesmo, pois é algo que especificamos na função <em>slice_sample ()</em>.</p><h4>1.1.1 Distribuição de Distritos por Provincia usando Amostra Aleatória Simples</h4><p>Se o nosso objectivo era seleccionar uma amostra de <em>50</em> distritos quaisquer, então essa meta foi atingida. No entanto, se quisermos obter números iguais de distritos por provincia, isto é <em>5</em> distritos por provincia, uma <em>amostra aleatória simples</em> não garantirá isso.</p><p>Portanto, podemos confirmar isso contando o número de distritos por provincias, usando o código seguinte:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/4923675a1543f44c514f94e1a7a064a1/href">https://medium.com/media/4923675a1543f44c514f94e1a7a064a1/href</a></iframe><p>O <em>output</em> mostra que esta abordagem de amostragem, o número de distritos seleccionados varia de provincia para provincia. Mas, se em vez disso, quisermos seleccionar uma amostra de <em>05</em> distritos por provincia para formar nossa amostra de <em>50</em> distritos, devemos usar a <em>amostragem estratificada</em>.</p><h3>1.2 Amostra Estratificada</h3><p>O código assemelha-se bastante com o modo como selecionamos a amostra aleatória simples, excepto pelo facto de que, antes de seleccionar a amostra:</p><ol><li>agrupar por provincia; e</li><li>seleccionar as <em>5</em> observações por grupo.</li></ol><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/1625aaa3685ce08824559a61097de3dd/href">https://medium.com/media/1625aaa3685ce08824559a61097de3dd/href</a></iframe><p>Pela função <em>glimpse()</em>, podemos confirmar que realmente temos <em>50</em> observações nesta amostra.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/981/1*uLfQxV3n3biNl_TFSLN-0g.png" /></figure><p>2.0 Considerações finais</p><p>Espero que tenham aprendido alguma coisa. Agora, é sua vez de praticar como seleccionar uma amostra.</p><p>Evitei abordar os conceitos teóricos sobre as técnicas/métodos de amostragem, visto que material sobre essa matéria existe em abundância na internet.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/282/1*ys4bsYQuoClBUdbeWR50Yg.png" /><figcaption>Consultoria em análise de Dados</figcaption></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7e0eae7354c4" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Criar Mapas Choropleths usando Shapefiles e Leaflet em R]]></title>
            <link>https://reinaldozezela.medium.com/criar-mapas-choropleths-usando-shapefiles-e-leaflet-em-r-55db42c5e76d?source=rss-2b1c8f8be57c------2</link>
            <guid isPermaLink="false">https://medium.com/p/55db42c5e76d</guid>
            <category><![CDATA[leaflet]]></category>
            <category><![CDATA[interactive-maps]]></category>
            <category><![CDATA[shapefile]]></category>
            <category><![CDATA[r]]></category>
            <category><![CDATA[choropleth-map]]></category>
            <dc:creator><![CDATA[Reinaldo Zezela]]></dc:creator>
            <pubDate>Tue, 29 Jun 2021 22:21:20 GMT</pubDate>
            <atom:updated>2021-06-29T22:21:20.483Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/536/1*8jZsWvqxiC5_daE0KVSiRQ.png" /></figure><p>O presente trabalho visa mostrar como criar mapas <em>Choropleths</em> usando <em>Shapefiles</em> e <em>Leaflet</em> em <em>R</em>. Vamos usar o pacote <em>Leaflet</em> para criar mapas interactivos. Portanto, vamos usar os dados do Inquérito Agrário Integrado (IAI) do ano 2020 realizado pelo Ministério da Agricultura de Moçambique, disponível em <a href="https://www.agricultura.gov.mz/wp-content/uploads/2021/06/MADER_Inquerito_Agrario_2020.pdf">https://www.agricultura.gov.mz/wp-content/uploads/2021/06/MADER_Inquerito_Agrario_2020.pdf</a>, para mostrar a distribuição de produção agrícola de diversas culturas por província.</p><p><a href="https://rzezela.netlify.app/blog/choropleths-shapefiles-e-leaflet-com-r/">Criar Mapas Choropleths usando Shapefiles e Leaflet em R</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=55db42c5e76d" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Criar Função para Automatizar Tarefas Repetitivas: aplicação em Visualização de Dados]]></title>
            <link>https://reinaldozezela.medium.com/criar-fun%C3%A7%C3%A3o-para-automatizar-tarefas-repetitivas-aplica%C3%A7%C3%A3o-em-visualiza%C3%A7%C3%A3o-de-dados-b9dff4f8ad60?source=rss-2b1c8f8be57c------2</link>
            <guid isPermaLink="false">https://medium.com/p/b9dff4f8ad60</guid>
            <category><![CDATA[highcharts]]></category>
            <category><![CDATA[data-visualization]]></category>
            <category><![CDATA[r]]></category>
            <dc:creator><![CDATA[Reinaldo Zezela]]></dc:creator>
            <pubDate>Mon, 10 Aug 2020 01:25:38 GMT</pubDate>
            <atom:updated>2020-08-16T19:02:39.499Z</atom:updated>
            <content:encoded><![CDATA[<h3>Criar Função em R para Automatizar Tarefas Repetitivas: aplicação em Visualização de Dados</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RC6AzUN7LUU3yljvgcaQBw.jpeg" /><figcaption>kobu agency — unsplash</figcaption></figure><p>Várias são as vezes que, somos confrontandos com actividades rotineiras cuja solução passa por automatizá-las. No mundo de programação e desenvolvimento de software surge um princípio bastante valioso: <em>“Don’t Repeat Yourself (DRY)”</em>. DRY consiste em reduzir a repetição de tarefas evitando deste modo redundância, substituindo com a <em>abstracção</em>. Em outras palavras, temos que evitar realizar tarefas repetitivas, como o <em>copy &amp; paste</em> o que dificulta bastante no acto de manutenção, compreensão e leitura do código.</p><p><a href="https://rzezela.netlify.app/blog/criar-funcao-para-automatizar-tarefas-repetitivas/">https://rzezela.netlify.app/blog/criar-funcao-para-automatizar-tarefas-repetitivas/</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b9dff4f8ad60" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>