<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Bagea Anugrah Pangeresa on Medium]]></title>
        <description><![CDATA[Stories by Bagea Anugrah Pangeresa on Medium]]></description>
        <link>https://medium.com/@bageaanugrahp?source=rss-6c45bf08cad------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*dlLWlnr8lPKl_yxGo6z7hA.jpeg</url>
            <title>Stories by Bagea Anugrah Pangeresa on Medium</title>
            <link>https://medium.com/@bageaanugrahp?source=rss-6c45bf08cad------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 22:28:59 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@bageaanugrahp/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Data Visualization and Modeling Mastery: Elevating E-Commerce Insights]]></title>
            <link>https://medium.com/@bageaanugrahp/data-scraping-visualization-and-modeling-mastery-elevating-e-commerce-insights-04617b9beb7a?source=rss-6c45bf08cad------2</link>
            <guid isPermaLink="false">https://medium.com/p/04617b9beb7a</guid>
            <category><![CDATA[data-visualization]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[data-analytics]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[power-bi]]></category>
            <dc:creator><![CDATA[Bagea Anugrah Pangeresa]]></dc:creator>
            <pubDate>Thu, 21 Dec 2023 16:36:16 GMT</pubDate>
            <atom:updated>2023-12-22T07:52:00.744Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_e3wGTZs1dH9LVV_qQvBsw.jpeg" /></figure><p>E-commerce has become one of the most dynamic and competitive business sectors. Companies in this industry continually strive to attract customers, increase sales, and enhance user experiences. In this context, having a deep understanding of E-commerce data is crucial.</p><p>E-commerce generates large volumes of data every day, ranging from customer transaction details to product reviews. Data scraping allows researchers to efficiently access and collect this data, unlocking potential insights that can be used for better decision-making.</p><p>Amidst intense competition, E-commerce companies need to move beyond descriptive analysis and shift towards predictive modeling approaches. Through modeling, this research can aid in predicting customer behavior, understanding factors influencing sales, and identifying patterns that may be challenging to discover manually.</p><p>E-commerce data is often complex and diverse, encompassing various types of information such as text reviews, spatial data, and promotional information. This analysis aims to address existing challenges through scraping techniques and models capable of effectively handling diverse data.</p><p>Rapid changes in technology and digital transformation have altered the way E-commerce companies operate. This analysis can provide insights into modeling techniques can be key to optimizing business strategies in this era of digital transformation.</p><p>The goal of this analysis is to create a predictive model for the quantity of sales based on several parameters.</p><p>For this exploration, three tools are utilized. Firstly, Python is used for exploratory data analysis (EDA), and modeling. Secondly, PostgreSQL is employed for storing data in the database. Thirdly, Power BI is used for visualizing data through dashboards. Python is installed in Anaconda, and Anaconda is set up in the Windows Subsystem for Linux (WSL).</p><p><strong>MAKING TABLES</strong></p><pre>CREATE TABLE table_data(<br>              nama_produk VARCHAR,<br>              harga NUMERIC,<br>              kondisi VARCHAR,<br>              rating NUMERIC,<br>              jumlah_terjual VARCHAR,<br>              toko VARCHAR,<br>              tipe_toko VARCHAR,<br>              kota VARCHAR,<br>              jumlah_promo INT,<br>              jumlah_review BIGINT,<br>              review VARCHAR<br>              )</pre><p><strong>IMPORT MODULE</strong></p><pre>import time<br>import pandas as pd<br>import matplotlib.pyplot as plt<br>from urllib.request import urlopen as uReq<br>from selenium.webdriver.common.keys import Keys<br>import re<br>import psycopg2<br>import psycopg2.extras<br>from sqlalchemy import create_engine<br>import plotly.express as px<br>import plotly.graph_objects as go<br>from plotly.subplots import make_subplots<br>import plotly.subplots as sp<br>from textblob import TextBlob<br>from geopy.geocoders import Nominatim<br>import numpy as np<br>import folium<br>from folium.plugins import HeatMap<br>from sklearn.model_selection import train_test_split<br>from sklearn.model_selection import cross_val_score<br>from sklearn.metrics import r2_score<br>from sklearn.pipeline import Pipeline<br>from sklearn.linear_model import LinearRegression<br>from sklearn.preprocessing import StandardScaler,PolynomialFeatures<br>from sklearn.preprocessing import LabelEncoder<br>from sklearn.preprocessing import OneHotEncoder<br>from sklearn.compose import ColumnTransformer<br>from sklearn.metrics import mean_squared_error<br>from sklearn.decomposition import PCA<br>from sklearn.preprocessing import StandardScaler<br>from sklearn.model_selection import cross_val_score, KFold<br>from sklearn.linear_model import LogisticRegression<br>from sklearn.ensemble import RandomForestRegressor<br>from sklearn.tree import DecisionTreeRegressor<br>from sklearn.neighbors import KNeighborsRegressor<br>from sklearn.ensemble import AdaBoostRegressor<br>from xgboost import XGBRegressor<br>from sklearn.metrics import confusion_matrix<br>import joblib as jl<br>from wordcloud import WordCloud , STOPWORDS</pre><p><strong>DATABASE CHEKING</strong></p><pre>SELECT * FROM table_data</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*03p32N1TrDl3HJsTMbdLAw.png" /></figure><pre>SELECT<br>   counts.total,<br>   subquery.unik_baris,<br>   counts.unik_nama,<br>   counts.unik_review<br>FROM<br>    (SELECT COUNT(*) AS unik_baris FROM (SELECT DISTINCT * FROM table_data) AS subquery) subquery<br>CROSS JOIN<br>    (SELECT <br>        COUNT(DISTINCT nama_produk) AS unik_nama, <br>        COUNT(DISTINCT review) AS unik_review, <br>        COUNT(*) AS total<br>     FROM table_scrap) counts;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/417/1*MJNFBTEQn0azch8ZtHH89Q.png" /></figure><p>I created a query to see the total data and to check for any duplicates. The total data from 50 pages is 4212 products, with 3488 unique rows, 2991 unique product names, and 2793 unique reviews.</p><p><strong>IMPORTING DATA FROM DATABASE</strong></p><pre>db_url = &#39;postgresql+psycopg2://data:xxxxxxxxx@172.25.xx.x/postgres&#39;<br>engine = create_engine(db_url)<br>query  = &#39;&#39;&#39;select * from table_data&#39;&#39;&#39;<br>df= pd.read_sql(query, engine)</pre><p>Next, I will process the data using Python. I import the data from the database into the Python environment by establishing a connection using the SQLAlchemy module, and then I read the query results using pandas.</p><p><strong>DATA WRANGLING</strong></p><pre>def inspect_data(df, col=None, n=5):<br>    print(f&#39;data shape: {df.shape}&#39;)<br>    if col is None :<br>        col = df.columns<br>    display(df[col].head(n))<br>def check_missing(df, cut_off=0, sort=True):<br>    freq=df.isnull().sum()<br>    percent=df.isnull().sum()/df.shape[0]*100<br>    types=df.dtypes<br>    unique = df.apply(pd.unique).to_frame(name=&#39;Unique Values&#39;)[&#39;Unique Values&#39;]<br>    df_miss=pd.DataFrame({&#39;missing_percentage&#39;:percent, &#39;missing_frequency&#39;:freq, &#39;types&#39;:types, &#39;unique_values&#39;:unique})<br>    if sort: df_miss.sort_values(by=&#39;missing_frequency&#39;,ascending= False, inplace=True)<br>    return display(df_miss[df_miss[&#39;missing_percentage&#39;] &gt;= cut_off])</pre><p>The imported data needs to be checked for its DataFrame structure and conditions, such as missing data, data types, and unique values in each column. I have created a function to check the imported data.</p><pre>inspect_data(df,n=3)<br>check_missing(df)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1P59Dyil8AbCA1Hu3rvLMg.png" /></figure><p>The DataFrame resulting from scraping has 4212 rows and 11 columns. There is no missing data in any of the columns because I have set default values during the scraping process.</p><pre>df[&#39;jumlah_terjual&#39;] = df[&#39;jumlah_terjual&#39;].apply(lambda x : x.replace(&#39;Terjual &#39;, &#39;&#39;).replace(&#39;+&#39;, &#39;&#39;).replace(&#39; &#39;,&#39;&#39;).replace(&#39;barangberhasilterjual&#39;,&#39;&#39;))<br>df[&#39;jumlah_terjual&#39;] = df[&#39;jumlah_terjual&#39;].apply(lambda x : int(x.replace(&#39;rb&#39;, &#39;&#39;))*1000 if &#39;rb&#39; in x else int(x))<br>df[&#39;kota&#39;] = df[&#39;kota&#39;].apply(lambda x : x.replace(&#39;Dikirim dari &#39;, &#39;&#39;).replace(&#39;Kab.&#39;, &#39;kabupaten&#39;).replace(&#39;Administrasi&#39;, &#39;&#39;).upper())<br>df[&#39;kota&#39;] = df[&#39;kota&#39;].apply(lambda x : x.replace(&#39;KOTA &#39;, &#39;&#39;).strip() if &#39;JAKARTA&#39; in x else x)<br>df[&#39;toko&#39;] = df[&#39;toko&#39;].apply(lambda x : x.upper())<br>df[&#39;kondisi&#39;] = df[&#39;kondisi&#39;].apply(lambda x : x.replace(&#39;Kondisi: &#39;, &#39;&#39;))<br>df.drop_duplicates(subset=[&#39;nama_produk&#39;, &#39;toko&#39;],keep=&#39;first&#39;, inplace=True, ignore_index=True)</pre><p>The data cleaning process begins by removing certain text from each scraped value. Afterward, I adjust the data types as needed. Additionally, standardizing the letter case in text data is also necessary in the data cleaning process.</p><p>The dataframe contains duplicate values, and I am using duplicate conditions based on product names and store names, assuming them to represent the same product.</p><pre>inspect_data(df,n=3)<br>check_missing(df)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4qQOW5kOR_r0pCLfA1Z9Ig.png" /></figure><p>After completing the data cleaning process, the number of rows in the data has decreased to 3171. In the “jumlah terjual” (quantity sold) column, which was initially of data type object or string, it has been converted to an integer.</p><p><strong>EXLPORATORY DATA ANALYSIS</strong></p><p>At this stage, you will explore the data to examine its conditions and gain insights from the product dataset.</p><pre>df[&#39;pendapatan&#39;] = df[&#39;jumlah_terjual&#39;]*df[&#39;harga&#39;]</pre><p>Here, I am calculating the revenue by multiplying the quantity sold with the price of each product.</p><pre>df.describe().T</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/820/1*etqmAeakwOOg9zfGqT6ykg.png" /></figure><p>The describe() function is used to view the statistical summary of numerical columns in the dataset. It provides information such as the count of data, mean value, standard deviation, minimum value, quartile 1, quartile 2 (median), quartile 3, and maximum value.</p><pre>fig = px.pie(df[&#39;tipe_toko&#39;].value_counts().to_frame().rename(columns={&#39;tipe_toko&#39; : &#39;jumlah&#39;}).reset_index().rename(columns={&#39;index&#39; : &#39;tipe_toko&#39;}),<br>             values=&#39;jumlah&#39;, names=&#39;tipe_toko&#39;, title=&#39;Percentage of Store Categories&#39;)<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/780/1*SB0U2ZaG_EID9UuPQIoAJQ.png" /></figure><p>The pie chart visualization results for the “tipe_toko” column indicate that 58.8% are Power Merchant stores, followed by Official Stores at 37.5%, and 3.69% have no specified store type.</p><pre>fig = px.pie(df[&#39;kondisi&#39;].value_counts().to_frame().rename(columns={&#39;kondisi&#39; : &#39;jumlah&#39;}).reset_index().rename(columns={&#39;index&#39; : &#39;kondisi&#39;}), values=&#39;jumlah&#39;,<br>             names=&#39;kondisi&#39;, title=&#39;Percentage of Product Condition&#39;)<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*mhyOZ90CMcD37UttwTSF3g.png" /></figure><p>The results of my research on the website indicate that there are products sold in used condition. However, when visualized using a pie chart, it is found that products in used condition constitute only 0.158% of the 3171 products.</p><pre>display(df.nlargest(5, &#39;harga&#39;))<br>fig = px.bar(df.nlargest(5, &#39;harga&#39;).sort_values(by=&#39;harga&#39;, ascending=True), orientation=&#39;h&#39;, x=&#39;harga&#39;, y=&#39;nama_produk&#39;, title=&#39;5 products with the highest prices&#39;)<br>fig.update_xaxes(title_text=&quot;Price&quot;) <br>fig.update_yaxes(title_text=&quot;Product&quot;)<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qmWBrDcUZ2ksRiiQlQicmQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*45eu4y3E8MB1plhbncD-Uw.png" /></figure><p>The product with the name “BOSE A20 Aviation Headset with Bluetooth — U174 Plug — 3030” is the most expensive product, priced at 19.5 million Indonesian Rupiah.</p><pre>display(df.nlargest(5, &#39;jumlah_terjual&#39;))<br>fig = px.bar(df.nlargest(5, &#39;jumlah_terjual&#39;).sort_values(by=&#39;jumlah_terjual&#39;, ascending=True), orientation=&#39;h&#39;, x=&#39;jumlah_terjual&#39;,y=&#39;nama_produk&#39;, title=&#39;5 products with the highest number of quantity sold&#39;)<br>fig.update_xaxes(title_text=&quot;Quantity Sold&quot;) <br>fig.update_yaxes(title_text=&quot;Product&quot;)<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xr_4-mqTOFW2Jg_n3usVeA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XDyREFINeB3gPYs1_vyr7g.png" /></figure><p>The product with the name “BASEUS TRUE WIRELESS BLUETOOTH EARPHONE MINI EARBUDS TWS WM01 — Hijau” is the best-selling product, with a total quantity sold of 50000 items.</p><pre>display(df.nlargest(5, &#39;pendapatan&#39;).sort_values(by=&#39;pendapatan&#39;, ascending=False))<br>fig = px.bar(df.nlargest(5, &#39;pendapatan&#39;).sort_values(by=&#39;pendapatan&#39;, ascending=True), orientation=&#39;h&#39;, x=&#39;pendapatan&#39;,y=&#39;nama_produk&#39;, title=&#39;5 products with the highest revenue&#39;)<br>fig.update_xaxes(title_text=&quot;Revenue&quot;) <br>fig.update_yaxes(title_text=&quot;Product&quot;)<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lY1qEVkK1mi_42agJmcKKg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lYgSgilmiyHMnaNAl13Vbw.png" /></figure><p>The product that generated the highest revenue is the one with the name “BASEUS TRUE WIRELESS BLUETOOTH EARPHONE MINI EARBUDS TWS WM01 — Hijau,” with a total revenue of 8.45 billion Indonesian Rupiah.</p><pre>display(df.groupby(&#39;toko&#39;)[&#39;jumlah_terjual&#39;].sum().nlargest(5).reset_index())<br>fig = px.bar(df.groupby(&#39;toko&#39;)[&#39;jumlah_terjual&#39;].sum().nlargest(5).reset_index().sort_values(by=&#39;jumlah_terjual&#39;, ascending=True), orientation=&#39;h&#39;, x=&#39;jumlah_terjual&#39;,<br>             y=&#39;toko&#39;, title=&#39;5 stores with the highest Sales Amount&#39;)<br>fig.update_xaxes(title_text=&quot;Sales Amount&quot;) <br>fig.update_yaxes(title_text=&quot;Store&quot;)<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/347/1*dUoElIuCjtEFYBc7tAhqzA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5PHFIBxHpSVUBjl7COeRjQ.png" /></figure><p>The store with the highest sales is the one named “BASEUS OFFICIAL STORE” with a total sales quantity of 98400 items.</p><pre>display(df.groupby(&#39;toko&#39;)[&#39;pendapatan&#39;].sum().nlargest(5).reset_index())<br>fig = px.bar(df.groupby(&#39;toko&#39;)[&#39;pendapatan&#39;].sum().nlargest(5).reset_index().sort_values(by=&#39;pendapatan&#39;, ascending=True), orientation=&#39;h&#39;, x=&#39;pendapatan&#39;,<br>             y=&#39;toko&#39;, title=&#39;5 stores with the highest revenue&#39;)<br>fig.update_xaxes(title_text=&quot;revenue&quot;) <br>fig.update_yaxes(title_text=&quot;store&quot;)<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/351/1*kWtfhDXAYSXgKOkuZ5X9qA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XIIVKHLWdg6zKEK6qYZJFw.png" /></figure><p>The store named “BASEUS OFFICIAL STORE” is also the store with the highest revenue, amounting to 21.6282 billion Indonesian Rupiah.</p><pre>display(df.groupby(&#39;toko&#39;)[&#39;nama_produk&#39;].count().to_frame().rename(columns={&#39;nama_produk&#39; : &#39;jumlah_produk&#39;}).nlargest(5,&#39;jumlah_produk&#39;))<br>fig = px.bar(df.groupby(&#39;toko&#39;)[&#39;nama_produk&#39;].count().to_frame().nlargest(5,&#39;nama_produk&#39;).reset_index().sort_values(by=&#39;nama_produk&#39;, ascending=True), orientation=&#39;h&#39;, x=&#39;nama_produk&#39;,<br>             y=&#39;toko&#39;, title=&#39;5 stores with the largest number of products&#39;)<br>fig.update_xaxes(title_text=&quot;number of products&quot;) <br>fig.update_yaxes(title_text=&quot;store&quot;)<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/326/1*otqZgO0FDunreBn9yYeZdQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*E1yNxVOJTqM55Z_5XzKoYA.png" /></figure><p>The store named “MAXI BSG OFFICIAL” is the store with the highest number of product variants, having a total of 51 items.</p><pre>fig = px.histogram(df[&#39;rating&#39;])<br>fig.update_xaxes(title_text=&quot;Rating&quot;) <br>fig.update_yaxes(title_text=&quot;Frequency&quot;) <br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*JhhHEWP8IZAoWaleHuT_Lw.png" /></figure><p>Out of the total 3171 products, the highest number of ratings falls in the range of 4.8–4.9, with a total of 1176 products.</p><pre>display(df.groupby(&#39;kota&#39;)[&#39;toko&#39;].nunique().to_frame().reset_index().rename(columns={&#39;toko&#39; : &#39;jumlah&#39;}).nlargest(5,&#39;jumlah&#39;))<br>fig = px.bar(df.groupby(&#39;kota&#39;)[&#39;toko&#39;].nunique().to_frame().reset_index().rename(columns={&#39;toko&#39; : &#39;jumlah&#39;}).nlargest(5,&#39;jumlah&#39;), <br>             orientation=&#39;v&#39;, x=&#39;kota&#39;, y=&#39;jumlah&#39;, title=&#39;5 cities with the most store sellers&#39;)<br>fig.update_xaxes(title_text=&quot;City&quot;) <br>fig.update_yaxes(title_text=&quot;Number of Count&quot;)<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/290/1*0bN0c-anm-C25THzQk2ZBg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zHU0p6Avv79OzoyD34sGww.png" /></figure><p>The West Jakarta city is the city with the highest number of online stores selling True Wireless Stereo (TWS), totaling 270 stores.</p><pre>display(df.groupby(&#39;kota&#39;)[&#39;jumlah_terjual&#39;].sum().to_frame().reset_index().nlargest(5, &#39;jumlah_terjual&#39;))<br>fig = px.bar(df.groupby(&#39;kota&#39;)[&#39;jumlah_terjual&#39;].sum().to_frame().reset_index().nlargest(5, &#39;jumlah_terjual&#39;), <br>             orientation=&#39;v&#39;, x=&#39;kota&#39;, y=&#39;jumlah_terjual&#39;, title=&#39;10 location with the highest sales amount&#39;)<br>fig.update_xaxes(title_text=&quot;City&quot;) <br>fig.update_yaxes(title_text=&quot;sales amount&quot;)<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/558/1*F2RobvUR4BBFwaqcNCB5jQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8GRzj9UrrrdVlbC8AP_WwQ.png" /></figure><p>West Jakarta is also the city with the highest number of True Wireless Stereo (TWS) sales, totaling 301052 items.</p><pre>unique_jenis =df[&#39;tipe_toko&#39;].unique()<br><br>fig = make_subplots(rows=2, cols=len(unique_jenis), subplot_titles=unique_jenis)<br><br>for i, jenis in enumerate(unique_jenis):<br>    subset_data = df[df[&#39;tipe_toko&#39;] == jenis]<br>    hist_trace = go.Histogram(x=subset_data[&#39;harga&#39;], name=jenis)<br>    fig.add_trace(hist_trace, row=1, col=i+1)<br>    fig.update_xaxes(title_text=&quot;Price&quot;, row=1, col=i+1) <br>    fig.update_yaxes(title_text=&quot;Frequency&quot;, row=1, col=i+1) <br><br>for i, jenis in enumerate(unique_jenis):<br>    subset_data = df[df[&#39;tipe_toko&#39;] == jenis]<br>    box_trace = go.Box(x=subset_data[&#39;harga&#39;], name=&#39; &#39;)<br>    fig.add_trace(box_trace, row=2, col=i+1)<br>    fig.update_xaxes(title_text=&quot;Price&quot;, row=2, col=i+1) <br>    fig.update_yaxes(title_text=jenis, row=2, col=i+1)<br><br>fig.update_layout(height=800, width=1700,<br>                  title=&#39;Distribution of Price by Type Store&#39;,<br>                  showlegend=False) <br><br>fig.update_layout(title=&#39;Distribution of Price by Type Store &#39;)<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*t-CCCBaE219bU4yh4mN0tg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*q4V7706qNOc2LLb3Hss8eA.png" /></figure><pre>unique_jenis =df_scrap[&#39;tipe_toko&#39;].unique()<br><br>fig = make_subplots(rows=2, cols=len(unique_jenis), subplot_titles=unique_jenis)<br><br>for i, jenis in enumerate(unique_jenis):<br>    subset_data = df[df[&#39;tipe_toko&#39;] == jenis]<br>    hist_trace = go.Histogram(x=subset_data[&#39;jumlah_terjual&#39;], name=jenis)<br>    fig.add_trace(hist_trace, row=1, col=i+1)<br>    fig.update_xaxes(title_text=&quot;Sales Amount&quot;, row=1, col=i+1) <br>    fig.update_yaxes(title_text=&quot;Frequency&quot;, row=1, col=i+1) <br><br>for i, jenis in enumerate(unique_jenis):<br>    subset_data = df[df[&#39;tipe_toko&#39;] == jenis]<br>    box_trace = go.Box(x=subset_data[&#39;jumlah_terjual&#39;], name=&#39; &#39;)<br>    fig.add_trace(box_trace, row=2, col=i+1)<br>    fig.update_xaxes(title_text=&quot;Sales Amount&quot;, row=2, col=i+1) <br>    fig.update_yaxes(title_text=jenis, row=2, col=i+1)<br><br>fig.update_layout(height=800, width=1700,<br>                  title=&#39;Distribution of Sales Amount by Type Store&#39;,<br>                  showlegend=False) <br><br>fig.update_layout(title=&#39;Distribution of Sales Amount by Type Store &#39;)<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*39YeqAQvdGROPc9HdQI3cw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qxR1fPu23Nh-MrD1YaKeww.png" /></figure><p>Based on the distribution of the data above, the price and quantity sold data exhibit a right-skewed or positively skewed distribution. This indicates that there are many outliers that exceed the upper limit.</p><p><strong>SPATIAL ANALIZE</strong></p><p>At this stage, I want to visualize the spatial distribution of stores using the geopy.geocoders module (Nominatim) and Folium.</p><pre>locations=pd.DataFrame({&quot;Name&quot;:df[&#39;kota&#39;].unique()})<br><br>lati=[]<br>long=[]<br><br>geolocator=Nominatim(user_agent=&quot;app&quot;)<br>for location in locations[&#39;Name&#39;]:<br>    try :<br>        location = geolocator.geocode(location)<br>        if location is None:<br>            lati.append(np.nan)<br>            long.append(np.nan)<br>        else:    <br>            geo_lat=(location.latitude)<br>            geo_lon = (location.longitude)<br>            lati.append(geo_lat)<br>            long.append(geo_lon)<br>    except :<br>        lati.append(np.nan)<br>        long.append(np.nan)<br>locations[&#39;lat&#39;]=lati<br>locations[&#39;lon&#39;]=long<br>locations.head()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/605/1*asIJ_xlL8uk5lowiZj0IEA.png" /></figure><p>The result of geocoding is the coordinate point at the center of a region, in this case, the midpoint or center point of a city or district.</p><pre>shop_locations=pd.DataFrame(df.groupby(&#39;kota&#39;)[&#39;toko&#39;].nunique().to_frame().reset_index().rename(columns={&#39;toko&#39; : &#39;jumlah&#39;}))<br>shop_locations.columns=[&#39;Name&#39;,&#39;count&#39;]<br>shop_locations.head()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/485/1*wJ3zKYjdSO-aT-dLwR_hig.png" /></figure><pre>shop_locations=shop_locations.merge(locations,on=&#39;Name&#39;,how=&quot;left&quot;).dropna()<br>shop_locations.head()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/392/1*2fqh-lgvpZMkgz38EpF-wg.png" /></figure><p>The result of the calculation of the number of stores based on the city is combined (joined) with the result of geocoding.</p><pre>def generateBaseMap(default_location=[0.7893, 118], default_zoom_start=5):<br>    base_map = folium.Map(location=default_location, zoom_start=default_zoom_start)<br>    return base_map<br>Map=generateBaseMap()<br>HeatMap(shop_locations[[&#39;lat&#39;,&#39;lon&#39;,&#39;count&#39;]],zoom=6,radius=15).add_to(Map)<br>Map</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*cS-L0UXdeaRUg69H62CNEA.png" /></figure><p>Visualization of an interactive map using the Folium module, then adding a HeatMap() by inputting latitude, longitude, and the number of stores in each city. Online stores are distributed throughout Indonesia except for the eastern region. It is evident that in the Java region, especially in DKI Jakarta, there is a high density of online stores selling TWS.</p><p><strong>SENTIMENT ANALYSIS</strong></p><p>Sentiment analysis is essential to understand customer responses to the products they purchased. I am using the TextBlob module to analyze the polarity of reviews.</p><pre>def extract_reviews(df):<br>    review = df[&#39;review&#39;].replace(&quot;{&quot;, &#39;&#39;).replace(&#39;}&#39;, &#39;&#39;).replace(&#39;\\&#39;,&#39;&#39;)<br>    list_review = re.findall(r&#39;&quot;(.*?)&quot;&#39;, review)<br>    while &#39;N/A&#39; in list_review:<br>        list_review.remove(&#39;N/A&#39;)<br>    while &#39;,&#39; in list_review:<br>        list_review.remove(&#39;,&#39;)<br>    return list_review<br>def polarity_reviews(df):<br>    polarity=[]<br>    for comment in df[&#39;review&#39;]:<br>        try:<br>            polarity.append(TextBlob(comment).sentiment.polarity)<br>        except:<br>            polarity.append(0)<br>    try :<br>        value = sum(polarity) / len(polarity)<br>    except :<br>        value = 0<br>    return value<br>def sentiment(df) :<br>    if df[&#39;polarity&#39;] &gt; 0 :<br>        sent = &#39;Positif&#39;<br>    elif df[&#39;polarity&#39;] &lt; -0.5 :<br>        sent = &#39;Negatif&#39;<br>    else :<br>        sent = &#39;Netral&#39;<br>    return sent<br>df[&#39;review&#39;] = df.apply(extract_reviews, axis=1)<br>df[&#39;polarity&#39;] = df.apply(polarity_reviews, axis=1)<br>df[&#39;sentimen&#39;] = df.apply(sentiment, axis=1)</pre><p>Before starting sentiment analysis on customer reviews, the data structure of each product’s review needs to be transformed. Then, we proceed to the polarity analysis using the TextBlob module. I categorize sentiment using a threshold of -0.5, where if the polarity value is less than -0.5, I label it as ‘negative’. Sentiment is labeled as ‘positive’ when the polarity value is greater than 0, and for the remaining cases, I label it as ‘neutral’.</p><pre>print(df[df[&#39;sentimen&#39;] == &#39;Positif&#39;].shape)<br>df[df[&#39;sentimen&#39;] == &#39;Positif&#39;].head()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ltITrHr1uBfV9bNzvzDEiQ.png" /></figure><p>There are 1629 products with positive sentiment based on the sentiment analysis.</p><p><strong>WORDCLOUD ANALYSIS</strong></p><p>At this stage, I want to see which words are frequently mentioned by customers based on positive and negative sentiment.</p><pre>comments_positive=df[df[&#39;sentimen&#39;]==&#39;Positif&#39;][&#39;review&#39;].to_frame()<br>comments_negative=df[df[&#39;sentimen&#39;]==&#39;Negatif&#39;][&#39;review&#39;].to_frame()<br>list_negatif = []<br>list_positif = []<br>for index,row in comments_negative.iterrows() :<br>    list_negatif+=row[&#39;review&#39;]<br>for index,row in comments_positive.iterrows() :<br>    list_positif+=row[&#39;review&#39;]<br>print(list_negatif)<br>print(list_positif)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*6Ai3WtMMKrOPzYXofsnn0g.png" /></figure><p>I divide it into two dataframes based on the values in the sentiment column, namely positive and negative. Then, I combine all the reviews for each product.</p><pre>text_positif = &#39; &#39;.join(list_positif)<br>text_negatif = &#39; &#39;.join(list_negatif)<br>print(text_negatif)<br>print(text_positif)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Hs1OdQZtsoZEjFuNuX4GDw.png" /></figure><p>Then, from the list of reviews for all products, I will concatenate them into one very long sentence.</p><pre>additional_stopwords = {&quot;dan&quot;, &quot;tapi&quot;, &quot;juga&quot;, &quot;yang&quot;, &quot;yg&quot;, &quot;nya&quot;, &quot;ga&quot; , &quot;pa&quot;, &quot;dengan&quot;, &quot;tp&quot;, &quot;aja&quot;, &quot;di&quot;, &quot;pada&quot;, &quot;ke&quot;, &quot;dari&quot;, &quot;saat&quot;, &quot;itu&quot;, &quot;oleh&quot;, &quot;dgn&quot;, &quot;doang&quot;, &quot;langsung&quot;}<br>all_stopwords = set(STOPWORDS) | additional_stopwords</pre><p>Here, I am using stopwords and additional words to ignore words that do not carry sentiment value, such as conjunctions or prefixes.</p><pre>wordcloud=WordCloud(stopwords=all_stopwords).generate(text_positif)<br>plt.figure(figsize=(15,5))<br>plt.imshow(wordcloud)<br>plt.axis(&#39;off&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/789/1*ESMyIHHGK_Q2861nDDDi4Q.png" /></figure><p>Words like “mantap,” “bagus,” and “baik” are the top three most frequently written words by customers in the positive sentiment category.</p><pre>wordcloud=WordCloud(stopwords=all_stopwords).generate(text_negatif)<br>plt.figure(figsize=(15,5))<br>plt.imshow(wordcloud)<br>plt.axis(&#39;off&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/789/1*TS6l-K9FbQKqM-7NurYcHw.png" /></figure><p>There are words like “kotor” (dirty), “basah” (wet), “sedih” (sad), and “ilang” (lost) in reviews categorized as negative sentiment.</p><p><strong>CORRELATION</strong></p><p>At this stage, I want to see which values are influential or have a relationship with the values in the “jumlah_terjual” (quantity sold) column.</p><pre>df.corr()[&#39;jumlah_terjual&#39;].sort_values()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/303/1*KwNmE6axfmaw42VFzr8JLw.png" /></figure><p>The revenue value has a relatively high correlation, but this value cannot be used as a predictor for the quantity sold because the revenue value is the result of multiplying the quantity sold by the price. Therefore, the highest correlation is with the value in the “jumlah_review” (quantity of reviews) column, with a correlation value of 0.644369.</p><pre>df_corr = df.corr()<br>fig = px.imshow(df_corr, x=df_corr.index, y=df_corr.columns, color_continuous_scale=&#39;reds&#39;,<br>                labels=dict(color=&#39;Correlation&#39;))<br>fig.update_layout(title=&#39;Heatmap of Correlation Matrix&#39;)<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_KLIs4cbytlXAAarJ00pMw.png" /></figure><pre>fig = px.scatter(df, x=&#39;jumlah_review&#39;, y=&#39;jumlah_terjual&#39;, trendline=&quot;ols&quot;)<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UpDrhXPmVLABSc3HC8PdJw.png" /></figure><p>Based on the scatter plot results of the quantity of reviews with the quantity sold, it is found that the relationship between these two values is positive, but the Rsquare is only 0.415.</p><p><strong>MODEL DEVELOPMENT</strong></p><p>At this stage of building the model, I am using only the columns “harga” (price), “kondisi” (condition), “rating,” “jumlah_terjual” (quantity sold), “tipe_toko” (store type), “jumlah_promo” (quantity of promotions), “jumlah_review” (quantity of reviews), and “polaritas” (polarity).</p><pre>df_model = df.drop(columns=[&#39;nama_produk&#39;, &#39;toko&#39;, &#39;kota&#39;, &#39;review&#39;, &#39;sentimen&#39;, &#39;pendapatan&#39;])<br>df_model.head()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/769/1*J-Mel0dgPiEJBCWH-9pTww.png" /></figure><p>After this, columns with categorical or string data types need to be converted into numeric data types through labeling using the LabelEncoder module.</p><pre>label_encoder = LabelEncoder()<br><br>for column in df_model.columns:<br>    if df_model[column].dtype == &#39;object&#39;:<br>        encoded_data = label_encoder.fit_transform(df_model[column])<br>        df_model[column] = encoded_data<br>        print(f&quot;Column: {column}&quot;)<br>        print(f&quot;Encoded Values: {label_encoder.classes_}&quot;)<br>display(df_model.head())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/613/1*JmeYCR_kMo2A45BMg_EubQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/733/1*H1hwWtGtoXm1725ky9s7qw.png" /></figure><p>The labeling result will transform categorical data types into numeric ones.</p><pre>x = df_model.drop(columns=[&#39;jumlah_terjual&#39;])<br>y = df_model[&#39;jumlah_terjual&#39;]</pre><p>I divide the dataframe into dependent and independent values. I place the dependent values into the variable “y,” which is the values in the “jumlah_terjual” (quantity sold) column, and these values will be the target for prediction. The independent values are placed into the variable “x,” which includes the values in the “harga” (price), “kondisi” (condition), “rating,” “tipe_toko” (store type), “jumlah_promo” (quantity of promotions), “jumlah_review” (quantity of reviews), and “polaritas” (polarity) columns. These values serve as parameters for prediction.</p><pre>scaler = StandardScaler()<br>x_scaled = scaler.fit_transform(x)<br>x_scaled = pd.DataFrame(x_scaled)<br>x_scaled.columns= x.columns<br>x_scaled.head()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/647/1*ctEEyo69xi-di_xkrKN3FQ.png" /></figure><p>Standardization of the dependent values is necessary to reduce bias during data modeling. I am using the StandardScaler module for data standardization.</p><pre>x_train, x_test, y_train, y_test = train_test_split(x_scaled, y, test_size=0.20, random_state=42)<br> <br>print(&quot;Training set - X shape:&quot;, x_train.shape)<br>print(&quot;Testing set - X shape:&quot;, x_test.shape)<br>print(&quot;Training set - y shape:&quot;, y_train.shape)<br>print(&quot;Testing set - y shape:&quot;, y_test.shape)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/274/1*W4Ib4udG0hiI_15MpZSDaQ.png" /></figure><p>In the data modeling stage, the dependent values need to be divided into values for testing and values for training. I am using 20% of the data for testing.</p><pre>pca = PCA()<br>x_pca = pca.fit_transform(x_scaled)<br>pca_best_components = pd.DataFrame(pca.components_, columns=x_train.columns).T<br>pca_best_components[&#39;mean_weight&#39;] = pca_best_components.iloc[:].abs().mean(axis=1)</pre><p>Next, I will calculate the Principal Component Analysis (PCA) for the dependent values using the fit_transform() function.</p><pre>fig = px.bar(pca_best_components[&#39;mean_weight&#39;].sort_values(ascending=False), x=pca_best_components.index, y=&#39;mean_weight&#39;)<br>fig.update_xaxes(title_text=&quot;Component&quot;) <br>fig.update_yaxes(title_text=&quot;Value&quot;)<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UQy_-Fy9XUkw73jZt3z0qA.png" /></figure><p>From the above bar chart, it can be observed that the value in the “harga” (price) column is the most significant component.</p><pre>n_components = (pca.explained_variance_ratio_.cumsum() &lt;= 0.95).sum()<br>x_pca_selected = x_pca[:, :n_components]<br>print(x_pca_selected)<br>x_train_pca, x_test_pca, y_train_pca, y_test_pca = train_test_split(x_pca, y, test_size=0.20, random_state=42)<br>print(&quot;Training set - X shape:&quot;, x_train_pca.shape)<br>print(&quot;Testing set - X shape:&quot;, x_test_pca.shape)<br>print(&quot;Training set - y shape:&quot;, y_train_pca.shape)<br>print(&quot;Testing set - y shape:&quot;, y_test_pca.shape)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/508/1*Nla6YnpSYmCANUJ8sW378A.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/273/1*9GI9gWtr0bPc9dcHVQYn9g.png" /></figure><p>The PCA result is in the form of an array. Then, I also divide the PCA result values into test data and training data.</p><pre>models = [<br>    LogisticRegression(max_iter=1000),<br>    DecisionTreeRegressor(),<br>    KNeighborsRegressor(),<br>    AdaBoostRegressor(),<br>    LinearRegression(),<br>    RandomForestRegressor(),<br>    XGBRegressor()<br>]<br> <br>kfold = KFold(n_splits=5, shuffle=True, random_state=42)<br>print(&#39;without PCA&#39;)<br>for model in models:<br>    scores = cross_val_score(model, x_train, y_train, cv=kfold, scoring=&#39;neg_mean_squared_error&#39;)<br>    model.fit(x_train, y_train)<br>    train_score = model.score(x_train, y_train)<br>    test_score = model.score(x_test, y_test)<br><br>    print(f&quot;{model.__class__.__name__}&quot;)<br>    print(f&quot;  Cross-Validation Mean MSE: {scores.mean()}&quot;)<br>    print(f&quot;  Train MSE: {train_score}&quot;)<br>    print(f&quot;  Test MSE: {test_score}&quot;)<br>    print()<br><br>print(&#39;with PCA&#39;)<br>for model_pca in models:<br>    scores_pca = cross_val_score(model_pca, x_train_pca, y_train_pca, cv=kfold, scoring=&#39;neg_mean_squared_error&#39;)<br><br>    model_pca.fit(x_train_pca, y_train_pca)<br>    train_score_pca = model_pca.score(x_train_pca, y_train_pca)<br>    test_score_pca = model_pca.score(x_test_pca, y_test_pca)<br><br>    print(f&quot;{model_pca.__class__.__name__}&quot;)<br>    print(f&quot;  Cross-Validation Mean MSE: {scores_pca.mean()}&quot;)<br>    print(f&quot;  Train MSE: {train_score_pca}&quot;)<br>    print(f&quot;  Test MSE: {test_score_pca}&quot;)<br>    print()    </pre><p>without PCA<br>LogisticRegression<br> Cross-Validation Mean MSE: -1330812.6438871545<br> Train MSE: 0.22082018927444794<br> Test MSE: 0.2188976377952756</p><p>DecisionTreeRegressor<br> Cross-Validation Mean MSE: -2437959.895995887<br> Train MSE: 0.9999937270036777<br> Test MSE: 0.6171566149169093</p><p>KNeighborsRegressor<br> Cross-Validation Mean MSE: -1291270.4934859062<br> Train MSE: 0.6059827616070459<br> Test MSE: 0.6092440605769163</p><p>AdaBoostRegressor<br> Cross-Validation Mean MSE: -1709017.2945532196<br> Train MSE: 0.7610450274935711<br> Test MSE: 0.516093651869505</p><p>LinearRegression<br> Cross-Validation Mean MSE: -1389846.9151896713<br> Train MSE: 0.38297934183469584<br> Test MSE: 0.6452982649061629</p><p>RandomForestRegressor<br> Cross-Validation Mean MSE: -1519178.6262591355<br> Train MSE: 0.9235584101629261<br> Test MSE: 0.7561198876837065</p><p>XGBRegressor<br> Cross-Validation Mean MSE: -1544827.9805489655<br> Train MSE: 0.999120685503854<br> Test MSE: 0.6654915276907603</p><p>with PCA<br>LogisticRegression<br> Cross-Validation Mean MSE: -1340980.0225046203<br> Train MSE: 0.22673501577287067<br> Test MSE: 0.23622047244094488</p><p>DecisionTreeRegressor<br> Cross-Validation Mean MSE: -1406569.205715715<br> Train MSE: 0.9999937270036777<br> Test MSE: 0.6743836957460971</p><p>KNeighborsRegressor<br> Cross-Validation Mean MSE: -1259566.1131327401<br> Train MSE: 0.6010922670407108<br> Test MSE: 0.6353136260437209</p><p>AdaBoostRegressor<br> Cross-Validation Mean MSE: -1517577.1025791042<br> Train MSE: 0.7627065844305123<br> Test MSE: 0.4598512943648484</p><p>LinearRegression<br> Cross-Validation Mean MSE: -1434830.7441659006<br> Train MSE: 0.36141789541692204<br> Test MSE: 0.5959659060310503</p><p>RandomForestRegressor<br> Cross-Validation Mean MSE: -1259349.720442846<br> Train MSE: 0.8988283419181375<br> Test MSE: 0.6885749431974814</p><p>XGBRegressor<br> Cross-Validation Mean MSE: -1332882.5127042956<br> Train MSE: 0.9993464309037228<br> Test MSE: 0.6904786663093228</p><p>The results of the data modeling experiment show that the RandomForestRegressor model without using PCA values is the best model in this case. The Mean Squared Error (MSE) values for both training and test data are relatively high, and the difference between them is not too significant.</p><pre>rfr = RandomForestRegressor()<br>rfr.fit(x_train, y_train)<br>feature_importance = rfr.feature_importances_<br>features = x_scaled.columns<br>sorted_idx = feature_importance.argsort()<br>df = pd.DataFrame({&#39;Feature Importance&#39;: feature_importance[sorted_idx], &#39;Features&#39;: features[sorted_idx]})<br>fig = px.bar(df, x=&#39;Feature Importance&#39;, y=&#39;Features&#39;, orientation=&#39;h&#39;,<br>             labels={&#39;Feature Importance&#39;: &#39;Feature Importance&#39;, &#39;Features&#39;: &#39;Features&#39;},<br>             title=&#39;Feature Importance - RandomForestRegressor&#39;)<br>fig.update_xaxes(title_text=&quot;Feature Importance&quot;) <br>fig.update_yaxes(title_text=&quot;Features&quot;)<br>fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UB8935Ve4TOQ96H-3LVNLA.png" /></figure><p>The result from the RandomForestRegressor model shows that the quantity of reviews is the most influential value in predicting the quantity sold.</p><pre>poly_config = {<br>    &#39;degree&#39;: 1,<br>    &#39;interaction_only&#39;: False,<br>    &#39;include_bias&#39;:False,<br>    &#39;order&#39;: &#39;C&#39;<br>}<br><br>poly_features = PolynomialFeatures(**poly_config)<br>Input=[(&#39;polynomial&#39;, poly_features),(&#39;model&#39;,RandomForestRegressor())]<br>model = Pipeline(Input)<br>r_squared = 0<br>while r_squared &lt; 0.76 :<br>    model.fit(x_train, y_train)<br>    y_pred_rfr = model.predict(x_test)<br>    residual = y_test - y_pred_rfr<br>    r_squared = r2_score(y_test, y_pred_rfr)<br>print(&#39;Rsquare&#39;,r_squared)<br>rmse_rfr = np.sqrt(mean_squared_error(y_test, y_pred_rfr))<br>print(f&#39;Root Mean Square Error: {rmse_rfr}&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/341/1*9T21J28ZqY4Oo8vlBUZyJw.png" /></figure><p>I modified the RandomForestRegressor model by creating a polynomial parameter pipeline with configured settings. The result shows an Rsquare of 0.76, but the RMSE value is relatively high at 537.37.</p><pre>scatter_fig = px.scatter(x=y_test, y=y_pred_rfr, trendline=&quot;ols&quot;,labels={&#39;x&#39;: &#39;Actual Value&#39;, &#39;y&#39;: &#39;Prediction Value&#39;},title=&#39;Scatter Plot Actual Value vs Prediction Value&#39;)<br>scatter_fig.show()<br><br>residual_fig = px.scatter(x=y_pred_rfr, y=residual, labels={&#39;x&#39;: &#39;Prediction Value&#39;, &#39;y&#39;: &#39;Residual&#39;},title=&#39;Residual Plot&#39;)<br>residual_fig.add_shape(type=&#39;line&#39;, line=dict(color=&#39;red&#39;, dash=&#39;dash&#39;),x0=min(y_pred_rfr), x1=max(y_pred_rfr), y0=0, y1=0)<br>residual_fig.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aez9AavpCfj-6Ul7en8Jng.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sDG3mNMoNiK0U16oawu5bg.png" /></figure><p>The results of this data modeling are still not sufficient for predicting the quantity sold because the RMSE value is still relatively high. Additional information is needed to become the dependent value in the prediction process.</p><pre>jl.dump(model, &#39;/mnt/g/Data Analis/Python/output/model/ecommerce.joblib&#39;)</pre><p>The created model can be exported in the .joblib data type, which can be used again in similar cases.</p><p><strong>DATA VISUALIZATION (DASHBOARD)</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*q7e_gvNkYWW5HQ1PbAz2GQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*60Rm-5oNW1wqQmuufSDi1w.png" /></figure><p>At this stage, I want to visualize the TWS product data in the form of a dashboard to make it easier to read or understand. I create two pages, the first focusing on products and stores, and the second focusing on locations (in this case, cities).</p><p>I use several data filters such as city filter, store type filter, and rating range filter to make it easier for users to explore the data. By creating navigation buttons, it is hoped that users will find it easier to navigate this dashboard.</p><p>That concludes the analysis results I can share. I am open to discussion. Thank you.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=04617b9beb7a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Enhancing Food Menu Sales with Power BI Dashboard]]></title>
            <link>https://medium.com/@bageaanugrahp/enhancing-food-menu-sales-with-power-bi-dashboard-77a5c72fd7b8?source=rss-6c45bf08cad------2</link>
            <guid isPermaLink="false">https://medium.com/p/77a5c72fd7b8</guid>
            <category><![CDATA[data-visualization]]></category>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[power-bi]]></category>
            <dc:creator><![CDATA[Bagea Anugrah Pangeresa]]></dc:creator>
            <pubDate>Sun, 04 Jun 2023 13:19:23 GMT</pubDate>
            <atom:updated>2023-06-04T13:19:23.358Z</atom:updated>
            <content:encoded><![CDATA[<p>Progres suatu kegiatan yang bersifat data bisa disajikan dalam bentuk grafik untuk mempermudah memahami data yang ada. Power BI sangat membantu dalam pembuatan dashboard salah satunya adalah dashboad penjualan menu makanan.</p><p>Data set yang digunakan adalah data detail penjualan menu makanan dari bulan Januari 2021 sampai bulan Oktober 2022 dalam format .xlsx dengan 43 kolom dan 196.907 baris.</p><p>Import data set dengan klik Get data di bagian Home lalu pilih Excel workbook.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/592/1*9aH5zhrplCwVf7v_ngLsLw.png" /></figure><p>Setelah data berhasil di import, data harus di cek apakah ada missing value atau ada duplicate value. Buka tab transform data untuk menghapus missing value dan duplicate value.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/237/1*gLDbqOAzmXy4kaDgWPCZJA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/835/1*OflhuSWUK2_nVin0Wahasw.png" /></figure><p>Setelah dilakukan data cleaning berupa penghapusan missing value dan duplicate value data berkurang menjadi 193.955 baris atau berkurang 1.5%</p><p><strong>1. Mengatur Background dan Ukuran Canvas</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/465/1*Y9C5vuhBCTXGvzYR3mW4Lw.png" /></figure><p>Buka tab visualizations di menu report view, lalu ubah canvas settings menjadi custom. Ukuran kanvas dashboard menggunakan full HD canvas size 1920 x 1080. Pada bagian canvas background pilih image dan masukkan tamplate dashboard yang sudah dibuat lalu setting image fit menjadi fill dan atur transparency menjadi 0%.</p><p><strong>2. Membuat Filter</strong></p><p>Bagian pertama yaitu membuat filter untuk tanggal order, kota, dan tujuan kedatangan.</p><p>Filter tanggal order :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ccbhoNHv5wsgRGXumJLDMA.png" /></figure><p>Filter kota :</p><p>Sebelum membuat filter untuk kota, saya akan membuat kolom baru untuk nama kota dan mengganti missing value dengan “Unknown”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/366/1*XrjPZXuQFycWAjgBCr8Wxw.png" /></figure><p>Terdapat missing value pada kolom city dengan nama “(Blank)”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/356/1*kezn7KA7W0v7soxtcya9kw.png" /></figure><p>Buka data view, lalu klik kanan pada nama table, kemudian pilih new column.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/473/1*2N3LSGAWk1oe5xrNcJsBGA.png" /></figure><p>Dengan DAX tersebut akan menghasilkan kolom baru yang berisi nama kota dan missing values yang telah diganti menjadi “Unknown”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/329/1*FTsHNwydLzzpdJ7Tnh7ozQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0Fb152AvaLmjZwKp16XD7g.png" /></figure><p>Filter tujuan kedatangan :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IY2UezQmcBBCpOZVPOTyiQ.png" /></figure><p>Hasil :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/857/1*_CQXDsxfE9igzz6SODCeUg.png" /></figure><p><strong>3. Membuat Report Card</strong></p><p>Report card revenue :</p><p>Saya akan menggunakan kolom subtotal untuk report revenue, tetapi sebelum membuat report, saya akan mengubah satuan nilai dari kolom subtotal tersebut.</p><p>Buka data view, pilih Column tools, lalu ubah format menjadi Currency dan pilih Rupiah.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/595/1*betQ8CrmwBAyLnR0VdfmKQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*7JmhS0E4Qwg9XdhhcSXgGA.png" /></figure><p>Hasil :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/240/1*LH8dwZVQo0NL67GQcS0P4A.png" /></figure><p>Report card quantity :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XE9AHJ1Aj5b4S7wZaiUdWQ.png" /></figure><p>Hasil :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/222/1*K2u7iEdksI06qVSGZ_bFgQ.png" /></figure><p>Report card jumlah menu :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*54pMz8QR4ZiwhmxQZwnxrw.png" /></figure><p>Hasil :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/215/1*Xxs8Yft0l8exS4532ZG7qQ.png" /></figure><p>Report card jumlah kategori menu detail :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UbQ3arj9RyiX6HQEPxMMNw.png" /></figure><p>Hasil :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/258/1*xkKgj-wAODwaBSC47SePuA.png" /></figure><p>Report card jumlah kategori menu :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GKkqV7JyNXdOIPQhbgCluA.png" /></figure><p>Hasil :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/219/1*e4e6SK_ux0f72ANSMloq_g.png" /></figure><p><strong>4. Membuat Bar Chart</strong></p><p>Bar chart quantity berdasarkan menu :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9v8p21Kqfg5BdtrS8FRSgQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*AS_XrLTmns6l4x4U0rI6gQ.png" /></figure><p>Hasil :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/653/1*wqIGheTUVve2EfPueeCNGQ.png" /></figure><p>Bar chart revenue berdasarkan menu :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*eEQUbgy4_Ucuy7xfvBP7PQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5y8z2kpmNOiGLq8nPReSZA.png" /></figure><p>Hasil :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/603/1*mt0oksTfupJZ8qu7SsWfyw.png" /></figure><p><strong>5. Membuat Decomposition Tree</strong></p><p>Decomposition tree hirarki menu :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/972/1*2DYdGX_epc0_1nlLJdD0wQ.png" /></figure><p>Hasil :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/635/1*8ZQ_q4o_Sw75uBdVc-_RsA.png" /></figure><p><strong>6. Membuat Scatter Plot</strong></p><p>Scatter plot rata-rata price dengan jumlah quantity :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/971/1*tCQ0QWNHz-XJlBgVaTp6xQ.png" /></figure><p>Hasil :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/636/1*d4tg6_2yvCx_IJBeQiB3eA.png" /></figure><p><strong>6. Membuat Line Chart</strong></p><p>Line chart revenue setiap bulan :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4s6u44GP7NI4wIh9R8lMWg.png" /></figure><p>Hasil :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/638/1*IAJn2Idr11UMFtHvROr-GQ.png" /></figure><p><strong>6. Membuat Tree Map</strong></p><p>Tree map revenue berdasarkan menu beserta tooltips :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/971/1*L-w6PIP7V-u1kEK0jpo_DQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sc7UFPv3y7e7rMJKr6wxPQ.png" /></figure><p>Selanjutnya saya akan membuat tooltips, pertama saya mebuat tabel baru yang berisikan data revenue dan persentasenya dan dikelompokkan berdasarkan nama menu untuk data masukan dalam pembuatan tooltips.</p><p>Buka tab Transform Data, kemudian klik kolom yang ingin dijadikan dasar pengelompokkan, lalu di menu Home pilih Group By.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/687/1*5pMmPKtMezR4RC3p9p4DNA.png" /></figure><p>Setelah itu menghitung persentase revenue :</p><p>Buka Data view, klik kanan pada tablenya lalu buat DAX :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/334/1*QT-gmQP2TYmaol2PIRJUqQ.png" /></figure><p>Selanjutnya buka page baru dan atur ukuran canvas :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/183/1*_Hb01A4S2lkIPKmKwag3zg.png" /></figure><p>Report card nama menu :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/448/1*50rLUIJqkmPkYucdIgDbag.png" /></figure><p>Multi row card nama category detail dan category :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/449/1*nESYp4G5eeDU2Cq9fGjTWw.png" /></figure><p>Multi row card jumah revenue dan persentasenya :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/450/1*15NfIUOJrOzmad88oQBwFQ.png" /></figure><p>Hasil :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1014/1*y6TwEdlHEM-bmStlfSCx7g.png" /></figure><p>Selanjutnya data hasil grouping perlu dilakukan pengaturan data model untuk menyocokkan key pada table utama.</p><p>Buka Model view, lalu drag and drop nama kolom yang sama yaitu menu.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/669/1*DqVXu9bWbotp8xpYVyY_kA.png" /></figure><p>Kemudian setting tooltips pada treemap :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/175/1*eUSc_nAw70qsJDt9kHPi3Q.png" /></figure><p>Hasil :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BFBejZcyFL-2HhZ1Th5B-Q.png" /></figure><p>Setelah semua chart selesai dibuat, selanjutnya atur posisi chart dan sesuaikan dengan background.</p><p>Hasil :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1r1AJwbASl49L8FR6Y_5qQ.png" /></figure><p>Insight :</p><ul><li>Terdapat 28 jenis kategori menu, 67 jenis kategori detail menu, dan 606 jenis menu. Menu yang paling sering di pesan adalah Soto Tangkar Daging yang termasuk kedalam kategori detail Soto dan kategori Soto Ludi.</li><li>Total kuantitas yang dipesan sebanyak 361.000 dengan total revenue sebesar Rp 8.778.600.627,00.</li><li>Menu dengan kuantitas terbanyak yang dipesan adalah Crispy Chicken Original.</li><li>Menu dengan revenue tertinggi adalah Paket Lahab Special 1 dengan kontribusi terhadap total revenue sebesar 6.51%.</li><li>Trend revenue yang positif dengan nilai tertinggi terjadi pada bulan Maret 2022 dengan nilai sebesar Rp 1.385.930.019,00.</li><li>Terdapat korelasi negatif antara rata-rata harga menu dengan kuantitas yang dipesan. Menu dengan harga di bawah Rp 50.000,00 menjadi menu dengan kuantitas paling banyak dipesan.</li></ul><p>Recomendation :</p><ul><li>Secara umum, perusahaan perlu fokus dalam mendongkrak penjualan menu makanan yang harganya di bawah Rp 50.000,00.</li><li>Perusahaan dapat lebih fokus pada penjualan menu Paket Lahab Special 1 seperti membuat iklan dan paket promo karena menjadi penyumbang terbesar revenue.</li><li>Selain itu, Crispy Chicken Original juga perlu diberikan perhatian khusus seperti perbanyak paket pembelian serta menaikkan pelayanan sehingga dapat menaikkan sedikit harga menu tersebut karena menjadi menu favorit.</li></ul><p>Sekian artikel yang dapat saya share, terimakasih.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=77a5c72fd7b8" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[FACTORS AND CONDITIONS CAUSING ACCIDENT IN THE UNITED STATES THAT HAPPEN IN 2021]]></title>
            <link>https://medium.com/@bageaanugrahp/factors-and-conditions-causing-accident-in-the-united-states-that-happen-in-2021-f4df797ac66?source=rss-6c45bf08cad------2</link>
            <guid isPermaLink="false">https://medium.com/p/f4df797ac66</guid>
            <category><![CDATA[data-visualization]]></category>
            <category><![CDATA[data-analysis]]></category>
            <dc:creator><![CDATA[Bagea Anugrah Pangeresa]]></dc:creator>
            <pubDate>Sat, 03 Jun 2023 09:12:19 GMT</pubDate>
            <atom:updated>2023-06-03T09:12:19.250Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/975/1*SQeHL1u-sRpIn7lagAI3Hw.png" /></figure><p>Banyaknya kasus kecelakaan di Amerika Serikat pada tahun 2021 membuat pemerindah setempat ingin menganalisa data kecelakaan untuk mendapatkan informasi yang berguna dalam membuat keputusan serta regulasi dalam menekan angka kecelakaan di Amerika Serikat.</p><p>Data set didapatkan dari <em>National Highway Traffic Safety Administration</em> (NHTSA) yang merupakan salah satu departemen pemerintah di Amerika Serikat yang fokus terhadap mengurangi angka kecelakaan lalu lintas di jalan tol.</p><p>Pada kasus ini saya menggunakan postgreSQL dan Google Spreadsheet.</p><p><strong>Data Set yang digunakan :</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*iMflIg3W9yAZeShsnrg4yA.png" /></figure><p>Table ini bernama crash dengan 19 kolom. Data set ini perlu kita bersihkan dari <em>missing value </em>serta mengubah format zona waktu menjadi waktu lokal di tiap negara bagian.</p><p>Data cleaning dan formatting menggunakan code sebagai berikut :</p><pre>CREATE TABLE crash_clean as(<br> select x.* from (<br> select <br>   *, <br>  case<br>   when state_name=&#39;Oklahoma&#39; then timestamp_of_crash AT TIME ZONE &#39;CDT&#39;<br>   when state_name=&#39;Colorado&#39; then timestamp_of_crash AT TIME ZONE &#39;MDT&#39;<br>   when state_name=&#39;North Carolina&#39; then timestamp_of_crash AT TIME ZONE &#39;EDT&#39;<br>   when state_name=&#39;Mississippi&#39; then timestamp_of_crash AT TIME ZONE &#39;CDT&#39;<br>   when state_name=&#39;Florida&#39; then timestamp_of_crash AT TIME ZONE &#39;EDT&#39;<br>   when state_name=&#39;Nevada&#39; then timestamp_of_crash AT TIME ZONE &#39;PDT&#39;<br>   when state_name=&#39;Louisiana&#39; then timestamp_of_crash AT TIME ZONE &#39;CDT&#39;<br>   when state_name=&#39;South Dakota&#39; then timestamp_of_crash AT TIME ZONE &#39;CDT&#39;<br>   when state_name=&#39;Indiana&#39; then timestamp_of_crash AT TIME ZONE &#39;CDT&#39;<br>   when state_name=&#39;Michigan&#39; then timestamp_of_crash AT TIME ZONE &#39;EDT&#39;<br>   when state_name=&#39;Minnesota&#39; then timestamp_of_crash AT TIME ZONE &#39;CDT&#39;<br>   when state_name=&#39;Kentucky&#39; then timestamp_of_crash AT TIME ZONE &#39;EDT&#39;<br>   when state_name=&#39;Vermont&#39; then timestamp_of_crash AT TIME ZONE &#39;EDT&#39;<br>   when state_name=&#39;Delaware&#39; then timestamp_of_crash AT TIME ZONE &#39;EDT&#39;<br>   when state_name=&#39;New York&#39; then timestamp_of_crash AT TIME ZONE &#39;EDT&#39;<br>   when state_name=&#39;West Virginia&#39; then timestamp_of_crash AT TIME ZONE &#39;EDT&#39;<br>   when state_name=&#39;South Carolina&#39; then timestamp_of_crash AT TIME ZONE &#39;EDT&#39;<br>   when state_name=&#39;New Jersey&#39; then timestamp_of_crash AT TIME ZONE &#39;EDT&#39;<br>   when state_name=&#39;Hawaii&#39; then timestamp_of_crash AT TIME ZONE &#39;HST&#39;<br>   when state_name=&#39;New Mexico&#39; then timestamp_of_crash AT TIME ZONE &#39;MDT&#39;<br>   when state_name=&#39;Arkansas&#39; then timestamp_of_crash AT TIME ZONE &#39;CDT&#39;<br>   when state_name=&#39;Missouri&#39; then timestamp_of_crash AT TIME ZONE &#39;CDT&#39;<br>   when state_name=&#39;Connecticut&#39; then timestamp_of_crash AT TIME ZONE &#39;EDT&#39;<br>   when state_name=&#39;District of Columbia&#39; then timestamp_of_crash AT TIME ZONE &#39;EDT&#39;<br>   when state_name=&#39;Iowa&#39; then timestamp_of_crash AT TIME ZONE &#39;CDT&#39;<br>   when state_name=&#39;Massachusetts&#39; then timestamp_of_crash AT TIME ZONE &#39;EDT&#39;<br>   when state_name=&#39;Rhode Island&#39; then timestamp_of_crash AT TIME ZONE &#39;EDT&#39;<br>   when state_name=&#39;Ohio&#39; then timestamp_of_crash AT TIME ZONE &#39;EDT&#39;<br>   when state_name=&#39;Pennsylvania&#39; then timestamp_of_crash AT TIME ZONE &#39;EDT&#39;<br>   when state_name=&#39;Washington&#39; then timestamp_of_crash AT TIME ZONE &#39;PDT&#39;<br>   when state_name=&#39;Wisconsin&#39; then timestamp_of_crash AT TIME ZONE &#39;CDT&#39;<br>   when state_name=&#39;Montana&#39; then timestamp_of_crash AT TIME ZONE &#39;MDT&#39;<br>   when state_name=&#39;Arizona&#39; then timestamp_of_crash AT TIME ZONE &#39;MST&#39;<br>   when state_name=&#39;Illinois&#39; then timestamp_of_crash AT TIME ZONE &#39;CDT&#39;<br>   when state_name=&#39;Virginia&#39; then timestamp_of_crash AT TIME ZONE &#39;EDT&#39;<br>   when state_name=&#39;Maryland&#39; then timestamp_of_crash AT TIME ZONE &#39;EDT&#39;<br>   when state_name=&#39;Georgia&#39; then timestamp_of_crash AT TIME ZONE &#39;EDT&#39;<br>   when state_name=&#39;Utah&#39; then timestamp_of_crash AT TIME ZONE &#39;MDT&#39;<br>   when state_name=&#39;Wyoming&#39; then timestamp_of_crash AT TIME ZONE &#39;MDT&#39;<br>   when state_name=&#39;New Hampshire&#39; then timestamp_of_crash AT TIME ZONE &#39;EDT&#39;<br>   when state_name=&#39;North Dakota&#39; then timestamp_of_crash AT TIME ZONE &#39;CDT&#39;<br>   when state_name=&#39;Nebraska&#39; then timestamp_of_crash AT TIME ZONE &#39;CDT&#39;<br>   when state_name=&#39;Maine&#39; then timestamp_of_crash AT TIME ZONE &#39;EDT&#39;<br>   when state_name=&#39;California&#39; then timestamp_of_crash AT TIME ZONE &#39;PDT&#39;<br>   when state_name=&#39;Tennessee&#39; then timestamp_of_crash AT TIME ZONE &#39;CDT&#39;<br>   when state_name=&#39;Kansas&#39; then timestamp_of_crash AT TIME ZONE &#39;CDT&#39;<br>   when state_name=&#39;Oregon&#39; then timestamp_of_crash AT TIME ZONE &#39;PDT&#39;<br>   when state_name=&#39;Texas&#39; then timestamp_of_crash AT TIME ZONE &#39;CDT&#39;<br>   when state_name=&#39;Idaho&#39; then timestamp_of_crash AT TIME ZONE &#39;MDT&#39;<br>   when state_name=&#39;Alaska&#39; then timestamp_of_crash AT TIME ZONE &#39;AKDT&#39;<br>   when state_name=&#39;Alabama&#39; then timestamp_of_crash AT TIME ZONE &#39;CDT&#39;<br>  end as Local_Timestamp_of_crash<br> from crash<br> where<br>  land_use_name not in (&#39;Unknown&#39;,&#39;Not Reported&#39;)<br>  and functional_system_name not in (&#39;Unknown&#39;,&#39;Not Reported&#39;)<br>  and manner_of_collision_name not in (&#39;Not Reported&#39;)<br>  and type_of_intersection_name not in (&#39;Not Reported&#39;, &#39;Reported as Unknown&#39;)<br>  and light_condition_name not in (&#39;Not Reported&#39;, &#39;Reported as Unknown&#39;)<br>  and atmospheric_conditions_1_name not in (&#39;Not Reported&#39;, &#39;Reported as Unknown&#39;)<br>) as x<br>where<br> extract(year from Local_Timestamp_of_crash) = 2021<br>)</pre><p>Data set awal sebanyak 35.451 baris, setelah dilakukan data cleaning data pada kolom dengan dengan nilai tidak terdefinisi data set berkurang menjadi 31.912 baris atau berkurang 10%. Penambahan 1 kolom baru untuk menyimpan data waktu setelah dilakukan perubahan zona waktu.</p><p>Hasil analisa dengan menggunakan data yang sudah masuk kedalam proses data formatting dan cleaning didapatkan insight sebagai berikut :</p><p><strong>1. 10 Negara bagian dengan kasus kecelakaam terbanyak</strong></p><p>Pada kasus ini saya menggunakan kolom consecutive_number untuk menghitung jumlah kecelakaan lalu dikelompokkan berdasarkan negara bagian dengan menggunakan code sebagai berikut :</p><pre>select <br> state_name,<br> count(consecutive_number) as accidents_number <br>from <br> crash_clean<br>group by <br> 1 <br>order by <br> 2 desc<br>limit<br> 10</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/487/1*vExS7x6AArwMk140psS4Ug.png" /></figure><p>Data hail query ini kemudian divisualisasikan menggunakan horizontal bar chart di google spreadsheet dengan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/782/1*0koFqVuozSAi-PfFmvo8AQ.png" /></figure><p>Berdasarkan data diatas, kecelakaan tertinggi terjadi di negara bagian Texas dan California lalu menyusul Florida. Menurut data pada tahun 2021, populasi negara bagian terpadat pertama ada di california dengan 39,24 juta orang, Texas sebagai yang ke 2 terpadat dengan 29,52 juta orang, disusul Florida terpadat ke 3 dengan 21,78 juta orang. Dengan padatnya populasi di negara bagian tersebut menyebabkan tingginya angka kecelakaan di negara bagian tersebut.</p><p><strong>2. Persentase kecelakaan di daerah Urban dan Rural</strong></p><p>Dengan menggunakan kolom consecutive_number kita bisa menghitung jumlah kecelakaan dan persentase nya lalu dikelompokkan berdasarkan daerah Urban dan Rural (land_use_name). Code yang dipakai adalah sebagai berikut :</p><pre>select <br> land_use_name, <br> count(consecutive_number) as accidents_number,<br> count(consecutive_number)*1.00/(select <br>                                  count(consecutive_number)<br>                                 from <br>                                   crash_clean)*100 as percentage<br>from <br> crash_clean<br>group by <br> 1<br>order by <br> 2 desc</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/873/1*rkNlH7KdgNVAtzZuLraJsg.png" /></figure><p>Data hail query ini kemudia divisualisasikan menggunakan pie chart di google spreadsheet dengan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/750/1*5K80YznOuuYUZL3LBD_1eg.png" /></figure><p>Berdasarkan data diatas, daerah urban terjadi angka kecelakaan terbanyak sebesar 58%, yg kedua didaerah rural sebesar 42. Menurut data tahun 2019–2020, kematian didaerah pedesaan meningkat 2%, di perkotaan meningkat 9% di setiap tahunnya. Adapun penyebab tingginya angka kecelakaan tersebut dipengaruhi olah faktor pengendara ugal-ugalan, mengemudi dengan pengaruh alkohol, dan tingkat penggunaan sabuk pengaman.</p><p><strong>3. Kondisi yang meningkatkan risiko kecelakaan</strong></p><p>Ada beberapa kondisi yang saya analisa pada setiap kasus kecelakaan, yang pertama adalah kondisi tipe persimpangan. Pada kasus ini saya menggunakan kolom type_of_intersection_name untuk menghitung jumlah kemunculan tipe persimpangan yang terjadi disetiap kecelakaan lalu dikelompokkan berdasarkan tipe persimpangan dengan menggunakan code sebagai berikut :</p><pre>select <br> type_of_intersection_name, <br> count(type_of_intersection_name) as total_accident<br>from <br> crash_clean<br>group by <br> 1<br>order by <br> 2 desc</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/530/1*Ao0koz1IDVYJn1-uoI7I6g.png" /></figure><p>Data hail query ini kemudian divisualisasikan menggunakan vertical bar chart di google spreadsheet dengan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/786/1*KpzFOAy7kJyJiSP031W4aQ.png" /></figure><p>Kondisi jalan tanpa ada persimpangan membuat pengemudi berkendara dengan sangat cepat. Hal ini sangat berbahaya yang dapat menimbulkan kecelakaan yang juga dibuktikan dengan data bahwa pada tipe jalan tanpa persimpangan menjadi tempat yang paling banyak terjadi kecelakaan dengan total 24.154 kasus.</p><p>Kondisi yang kedua adalah pada tipe jalan. Pada kasus ini saya menggunakan kolom functional_system_name untuk menghitung jumlah kemunculan tipe persimpangan yang terjadi disetiap kecelakaan lalu dikelompokkan berdasarkan tipe jalan dengan menggunakan code sebagai berikut :</p><pre>select<br> functional_system_name, <br> count(functional_system_name) as total_accident<br>from<br> crash_clean<br>group by <br> 1<br>order by <br> 2 desc</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/719/1*oVqDWWMzm8O8Pq4Gdxe-qg.png" /></figure><p>Data hail query ini kemudian divisualisasikan menggunakan horizontal bar chart di google spreadsheet dengan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/780/1*KRVVPEcT6UqF3SPSVTXrcA.png" /></figure><p>Kecelakaan banyak terjadi di pricipal-arterial_other dengan 9.390 kasus. Hal ini dikarena jenis jalan ini termasuk jalan perbatasan keluar masuk antar negara bagian dan pusat kota ke daerah kota. Sehingga, jalan menjadi padat dilalui kendaraan. Jenis jalan ini memiliki karakteristik panjang. Faktor ini juga membuat pengemudi merasa jenuh dan mengabaikan keselamatannya. sehingga para pengemudi cenderung melakukan pelanggaran lainnya seperti : tidak mematuhi rambu, batas kecepatan dan tidak fokus dalam mengemudi. Pelanggaran tersebut juga memperbesar resiko faktor terjadinya kecelakaan.</p><p>Kondisi ketiga dan keempat adalah kondisi cuaca dan kondisi pancahayaan. Pada kasus kondisi cuaca saya menggunakan kolom atmospheric_conditions_1_name untuk menghitung jumlah kemunculan kondisi cuaca yang terjadi disetiap kecelakaan lalu dikelompokkan berdasarkan kondisi cuaca, sedangkan pada kasus kondisi pencahayaan saya menggunakan kolom alight_condition_name untuk menghitung jumlah kemunculan kondisi cuaca yang terjadi disetiap kecelakaan lalu dikelompokkan berdasarkan kondisi pencahayaan dengan menggunakan code sebagai berikut :</p><pre>select <br> atmospheric_conditions_1_name, <br> count(atmospheric_conditions_1_name) as accidents_number<br>from<br> crash_clean<br>group by <br> 1<br>order by <br> 2 desc</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/614/1*QHbEh2dkp_EIV0FpcD0c1Q.png" /></figure><pre>select <br> light_condition_name, <br> count(light_condition_name) as accidents_number<br>from <br> crash_clean<br>group by <br> 1<br>order by <br> 2 desc</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/529/1*PqNtoN_M0msz5DLOlmUDOw.png" /></figure><p>Kedua data hasil query tersebut kemudian divisualisasikan menggunakan vertical bar chart di google spreadsheet dengan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/780/1*Lm50yofK1txxTlVEVHJAlQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/778/1*pFnlG_aldzmeG-sOmbQt9w.png" /></figure><p>Kecelakaan terjadi pada siang hari dengan total 14.652 kasus, sedangkan jika dilihat dari kondisi cuaca, kecelakaan banyak terjadi pada cuaca cerah yaitu sebanyak 24.073 kasus. Sebagian besar kecelakaan terjadi pada saat kondisi cuaca yang cerah. Pada siang hari yang cerah, sinar matahari dapat menyilaukan pengemudi dan mengganggu visibilitas. Pada kondisi cuaca cerah, biasanya lebih banyak orang yang keluar rumah dan menggunakan kendaraan untuk beraktivitas, sehingga meningkatkan kepadatan lalu lintas lintas. Kepadatan lalu lintas yang tinggi dapat meningkatkan risiko kecelakaan, terutama jika pengemudi tidak dapat menjaga jarak aman dengan kendaraan di depannya. Secara psikologi pada kondisi cuaca cerah, pengemudi mungkin merasa lebih santai dan merasa aman saat berkendara, sehingga dapat mengabaikan beberapa hal penting seperti memperhatikan rambu-rambu lalu lintas atau mengabaikan keselamatan saat mengemudi seperti berkendara dengan kecepatan tinggi.</p><p>Selain itu saya juga menganalisa jumlah kecelakaan berdasarkan musim yang ada di Amerika Serikat. Pada kasus ini saya menggunakan kolom local_timestamp_of_crash untuk membuat logical function dalam menentukan tanggal yang masuk kedalam kategori musim tertentu dengan menggunakan code sebagai berikut :</p><pre>SELECT<br>  SUM(CASE WHEN to_char(local_timestamp_of_crash, &#39;mm-dd&#39;)<br>    between &#39;09-23&#39; and &#39;12-20&#39;  THEN 1 END) as FALL,<br>  SUM(CASE WHEN to_char(local_timestamp_of_crash, &#39;mm-dd&#39;)<br>    between &#39;12-21&#39; AND &#39;12-31&#39;<br>    OR to_char(local_timestamp_of_crash, &#39;mm-dd&#39;)<br>    between &#39;01-01&#39; AND &#39;03-20&#39; THEN 1 END) as WINTER,<br>  SUM(CASE WHEN to_char(local_timestamp_of_crash, &#39;mm-dd&#39;)<br>    between &#39;03-21&#39; and &#39;06-20&#39;  THEN 1 END) as SPRING,<br>  SUM(CASE WHEN to_char(local_timestamp_of_crash, &#39;mm-dd&#39;)<br>    between &#39;06-21&#39; and &#39;09-22&#39;  THEN 1 END) as SUMMER<br>FROM <br> crash_clean</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/581/1*iZmmtkLiBDL1nFiqWkU9Pw.png" /></figure><p>Data hasil query tersebut kemudian divisualisasikan menggunakan vertical bar chart di google spreadsheet dengan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/585/1*LAlDa-IT-h7fwpk-KlMlFA.png" /></figure><p>Kasus kecelakaan jika ditinjau berdasarkan musim yang paling banyak terjadi yaitu pada musim panas yaitu 9.425 kasus. Hal ini berkaitan dengan liburan musim panas sehingga jalanan menjadi lebih padat.</p><p><strong>4. Jumlah rata-rata kejadian kecelakaan perjam</strong></p><p>Pada kasus ini saya menggunakan kolom consecutive_number untuk menghitung rata-rata jumlah kecelakaan lalu dikelompokkan berdasarkan jam terjadinya kecelakaan dengan menggunakan code sebagai berikut :</p><pre>select <br>    extract(hour from local_timestamp_of_crash) as hour_crash,<br>    count(consecutive_number)*1.00/365 as accidents_average_number <br>from <br> crash_clean<br>group by <br> 1<br>order by<br> 1</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/419/1*2Xu_fczDwpE1HTJRgUgIPw.png" /></figure><p>Data hasil query tersebut kemudian divisualisasikan menggunakan line chart di google spreadsheet dengan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/582/1*D4bCBvx5Xz70ydv8NVMiTA.png" /></figure><p>Angka kecelakaan tertinggi terjadi di 2 waktu, yaitu pukul 14.00 rata-rata sebesar 5.35 dan pada pukul 16.00 sebesar 5.21. Angka kecelakaan terendah terjadi di pukul 04.00 pagi yaitu rata-rata sebesar 2.17. Tingginya angka kecelakaan di pukul 14.00 disebabkan oleh pergeseran pola kepadatan lalu lintas yang diakibatkan oleh pandemi Covid 19. Dimana di kota-kota di amerika pada umumnya, sebelum Pandemi kepadatan biasanya terjadi di pukul 6 Pagi hari ketika jam berangkat kerja dan pada pukul 17.00 sore hari ketika jam pulang kantor.</p><p>Dengan banyaknya permberlakuan untuk WFH, bekerja secara remote di era pandemi Covid 19 maka pola kepadatan lalu lintas berubah. Di pagi hari banyak pekerja yang belum pergi ke kantor karena banyak yang bekerja secara remote dan bekerja dari rumah sehingga pagi hari lalu lintas menjadi sangat lancar dan tidak padat, namun semakin siang maka arus kendaraan semakin padat dan mengalami puncak di pukul 14.00 dan pukul 16.00. Dimana pada pukul 16.000 para pekerja yang bekerja secara remote dari rumah juga mulai keluar rumah untuk membeli kebutuhan sehari-hari.</p><p><strong>5. Jumlah kejadian kecelakaan berdasarkan hari</strong></p><p>Pada kasus ini saya menggunakan kolom consecutive_number untuk menghitung jumlah kecelakaan lalu dikelompokkan berdasarkan hari terjadinya kecelakaan dengan menggunakan code sebagai berikut :</p><pre>select<br> to_char(local_timestamp_of_crash, &#39;day&#39;) as Day_name,<br> count(consecutive_number)as accidents_number<br>from<br> crash_clean<br>group by<br> 1,extract(dow from local_timestamp_of_crash)<br>order by<br>  extract(dow from local_timestamp_of_crash)</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/463/1*ODPZOqarJaT1h7t9n_5DQg.png" /></figure><p>Data hasil query tersebut kemudian divisualisasikan menggunakan vertical bar chart di google spreadsheet dengan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/771/1*Y97XEmK_livZIaCd3NwmOQ.png" /></figure><p>Data menunjukkan bahwa kecelakaan sebagian besar terjadi pada hari Minggu dan Sabtu atau pada akhir pekan, dimana yang paling tinggi adalah pada hari Minggu dengan angka 5,722 kecelakaan dan tertinggi kedua adalah pada hari Sabtu dengan jumlah 5,259 kecelakaan.</p><p>Sebuah penelitian di Kanada menemukan bahwa liburan akhir pekan menunjukkan rata-rata tingkat kecelakaan fatal 18% lebih tinggi daripada akhir pekan non-liburan, dan bahwa penggunaan sabuk pengaman lebih rendah pada liburan akhir pekan. Hal ini menunjukkan bahwa pengemudi memiliki kecenderungan untuk melanggar peraturan yang menjaga keselamatan mereka sehingga angka kecelakaan dan tingkat kefatalan yang terjadi pada kecelakaan sering terjadi di akhir pekan.</p><p><strong>6. Persentase kecelakaan yang disebabkan oleh pengemudi yang mabuk</strong></p><p>Pada kasus ini saya menggunakan kolom consecutive_number untuk menghitung jumlah dan rata-rata kecelakaan dan kolom number_of_fatalities untuk menghitung jumlah korban jiwa lalu dikelompokkan berdasarkan tipe pengemudi (mabuk atau tidak mabuk) dengan menggunakan code sebagai berikut :</p><pre>with accident_by_driver as(<br>select<br> case<br>  when number_of_drunk_drivers = 0 then &#39;No Drunk&#39;<br>  else &#39;Drunk&#39;<br> end Type_of_driver,<br> count(consecutive_number) as Total_accidents,<br> count(consecutive_number)*1.00/(select <br>          count(consecutive_number)<br>         from <br>          crash_clean)*100 as drunk_driver_level,<br> sum(number_of_fatalities) as total_fatalities<br>from<br> crash_clean<br>group by<br> 1<br>order by<br> 2 desc)<br>select<br> *,<br> (total_fatalities*(1.00/Total_accidents))*100 as fatalities_rate<br>from<br> accident_by_driver</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*u4tWONwfoKsM7J12dlqwEQ.png" /></figure><p>Data hasil query tersebut kemudian divisualisasikan menggunakan donut chart dan table di google spreadsheet dengan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/711/1*jkzXkn34pIvrn1EAtNxMjQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/409/1*I0zevF4K-P3sHO2JnJiSzw.png" /></figure><p>Berdasarkan data perbandingan kecelakaan yang disebabkan oleh pengemudi mabuk kita dapat menyimpulkan bahwa 1 dari 4 kecelakaan yang terjadi disebabkan oleh pengemudi mabuk. Ketika kita mencermati lebih dalam tentang tingkat kematian dalam kecelakaan, kita menemukan bahwa tingkat kematian yang disebabkan oleh pengemudi mabuk lebih tinggi dari pada kecelakaan yang disebabkan oleh pengemudi tidak mabuk.</p><p><strong>7. 3 Negara bagian dengan pengemudi mabuk terbanyak dalam kasus kecelakan</strong></p><p>Pada kasus ini saya menggunakan 2 kolom yaitu consecutive_number untuk menghitung jumlah kecelakaan dan kolom number_of_drunk_drivers untuk menghitung jumlah pengemudi mabuk lalu dikelompokkan berdasarkan negara bagian dengan menggunakan code sebagai berikut :</p><pre>select<br> state_name,<br> count(consecutive_number) as total_accidents,<br> sum(number_of_drunk_drivers) as Total_drunk_driver<br>from<br> crash_clean<br>where<br> number_of_drunk_drivers &lt;&gt; 0<br>group by<br> 1<br>order by<br> 2 desc<br>limit<br> 3</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/718/1*6UcV_B2NrTHt8_wayuhziA.png" /></figure><p>Data hasil query tersebut kemudian divisualisasikan menggunakan vertical bar chart di google spreadsheet dengan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/757/1*_R1xu53B-T79Ur6yB3CSXg.png" /></figure><p>Berdasarkan data tahun 2021, negara bagian yang paling banyak kecelakaan akibat pengemudi mabuk dan jumlah pengemudi mabuk yang terlibat kecelakaan adalah negara bagian California pada peringkat pertama, diikuti negara bagian Texas pada peringkat kedua kemudian negara bagian Florida pada peringkat ketiga. Berdasarkan data sensus tahun 2020, negara bagian California menduduki peringkat 1 dalam jumlah penduduk, diikuti dengan negara bagian Texas di urutan kedua dan negara bagian Florida di urutan ketiga. Dengan banyaknya jumlah penduduk di 3 negara bagian tersebut tidak terlepas dari masalah sosial seperti kesenjangan ekonomi, tingkat kriminalitas, dan krisis narkotika terutama di negara bagian California. Masalah sosial tersebut juga bisa menimbulkan meningkatnya orang yang mengkonsumsi minuman keras.</p><p>Selain itu saya juga menganalisa korelasi antara jumlah kecelakaan dengan jumlah pengemudi mabuk menggunakan scatter plot dengan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/780/1*rkaBlYLhIxdQCoUuaO2e-Q.png" /></figure><p>Korelasi positif yang sangat kuat antara jumlah pengemudi mabuk dengan jumlah kejadian kecelakaan yang ditandai dengan nilai R2 = 1 yang berarti bahwa semakin banyak jumlah pengemudi mabuk maka jumlah kecelakaan pun akan semakin banyak.</p><p>Selanjutnya saya menganalisa rata-rata jumlah pengemudi mabuk yang terlibat kecelakaan berdasarkan jam. Pada kasus ini saya menggunakan kolom number_of_drunk_drivers untuk menghitung jumlah dan rata-rata pengemudi mabuk lalu dikelompokkan berdasarkan dan negara bagian dengan menggunakan code sebagai berikut :</p><pre>select<br> state_name,<br>    extract(hour from local_timestamp_of_crash) as hour_crash,<br>    sum(number_of_drunk_drivers)*1.00/365 as drunk_driver_average_number <br>from <br> crash_clean<br>where<br> state_name in (&#39;California&#39;, &#39;Florida&#39;, &#39;Texas&#39;)<br> and number_of_drunk_drivers &lt;&gt; 0<br>group by <br> 1,2<br>order by<br> 1</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/791/1*M3SdMPfr5EmlED8O0rqs4Q.png" /></figure><p>Data hasil query tersebut saya ubah menjadi pivot table lalu divisualisasikan menggunakan line chart di google spreadsheet dengan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/576/1*0S5KbVpYKksXMOVsQv7Hzg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/777/1*S_jXi-nVQ-pX3YVTLvRGfw.png" /></figure><p>Berdasarkan peraturan yang ada, batasan umur yang di perbolehkan mengonsumsi minuman keras adalah 21 tahun dan peredaran penjualan minuman keras tidak boleh dilakukan pada jam 2 pagi sampai jam 6 pagi.</p><p>Rata-rata pengemudi mabuk yang terlibat kecelakaan nilainya menurun pada jam 2 pagi sampai jam 6 pagi. Hal ini menunjukkan bahwa peraturan yang ada dapat menekan angka pengemudi mabuk pada jam yang telah di tetapkan. Namun pada jam yang tidak diberlakukan aturan penjualan peredaran minuman keras mengalami kenaikan jumlah pengemudi mabuk yang terlibat kecelakaan pada siang sampai malam hari.</p><p><strong>Rekomendasi</strong></p><p>Berdasarkan temuan yang ada, kami merekomendasikan NSTHA untuk melakukan beberapa hal berikut :</p><p>1. Angka kecelakaan banyak terjadi di daerah urban maka pemerintah diutamakan harus lebih meningkatkan pencegahan di daerah urban.</p><p>2. Disetiap jenis jalan pricipal_arterial_other perlu adanya rambu peringatan keselamatan pengendara. pengaturan regulasi tentang syarat pengendara kendaraan perlu dibenahi guna memperkecil resiko kecelakaan di jalan.</p><p>3. Pemerintah dapat memasangan plang himbauan batas kecepatan dan informasi kecelakaan yang terjadi agar pengendara senantiasa berhati-hati pada saat berkendara terutama pada jalan yang lurus tanpa ada persimpangan.</p><p>4. Pentingnya kesadaran masyarakat tentang berkendara dengan aman sehingga perlu adanya plang himbauan tentang batas kecepatan dalam berkendara. Pemerintah juga dapat bekerja sama dengan media seperti papan iklan yang dapat disisipkan tentang kesadaran berkendara denga naman atau dapat membuat iklan audio yang di siarkan d radio tentang pentingnya berkendara dengan aman terutama pada saat liburan musim panas.</p><p>5. Perlu ditambahkan petugas patroli polisi yang berjaga-jaga di waktu sekitar pukul 14.00 hingga 17.00 dan ditempatkan di jalan-jalan arteri utama, karena ketika kami menyandingkan antara jam terjadinya kecelakaan dengan tempat atau jenis jalan terjadinya kecelakaan maka didapati kecelakaan di jam-jam yang tertinggi tersebut terjadi di jalan-jalan arteri utama. Tabel terlampir. Mengapa dibutuhkan kehadiran petugas polisi lalu lintas? Karena secara alami psikologis manusia lebih mau untuk taat mengikuti peraturan lalu lintas ketika ada polisi yang bertugas meskipun sudah ada Lampu lalu lintas, CCTV dan system Tilang Elektronik.</p><p>6. Dibutuhkan sebuah campaign atau kampanye untuk meningkatkan kesadaran melakukan safety driving dengan menunjukkan tingginya angka kecelakaan di hari Sabtu dan Minggu melalui Billboard maupun LED Videotron pada jalan-jalan yang sering dilalui pada akhir pekan sehingga menarik perhatian para pengemudi dan menggugah kesadaran mereka akan safety driving. Menggalakkan penegakan hukum melalui tilang manual dan Tilang Elektronik khususnya untuk peraturan-peraturan yang mendukung berjalannya safety driving terutama dilakukan pada akhir pekan dimana kesadaran dan ketaatan pengemudi untuk mentaati peraturan lebih rendah dari hari-hari biasa.</p><p>7. Pentingnya peran pemerintah dalam mengatur dan memantau masyarakatnya dalam mengonsumsi minuman keras. Peraturan peradaran penjualan minuman keras terbukti efektif menekan angka pengemudi mabuk pada jam yang telah ditetapkan, akan tetapi pada jam yang tidak diberlakukan pembatasan peredaran penjualan masih ada pengemudi mabuk yang terlibat kecelakaan, oleh karena itu pemerintah bisa menambah jam pembatasan peredaran penjualan minuman keras.</p><p>8. Masalah sosial pun bisa menjadi pemicu meningkatnya masyarakat yang mengonsumsi minuman keras seperti ketimpangan ekonomi dan kriminalitas. Ketimpangan ekonomi dapat menyebabkan perbedaan akses terhadap peluang pekerjaan dan pendidikan. Masyarakat dengan tingkat pendidikan dan pekerjaan yang lebih rendah cenderung memiliki akses yang lebih rendah terhadap informasi dan kesempatan yang mempromosikan kesehatan dan kesejahteraan. Hal ini dapat memicu perilaku konsumsi minuman keras sebagai bentuk pelampiasan atau peningkatan status sosial. oleh karena itu pemerintah harus mampu mengatasi masalah sosial yang dapat memicu meningkatnya konsumsi minuman keras dengan memulai memberikan kemudahan dalam mengakses pendidikan dan kesehatan, dan memberikan bantuan sosial untuk meningkatkan kualitas penduduk.</p><p>9. Pemerintah dapat memberikan sosialisasi berdasarkan data yang ada bahwa angka pengemudi mabuk berbanding lurus dengan angka kejadian kecelakaan, sehingga masyarakat diharapkan bisa lebih memperhatikan keselamatannya dengan cara tidak mabuk jika berkendara.</p><p><strong>Sumber :</strong></p><p>- <a href="https://www.census.gov/library/visualizations/interactive/2020-population-and-housing-state-data.html">https://www.census.gov/library/visualizations/interactive/2020-population-and-housing-state-data.html</a></p><p>- <a href="https://www.abc.ca.gov/wp-content/uploads/2022-CA-ABC-Act.pdf">https://www.abc.ca.gov/wp-content/uploads/2022-CA-ABC-Act.pdf</a></p><p>- <a href="https://www.dps.texas.gov/search?s=Driving+While+Intoxicated">https://www.dps.texas.gov/search?s=Driving+While+Intoxicated</a></p><p>- <a href="https://www.tabc.texas.gov/texas-alcohol-laws-regulations/tabc-code-rules/tabc-legislative-updates/">https://www.tabc.texas.gov/texas-alcohol-laws-regulations/tabc-code-rules/tabc-legislative-updates/</a></p><p>- <a href="http://www.myfloridalicense.com/DBPR/alcoholic-beverages-and-tobacco/">http://www.myfloridalicense.com/DBPR/alcoholic-beverages-and-tobacco/</a></p><p>- <a href="https://www.flhsmv.gov/safety-center/driving-safety/drunk-driving/">https://www.flhsmv.gov/safety-center/driving-safety/drunk-driving/</a></p><p>- <a href="https://www.dot.ny.gov/divisions/engineering/applications/traffic-data-viewer/tdv-definitions/Functional-Classifications.htm">https://www.dot.ny.gov/divisions/engineering/applications/traffic-data-viewer/tdv-definitions/Functional-Classifications.htm</a></p><p>- <a href="https://www.globaldata.com/data-insights/macroeconomic/most-populated-states-in-the-us/">https://www.globaldata.com/data-insights/macroeconomic/most-populated-states-in-the-us/</a></p><p>- <a href="https://www.nytimes.com/2021/08/11/us/ca-rush-hour-traffic.html">https://www.nytimes.com/2021/08/11/us/ca-rush-hour-traffic.html</a></p><p>- <a href="https://www.cbc.ca/news/canada/road-fatalities-rise-on-long-weekends-but-not-for-the-usual-reasons-1.1303247">https://www.cbc.ca/news/canada/road-fatalities-rise-on-long-weekends-but-not-for-the-usual-reasons-1.1303247</a></p><p>- <a href="https://banyumas.tribunnews.com/2021/02/12/kecelakaan-beruntun-130-kendaraan-lebih-di-jalan-tol-di-texas-mayoritas-korban-nakes-dan-polisi">https://banyumas.tribunnews.com/2021/02/12/kecelakaan-beruntun-130-kendaraan-lebih-di-jalan-tol-di-texas-mayoritas-korban-nakes-dan-polisi</a></p><p>Sekian yang dapat saya share pada artikel kali ini, Terimakasih.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f4df797ac66" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Sales Data Analysis with Python (E-Commerce Case-Study)]]></title>
            <link>https://medium.com/@bageaanugrahp/sales-data-analysis-with-python-e-commerce-case-study-ce2656625b9b?source=rss-6c45bf08cad------2</link>
            <guid isPermaLink="false">https://medium.com/p/ce2656625b9b</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[data-analysis]]></category>
            <dc:creator><![CDATA[Bagea Anugrah Pangeresa]]></dc:creator>
            <pubDate>Mon, 20 Mar 2023 15:28:03 GMT</pubDate>
            <atom:updated>2023-03-20T15:28:03.162Z</atom:updated>
            <content:encoded><![CDATA[<p>Era digital saat ini tidak luput dari perkembangan bisnis. Digitalisasi dunia bisnis berkembang pesat. Data dari hasil digitalisasi dunia bisnis menjadi sangat penting untuk dikelola. Pada kesempatan kali ini saya akan mencoba menganalisa data penjualan dari sebuah E-commerce yang terbagi kedalam beberapa file.</p><p><strong>Data Set up, Cleaning, and Formatting</strong></p><pre>import os<br>import pandas as pd<br>import matplotlib.pyplot as plt<br>import seaborn as sns<br>import numpy as np<br>import plotly.graph_objs as go<br>from plotly.offline import iplot</pre><p>Menggabungkan data menjadi 1 data frame yang utuh.</p><pre>files =[file for file in os.listdir(r&quot;G:\Data Analis\udemy_course\Data _analytics_real_world_projects_in_python\5-Sales Data Analysis-20230310T141950Z-001\Sales_Data&quot;)]<br>for file in files:<br>    print(file)</pre><p>Akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/214/1*g9qf_syToUqFQlcEQYRQBw.png" /></figure><pre>path = r&quot;G:\Data Analis\udemy_course\Data _analytics_real_world_projects_in_python\5-Sales Data Analysis-20230310T141950Z-001\Sales_Data&quot;<br><br>all_data = pd.DataFrame()<br>for file in files:<br>    current_df = pd.read_csv(path+&quot;/&quot;+file)<br>    all_data = pd.concat([all_data, current_df])</pre><p>Fungsi pd.concat() digunakan untuk menggabungkan data secara vertikal.</p><pre>all_data.head()</pre><p>Akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/922/1*plxvfKZsSVMp5yJWBQXS9A.png" /></figure><p>Selanjutnya cek data kosong pada tiap kolom.</p><pre>all_data.isnull().sum()</pre><p>Akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/197/1*YFbUZOXYi2N-nvW4GSgscQ.png" /></figure><p>Menghapus baris yang memiliki data kosong.</p><pre>all_data = all_data.dropna(how=&#39;all&#39;)<br>all_data.isnull().sum()</pre><p>Akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/182/1*K5KMgAdCDn_taHyDUdBpBQ.png" /></figure><p>Cek tipe data pada setiap kolom.</p><pre>all_data.dtypes</pre><p>Akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/233/1*5LHeDKzeUtQsRotBOy4hxA.png" /></figure><p>Date frame hasil penggabungan menggunakan fungsi pd.concat() menyebabkan nama kolom pada data frame yang digabungkan masuk kedalam nilai pada kolom tersebut.</p><pre>all_data[&#39;Month&#39;].unique()</pre><p>Akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/601/1*3yWWTwLpNoNO9sOcMpq9RA.png" /></figure><p>Terdapat data dengan nilai “Order Date”. Nilai tersebut akan “dihilangkan” dengan mengambil semua data pada baris dan kolom yang tidak terdapat data dengan nilai “Order Date”.</p><pre>filter=all_data[&#39;Order Date&#39;]==&#39;Order Date&#39;<br>all_data=all_data[~filter]</pre><p>Tanda negasi memiliki fungsi kebalikan dari kondisi yang ditulis.</p><p>Selanjutnya mengubah tipe data pada kolom Order Date menjadi tipe data datetime.</p><pre>all_data[&quot;Order Date&quot;] = pd.to_datetime(all_data[&quot;Order Date&quot;])<br></pre><p>Selanjutnya ekstrak data bulan dari kolom Order Date.</p><pre>all_data[&#39;Month&#39;]=all_data[&quot;Order Date&quot;].dt.month<br>all_data.head()</pre><p>Akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1018/1*NdJ8lWl_LIhYilcwGztWfg.png" /></figure><p>Selanjutnya mengubah tipe data pada kolom Price each menjadi tipe data float dan kolom Quantity Ordered menjadi tipe data integer.</p><pre>all_data[&#39;Price Each&#39;]=all_data[&#39;Price Each&#39;].astype(float)<br>all_data[&#39;Quantity Ordered&#39;]=all_data[&#39;Quantity Ordered&#39;].astype(int)</pre><p>Selanjutnya membuat kolom baru yang berisi nilai penjualan.</p><pre>all_data[&#39;sales&#39;]=all_data[&#39;Quantity Ordered&#39;]*all_data[&#39;Price Each&#39;]<br>all_data.head()</pre><p>Nilai penjualan merupakan hasil kali nilai pada kolom Quantity Ordered dengan nilai pada kolom Price Each.</p><p>Akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Pb4noiOFmwLITed5hvu-aQ.png" /></figure><p>Kemudian membuat kolom yang berisi data nama kota dari konsumen dengan membuat fungsi yang akan membagi data string berdasarkan karakter pemisah yang ditentukan.</p><pre>def city(x):<br>    return x.split(&#39;,&#39;)[1].strip()</pre><pre>all_data[&#39;city&#39;]=all_data[&#39;Purchase Address&#39;].apply(city)<br>all_data.head()</pre><p>Akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BwndXOQacJzMJiUMNNXPGQ.png" /></figure><p>Nama kota merupakan kata kedua dari data pada kolom Purchase Address yang dipisahkan oleh karakter “,”.</p><p>Selanjutnya membuat kolom baru yang berisi nilai jam hasil ekstraksi data dari kolom Order Date.</p><pre>all_data[&#39;Hour&#39;] = pd.to_datetime(all_data[&#39;Order Date&#39;]).dt.hour<br>all_data.head()</pre><p>Akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qrp9WBS2fBRYOkCZo86dXA.png" /></figure><p><strong>Contoh Kasus 1</strong></p><p>Pada kasus ini saya akan memvisualisasikan jumlah pembeli berdasarkan kota konsumen.</p><pre>plt.bar(x = all_data.groupby(&#39;city&#39;)[&#39;city&#39;].count().index, height = all_data.groupby(&#39;city&#39;)[&#39;city&#39;].count())<br>plt.xticks(rotation=&#39;vertical&#39;)<br>plt.ylabel(&#39;received orders&#39;)<br>plt.xlabel(&#39;city names&#39;)<br>plt.show()</pre><p>Akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/589/1*JIFHr9oZp2EsKy3_-Xb4YA.png" /></figure><p>Berdasarkan bar di atas kota San Fransisco merupakan kota dengan jumlah orderan terbanyak.</p><p>Selanjutnya saya akan memvisualisasikan jumlah sales berdasarkan kota konsumenbulan</p><pre>all_data.groupby(&#39;Month&#39;)[&#39;sales&#39;].sum()</pre><p>Akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/229/1*v6Q0vvXc7q5GkxRY4yFuzQ.png" /></figure><pre>all_data.groupby(&#39;Month&#39;)[&#39;sales&#39;].sum().plot(kind=&quot;bar&quot;, ylabel= &#39;Sales&#39;, ylim=(1500000.00, 4800000.00 ))</pre><p>Akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/567/1*fyGt2KAZHNJGGv4AELFY0Q.png" /></figure><p>Bulan Desember menjadi bulan dengan tingkat sales tertinggi.</p><p><strong>Contoh Kasus 2</strong></p><p>Pada kasus ini saya akan melihat pola dari data orderan yang masuk berdasarkan jam order.</p><pre>keys=[]<br>hour=[]<br>for key,hour_df in all_data.groupby(&#39;Hour&#39;):<br>    keys.append(key)<br>    hour.append(len(hour_df))</pre><p>Membuat list yang berisikan index dari hasil grouping data frame yaitu berupa nilai jam dan list yang berisikan jumlah order berdasarkan jamnya.</p><pre>plt.grid()<br>plt.plot(keys,hour)</pre><p>Akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/570/1*pdq--UOZgy3fbQrYgh_Fhg.png" /></figure><p>Berdasrkan grafik di atas antara pukul 12 siang dan 7 malam dapat disimpulkan menjadi waktu terbaik untuk beriklan untuk memaksimalkan pembelian produk.</p><p><strong>Contoh Kasus 3</strong></p><p>Pada kasus ini saya akan memvisulisasikan data produk yang paling banyak di pesan.</p><pre>all_data.groupby(&#39;Product&#39;)[&#39;Quantity Ordered&#39;].sum().sort_values(ascending=False).plot(kind=&#39;bar&#39;)</pre><p>Akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/570/1*cszGvDazQGowSqJ9jvjo7Q.png" /></figure><p>Selanjutnya saya akan membuat 2 grafik dalam 1 frame yang menampilkan jumlah pesanan dan rata-rata harga perproduk.</p><pre>products=all_data.groupby(&#39;Product&#39;)[&#39;Quantity Ordered&#39;].sum().index<br>quantity=all_data.groupby(&#39;Product&#39;)[&#39;Quantity Ordered&#39;].sum()<br>prices=all_data.groupby(&#39;Product&#39;)[&#39;Price Each&#39;].mean()</pre><pre>plt.figure(figsize=(40,24))<br>fig,ax1 = plt.subplots()<br>ax2=ax1.twinx()<br>ax1.bar(products, quantity, color=&#39;g&#39;)<br>ax2.plot(products, prices, &#39;b-&#39;)<br>ax1.set_xticklabels(products, rotation=&#39;vertical&#39;, size=8)<br>ax1.set_ylabel(&quot;Quantity&quot;)<br>ax2.set_ylabel(&quot;Price&quot;)</pre><p>Akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/654/1*d09sHvlio1jvjw6wbJ3NVw.png" /></figure><p>Dengan menggunakan twinx(), kita dapat menampilkan dua skala sumbu y dalam satu gambar.</p><p>Produk terlaris adalah ‘Baterai AAA’. Produk terlaris tampaknya memiliki korelasi dengan harga produk. Semakin murah produk semakin tinggi kuantitas yang dipesan dan sebaliknya.</p><p><strong>Contoh Kasus 4</strong></p><p>Pada kasus ini saya kan melihat produk apa saja yang dipesan bersama dalam 1 pesanan.</p><p>Membuat data frame baru yang memuat informasi dengan nilai order id yang lebih dari 1 atau ganda.</p><pre>df=all_data[all_data[&#39;Order ID&#39;].duplicated(keep=False)]<br>df.head()</pre><p>Akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dqWiGZ8U6tYAk-9fX9ANvg.png" /></figure><p>Fungsi duplicated() akan memeriksa data yang memiliki data lebih dari 1 atau ganda. Parameter keep = False akan mengembalikan semua data ganda.</p><p>Selanjutnya membuat kolom baru yang berisikan nama produk apa saja yang dipesan bersama sama.</p><pre>df[&#39;Grouped&#39;] = df.groupby(&#39;Order ID&#39;)[&#39;Product&#39;].transform(lambda x: &#39;,&#39;.join(x))<br>df.head()</pre><p>Fungsi transform(lambda x: ‘,’.join(x)) akan memberikan nilai baru pada kolom Grouped dimana data diambil dari kolom Product lalu menggabungkan nilai pada kolom Product berdasarkan nilai pada kolom Order Id dan dipisahkan menggunakan karakter ‘,’ lalu dimasukkan kedalam kolom Grouped.</p><p>Akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CRMQyci-bh_rjW6SbUwagg.png" /></figure><p>Selanjutnya membuat data frame baru yang telah dihapus nilai ganda pada kolom Order Id.</p><pre>df2 = df.drop_duplicates(subset=[&#39;Order ID&#39;])<br>df2.head()</pre><p>Akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CPlFrG0LP-ve8nDf6g2sYQ.png" /></figure><p>Kemudian memvisualisasikan 5 barang yang dipesan bersamaan berdasarkan Order Id.</p><pre>values=df2[&#39;Grouped&#39;].value_counts()[0:5]<br>labels=df2[&#39;Grouped&#39;].value_counts()[0:5].index</pre><pre>trace=go.Pie(labels=labels, values=values,<br>               hoverinfo=&#39;label+percent&#39;, textinfo=&#39;value&#39;, <br>               textfont=dict(size=25),<br>              pull=[0.0, 0.0, 0.0,0.0, 0.0]<br>               )<br>iplot([trace])</pre><p>Akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UKPvBGlzKhKEqalLqXmjsw.png" /></figure><p>Berdasarkan pie chart di atas, produk Iphone dan Lightning Charging Cable merupakan produk yang sering dipesan bersamaan.</p><p>Sekaian yang dapat saya share. Terimakasih.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ce2656625b9b" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Geospatial Analysis Project with Python (Zomato Case Study)]]></title>
            <link>https://medium.com/@bageaanugrahp/geospatial-analysis-project-with-python-zomato-case-study-d218cb97cb5f?source=rss-6c45bf08cad------2</link>
            <guid isPermaLink="false">https://medium.com/p/d218cb97cb5f</guid>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[python]]></category>
            <dc:creator><![CDATA[Bagea Anugrah Pangeresa]]></dc:creator>
            <pubDate>Sun, 19 Mar 2023 10:54:56 GMT</pubDate>
            <atom:updated>2023-03-19T10:54:56.947Z</atom:updated>
            <content:encoded><![CDATA[<p>Dalam sebuah bisnis tentunya selalu menargetkan pengembangan, salah satunya dalam bisnis makanan adalah menambah jumlah outlet ke berbagai daerah. Dalam kasus nyata 1 brand makanan bisa mempunya riburan bahka puluhan ribu outlet di seluruh dunia. Sebaran dari outlet tersebut bisa di petakan menggunakan bahasa python.</p><p>Pada kesempatan ini saya akan menggunakan data perusahan Zomato yang berada di India.</p><p><strong>Set up Data dan Data Cleaning</strong></p><pre>import pandas as pd<br>import numpy as np<br>import matplotlib.pyplot as plt<br>import seaborn as sns<br>import plotly.express as px<br>import plotly.graph_objs as go<br>from plotly.offline import iplot<br>from geopy.geocoders import Nominatim<br>import folium<br>from folium.plugins import HeatMap</pre><pre>df=pd.read_csv(&#39;zomato.csv&#39;)<br>df.head()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*i6QSW5FnPblIgpGTSXEsJw.png" /></figure><p>Cek jumlah data kosong dengan menggunakan code sebagai berikut :</p><pre>df.isna().sum()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/306/1*vC0U_Dy4bCN5gXl9hyOPaw.png" /></figure><p>Membuat list kolom yang memiliki data kosong dengan menggunakan code sebagai berikut :</p><pre>feature_na=[feature for feature in df.columns if df[feature].isnull().sum()&gt;0]<br>feature_na</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/262/1*xOfkO4RjPesG88nBEb_QFw.png" /></figure><p>Menghitung persentase data kosong dari tiap kolom yang meliki data kosong dengan menggunakan code sebagai berikut :</p><pre>for feature in feature_na:<br>    print(&#39;{} has {} % missing values&#39;.format(feature,np.round(df[feature].isnull().sum()/len(df)*100,4))</pre><p>Fungsi format() digunakan untuk memformat nilai yang akan ditampilkan dalam bentuk string. Fungsi ini dapat menggabungkan beberapa nilai menjadi satu string, dan memungkinkan pengguna untuk menentukan tampilan formatnya.</p><p>Format() menerima argumen string yang berisi kode format, dan argumen-argumen variabel yang ingin diformat. Kode format biasanya terdiri dari string dengan karakter placeholder di dalamnya. Karakter placeholder diwakili oleh tanda kurung {}. Argumen-argumen variabel kemudian akan digunakan untuk mengganti setiap karakter placeholder sesuai dengan urutannya.</p><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/453/1*RntoJIzz_CWpWkQskGUACg.png" /></figure><p>Data pada kolom dish_liked memiliki jumlah data kosong terbanyak yaitu 54.29%</p><p>Cek value pada kolom rate :</p><pre>df[&#39;rate&#39;].unique()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*xH_HX7obhB_54tt7y6WMkA.png" /></figure><p>Data kosong diwakili dengan nan value. Pada data diatas masih ada nilai yang tidak sesuai, seperti “NEW”, dan “-”.</p><p>Selanjutnya saya akan menghapus baris yang memiliki data kosong pada kolom rate dengan menggunakan code sebagai berikut :</p><pre>df.dropna(axis=&#39;index&#39;,subset=[&#39;rate&#39;],inplace=True)</pre><p>Selanjutnya saya akan mengubah nilai rate dengan menghapus karakter “/5” di setiap nilai pada kolom rate dan menimpa hasilnya pada kolom rate dengan menggunakan code sebagai berikut :</p><pre>def split(x):<br>    return x.split(&#39;/&#39;)[0]<br>df[&#39;rate&#39;]=df[&#39;rate&#39;].apply(split)<br>df[&#39;rate&#39;].head()</pre><p>Membuat fungsi untuk memisahkan karakter yang dibatasi oleh karakter “/”, kemudian mengambil karakter pertama setelah dipisah. Fungsi ini diaplikasikan pada kolom rate.</p><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/223/1*Tqh1UDGKKz3kite-JoSn0w.png" /></figure><p>Tipe data pada kolom rate adalah string atau object. Selanjutnya mengubah nilai “NEW” dan “-” menjadi angka 0 dengan menggunakan code sebagai berikut :</p><pre>df.replace(&#39;NEW&#39;,0,inplace=True)<br>df.replace(&#39;-&#39;,0,inplace=True)</pre><p>Kemudian mengubah tipe data menjadi float dengan menggunakan code sebagai berikut :</p><pre>df[&#39;rate&#39;]=df[&#39;rate&#39;].astype(float)</pre><p>Selanjutnya saya akan menghapus baris yang memiliki data kosong pada kolom rest_type dan approx_cost(for two people) dengan menggunakan code sebagai berikut :</p><pre>df.dropna(axis=&#39;index&#39;,subset=[&#39;rest_type&#39;],inplace=True)<br>df.dropna(axis=&#39;index&#39;,subset=[&#39;approx_cost(for two people)&#39;],inplace=True)</pre><p>Cek data pada kolom approx_cost(for two people).</p><pre>df[&#39;approx_cost(for two people)&#39;].unique()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/606/1*9FGqnQZ7UdhVXYMpqdk9yw.png" /></figure><p>Cek tipe data pada kolom approx_cost(for two people).</p><pre>df[&#39;approx_cost(for two people)&#39;].dtype</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/81/1*MGBCCqeyhXqqxwsvNnAKVA.png" /></figure><p>Data pada kolom approx_cost(for two people) merupaka data string atau objek dan terdapat karakter “,” yang akan saya hapus kemudian mengubah tipe data menjadi integer dengan menggunakan code sebagai berikut :</p><pre>df[&#39;approx_cost(for two people)&#39;] = df[&#39;approx_cost(for two people)&#39;].apply(lambda x: x.replace(&#39;,&#39;,&#39;&#39;))<br>df[&#39;approx_cost(for two people)&#39;]=df[&#39;approx_cost(for two people)&#39;].astype(int)</pre><p>Lambda adalah sebuah fungsi anonim dalam Python yang digunakan untuk membuat fungsi sederhana tanpa harus menuliskan definisi fungsi secara lengkap. Fungsi lambda digunakan ketika kita memerlukan sebuah fungsi yang hanya akan digunakan sekali, atau ketika kita memerlukan fungsi yang sangat sederhana dan tidak perlu menulis sebuah fungsi dengan definisi yang panjang.</p><p><strong>Contoh Kasus 1</strong></p><p>Pada kasus ini saya akan memvisualisasikan nama restoran berdasarkan rata-rata ratingnya dan melihat sebaran rata rata ratingnya dengan menggunakan code sebagai berikut :</p><pre>df.groupby(&#39;name&#39;)[&#39;rate&#39;].mean().nlargest(20).plot.bar()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/534/1*V-gL2wGs-k6xMva_yINzOw.png" /></figure><p>Code di atas menghitung rata-rata rating berdasarkan nama restoran menggunakan fungsi grpupby() dan fungsi agregat mean() dan hanya mengambil 20 nilai tertinggi menggunaka fungsi nlargest(), lalu membuat bar plot untuk visualisasinya.</p><p>Selanjutnya saya akan membuat data frame berisikan rata-rata rating berdasarkan nama restoran dan membuat sebaran data rata rata rating nya dengan menggunakan code sebagai berikut :</p><pre>df_rate=df.groupby(&#39;name&#39;)[&#39;rate&#39;].mean().to_frame()<br>df_rate=df_rate.reset_index()<br>df_rate.columns=[&#39;restaurant&#39;,&#39;rating&#39;]<br>df_rate[&#39;rating&#39;] = df_rate[&#39;rating&#39;].astype(&#39;float&#39;)<br>df_rate.head()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/446/1*Uyo4UlOQCzHsvdB9jSADtw.png" /></figure><pre>sebaran_rating = df_rate[df_rate[&#39;rating&#39;] &gt; 0]<br>sns.set_style(style=&#39;whitegrid&#39;)<br>sns.distplot(sebaran_rating[&quot;rating&quot;])</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/563/1*TqzKO1phChBIuTjWaIWLrw.png" /></figure><p>Hampir lebih dari 50 persen restoran memiliki peringkat antara 3 dan 4. Restoran yang memiliki peringkat lebih dari 4,5 sangat jarang.</p><p><strong>Contoh Kasus 2</strong></p><p>Pada kasus ini saya akan membuat visualisasi 20 restoran yang paling terkenal yang ditandai dengan banyaknya orderan dengan nama restoran tersebut dengan menggunakan code sebagai berikut :</p><pre>plt.figure(figsize=(10,7))<br>chains=df[&#39;name&#39;].value_counts()[0:20]<br>sns.barplot(x=chains,y=chains.index,palette=&#39;deep&#39;)<br>plt.title(&quot;Most famous restaurants chains in Bangaluru&quot;)<br>plt.xlabel(&quot;Number of outlets&quot;) </pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/929/1*BQaZmAZOACk2npCLmHBi0w.png" /></figure><p>Bedasarkan plot di atas, restoran yang paling terkenal bernama Cafe Coffee Day.</p><p><strong>Contoh Kasus 3</strong></p><p>Pada kasus ini saya akan membuat pie chart dari data online order dan booking table menggunakan library plotly.</p><pre>x=df[&#39;online_order&#39;].value_counts()<br>labels=[&#39;accepted&#39;,&#39;not accepted&#39;]<br>fig = px.pie(df, values=x, names=labels,title=&#39;Online Order&#39;)<br>fig.show()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zHoBRGpIWFqp3VJh0LDhGw.png" /></figure><pre>y=df[&#39;book_table&#39;].value_counts()<br>labels=[&#39;Not book&#39;,&#39;Book&#39;]<br>plt.pie(y,explode=[0.0,0.1],autopct=&#39;%1.1f%%&#39;, labels=labels)</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/411/1*cJVFycEnq71i6msea5UzpQ.png" /></figure><p><strong>Contoh Kasus 4</strong></p><p>Pada kasus ini saya akan menghitung jumlah tipe dari 20 restoran terbanyak serta memvisualisasikannya dengan dua tipe bar yang berbeda dan restoran dengan vote terbanyak.</p><pre>plt.figure(figsize=(20,12))<br>df[&#39;rest_type&#39;].value_counts().nlargest(20).plot.bar(color=&#39;red&#39;)<br>plt.gcf().autofmt_xdate()</pre><p>Fungis .autofmt_xdate() akan menghasilkan label x miring</p><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fT9rSyH2TfiYEYTeUUwlJw.png" /></figure><pre>fig = go.Bar( <br>        x = df[&#39;rest_type&#39;].value_counts().nlargest(20).index,<br>        y = df[&#39;rest_type&#39;].value_counts().nlargest(20),<br>        name= &#39;rest_type&#39;)<br>iplot([fig])</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wDDu7GFF6ihMomRXSOhzWg.png" /></figure><p>Berdasarkan bar di atas, tipe restoran yang terbanyak adalah Quick Bites.</p><pre>df.groupby(&#39;name&#39;)[&#39;votes&#39;].sum().nlargest(10).plot.bar()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/572/1*Kd-LO3acPGvQ5VkWo3ghcA.png" /></figure><p>Berdasarkan bar di atas, restoran dengan vote terbanyak adalah restoran dengan nama Onesta.</p><p><strong>Contoh Kasus 6</strong></p><p>Pada kasus ini saya akan menghitung jumlah restoran berdasarkan lokasinya.</p><p>Cek nama restoran berdasarkan lokasi.</p><pre>df.groupby(&#39;location&#39;)[&#39;name&#39;].unique()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/588/1*5hHfVfs0xzQwgLeafgHELg.png" /></figure><p>Selanjutnya mengekstrak nilai pada data hasil grouping berdasarkan nama lokasi dan membuat list untuk menampang nilai hasil ekstraksi dengan menggunakan code sebagai berikut :</p><pre>restaurant=[]<br>location=[]<br>for key,location_df in df.groupby(&#39;location&#39;):<br>    location.append(key)<br>    restaurant.append(len(location_df[&#39;name&#39;].unique()))</pre><p>Berdasarkan bentuk dari data frame hasil grouping, key merupan index barupa nama lokasi dan nilai dari data tersebut adalah nama restoran.</p><p>Selanjutnya membuat membuat data frame dan menggabungkan list yang sudah dibuat dengan menggunakan code sebagai berikut :</p><pre>df_total=pd.DataFrame(zip(location,restaurant))<br>df_total.columns=[&#39;location&#39;,&#39;restaurant&#39;]<br>df_total.set_index(&#39;location&#39;,inplace=True)<br>df_total.sort_values(by=&#39;restaurant&#39;, ascending=False).head()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/202/1*VspU8Q2bj__VyTVmemRY_g.png" /></figure><p>Kemudia dari data tersebut saya akan ploting menggunakan bar plot.</p><pre>df_total.sort_values(by=&#39;restaurant&#39;, ascending=False).head(10).plot.bar()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/548/1*sT6tm0hwVfrqiNTxIz_G5w.png" /></figure><p>Membuat bar plot dengan alternatif lain.</p><pre>iplot([ go.Bar( <br>        x = df_total[&#39;restaurant&#39;].nlargest(10).index,<br>        y = df_total[&#39;restaurant&#39;].nlargest(10),<br>        name= &#39;Priority&#39;)<br>])</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NZzwMaHI0yfEmFv8SGH_6A.png" /></figure><p>Dari plot di atas daerah dengan restoran terbanyak adalah daerah Whitefield dengan 633 restoran.</p><p><strong>Contoh kasus 7</strong></p><p>Pada kasus ini saya akan menghitung jumlah jenis restoran berdasarkan jenis masakannya.</p><pre>df[&#39;cuisines&#39;].value_counts()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/436/1*AZZPy0NmPong5PEg5mP0uA.png" /></figure><p>Kemudian membuat barplot dari data di atas menggunakan library seaborn.</p><pre>cuisines=df[&#39;cuisines&#39;].value_counts()[:10]<br>sns.barplot(x = cuisines ,y = cuisines.index)<br>plt.xlabel(&#39;Count&#39;)<br>plt.title(&quot;Most popular cuisines of Bangalore&quot;)</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/746/1*3KqXexaS3adyC--BKwFDbQ.png" /></figure><p>Restoran dengan jenis masakan Nort India menjadi masakan paling populer.</p><p><strong>Contoh kasus 8</strong></p><p>Pada kasus ini saya akan melihat sebaran data pada kolom approx_cost(for two people).</p><pre>sns.distplot(df[&#39;approx_cost(for two people)&#39;])</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/594/1*5Bm0r2ZYklafpmKn8MYJ4A.png" /></figure><p>Selanjutnya saya akan melihat hubungan nilai cost dan rating dengan mebuat scatter plot.</p><pre>df2=df[df[&quot;rate&quot;] &gt; 0]<br>plt.figure(figsize=(10,7))<br>sns.scatterplot(x=&quot;rate&quot;,y=&#39;approx_cost(for two people)&#39;,hue=&#39;online_order&#39;,data=df)<br>plt.show()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/853/1*msGDmRciD9OYAiys9IxOMQ.png" /></figure><p>Dari scatter plot ini kita bisa mengambil kesimpulan bahwa restoran degan rating 4 — 4.5 menerima pesanan online dengan cost yang tinggi juga. Selain itu data rating restoran terkumpul pada harga &lt;2000.</p><p><strong>Contoh Kasus 9</strong></p><p>Pada kasus ini saya akan melihat distribusi data voting restoran dan data cost berdasarkan orderan menggunakan boxplot.</p><pre>sns.boxplot(x=&#39;online_order&#39;,y=&#39;votes&#39;,data=df)</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/582/1*0k-lxb0TyNK0hzSr6LOCWA.png" /></figure><p>Vote tertinggi terdapat pada jenis orderan online.</p><pre>sns.boxplot(x=&#39;online_order&#39;,y=&#39;approx_cost(for two people)&#39;,data=df)</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/574/1*wivE1bs-y-zqHeZcY7Xb3A.png" /></figure><p>Cost pada orderan offline lebih tinggi dri pada cost pada orderan online.</p><p><strong>Contoh Kasus 9</strong></p><p>Pada kasus ini saya akan mengambil data lokasi dan jumlah restoran dengan rating di atas 4 dan dengan cost di bawah 500.</p><pre>df_new=df[(df[&#39;rate&#39;]&gt;=4) &amp; (df[&#39;approx_cost(for two people)&#39;]&lt;=500)]</pre><pre>location=[]<br>total=[]<br>for loc,location_df in df_new.groupby(&#39;location&#39;):<br>    location.append(loc)<br>    total.append(len(location_df[&#39;name&#39;].unique()))</pre><pre>location_df=pd.DataFrame(zip(location,total))<br>location_df.columns=[&#39;location&#39;,&#39;restaurant&#39;]<br>location_df.set_index(&#39;location&#39;,inplace=True)<br>location_df.head()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/243/1*02nS8hSMn3WRTpIi-hj_eQ.png" /></figure><p>Selanjutnya viasualisasi data 10 lokasi restoran terbanyak pada kategori yang sudah ditentukan di atas menggunakan bar plot.</p><pre>location_df[&#39;restaurant&#39;].nlargest(10).plot.bar()<br>plt.gcf().autofmt_xdate()<br>plt.ylabel(&#39;Total restaurants&#39;)</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/558/1*o3g7PNRM1WJO6Ag3iZMkiA.png" /></figure><p>Lokasi denggan nama HSR dan Jayanagar menjadi lokasi dengan jumalh restoran terbanyak pada kategori di atas.</p><p><strong>Contoh Kasus 10</strong></p><p>Pada kasus ini saya akan membuat fungsi untuk mencari nama restoran dengan kondisi yang ditentukan yaitu restoran dengan rating di atas 4 dan dengan cost di bawah 500 berdasarkan inputan lokasi dan tipe restoran.</p><pre>def return_budget(location,restaurant):<br>    budget=df[(df[&#39;approx_cost(for two people)&#39;]&lt;=400) &amp; (df[&#39;location&#39;]==location) &amp; <br>                     (df[&#39;rate&#39;]&gt;4) &amp; (df[&#39;rest_type&#39;]==restaurant)]<br>    return(budget[&#39;name&#39;].unique())</pre><pre>return_budget(&#39;BTM&#39;,&quot;Quick Bites&quot;)</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/581/1*yhRCzHilSV4-rFwDI_6QTA.png" /></figure><p><strong>Contoh Kasus 11</strong></p><p>Pada kasus ini saya akan membuat peta sebaran lokasi restoran.</p><p>Langkah pertama saya membuat data frame baru untuk menampung nilai nama lokasi serta nilai latitude dan longitute.</p><pre>locations=pd.DataFrame({&quot;Name&quot;:df[&#39;location&#39;].unique()})</pre><p>Selanjutnya saya akan mengambil nilai latitude dan longitute pada fungsi nominatim di dalam library geopy.geocoders dengan menggunakan code sebagai berikut :</p><pre>lati=[]<br>long=[]<br><br>geolocator=Nominatim(user_agent=&quot;app&quot;)<br>for location in locations[&#39;Name&#39;]:<br>    location = geolocator.geocode(location)<br>    if location is None:<br>        lati.append(np.nan)<br>        long.append(np.nan)<br>    else:    <br>        geo_lat=(location.latitude)<br>        geo_lon = (location.longitude)<br>        lati.append(geo_lat)<br>        long.append(geo_lon)</pre><pre>locations[&#39;lat&#39;]=lati<br>locations[&#39;lon&#39;]=long<br>locations.head()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/353/1*aLexiqf7uQy7vSno4u13aQ.png" /></figure><p>Fungsi Nominatim adalah sebuah layanan geolokasi gratis yang dapat digunakan untuk mendapatkan informasi mengenai lokasi suatu alamat atau koordinat geografis. Parameter user agent pada fungsi Nominatim digunakan untuk memberikan informasi mengenai aplikasi atau perangkat yang melakukan permintaan ke layanan Nominatim.</p><p>Secara umum, user agent adalah string yang mengidentifikasi aplikasi atau perangkat yang digunakan untuk melakukan permintaan ke sebuah layanan. Penggunaan parameter user agent pada fungsi Nominatim penting untuk melindungi layanan dari permintaan yang berlebihan atau penyalahgunaan, serta untuk memudahkan identifikasi sumber permintaan.</p><p>Fungsi geocode adalah proses untuk mengubah alamat atau nama tempat menjadi koordinat geografis (latitude dan longitude) yang dapat digunakan untuk menentukan lokasi pada peta. Fungsi geocode biasanya digunakan dalam aplikasi yang memerlukan informasi lokasi seperti layanan peta, aplikasi navigasi, dan sebagainya.</p><p>Selanjutnya saya akan menghitung jumlah restoran berdasarkan lokasi.</p><pre>Rest_locations=pd.DataFrame(df[&#39;location&#39;].value_counts().reset_index())<br>Rest_locations.columns=[&#39;Name&#39;,&#39;count&#39;]<br>Rest_locations.head()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/258/1*LnSXHkQY-clUTEHkZwVHAA.png" /></figure><p>Kemudian dari kedua data frame di atas yaitu data frame locations dan data frame Rest_locations akan saya gabungkan yang mengacu pada kolom name dengan menggunakan code sebagai berikut :</p><pre>Restaurant_locations=Rest_locations.merge(locations,on=&#39;Name&#39;,how=&quot;left&quot;).dropna()<br>Restaurant_locations.head()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/433/1*AyYi-M-YGEbyS9Js1RPcRw.png" /></figure><p>Code di atas merupakan proses untuk join data menggunakan metode left join yang mengacu kepada data pada kolom name dan menghapus baris pada kolom yang tidak bernilai.</p><p>Selanjutnya membuat fungsi untuk mengatur basemap menggunakan library folium.</p><pre>def generateBaseMap(default_location=[12.97, 77.59], default_zoom_start=12):<br>    base_map = folium.Map(location=default_location, zoom_start=default_zoom_start)<br>    return base_map</pre><pre>basemap=generateBaseMap()<br>basemap</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WW9yHfzY5SyKe6i582XOtg.png" /></figure><p>Selanjutnya membuat peta sebaran restoran berdasarkan data di atas menggunakan fungsi HeatMap.</p><pre>HeatMap(Restaurant_locations[[&#39;lat&#39;,&#39;lon&#39;,&#39;count&#39;]],zoom=20,radius=15).add_to(basemap)</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*JleHzNIIdSv1NuLedCgqeg.png" /></figure><p><strong>Contoh Kasus 12</strong></p><p>Pada kasus ini saya akan melihat nama restoran yang paling populer berdasarkan tipe restoran yang dihitung berdasarkan kolom url yang mewakili orderan yang masuk.</p><pre>df_1=df.groupby([&#39;rest_type&#39;,&#39;name&#39;]).agg(&#39;count&#39;)<br>datas=df_1.sort_values([&#39;url&#39;],ascending=False).groupby([&#39;rest_type&#39;],<br>                as_index=False).apply(lambda x : x.sort_values(by=&quot;url&quot;,ascending=False).head(3))[&#39;url&#39;].reset_index().rename(columns={&#39;url&#39;:&#39;count&#39;})</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/497/1*lR5uqDiy1GXLp-vpWoQg2g.png" /></figure><p>Berdasarkan data di atas, restoran dengan tipe bakery yang bernama Just Bake menempati urutan pertama restoran terpopuler.</p><p>Sekian yang dapat saya share, Terimakasih.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d218cb97cb5f" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Time Series Data Analysis with Python (Stock Market Case-Study)]]></title>
            <link>https://medium.com/@bageaanugrahp/time-series-data-analysis-with-python-stock-market-case-study-915c525a141e?source=rss-6c45bf08cad------2</link>
            <guid isPermaLink="false">https://medium.com/p/915c525a141e</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[data-analysis]]></category>
            <dc:creator><![CDATA[Bagea Anugrah Pangeresa]]></dc:creator>
            <pubDate>Tue, 14 Mar 2023 15:38:11 GMT</pubDate>
            <atom:updated>2023-03-16T08:45:02.353Z</atom:updated>
            <content:encoded><![CDATA[<p>Saat ini ketersediaan data sangatlah banyak. Setiap hari data baru muncul dan dapat memberikan informasi kepada orang-orang. Salah satu data yang selalu update setiap hari adalah data pasar saham data ini bisa kita sebut sebagai time series data. Time series data adalah sekumpulan data yang diukur secara teratur pada waktu yang berbeda-beda. Data ini sering kali dihasilkan dari pengukuran suatu fenomena dalam jangka waktu yang kontinu dan biasanya disajikan dalam urutan kronologis.</p><p><strong>Set Up Data</strong></p><p>Pada kesempatan ini saya akan menggunakan data pasar saham dari Apple, Google, Microsoft, dan Amazon.</p><pre>import pandas as pd<br>import numpy as np<br>import matplotlib.pyplot as plt<br>import seaborn as sns</pre><pre>path= r&#39;G:\Data Analis\udemy_course\Data _analytics_real_world_projects_in_python\2-Time Series Data Analysis-20230310T133435Z-001\individual_stocks_5yr&#39;<br>company_list = [&#39;AAPL_data.csv&#39;, &#39;GOOG_data.csv&#39;, &#39;MSFT_data.csv&#39;, &#39;AMZN_data.csv&#39;]<br><br>#blank dataframe<br>all_data = pd.DataFrame()<br><br>for file in company_list:<br>    current_df = pd.read_csv(path+&quot;/&quot;+file, parse_dates = [&quot;date&quot;])<br>    all_data = pd.concat([all_data, current_df])<br><br>all_data</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/628/1*VqFuN1z66sgD_3-e9ABrUQ.png" /></figure><p>Code di atas dimaksudkan untuk membuat data frame baru dari data set yang tersedia dengan cara menggabungkan data set tersebut menggunakan fungsi pd.concat().</p><p><strong>Contoh Kasus 1</strong></p><p>Pada kasus ini saya akan melihat trend dari data close dan valume pada data frame di atas. Saya akan membuat 4 grafik berdasarkan company. Hal pertama yang saya lakukan adalah membuat list yang berisikan kode company.</p><pre>tech_list = all_data[&#39;Name&#39;].unique()</pre><pre>plt.figure(figsize=(18,10))<br>for i, company in enumerate(tech_list,1):<br>    plt.subplot(2, 2, i)<br>    df=all_data[all_data[&#39;Name&#39;]==company]<br>    plt.plot(df[&#39;date&#39;],df[&#39;close&#39;])<br>    plt.title(company)</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Z2m7kKp-K-S2LbM-od2BJA.png" /></figure><p>Fungsi plt.subplot yaitu membagi plot menjadi empat bagian dengan dua baris dan dua kolom (2,2). Setiap plot akan diberi nomor urut tergantung pada letaknya di plot keseluruhan.</p><p>Hasil ploting data close menggunakan grafik garis terlihat bahwa harga saham close dati semua company memiliki trend meningkat setiap tahunnya.</p><pre>import plotly.express as px<br><br>for company in (tech_list):<br>    df=all_data[all_data[&#39;Name&#39;]==company]<br>    fig = px.line(df, x=&quot;date&quot;, y=&quot;volume&quot;, title=company)<br>    fig.show()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fjAJa8EGefnmubbs6y9T0A.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Lekj-hXlpibGKJvRcqW7RQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RGi4C5StjgSvU0BamaBxew.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3rrxHSAZs-790LnazwxJDQ.png" /></figure><p>Data volume sangat bervariasi, namun secara trend terlihat stabil di semua company.</p><p><strong>Contoh Kasus 2</strong></p><p>Pada kasus ini saya akan menganalisis perubahan harga saham harian pada saham Apple.</p><pre>df=pd.read_csv(r&#39;G:\Data Analis\udemy_course\Data _analytics_real_world_projects_in_python\2-Time Series Data Analysis-20230310T133435Z-001\individual_stocks_5yr/AAPL_data.csv&#39;, parse_dates= [&quot;date&quot;])<br>df.head()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/534/1*o_vH7A7kOz57ePb7aDP0KQ.png" /></figure><p>Selanjutnya menghitung persentase return dari saham Apple dengan menggunakan code sebagai berikut :</p><pre>df[&#39;1day % return&#39;]=((df[&#39;close&#39;]-df[&#39;open&#39;])/df[&#39;close&#39;])*100<br>df.head()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/652/1*BHEmgQgnrL-0phOIWjAxwQ.png" /></figure><pre>import plotly.express as px<br>fig = px.line(df, x=&quot;date&quot;, y=&quot;1day % return&quot;, title=&#39;&#39;)<br>fig.show()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*mAT82lRhCEfL4y3HddP1Pg.png" /></figure><p>Selanjutnya saya akan ploting data return dengan batasan interval waktu dengan menggunakan code sebagai berikut :</p><pre>df.set_index(&#39;date&#39;)[&#39;2016-01-01&#39;:&#39;2016-03-31&#39;][&#39;1day % return&#39;].plot()<br>plt.xticks(rotation=&#39;vertical&#39;)</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/546/1*hQD1mDMmMNaBIcntXRLyQg.png" /></figure><p>Mengatur data date sebagai index kemudian mengambil data pada interval waktu tertentu.</p><p>Selanjutnya saya akan plotting rata rata bulanan dari data close. Hal yang pertama saya lakukan adalah membuat copy data dari data frame utama lalu mengatur data date sebagai index.</p><pre>df2=df.copy()<br>df2.set_index(&#39;date&#39;,inplace=True)<br>df2.head()<br></pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/628/1*JyblDfPjBsbNbKRdO9Yddw.png" /></figure><p>Menghitung rata-rata bulanan dari data return dengan menggunakan code sebagai berikut :</p><pre>df2[&#39;close&#39;].resample(&#39;M&#39;).mean()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/404/1*ZkZ5oIv35jSQqZ4Z01soIw.png" /></figure><pre>df2[&#39;close&#39;].resample(&#39;M&#39;).mean().plot()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/561/1*lQgHKNiVy6Pw_wS7hMbC1w.png" /></figure><p>Fungsi resample() akan menjadi acuan fungsi agregat dalam melakukan operasi hitung berdasarkan argumen pada fungsi resample berupa argumen frekuensi. Argumen ‘M’ mewakili month atau bulan.</p><p><strong>Contoh Kasus 3</strong></p><p>Pada kasus ini saya akan memeriksa apakah harga Saham perusahaan teknologi ini (Amazon, Apple, Google, Microsoft) berkorelasi atau tidak.</p><p>Pertama saya akan memanggil dataset yang akan di pakai.</p><pre>aapl=pd.read_csv(r&#39;G:\Data Analis\udemy_course\Data _analytics_real_world_projects_in_python\2-Time Series Data Analysis-20230310T133435Z-001\individual_stocks_5yr/AAPL_data.csv&#39;)<br>goog=pd.read_csv(r&#39;G:\Data Analis\udemy_course\Data _analytics_real_world_projects_in_python\2-Time Series Data Analysis-20230310T133435Z-001\individual_stocks_5yr/GOOG_data.csv&#39;)<br>amzn=pd.read_csv(r&#39;G:\Data Analis\udemy_course\Data _analytics_real_world_projects_in_python\2-Time Series Data Analysis-20230310T133435Z-001\individual_stocks_5yr/AMZN_data.csv&#39;)<br>msft=pd.read_csv(r&#39;G:\Data Analis\udemy_course\Data _analytics_real_world_projects_in_python\2-Time Series Data Analysis-20230310T133435Z-001\individual_stocks_5yr/MSFT_data.csv&#39;)</pre><p>Selanjutnya menggabungkan data yang akan digunakan dan dimasukkan kedalam data frame baru.</p><pre>close=pd.DataFrame()<br>close[&#39;aapl&#39;]=aapl[&#39;close&#39;]<br>close[&#39;goog&#39;]=goog[&#39;close&#39;]<br>close[&#39;amzn&#39;]=amzn[&#39;close&#39;]<br>close[&#39;msft&#39;]=msft[&#39;close&#39;]<br><br>close.head()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/271/1*Nqz9AzGzMv3wOBjUUBAr8A.png" /></figure><p>Dari data di atas dapat dilakukan analisis lanjutan berupa scatter plot yang dapat menggambarkan hubungan data saham antar company menggunakan fungsi sns.pairplot pada library seaborn.</p><pre>import seaborn as sns<br>sns.pairplot(data=close)</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/986/1*3cH9Uskj-qBk5t4uu7UuSQ.png" /></figure><p>Analisis berikutnya dapat menggunakan plot heatmap.</p><pre>sns.heatmap(close.corr(),annot=True)</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/524/1*etynV2yK5WkAYYm51BnVOQ.png" /></figure><p><strong>Contoh Kasus 4</strong></p><p>Pada kasus ini saya akan menganalisa nilai resiko saham Apple.</p><p>Pertama saya akan menghitung persentase return dari data saham Apple.</p><pre>data[&#39;appl_change&#39;]=((aapl[&#39;close&#39;]-aapl[&#39;open&#39;])/aapl[&#39;close&#39;])*100</pre><p>Selanjutnya membuat histogram dari data persentase return untuk melihat distribusi data dengan menggunakan code sebagai berikut :</p><pre>sns.distplot(data[&#39;appl_change&#39;])</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/567/1*EZuu8jRgQUmXth1xdkNZmQ.png" /></figure><p>Distribusi data persentase return Apple company adalah distribusi normal.</p><pre>data[&#39;appl_change&#39;].std()</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/158/1*FSkvXOeu4TrFuvaPLWbd4A.png" /></figure><p>Standar deviasi dari data persentase return Apple company sebesar 1.187.</p><pre>data[&#39;appl_change&#39;].quantile(0.1)</pre><p>akan mengembalikan hasil sebagai berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/161/1*T-Lr-SM_Kmty6OQe5JzvOg.png" /></figure><p>Data kuantil 10% dari data persentase return Apple company sebesar -1.4246 yang berarti 90% dari Loss harian terburuk tidak akan melebihi 1,42.</p><p>Sekian yang dapat saya share mengenai time series data analysis. Terimakasih</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=915c525a141e" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Youtube Dataset Analysis Using Python]]></title>
            <link>https://medium.com/@bageaanugrahp/youtube-dataset-analysis-using-python-c6c1aa61d6e6?source=rss-6c45bf08cad------2</link>
            <guid isPermaLink="false">https://medium.com/p/c6c1aa61d6e6</guid>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[python]]></category>
            <dc:creator><![CDATA[Bagea Anugrah Pangeresa]]></dc:creator>
            <pubDate>Mon, 13 Mar 2023 01:45:50 GMT</pubDate>
            <atom:updated>2023-03-13T01:45:50.866Z</atom:updated>
            <content:encoded><![CDATA[<p>Dalam menganalisa kondisi suatu objek kita perlu data yang beragam. Kumpulan data yang tersedia harus mampu di analisa sehingga menjadi informasi yang bermafaat.</p><p>Pada kesempatan ini saya akan menggunakan dataset Youtube yang berisikan komentar penonton, reaksi penonton berupa like atau dislike suatu video, dan data identitas dari suatu video.</p><p><strong>Setup data ( UScoments.csv):</strong></p><p>Sebelum kita menganalisis sebuah data set, kita perlu setting data yang akan digunakan serta library yang dibutuhkan untuk pengolahan data tersebut.</p><pre>import pandas as pd<br>import numpy as np<br>import seaborn as sns<br>import matplotlib.pyplot as plt<br><br>comments = pd.read_csv(r&#39;UScomments.csv&#39;, error_bad_lines=False)<br>comments.head()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/551/1*c6PBNn0bxwysTqpX6w_1zA.png" /></figure><p>Analisa awal dari sebuah data frame tersebut dengan mengecek data kosong pada setiap kolom yang ada dengan menggunakan code sebagai berikut :</p><pre>comments.isna().sum()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/168/1*kDaitYhz2aciHMMZd6ORQQ.png" /></figure><p>Terdapat nilai kosong pada kolom comment_text sebanyak 25 baris. Selanjutnya baris dengan nilai yang kosong akan kita hapus atau drop dengan menggunakan code sebagai berikut :</p><pre>comments.dropna(inplace=True)</pre><p>Code diatas akan menghapus baris jika terdapat nilai yang kosong. Parameter ‘inplace= True’ bertujuan agar data set utama juga termodifikasi.</p><p><strong>Contoh Kasus 1</strong></p><p>Pada kasus ini saya akan melakukan Sentiment Analysis. Sentimen analisis adalah proses pengumpulan, pengolahan, dan analisis data teks atau non-teks untuk mengekstraksi dan mengevaluasi sentimen, opini, atau emosi yang terkandung dalam data tersebut. Sentimen analisis dilakukan dengan menggunakan teknik-teknik pemrosesan bahasa alami (natural language processing) dan machine learning untuk memahami makna dan konteks dari setiap kata, frasa, atau kalimat dalam teks. Dalam kasus ini saya akan menggunakan library TextBlob. TextBlob adalah sebuah library Python untuk pemrosesan bahasa alami (natural language processing). Library ini menyediakan API sederhana untuk melakukan tugas-tugas seperti klasifikasi teks, analisis sentimen, ekstraksi frasa, analisis part-of-speech, pengenalan bahasa, dan pemeriksaan ejaan.</p><pre>%pip install textblob</pre><pre>from textblob import TextBlob<br>polarity=[]<br>for comment in comments[&#39;comment_text&#39;]:<br>    try:<br>        polarity.append(TextBlob(comment).sentiment.polarity)<br>    except:<br>        polarity.append(0)</pre><p>Code diatas digunakan untuk membuat list sebagai tempat menyimpan skor polaritas sentimen dari setiap komentar pada kolom comment_text. Jika analisis sentimen gagal maka kode akan menambahkan skor 0 ke dalam daftar polarity menggunakan blok except.</p><p>Selanjutnya kita akan cek skor polaritas hasil analisa.</p><pre>polarity[:10]</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/548/1*KXj17i7UNzjDBZ_3HqfrrQ.png" /></figure><p>Nilai polaritas positif dalam analisis sentimen menunjukkan bahwa teks atau komentar yang dianalisis memiliki sentimen atau perasaan positif. Semakin tinggi nilai polaritas positif, semakin kuat sentimen positif dalam teks tersebut dengan nilai tertinggi adalah 1. Begitupun sebaliknya jika nilai polaritas negatif maka komentar yang dianalisis memiliki sentimen atau perasaan negatif dengan nilai tertinggi adalah -1.</p><p>Selanjutnya saya akan menambahkan kolom skor polaritas pada dataset utama.</p><pre>comments[&#39;polarity&#39;]=polarity<br>comments.head(20)</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/671/1*K6u3FQVJ7y9UziKarqo-ow.png" /></figure><p>Hasil analisis sentimen berupa skor polaritas dengan nilai yang bervariasi. Nilai 0 merepresentasikan komentar netra, nilai positif merepresentasikan komentar positif, begitu pula dengan nilai negatif merepresentasikan komentar negatif.</p><p><strong>Contoh Kasus 2</strong></p><p>Pada kasus ini saya akan membuat Wordcloud Analysis dari dataset komentar penonton. Hal pertama yang saya lakukan adalah install dan import library wordcloud.</p><pre>%pip install wordcloud</pre><pre>from wordcloud import WordCloud , STOPWORDS</pre><p>Selanjutnya membuat dataset baru berdasarkan kategori skor polaritas. Disini saya hanya akan membagi menjadi 2 kategori skor, komentar positif diwakili dengan skor polaritas yang bernilai 1, dan komentar negatif diwakili dengan skor polaritas bernilai -1.</p><pre>comments_positive=comments[comments[&#39;polarity&#39;]==1]<br>comments_negative=comments[comments[&#39;polarity&#39;]==-1]</pre><p>Dalam analisis Wordcloud data harus berupa 1 kumpulan string. Pada kasus ini data komentar pada kolom comment_text akan digabung menjadi 1 rangkaian string dengan menggunakan code sebagai berikut :</p><pre>total_comments_negative=&#39; &#39;.join(comments_negative[&#39;comment_text&#39;])<br>total_comments_positive=&#39; &#39;.join(comments_positive[&#39;comment_text&#39;])</pre><p>Fungsi join akan menggabungkan data pada kolom comment_text yang akan dipisahkan oleh suatu objek yang pada kasus ini adalah spasi.</p><p>Selanjutnya saya akan membuat wordcloud dari data yang sudah disiapkan dengan menggunakan code sebagai berikut :</p><pre>wordcloud=WordCloud(stopwords=set(STOPWORDS)).generate(total_comments_negative)<br>plt.figure(figsize=(15,5))<br>plt.imshow(wordcloud)<br>plt.axis(&#39;off&#39;)</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/789/1*L4G7tu5bS5bH-z_WzmlVgQ.png" /></figure><p>Parameter stopwords pada wordcloud digunakan untuk mengatur kata-kata yang akan dihapus atau diabaikan pada saat membangun wordcloud. Kata-kata yang dihapus tersebut biasanya termasuk dalam kategori stop words atau kata-kata umum yang tidak memiliki makna khusus dan sering muncul dalam bahasa tertentu.</p><p>Fungsi generate() membutuhkan input berupa data string kemudian memproses data tersebut untuk menghitung frekuensi kemunculan setiap kata di dalamnya. Setelah itu, fungsi generate() akan mengatur ukuran dan warna dari setiap kata berdasarkan frekuensi kemunculan mereka, kemudian menghasilkan sebuah gambar wordcloud yang merepresentasikan kata-kata tersebut dalam bentuk visual.</p><p>Hasil generate wordcloud pada komentar negatif didapatkan hasil bahwa kata ‘worst’ dan ‘terrible’ merupakan kata negatif yang sering digunakan oleh penonton.</p><pre>wordcloud=WordCloud(stopwords=set(STOPWORDS)).generate(total_comments_positive)<br>plt.figure(figsize=(15,5))<br>plt.imshow(wordcloud)<br>plt.axis(&#39;off&#39;)</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/789/1*U0Gry0a8Ik-uJtQcvjI5Ww.png" /></figure><p>Hasil generate wordcloud pada komentar positif didapatkan hasil bahwa kata ‘best’ dan ‘awesome’ merupakan kata positif yang sering digunakan oleh penonton.</p><p><strong>Contoh Kasus 3</strong></p><p>Disetiap komentar penggunaan emoji oleh penonton kerap dipakai. Pada kasus ini saya akan cek penggunaan emoji apa yang sering digunakan menggunakan library emoji. Emoji merupakan Unicode, unicode sendiri adalah standar pengkodean karakter universal yang menetapkan kode untuk setiap karakter dan simbol dalam setiap bahasa.</p><pre>%pip install emoji</pre><pre>import emoji</pre><p>Kemudian saya akan membuat list sebagai tempat menyimpan emoji yang telah di cek disetiap baris komentar pada kolom comment_text dengan menggunakan code sebagai berikut :</p><pre>emoji_list=[]<br>for comment in comments[&#39;comment_text&#39;]:<br>    for char in comment:<br>        if char in emoji.EMOJI_DATA:<br>            emoji_list.append(char)</pre><pre>emoji_list[0:10]</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/474/1*_3pXDuZ6_jZkpe7PhVXF-Q.png" /></figure><p>Didalam library emoji terdapat kumpulan Unicode yang akan menjadi data pembanding untuk pengecekan emoji pada data komentar penonton.</p><p>Selanjutnya saya akan menghitung frekuensi dari setiap emoji yang digunakan menggunakan library collections dengan menggunakan code sebagai berikut :</p><pre>from collections import Counter<br>Counter(emoji_list).most_common(10)</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/128/1*dgqcSyg2fbhqkZ3wNTj3eg.png" /></figure><p>Selanjutnya saya akan mengekstrak data emoji hasil penghitungan 10 emoji dengan frekuensi tertinggi dengan menggunakan code sebagai berikut :</p><pre>emojis=[Counter(emoji_list).most_common(10)[i][0] for i in range(10)]<br>emojis</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/531/1*nUIPShL9jp8E3UAOrSPmzA.png" /></figure><p>Selanjutnya saya akan mengekstrak data frekuensi hasil penghitungan 10 emoji dengan frekuensi tertinggi dengan menggunakan code sebagai berikut :</p><pre>freqs=[Counter(emoji_list).most_common(10)[i][1] for i in range(10)]<br>freqs</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/514/1*zm4hGHfEQukt_2l2e4o30Q.png" /></figure><p>Agar memudahkan dalam analisa maka saya akan membuat grafik bar menggunakan data emoji dan frekuensi dengan menggunakan library plotly.</p><pre>%pip install plotly</pre><pre>import plotly.graph_objs as go<br>from plotly.offline import iplot</pre><pre>trace=go.Bar(x=emojis,y=freqs)<br>iplot([trace])</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FHwUo0gVJTTrbCyT8YCpDA.png" /></figure><p>Hasil plot emoji dengan frekuensi terbanyak didapatkan bahwa emoji yang menggambarkan kebahagiaan merupakan emoji yang sering digunakan.</p><p><strong>Contoh Kasus 4</strong></p><p>Dalam kasus ini saya memiliki beberapa file dataset yang akan digabungkan untuk menjadi dataset yang kompak yang selanjutnya akan dianalisa secara utuh menggunakan library os dan pandas.</p><pre>import os</pre><p>Selanjutnya saya akan membuat variable yang berisikan path folder dari file yang akan kita gabungkan.</p><pre>path=r&#39;G:\Data Analis\udemy_course\Data _analytics_real_world_projects_in_python\1..Youtube-20230310T132926Z-001\additional_data&#39;</pre><p>Kemudian membuat list dari file yang terdapat pada path folder tersebut.</p><pre>files=os.listdir(path)<br>files</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/208/1*l0NUn8Nhs7wf40UP8o2LoQ.png" /></figure><p>Karena saya hanya akan menggunakan file dengan tipe data .csv maka saya akan ekstrak list tersebut dan hanya mengambil nama file dengan tipe data .csv dengan menggunakan code sebagai berikut :</p><pre>files_csv=[files[i] for i in range(0,len(files),2)]<br>files_csv</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/141/1*Hp3VZ3M1A3elkF8vaxBJcw.png" /></figure><p>Selanjutnya saya akan menggabungkan data set yang tersebut dan menambahkan kolom yang berisi kode negara yang didapat dari nama file data set yang ada dengan menggunakan code sebagai berikut :</p><pre>full_df=pd.DataFrame()<br><br>for file in files_csv:<br>    current_df=pd.read_csv(path+&#39;/&#39;+file,encoding=&#39;iso-8859-1&#39;,error_bad_lines=False)<br>    current_df[&#39;country&#39;]=file.split(&#39;.&#39;)[0][0:2]<br>    full_df=pd.concat([full_df,current_df])</pre><pre>full_df.head()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sQmh_rWwo_hiUhrXDju4fQ.png" /></figure><p>Data set yang telah digabungkan dimasukkan kedalam variable bernama full_df dengan menggunakan fungsi pd.concat() yang terdapat dalam library pandas.</p><p>Cek jumlah baris dan kolom pada dataframe full_df.</p><pre>full_df.shape</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/99/1*kIK3mdhoGNi9Vh1A5Y6aSw.png" /></figure><p>Terdapat 375942 baris dan 17 kolom.</p><p><strong>Contoh Kasus 5</strong></p><p>Pada kasus ini saya akan membuat kolom baru pada dataframe full_df berisi data ketegori video dengan cara mapping kemudian melihat sebaran jumlah likes berdasarkan kategori video. Dalam kasus ini saya membutuhkan data set kedua berisi daftar kategori.</p><pre>cat=pd.read_csv(r&#39;G:\Data Analis\udemy_course\Data _analytics_real_world_projects_in_python\1..Youtube-20230310T132926Z-001/category_file.txt&#39;,sep=&#39;:&#39;)<br>cat.head()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/239/1*tB_3t1xpQ1cduSG8ewARqw.png" /></figure><p>Nama kolom pada dataset diatas masih belum benar posisinya, dikarenakan judul kolom masih tersambung. Hal pertama yang dilakukan adala membuat index baru dengan menggunakan code sebagai berikut :</p><pre>cat.reset_index(inplace=True)<br>cat.head()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/289/1*857b7FBR87LCy1KH9iwg1Q.png" /></figure><p>Selanjutnya saya akan mengubah nama kolom dengan menggunakan code sebagai berikut :</p><pre>cat.columns=[&#39;category_id&#39;,&#39;category_name&#39;]<br>cat.head()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/257/1*cqYA1ROjz2qgvdrgGCOWsA.png" /></figure><p>Langkah selanjutnya yaitu mengatur kolom category_id menjadi index dengan menggunakan code sebagai berikut :</p><pre>cat.set_index(&#39;category_id&#39;,inplace=True)<br>cat.head()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/229/1*vnMvepRM7-ssXDCwZoEPKw.png" /></figure><p>Dalam menggunakan metode mapping kita harus membuat data acuan kita menjadi tipe data dictionary.</p><pre>dct = cat.to_dict()<br>dct[&#39;Category_name&#39;]<br></pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/247/1*HWzJ37_MoUW4A3B3wJiAFg.png" /></figure><p>Selanjutnya kita akan melakukan mapping menggunakan data pada kolom category_id yang terdapat pada dataframe full_df dan mengacu kepada data category_name pada data dictionary dct dengan menggunakan code sebagai berikut :</p><pre>category = full_df[&#39;category_id&#39;].map(dct[&#39;category_name&#39;])</pre><p>Kemudian saya akan menyisipkan kolom baru pada posisi index kolom 4 berisi nama kategori yang telah di mapping dengan menggunakan code sebagai berikut :</p><pre>cp = full_df[&#39;title&#39;].apply(punc_count)<br>full_df.insert(3, &#39;count_punc&#39;, cp)<br>full_df.head()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LPtfRPCMuzjGlsFhggOabg.png" /></figure><p>Analisa yang dapat dilakukan salah satunya adalah melihat sebaran jumlah likes berdasarkan kategori video. Disini saya akan menggunakan boxplot untuk memvisualisasikan sebaran datanya.</p><pre>plt.figure(figsize=(12,8))<br>sns.boxplot(x=&#39;category_name&#39;,y=&#39;likes&#39;,data=full_df)<br>plt.xticks(rotation=&#39;vertical&#39;)</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/988/1*fSlB7BRkaJd-BR6pfTclgw.png" /></figure><p>Dari boxplot di atas terlihat bahwa video dengan kategori music memiliki jumlah likes paling tinggi.</p><p><strong>Contoh Kasus 6</strong></p><p>Pada kasus ini saya akan menghitung dan memvisualisasikan data hasil keterlibatan penonton seperti like, dislike, dan komentar serta melihat korelasinya.</p><p>Pertama saya akan menghitung tingkat like, tingkat dislike, dan tingkat komentar dan menambahkan kolom pada dataframe full_df.</p><pre>full_df[&#39;like_rate&#39;]=(full_df[&#39;likes&#39;]/full_df[&#39;views&#39;])*100<br>full_df[&#39;dislike_rate&#39;]=(full_df[&#39;dislikes&#39;]/full_df[&#39;views&#39;])*100<br>full_df[&#39;comment_count_rate&#39;]=(full_df[&#39;comment_count&#39;]/full_df[&#39;views&#39;])*100<br>full_df.head()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*c7CYn1JUCkVyqztq_NGcXQ.png" /></figure><p>Selanjutnya saya akan memvisualisasikan sebaran like_rate menggunakan boxplot.</p><pre>plt.figure(figsize=(12,8))<br>sns.boxplot(x=&#39;category_name&#39;,y=&#39;like_rate&#39;,data=full_df)<br>plt.xticks(rotation=&#39;vertical&#39;)</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/997/1*WQs-JLdBlMG0yfsNhR4TdQ.png" /></figure><p>Berikutnya saya akan melihat korelasi antara jumlah view dengan jumlah like dengan menggunakan code sebagai berikut :</p><pre>sns.regplot(data=full_df,x=&#39;views&#39;,y=&#39;likes&#39;)</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/554/1*qBjF1A09N6s9aMpS5vihLg.png" /></figure><pre>full_df[[&#39;views&#39;, &#39;likes&#39;, &#39;dislikes&#39;]].corr()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/299/1*GZersWV0HDGzG6HafWMnzQ.png" /></figure><p>Berdasarkan perhitungan di atas korelasi antara jumlah view, like, dan dislike memiliki hubungan berbanding lurus.</p><p>Selanjutnya nilai korelasi akan divisualisasikan menggunkan heatmap dengan menggunakan code sebagai berikut :</p><pre>sns.heatmap(full_df[[&#39;views&#39;, &#39;likes&#39;, &#39;dislikes&#39;]].corr(),annot=True)</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/515/1*_Xh1eeixaF11HgZa8H963w.png" /></figure><p><strong>Contoh Kasus 7</strong></p><p>Pada kasus ini saya akan menghitung jumlah video berdasarkan channel youtube menggunakan fungsi groupby().</p><pre>cdf = full_df.groupby(&#39;channel_title&#39;)[&#39;video_id&#39;].count().sort_values(ascending=False).to_frame().reset_index().rename(columns={&#39;video_id&#39;:&#39;total_videos&#39;})<br>cdf</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/416/1*O235FGUGo3HBQIbSzY6pzA.png" /></figure><p>Fungsi count() pada kolom video_id akan menghitung jumlah data yang ada pada kolom tersebut dan dikelompokkan berdasarkan nama channel menggunakan fungsi groupby().</p><p>Kemudian saya akan memvisualisasikan 20 channel dengan video terbanyak dari data tersebut menggunakan library plotly.express.</p><pre>import plotly.express as px</pre><pre>px.bar(data_frame=cdf[0:20],x=&#39;channel_title&#39;,y=&#39;total_videos&#39;)</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IBRJRo-VWVjX0I8P9GZSVA.png" /></figure><p>Berdasarkan perhitungan di atas, channel dengan nama The Late Show with Stephen Colbert memiliki jumlah video terbanyak dengan 984 video.</p><p><strong>Contoh Kasus 8</strong></p><p>Pada kasus ini saya ingin menghitung jumlah tanda baca yang digunakan dalam judul video. Disini saya akan menggunakan library string.</p><pre>import string</pre><p>Cek daftar tanda baca menggunakan variable punctuation yang ada di dalam library string.</p><pre>string.punctuation</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/301/1*_XEz5of_jpIPqVUY1U9v_Q.png" /></figure><p>Selanjutnya membuat fungsi untuk menghitung jumlah tanda baca dalam judul video dengan menggunakan code sebagai berikut :</p><pre>def punc_count(x):<br>    return len([c for c in x if c in string.punctuation])</pre><p>Kemudiann membuat kolom baru yang berisikan jumlah tanda baca dari setiap judul video dengan menggunakan code sebagai berikut :</p><pre>cp = full_df[&#39;title&#39;].apply(punc_count)<br>full_df.insert(3, &#39;count_punc&#39;, cp)<br>full_df.head()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Nox7y_8QGPe_6cCRy52e0w.png" /></figure><p>Sekian yang dapat saya share mengenai filterisasi, manipulasi, dan visualisasi dari tipe data teks pada data set Youtube.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c6c1aa61d6e6" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Data visualization with Google Data Studio]]></title>
            <link>https://medium.com/@bageaanugrahp/data-visualization-with-google-data-studio-6e1c665121b9?source=rss-6c45bf08cad------2</link>
            <guid isPermaLink="false">https://medium.com/p/6e1c665121b9</guid>
            <category><![CDATA[google-data-studio]]></category>
            <category><![CDATA[data-analysis]]></category>
            <dc:creator><![CDATA[Bagea Anugrah Pangeresa]]></dc:creator>
            <pubDate>Tue, 14 Feb 2023 06:26:44 GMT</pubDate>
            <atom:updated>2023-02-14T06:26:44.983Z</atom:updated>
            <content:encoded><![CDATA[<p>Tujun utama dari sebuah analisis data adalah mendapatkan informasi mengenai karakteristik dan <em>trend</em> dari sebuah objek atau lingkungan yang kita amati. Visualisasi data memudahkan kita untuk mendapatkan informasi tersebut.</p><p>Data set yang digunakan adalah data Hotel Booking Demand.</p><p>Sumber: Antonio, N., de Almeida, A. and Nunes, L. (2019) “Hotel booking demand datasets,” Data in Brief, 22, pp. 41–49. Available at: <a href="https://doi.org/10.1016/j.dib.2018.11.126">https://doi.org/10.1016/j.dib.2018.11.126</a></p><p><strong>Contoh Kasus 1</strong></p><p>Pada kasus ini saya ingin melihat total booking di masing-masing jenis hotel.</p><p>Setting data dan parameter untuk mendapatkan total booking pada jenis hotel City Hotel dan Resrot hotel menggunakan Score card.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/258/1*sWjlYnnZ_c7kBSB1kZZjng.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*A7tV1VBp6SZJr1LeagyeuQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/974/1*Vtxly40tveJxq27NHcOxwA.png" /></figure><p>Untuk mendapatkan data spesifik kita data menggunakan tool filter seperti pada contoh di atas.</p><p>Setting data dan parameter untuk mendapatkan total booking berdasarkan jenis hotel, negara, dan market segment menggunakan Table with heatmap.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/265/1*r18Z8uOza_eOe_IPUj5l6w.png" /></figure><p>Hasil :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/657/1*xnXlQavR_9WaDtMLVtrLvw.png" /></figure><p>Nama jenis hotel saya tambahkan menggunakan tool ‘Text’. Dari hasil visualisasi di atas didapatkan bahwa jumlah booking pada City hotel lebih besar dibanding Resort hotel. Penyumbang terbanyak jumlah booking pada City hotel yaitu dari negara Portugal pada market_segment Groups.</p><p><strong>Contoh Kasus 2</strong></p><p>Diketahui dataset ini berasal dari resort hotel di daerah Algarve dan city hotel di kota Lisbon, keduanya di negara Portugal. Pada kasus ini saya akan membagi data reservasi dan menghitung jumlah booking yang tidak dibatalkan berdasarkan negara, dimana reservasi dari negara Portugal merupakan jenis pasar lokal (<em>local tourism</em>) sedangkan reservasi dari negara lain merupakan jenis pasar mancanegara (<em>inbound tourism</em>).</p><p>Setting data dan parameter untuk mendapatkan total booking berdasarkan negara, dan market_type menggunakan Bar Chart. Sebelum itu saya akan membuat field baru berisi data kategori <em>local tourism </em>dan<em> inbound tourism </em>dari data pada kolom country dengan menggunakan tool add field kemudian membuat formula sesuai kebutuhan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lQKOUgLmux276TshM-lDBA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/263/1*Q5yVpRWP-X-yNGTScftNYA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/261/1*3Vz9vSfDecwCTldwnVbqDQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xv7E9aRxaWU14on-P-Splw.png" /></figure><p>Setting data dan parameter untuk mendapatkan total booking berdasarkan negara, dan market_type menggunakan Table with heatmap.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/258/1*7EXwqeLyCrrF6AfXEq_1iQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/261/1*oxgdR-5zbiju9ti4gKX2yA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/981/1*iA2FIrdQVTu4-zQPAlDZUg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xv7E9aRxaWU14on-P-Splw.png" /></figure><p>Hasil :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/864/1*o9528PdnKttkLzREXzZfGg.png" /></figure><p>Berdasarkan hasil visualisasi di atas didapatkan bahwa jumlah booking <em>Inbound</em> lebih besar dibanding <em>local</em>. Penyumbang terbanyak jumlah booking pasar mancanegara yaitu dari negara United Kingdom yaitu sebesar 9.676 booking.</p><p><strong>Contoh Kasus 3</strong></p><p>ADR (<em>Average Daily Rate</em>) adalah salah satu metrik penting dalam industri hotel. Kasus kali ini saya akan visualisasikan rata-rata ADR di setiap minggunya pada tiap jenis hotel.</p><p>Setting data dan parameter untuk mendapatkan rata-rata ADR di setiap minggunya pada tiap jenis hotel menggunakan Time series chart.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/266/1*q9xmBOiEZUjkXldq_i7ERg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xv7E9aRxaWU14on-P-Splw.png" /></figure><p>Hasil :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/703/1*eim_6WawGE2y1EZyubMeqA.png" /></figure><p>Berdasarkan chart di atas diketahui bahwa pola ADR dari City Hotel relatif stabil tetapi sedikit ada kenaikan setiap bulan Juli-Agustus di setiap tahunnya, sedangkan pada City Hotel polanya sangat terlihat dimana setiap bulan Juli-Agustus mengalami kenaikan. Bulan Juli-Agustus merupakan momen liburan musim panas.</p><p><strong>Contoh Kasus 4</strong></p><p>Pada kasus ini saya akan visualisasikan data Cancellation rate pada setiap jenis hotel di setiap bulannya.</p><p>Setting data dan parameter untuk mendapatkan Cancellation rate di setiap bulannya pada tiap jenis hotel menggunakan Time series chart.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/266/1*Y5dU9tkUFfawIW-QWTFUCA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/497/1*06hruujctuT592sXMwWREw.png" /></figure><p>Mengubah tipe data menjadi persentase.</p><p>Hasil :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/943/1*1QeWWyaghVeaKaBLeqNnfw.png" /></figure><p>Berdasarkan chart di atas diketahui bahwa cancellation rate di City hotel selalu lebih tinggi dibanding Resort Hotel di setiap bulannya.</p><p><strong>Contoh Kasus 5</strong></p><p>Pada kasus ini saya akan membuat visualisasi jumlah reservasi yang dibatalkan dan cancellation rate berdasarkan market segment.</p><p>Setting data dan parameter untuk mendapatkan jumlah reservasi yang dibatalkan dan cancellation rate berdasarkan market segment menggunakan Bar chart.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/269/1*4SzbGS3b2342MSL9YLMmzA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/262/1*Ce6SXspXQjtM-ATSTID5eA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pA9Y7MTp8WPj03PIrz8Uqw.png" /></figure><p>Hasil :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/758/1*fo87ZuwAsIJzdyptv_31CQ.png" /></figure><p>Berdasarkan chart di atas total reservasi yang dibatalkan terjadi pada market segment Online TA, sedangkan cancellation rate tertinggi terjadi pada market segment Groups.</p><p><strong>Contoh Kasus 6</strong></p><p>Pada kasus ini saya ingin melihat kecenderungan turis mancanegara dalam memilih jenis hotel dan jenis paket makanan yang dipesan.</p><p>Setting data dan parameter untuk mendapatkan jumlah reservasi dari turis mancanegara menggunakan Bar chart.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/265/1*nrXb7yPwpH1A5nh5jtLNKQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/260/1*aLl-PyfhTS1dl37EPb8dwQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ttsARucW9BXF3rswES4f-g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NZT1rxkCA7pySRr2Wcu-Ug.png" /></figure><p>Setting data dan parameter untuk mendapatkan jumlah resevrvasi berdasarkan jenis paket makanan yang dipesan dari turis mancanegara di jenis Hotel yang paling banyak diminati menggunakan Bar chart.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/262/1*xpEtCKeYNe0XVTVMKi9vHQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/253/1*yVZH13E-DAoC_cVMVM2dWg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/943/1*TtBju_snLruKJykowjMHgQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*w9VYjf6AJU2BQmHT74gzow.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gXhYVcm3OrzBpv-m7BQO0g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IqhcysNZNLs-qzgt4u2ZgQ.png" /></figure><p>Hasil :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*eweukihu2KRASNuxUDb4iA.png" /></figure><p>Bedasarkan chart di atas, turis mancanegara lebih banyak memilih City Hotel dibanding Resort Hotel dan paket makanan yang paling banyak dipilih oleh turis mancanegara yaitu paket BB (Bed &amp; Breakfast). Informasi ini bisa dipakai sebagai rekomendasi para turis ketika akan liburan ke negara Portugal.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6e1c665121b9" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Simple Data Analysis and Visualization with Python]]></title>
            <link>https://medium.com/@bageaanugrahp/simpel-data-analysis-and-visualization-with-python-218d9d0ad571?source=rss-6c45bf08cad------2</link>
            <guid isPermaLink="false">https://medium.com/p/218d9d0ad571</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[data-analysis]]></category>
            <dc:creator><![CDATA[Bagea Anugrah Pangeresa]]></dc:creator>
            <pubDate>Mon, 13 Feb 2023 15:59:25 GMT</pubDate>
            <atom:updated>2023-02-18T03:49:40.797Z</atom:updated>
            <content:encoded><![CDATA[<p>Menurut <a href="https://algorit.ma/">algorit.ma</a>, Python adalah sebuah bahasa pemrograman yang digunakan untuk membuat aplikasi, perintah komputer, dan melakukan analisis data. Sebagai general-purpose language, Python bisa digunakan untuk membuat program apa saja dan menyelesaikan berbagai permasalahan.</p><p>Kali ini saya akan menggunakan bahasa pemograman Python untuk menganalisis dan memvisualisasikan data secara sederhana menggunakan beberapa library seperti pandas, numpy, matplotlib, dan seaborn.</p><p><strong>Data Set :</strong></p><p>Data set yang digunakan adalah data hotel booking demand berasal dari resort hotel di daerah Algarve dan city hotel di kota Lisbon, Portugal.</p><p><strong>Setup data :</strong></p><p>Sebelum kita menganalisis sebuah data set, kita perlu setting data yang akan digunakan serta library yang dibutuhkan untuk pengolahan data tersebut.</p><pre>import pandas as pd<br>import numpy as np<br>import matplotlib.pyplot as plt<br>import seaborn as sns<br>import re<br>sns.set()<br><br>df_hotels = pd.read_csv(&#39;https://raw.githubusercontent.com/rfordatascience/tidytuesday/master/data/2020/2020-02-11/hotels.csv&#39;)<br>df_hotels.head(5)</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_K9a-8dyuxOEgE4LLcpopw.png" /></figure><p>Import semua library yang kita butuhkan di awal pembuatan code. Library yang digunakan untuk membaca data dengan format .csv adalah pandas. Pada data set tersebut belum memiliki kolom id dengan data unik sehingga kita perlu set kolom baru dengan nilai id dengan menggunakan code sebagai berikut :</p><pre>df_hotels = df_hotels.reset_index().rename(columns={&#39;index&#39;:&#39;id&#39;})<br>df_hotels.head(5)</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Xi9fcU6shfq3Y6fBOBbX8w.png" /></figure><p>Fungsi reset_index() memberikan kolom baru dengan data nilai index yang unik. Selanjutnya fungsi rename() mengubah nama kolom index menjadi id.</p><p>Kemudian saya ingin cek nama kolom yang tersedia pada data set tersebut dengan menggunakan code sebagai berikut :</p><pre>df_hotels.columns</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/592/1*cw5Jjqe9NkQFqUpczjGtZg.png" /></figure><p>Selanjutnya saya ingin cek tipe data disetiap kolom yang tersedia pada data set tersebut dengan menggunakan code sebagai berikut :</p><pre>df_hotels.dtypes</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/638/1*HpDaCRW_vRF98bRB4GA8bA.png" /></figure><p>Kita juga perlu cek data kosong pada setiap kolom yang ada pada data set tersebut dengan menggunakan code sebagai berikut :</p><pre>df_hotels.isnull().sum()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/620/1*r9cf_1DG2RZJZoa6CNmQ5Q.png" /></figure><p>Selain itu, data unik pada setiap kolom juga perlu kita cek dengan menggunakan code sebagai berikut :</p><pre>df_hotels.nunique()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/615/1*97tyDSpHknC0LSlRHprfdg.png" /></figure><p><strong>Contoh Kasus 1</strong></p><p>Pada kasus ini saya akan membuat suatu data frame yang berisikan nilai berupa nama kolom, tipe data, jumlah data kosong, persentase data kosong, dan nilai data unik pada setiap kolomnya. Dalam bentuk data frame ini mempermudah kita untuk identifikasi data.</p><pre>def check_values(df):<br>    data = []<br>    for col in df.columns:<br>        data.append([col, \<br>                     df[col].dtype, \<br>                     df[col].isnull().sum(), \<br>                     round(100*(df[col].isnull().sum() / len(df_hotels.index)),2), \<br>                     df[col].nunique()<br>                     ])<br>    return pd.DataFrame(columns=[&#39;dataFeatures&#39;, &#39;dataType&#39;, &#39;null&#39;, &#39;nullPct&#39;, &#39;unique&#39;],data=data)</pre><pre>check_values(df_hotels)</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/541/1*4iNk_8hmQRMoRr9wu09jWA.png" /></figure><p>Membuat fungsi dengan menggunakan perintah ‘def’ untuk membuat data frame dengan nama check_values() dengan inputan berupa data frame juga. Selanjutnya membuat variabel untuk menampung nilai yang akan dimasukkan kedalam sebuah data frame dengan nama varibel yaitu ‘data’. Dengan menggunakan perintah ‘for’, kita akan melakukan rangkaian iterasi dimana semua kolom pada sebuah data frame akan diisi sesuai dengan code yang kita buat.</p><p>Kolom pertama akan kita isi dengan nama kolom dari data frame yang akan menjadi inputan pada fungsi ini. Kolom kedua berisi tipe data dari setiap kolom yang ada pada inputan data frame. Kolom ketiga berisi jumlah data kosong pada setiap kolom. Kolom keempat berisi persentase data kosong pada setiap kolom. Kolom kelima berisi jumlah data unik pada setiap kolom. Pengisian nilai pada data frame yang kita buat menggunakan fungsi append().</p><p>Perintah ‘return’ akan mengembalikan nilai untuk masuk kedalam kolom dengan nama kolom 1 ‘dataFeatures’, kolom 2 ‘dataType’, kolom 3 ‘null’, kolom 4 ‘nullPct’, kolom 5 ‘unique’.</p><p><strong>Contoh Kasus 2</strong></p><p>Pada kasus ini saya akan menghitung jumlah pengunjung yang membatalkan reservasi dan yang tidak. Saya akan menggunakan kolom ‘is_canceled’ karena kolom ini berisi nilai yang menunjukkan apakah pemesanan dibatalkan (1) atau tidak (0) dengan menggunakan code sebagai berikut :</p><pre>df_hotels.is_canceled.value_counts()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/265/1*gbA7ThkN0jbVMdzlJtvuaA.png" /></figure><p>Fungsi value_counts() akan menghitung jumlah data yang akan dikelompokkan berdasarkan nilai unik yang ada dikolom tersebut. Hasil operasi hitung di atas didapatkan hasil jumlah pengunjung yang membatalkan reservasi sebanyak 44.224 pengunjung dan yang tidak sebanyak 75.166 pengunjung dengan tipe data int64.</p><p>Selanjutnya saya akan menghitung proporsi antara jumlah pengunjung yang membatalkan reservasi dan yang tidak dengan menggunakan code sebagai berikut :</p><pre>df_hotels.is_canceled.value_counts(normalize=True)</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/286/1*xWmdDfhLaA0ouIr2WG2IfQ.png" /></figure><p>Penambahan parameter ‘normalize = True’ operasi hitung pada fungsi value_counts() akan mengembalikan nilai proporsi dengan tipe data float64. Hasil operasi hitung di atas didapatkan bahwa 37% pengunjung membatalkan reservasi.</p><p>Kemudia data dari jumlah pengunjung yang membatalkan reservasi dan yang tidak akan saya visualisasikan dengan menggunakan code sebagai berikut :</p><pre>sns.countplot(data=df_hotels, x=&#39;is_canceled&#39;)<br>plt.title(&#39;Cancelled&#39;)<br>plt.show()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/592/1*UePWVcLLJQ3gkZirmFZlXg.png" /></figure><p>Menggunakan fungsi countplot() yang terdapat pada library seaborn dengan sumber data frame yaitu data df_hotels dengan nilai sumbu x yaitu kolom ‘is_canceled’. Mengatur judul chart menggunakan fungsi title() yang terdapat pada library matplotlib.pyplot. Berdasarkan plot di atas nilai booking yang tidak dibatalkan lebih banyak dibanding yang dibatalkan.</p><p><strong>Contoh kasus 3</strong></p><p>Pada kasus ini saya akan menghitung persentase reservasi yang dibatalkan pada kedua tipe hotel degan menggunakan code sebagai berikut :</p><pre>#City Hotel<br>len(df_hotels[(df_hotels.hotel==&#39;City Hotel&#39;)&amp;(df_hotels.is_canceled==1)]) / len(df_hotels[(df_hotels.hotel==&#39;City Hotel&#39;)])</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/201/1*pe-gIrut_P_5Va4M99ZDbA.png" /></figure><pre>#Resort Hotel<br>len(df_hotels[(df_hotels.hotel==&#39;Resort Hotel&#39;)&amp;(df_hotels.is_canceled==1)]) / len(df_hotels[(df_hotels.hotel==&#39;Resort Hotel&#39;)])</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/176/1*CIO0gkLQmmY0YLQsmJDukg.png" /></figure><p>Operasi hitung di atas yaitu menghitung banyaknya data hasil dari filterisasi berdasarkan tipe hotel dan reversasi yang dibatalkan dibagi dengan banyaknya data reversasi yang terjadi berdasarkan tipe hotel. Hasil yang didapatkan yaitu tingkat pembatalan reservasi di City Hotel sebesar 0,417 sedangkan di Resort Hotel sebesar 0,277. Tingkat pembatalan reservasi di City Hotel lebih besar dibanding di Resort Hotel.</p><p><strong>Contoh Kasus 4</strong></p><p>Sekarang saya akan membuat variabel berupa data frame yang berisi data hasil filterisasi data yang hanya menampilkan data booking yang tidak dibatalkan degan menggunakan code sebagai berikut :</p><pre>df_checkout = df_hotels[df_hotels.is_canceled == 0]<br>df_checkout</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MowJ4ZKaIVL4v3hxhYgC5A.png" /></figure><p>Hasil filterisasi dimasukkan kedalam variabel bernama df_checkout.</p><p>Untuk melihat dimensi dari data frame tersebut bisa menggunakan code sebagai berikut :</p><pre>df_checkout.shape</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/105/1*9CeuzwL2XWsVqRmGAiQhMg.png" /></figure><p>Yang berarti bahwa pada data frame tersebut memiliki dimensi dengan 75.166 baris dan 33 kolom.</p><p><strong>Contoh Kasus 5</strong></p><p>Pada kasus ini saya akan menampilkan jumlah reservasi tiap bulan kedatangan untuk masing-masing jenis hotel degan menggunakan code sebagai berikut :</p><pre>df_checkout.groupby([&#39;hotel&#39;,&#39;arrival_date_month&#39;])[&#39;id&#39;].nunique()<br></pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/387/1*3MzMoryB7LBynHa0fNx6xw.png" /></figure><p>Dengan menggunakan fungsi groupby() maka data unik id akan dikelompokkan berdasarkan tipe hotel dan bulan.</p><p>Kemudian saya akan mengubah nama bulan menjadi urutan angka. Hal yang pertama kali dilakukan adalah membuat variabel berupa di dictionary menggunakan library calendar.</p><pre> import calendar<br><br>month_dict = {month: index for index, month in enumerate(calendar.month_name) if month}<br>month_dict</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/165/1*6o-e7K1Wztt4ePVDI6yL-w.png" /></figure><p>Fungsi enumerate() merupakan fungsi iterasi yang akan membaca berulang kali pada data month_name yang akan dimasukkan kedalam variabel dictionary beserta indeksnya. Nama bulan menjadi keyword untuk mengambil nilai berupa indeks.</p><p>Selanjutnya membuat kolom baru pada data frame df_checkout dengan nama ‘arrival_date_month_num’ yang berisikan nilai indeks dari nama bulan. Di langkah ini, tiap baris dari kolom arrival_date_month yang berisi nama bulan akan di-mapping ke angka yang sesuai degan menggunakan code sebagai berikut :</p><pre>df_checkout[&#39;arrival_date_month_num&#39;] = df_checkout[&#39;arrival_date_month&#39;].map(month_dict)</pre><p>Sekarang kita akan cek data hasil grouping berdasarkan tipe hotel dan bulan yang sudah dimapping degan menggunakan code sebagai berikut :</p><pre>df_checkout.groupby([&#39;hotel&#39;,&#39;arrival_date_month_num&#39;]).size()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/379/1*Jn00lpVprzMzzwG2v3SDxg.png" /></figure><p>Nama bulan setelah dilakukan mapping akan berubah menjadi angka.</p><p>Selanjutnya kita akan membuat visualisasi data dari jumlah kedatangan tamu berdasrkan bulan degan menggunakan code sebagai berikut :</p><pre>sns.countplot(data=df_checkout, x=&#39;arrival_date_month_num&#39;)</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/583/1*BJNLQT4J2xFb9bzD0PgqRQ.png" /></figure><p>Menggunakan fungsi countplot() yang terdapat pada library seaborn dengan sumber data frame yaitu data df_checkout dengan nilai sumbu x yaitu kolom ‘arrival_date_month_num’. Berdasarkan plot di atas jumlah kedatangan tamu tertinggi terjadi di bulan 8 atau bulan Agustus.</p><p>Kemudian kita akan membuat plot jumlah kedatangan tamu berdasarkan bulan dan tipe hotel degan menggunakan code sebagai berikut :</p><pre>sns.countplot(data=df_checkout, x=&#39;arrival_date_month_num&#39;,hue=&#39;hotel&#39;)<br>plt.xlabel(&#39;bulan kedatangan&#39;)<br>plt.ylabel(&#39;jumlah reservasi&#39;)<br>plt.show()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/583/1*VTiqYnUcpiIq_taRQV6JSg.png" /></figure><p>Menggunakan fungsi countplot() yang terdapat pada library seaborn dengan sumber data frame yaitu data df_checkout dengan nilai sumbu x yaitu kolom ‘arrival_date_month_num’ dan parameter hue untuk membagi data berdasarkan hotel . Berdasarkan plot di atas jumlah kedatangan tamu tertinggi terjadi di bulan 8 atau bulan Agustus untuk kedua tipe hotel.</p><p><strong>Contoh Kasus 6</strong></p><p>Pada kasus ini saya akan membuat kolom baru bernama `arrival_date` yang berisi info lengkap tentang tahun, bulan, dan tanggal kedatangan.</p><p>Langkah pertama yaitu mengubah tipe data pada kolom ‘arrival_date_month_num’ menjadi string degan menggunakan code sebagai berikut :</p><pre>df_checkout.arrival_date_month_num.astype(‘str’)</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/493/1*fzxkLCv1tA_yd_q0RjZksA.png" /></figure><p>Langkah kedua yaitu menambahkan zero padding, sehingga ‘1’ menjadi ‘01’ degan menggunakan code sebagai berikut :</p><pre>df_checkout.arrival_date_month_num.astype(&#39;str&#39;).str.pad(2,fillchar=&#39;0&#39;)</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/488/1*LuEgZDh6bpDs3KMsIvySjg.png" /></figure><p>Langkah ketiga menggabungkan data pada kolom ‘arrival_date_year’, ‘arrival_date_month_num’, dan ‘arrival_date_day_of_month’ dan dimasukkan kedalam kolom baru bernama ‘arrival_date’. Semua tipe data pada kolom tersebut akan dirubah menjadi string degan menggunakan code sebagai berikut :</p><pre>df_checkout[&#39;arrival_date&#39;] = \<br>    df_checkout[&#39;arrival_date_year&#39;].astype(&#39;str&#39;) + &#39;-&#39; +\<br>    df_checkout.arrival_date_month_num.astype(&#39;str&#39;).str.pad(2,fillchar=&#39;0&#39;) + &#39;-&#39; +\<br>    df_checkout.arrival_date_day_of_month.astype(&#39;str&#39;).str.pad(2,fillchar=&#39;0&#39;)<br><br>df_checkout.arrival_date</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/255/1*n58Lo4z4DS4wKS2Vbuiydg.png" /></figure><p>Langkah keempat yaitu mengubah tipe data pada kolom arrival_date menjadi datetime degan menggunakan code sebagai berikut :</p><pre>df_checkout[‘arrival_date’] = pd.to_datetime(df_checkout.arrival_date)<br>df_checkout[&#39;arrival_date&#39;]</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/481/1*f8c4koTLR5M-Mvyzp7YEDg.png" /></figure><p><strong>Contoh Kasus 7</strong></p><p>Pada kasus ini kita bermain dengan time-series data menggunakan kolom `arrival_date`. Saya akan menghitung jumlah reservasi harian degan menggunakan code sebagai berikut :</p><pre>df_reservasi_perhari = df_checkout.resample(&#39;D&#39;,on=&#39;arrival_date&#39;).size().reset_index().rename(columns={0:&#39;total_reservasi&#39;})<br>df_reservasi_perhari</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/270/1*jgPbfNzQsz2evgjIS9Bw4w.png" /></figure><p>fungsi resample() merupakan suatu fungsi yang ada ada di dalam library Pandas di Python Fungsi ini digunakan untuk mengubah frekuensi sampel data dalam suatu objek data frame atau series untuk mengubah resolusi waktu dari data, misalnya dari sampel per hari menjadi sampel per jam atau bulan. Pada kasus ini menggunakan resolusi waktu harian ‘D’.</p><p>Selanjutnya saya akan menghitung rata-rata reservasi harian di tiap minggu degan menggunakan code sebagai berikut :</p><pre>df_avg_reservasi_harian = df_reservasi_perhari.resample(&#39;W&#39;,on=&#39;arrival_date&#39;).mean().reset_index().rename(columns={&#39;total_reservasi&#39;:&#39;rata_rata_reservasi&#39;})<br>df_avg_reservasi_harian</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/316/1*xGr7tXsQ0mtMdSxifeQRKA.png" /></figure><p>Pada kasus ini menggunakan resolusi waktu mingguan ‘W’ dengan operasi hitung mean() atau rata-rata.</p><p>Selanjutnya saya akan memvisualisasikan data reservasi harian (time series) degan menggunakan code sebagai berikut :</p><pre>plt.figure(figsize=(10,4))<br>sns.lineplot(data=df_reservasi_perhari, x=&#39;arrival_date&#39;, y=&#39;total_reservasi&#39;)<br>plt.title(&#39;Reservasi Harian&#39;, fontsize=&#39;x-large&#39;)<br>plt.show()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/874/1*z3oiUfVdzI1m0WJ1FlzuMg.png" /></figure><p>Fungsi plt.figure() mengatur ukuran dari chart tersebut. Nilai x menggunakan data pada kolom ‘arrival_date’ dan nilai y menggunakan data pada kolom ‘total_reservasi’.</p><p>Selanjutnya saya akan memvisualisasikan data rata-rata reservasi harian (time series) degan menggunakan code sebagai berikut :</p><pre>plt.figure(figsize=(10,4))<br>sns.lineplot(data=df_avg_reservasi_harian, x=&#39;arrival_date&#39;, y=&#39;rata_rata_reservasi&#39;)<br>plt.title(&#39;Rata-Rata Reservasi Harian&#39;, fontsize=&#39;x-large&#39;)<br>plt.show()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/872/1*L4On8yKK19he6838EpfoZg.png" /></figure><p>Fungsi plt.figure() mengatur ukuran dari chart tersebut. Nilai x menggunakan data pada kolom ‘arrival_date’ dan nilai y menggunakan data pada kolom ‘rata_rata_reservasi’.</p><p><strong>Contoh Kasus 8</strong></p><p>Pada kasus kali ini saya akan menghitung rata-rata ADR berdasarkan tipe hotel dan jenis customer degan menggunakan code sebagai berikut :</p><pre>df_checkout.groupby([&#39;hotel&#39;,&#39;customer_type&#39;])[&#39;adr&#39;].mean()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/368/1*bj49moddpClalL4Mijcv-g.png" /></figure><p>Dengan menggunakan fungsi groupby() maka operasi hitung rata-rata dari kolom adr akan dikelompokkan berdasarkan tipe hotel dan customer_type.</p><p>Selanjutnya saya akan memvisualisasikan data pada kolom adr menggunakan boxplot degan menggunakan code sebagai berikut :</p><pre>plt.figure(figsize=(8,6))<br>sns.boxplot(data=df_checkout, x=&#39;adr&#39;, y=&#39;hotel&#39;,hue=&#39;customer_type&#39;)<br>plt.show()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/758/1*JYiBIZhsrWiVzqZPE1SVSQ.png" /></figure><p>fungsi boxplot() merupakan salah satu fungsi yang terdapat di dalam library seaborn. Nilai x yaitu data adr dan nilai y adalah tipe hotel dan dibagi berdasarkan tipe customer.</p><p><strong>Contoh Kasus 9</strong></p><p>Pada kasus ini saya akan menggabungkan data frame dengan menggunakan kode dari data negara. Data frame yang digunakan adalah data df_checkout dan df_country yang akan saya setup.</p><pre>df_country = pd.read_csv(&#39;https://gist.githubusercontent.com/tadast/8827699/raw/f5cac3d42d16b78348610fc4ec301e9234f82821/countries_codes_and_coordinates.csv&#39;)<br>df_country.head()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/780/1*o5LkMXA5P2IHzc8muEsJ7w.png" /></figure><p>Selanjutnya membuat kolom baru dengan nilai koda negara tanpa tanda petik degan menggunakan code sebagai berikut :</p><pre>df_country[&#39;code&#39;] = df_country[&#39;Alpha-3 code&#39;].str.replace(&#39;&quot;&#39;,&#39;&#39;).str.strip()</pre><p>Fungsi str.replace() akan mengubah suatu karakter menjadi karakter lain dan fungsi str.strip()akan menghapus spasi kosong di awal dan akhir suatu string.</p><p>Selanjutnya saya akan menggabungkan data frame df_checkout dan df_country degan menggunakan code sebagai berikut :</p><pre>df_merged = pd.merge(df_checkout[[&#39;id&#39;,&#39;country&#39;]],<br>                     df_country[[&#39;Country&#39;,&#39;code&#39;]],<br>                     left_on=&#39;country&#39;,<br>                     right_on=&#39;code&#39;,<br>                     indicator=True,<br>                     how=&#39;left&#39;)<br>df_merged.head()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/376/1*ug8mcRbt_RHg9N8xfDmGmg.png" /></figure><p>Fungsi merge merupakan salah satu fungsi yang ada di dalam library pandas. Nilai yang akan disandingkan yaitu nilai kolom ‘country’ pada data frame df_checkout dan nilai pada kolom ‘code’ ada data frame df_country.</p><p>Untuk mengecek berapa banyak row data kita yang bisa di-merge dengan `df_country`dapat menggunakan code sebagai berikut :</p><pre>df_merged._merge.value_counts()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/231/1*KI5YpqEdljQdQzVP-AYFUQ.png" /></figure><p>Untuk mengecek code negara mana saja yang tidak bisa dimapping ke data df_country :</p><pre>df_merged[df_merged._merge==&#39;left_only&#39;][&#39;country&#39;].unique()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/334/1*z1jpwukQhUB-IyxSDtUOig.png" /></figure><p>bisa juga menggunakan code sebagai berikut :</p><pre>set(df_checkout.country) - set(df_country[&#39;code&#39;])</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/165/1*xXAzflnaT511JMEtTYCWSA.png" /></figure><p>Terdapat 3 negara ada 3 `country` yang tidak bisa di-map ke `df_country`.</p><p>Selajutnya saya akan cek data 10 negara dengan jumlah booking terbesar degan menggunakan code sebagai berikut :</p><pre>df_merged.Country.value_counts().head(10)</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/233/1*6IhD3Al40Ra2QkNXG0eFoQ.png" /></figure><p>Peringkat tertinggi negara dengan jumlah booking terbesar adalah negara Portugal dengan jumlah booking sebanyak 21.071.</p><p>Selanjutnya saya akan memvisualisasikan data tersebut dengan menggunakan code sebagai berikut :</p><pre>df_merged.Country.value_counts().head(10).sort_values(ascending=True).plot.barh()<br>plt.show()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/637/1*e2rBSvQHdU7PHka6Tzkw0A.png" /></figure><p>Dengan menggunakan fungsi plot.barh() maka grafik yang terbentuk merupakan grafik batang horizontal.</p><p><strong>Contoh Kasus 10</strong></p><p>Pada kasus ini saya akan menghitung jumlah tamu yang datang dengan menggunakan code sebagai berikut :</p><pre>df_checkout[&#39;total_guest&#39;] = df_checkout.adults + df_checkout.children + df_checkout.babies</pre><p>Kemudian saya cek deskripsi statisik sederhana dengan menggunakan code sebagai berikut :</p><pre>df_checkout.total_guest.describe()</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/277/1*EchPLJ3dZUw8i927fqQXKw.png" /></figure><p>Selanjutnya saya akan cek baris data reservasi yang memiliki jumlah tamu paling banyak dengan menggunakan code sebagai berikut :</p><pre>df_checkout[df_checkout.total_guest==df_checkout.total_guest.max()].T</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/259/1*rHvCYGseD_41MKf47K5YYA.png" /></figure><p>Total tamu terbanyak yaitu sebesar 12 tamu.</p><p>link google colabs :</p><p><a href="https://colab.research.google.com/drive/1WKtkQUmSnVms6W_iz9DQgxydHnKBb3-A#scrollTo=27lZx79nWpLr">https://colab.research.google.com/drive/1WKtkQUmSnVms6W_iz9DQgxydHnKBb3-A#scrollTo=27lZx79nWpLr</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=218d9d0ad571" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[SQL for Data Filtering and Processing]]></title>
            <link>https://medium.com/@bageaanugrahp/sql-for-data-filtering-and-processing-11f6065f152a?source=rss-6c45bf08cad------2</link>
            <guid isPermaLink="false">https://medium.com/p/11f6065f152a</guid>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[sql]]></category>
            <dc:creator><![CDATA[Bagea Anugrah Pangeresa]]></dc:creator>
            <pubDate>Tue, 07 Feb 2023 18:16:00 GMT</pubDate>
            <atom:updated>2023-02-14T06:35:33.864Z</atom:updated>
            <content:encoded><![CDATA[<p>Data yang termuat pada tabel yang berbeda perlu kita manipulasi agar menjadi satu set data yang dapat memberikan informasi yang penting bagi pengguna. Perlu adanya filterisasi dan pengolahan pada data set yang kita miliki agar pengguna dapat memahami data yang tersedia.</p><p><strong>Data Set yang digunakan :</strong></p><ol><li>unicorn_companies</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/897/1*bi-tdNH5BcuS4NnBaNHLiw.png" /></figure><p>2. unicorn_dates</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/427/1*4p0bzGXPKYeivaazFZSmOw.png" /></figure><p>3. unicorn_funding</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HpzDthSz_Zzqd5Bz9VPUAw.png" /></figure><p>4. unicorn_industries</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/438/1*4MiNQXhytN8zpTDxpthYIg.png" /></figure><p><strong>Contoh Kasus 1</strong></p><p>Pada kasus ini kita mempunya 1 set data unicorn company yang ada di seluruh dunia dengan nama tabel unicorn_company</p><p>Contoh kali ini saya akan melakukan filtering data yang akan mengurutkan data dari benua yang memiliki jumlah company terbanyak dengan menggunakan code sebagai berikut :</p><pre>select<br> continent,<br> count(distinct company_id) as jumlah_unicorn<br>from<br> unicorn_companies<br>group by<br> 1<br>order by<br> 2 desc</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/327/1*NuLa43ZR6y8qMe0JxAod6g.png" /></figure><p>Jumlah company dihitung berdasarkan jumlah dari data company_id menggunakan fungsi COUNT() yang dikelompokan berdasarkan benua dan diurutkan dari nilai jumlah company terbesar. Hasil pengurutan data di atas didapatkan benua North America yang paling banyak memiliki unicorn company dengan jumlah company sebanyak 589 company.</p><p><strong>Contoh Kasus 2</strong></p><p>Kadang kala kita ingin mengetahui posisi data teratas dengan kondisi nilai tertentu. Dalam kasus ini saya akan mengambil data negara yang memiliki unicorn company di atas 100 dengan menggunakan code sebagai berikut :</p><pre>select<br> country,<br> count(distinct company) as jumlah_unicorn<br>from<br> unicorn_companies<br>group by<br> 1<br>having<br> count(distinct company) &gt; 100<br>order by<br> 2 desc</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/320/1*_lbuubVm9xTnPYsl14ypCw.png" /></figure><p>Jumlah company dihitung berdasarkan jumlah dari data company_id menggunakan fungsi COUNT() yang dikelompokan berdasarkan negara dan diurutkan dari nilai jumlah company terbesar serta dilakukan filterisasi dengan kondisi jumlah company yang lebih dari 100. Hasil filterisasi data di atas didapatkan 2 negara yang memiliki unicorn company lebih dari 100 yaitu negara United States dengan jumlah company sebanyak 562 company dan yang kedua yaitu negara China engan jumlah company sebanyak 173 company.</p><p><strong>Contoh Kasus 3</strong></p><p>Dalam kasus nyata, data yang akan digunakan bisa saja berada pada tabel yang berbeda. Kasus kali ini menggunakan 2 tabel yaitu tabel unicorn_industries dan unicorn_funding dimana saya akan melakukan penggabungan 2 tabel, pengurutan data industri berdasarkan total fundingnya, dan menghitung rata-rata valuasi dari industri tersebut dengan menggunakan code sebagai berikut :</p><pre>select<br> ui.industry,<br> sum(uf.funding) as total_funding,<br> round(avg(uf.valuation)) as rata_rata_valuasi<br>from<br> unicorn_funding uf<br>left join<br> unicorn_industries ui<br>on<br> uf.company_id = ui.company_id<br>group by<br> 1<br>order by<br> 2 desc</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*2QUdDyicf_AaGWwkPihugQ.png" /></figure><p>Menjumlahkan total funding menggunakan fungsi SUM() dan menghitung rata-rata valuasi menggunakan fungsi AVG(). Pada contoh kasus kali ini saya menggunakan LEFT JOIN untuk menggabungkan 2 tabel. LEFT JOIN singkatnya adalah mengembalikan seluruh records yang berada di tabel kiri (tabel 1) dan records yang cocok dari tabel kanan (tabel 2). Hasil pengolahan data di atas didapatkan Industri Fintech mempunyai total funding terbesar.</p><p><strong>Contoh Kasus 4</strong></p><p>Melanjutkan analisa dari kasus 3, saya akan menghitung jumlah company pada industri Fintech yang bergabung sebagai unicorn di tiap tahunnya di rentang tahun 2016–2022. Proses ini membutuhkan 2 tabel yaitu tabel unicorn_dates dan unicorn_industries dengan menggunakan code sebagai berikut :</p><pre>with jumlah_company as <br> (<br> select<br>  date_part(&#39;year&#39;, ud.date_joined) as tahun,<br>  count(distinct ud.company_id) as jumlah<br> from<br>  unicorn_dates ud<br> left join<br>  unicorn_industries ui<br> on<br>  ud.company_id = ui.company_id<br> where<br>  ui.industry = &#39;Fintech&#39;<br> group by<br>  1<br> )<br>select<br> tahun,<br> jumlah<br>from <br> jumlah_company<br>where <br> tahun between 2016 and 2022<br>order by <br> tahun desc</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/308/1*cVDBXg91b_ay8H6ZWDFnOA.png" /></figure><p>Saya melakukan CTE menggunakan command WITH. Selanjutnya ekstraksi data tahun bisa menggunakan fungsi DATE_PART() dan menghitung jumlah company menggunakan fungsi COUNT(). Dalam kasus ini saya melakukan filterisasi dengan kondisi dimana industri bernama Fintech dan tahun antara 2016 sampai dengan 2022. Hasil filterisasi dan pengolahan data di atas didapatkan jumlah company pada industri Fintech yang bergabung sebagai unicorn company di tiap tahunnya. Pada tahun 2016 tidak ada company yang bergabung.</p><p><strong>Contoh Kasus 5</strong></p><p>Pada kasus ini saya akan menampilkan data detail company (nama company, kota asal, negara dan benua asal) beserta industri dan valuasinya. Proses ini membutuhkan 3 tabel yaitu tabel unicorn_companies, unicorn_funding, dan unicorn_industries dengan menggunakan code sebagai berikut :</p><pre>with<br> company_valuation as <br> (<br> select<br>  uc.*,<br>  uf.valuation<br> from<br>  unicorn_companies uc<br> left join<br>  unicorn_funding uf<br> on<br>  uc.company_id = uf.company_id<br> )<br>select <br> cv.*,<br> ui.industry<br>from <br> company_valuation cv<br>left join<br> unicorn_industries ui<br>on<br> cv.company_id = ui.company_id<br>-- where<br>--  cv.country = &#39;Indonesia&#39;<br>order by<br>  cv.valuation desc</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DcshfwAGy9KStxSvKBBhZw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/995/1*s7xL1ck8TVF3JgrI8p9y-A.png" /></figure><p>Saya menambahkan proses filterisasi menggunakan fungsi WHERE pada negara Indonesia untuk melihat data company yang ada di negara Indonesia. Hasil filterisasi data di atas didapatkan company dengan nama Bytedance pada industri Artificial intelligence yang berada di negara China mempunyai nilai valuasi tertinggi. Sedangkan di negara Indonesia Company dengan nama J&amp;T Express pada industri “Supply chain, logistics, &amp; delivery” merupakan company dengan nilai valuasi tertinggi.</p><p><strong>Contoh Kasus 6</strong></p><p>Pada kasus ini saya akan menghitung tahun dari mulai berdirinya suatu company sampai bisa bergabung sebagai unicorn company. Proses ini membutuhkan 2 tabel yaitu tabel unicorn_companies, unicorn_dates dengan menggunakan code sebagai berikut :</p><pre>select<br> uc.company,<br> uc.country,<br> ud.*,<br> date_part(&#39;year&#39;, ud.date_joined) - ud.year_founded as umur<br>from<br> unicorn_dates ud<br>left join<br> unicorn_companies uc<br>on<br> ud.company_id = uc.company_id<br>order by<br> umur desc</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1007/1*k2i86HrY8FOqTKLmQ8VZdw.png" /></figure><p>Menghitung selisih dari taun berdirinya suatu company sampai bisa bergabung sebagai unicorn company yaitu dengan proses pengurangan dari data tahun hasil ekstraksi dari data tanggal. Hasil pengolahan data di atas didapatkan nama company Otto Bock HealthCare yang berada di negara Jerman merupakan company terlama dari mulai berdiri sampai bergabung sebagai unicorn company.</p><p><strong>Contoh Kasus 7</strong></p><p>Pada kasus ini mirip dengan kasus 6, tetapi disini menggunakan batasan rentang tahun yaitu company yang berdiri pada tahun 1960 sampai 2000 dengan menggunakan code sebagai berikut :</p><pre>select<br> uc.company,<br> uc.country,<br> ud.*,<br> date_part(&#39;year&#39;, ud.date_joined) - ud.year_founded as umur<br>from<br> unicorn_dates ud<br>left join<br> unicorn_companies uc<br>on<br> ud.company_id = uc.company_id<br>where<br> ud.year_founded between 1960 and 2000<br>order by<br> umur desc</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*f2aR8wstHOBH7tX99LcPzA.png" /></figure><p>Menghitung selisih dari taun berdirinya suatu company sampai bisa bergabung sebagai unicorn company yaitu dengan proses pengurangan dari data tahun hasil ekstraksi dari data tanggal lalu melakukan proses filterisasi menggunakan fungsi WHERE(). Hasil filterisasi dan pengolahan data di atas didapatkan nama company Five Star Business Finance yang berada di negara India merupakan company terlama dari mulai berdiri sampai bergabung sebagai unicorn company pada rentang tahun berdiri antara 1960 sampai 2000.</p><p><strong>Contoh Kasus 8</strong></p><p>Pada kasus ini saya akan menggunakan tipe data STRING untuk proses pengolahan datanya. Saya akan memfilter data berdasarkan company yang dibiayai oleh minimal satu investor yang mengandung nama Venture , Capital , dan Partner dengan menggunakan code sebagai berikut :</p><pre>SELECT<br> SUM(<br>  CASE <br>   WHEN lower (select_investors) LIKE &#39;%venture%&#39; THEN 1 <br>   ELSE 0 <br>  END) AS venture,<br> SUM(<br>  CASE <br>   WHEN lower (select_investors) LIKE &#39;%capital%&#39; THEN 1 <br>   ELSE 0 <br>  END) AS capital,<br> SUM(<br>  CASE <br>   WHEN lower (select_investors) LIKE &#39;%partner%&#39; THEN 1 <br>   ELSE 0 <br>  END) AS partner<br>FROM <br> unicorn_funding</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/356/1*LylhzNDPsKZWga_LN3igsg.png" /></figure><p>Pada kasus ini saya menggunakan fungi CASE WHEN untuk mendeteksi nama investor yang mengandung kata yang diinginkan ditambah dengan command wild card ‘% %’ untuk seleksi data karakter dan menggunakan fungsi lower untuk menyamaratakan data karakter yang akan dipilih. Logika CASE WHEN THEN yaitu akan mengembalikan suatu nilai pada data yang sesuai dengan kondisi yang kita inginkan dalam kasus ini nilai 1 lah yang diinginkan dan dengan menggunakan fungsi SUM() kita akan menghitung jumlah nilai 1 yang dikembalikan oleh SQL. Hasil filteriasi dan pengolahan data di atas didapatkan jumlah company yang biayai oleh nama investor yang mengandung kata ‘Venture’ sebanyak 603 company, yang mengandung kata ‘Capital’ sebanyak 611, dan yang mengandung kata ‘Partner’ sebanyak 398 company.</p><p><strong>Contoh Kasus 9</strong></p><p>Pada kasus ini saya akan menghitung jumlah company yang bergerak di bidang layanan logistik yang berada di benua Asia dan yang berada di negara Indonesia. Proses ini membutuhkan 2 tabel yaitu tabel unicorn_companies, unicorn_industries dengan menggunakan code sebagai berikut :</p><pre>SELECT<br> COUNT(DISTINCT uc.company_id) AS total_asia,<br> COUNT(DISTINCT CASE WHEN uc.country = &#39;Indonesia&#39; THEN<br> uc.company_id END) AS total_indonesia<br>FROM <br> unicorn_companies uc<br>INNER JOIN <br> unicorn_industries ui<br>ON <br> uc.company_id = ui.company_id<br>WHERE <br> ui.industry = &#39;&quot;Supply chain, logistics, &amp; delivery&quot;&#39; <br> AND uc.continent = &#39;Asia&#39;</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/306/1*S4B1HsEgyMlorh4FEMw-Kw.png" /></figure><p>Menghitung jumlah company menggunakan fungsi COUNT(). Pada kasus ini menggunakan 3 kali filterisasi yang pertama dan yang kedua yaitu filter pada benua Asia dan filter industry menggunakan fungsi WHERE dan yang ketiga menggunakan fungsi CASE WHEN dimana jika nama negara sama dengan Indonesia maka SQL akan mengembalikan nilai berupa company_id pada company yang berada di negara Indonesia. Hasil filterisasi dan pengolahan data diatas di dapatkan jumlah company yang bergerak di bidang logistik di benua Asia sebanyak 26 company dan yang berada di Indonesia sebanyak 1 company.</p><p><strong>Contoh Kasus 10</strong></p><p>Pada kasus ini saya akan menampilkan data jumlah unicorn di tiap industri dan negara asal di Asia, terkecuali tiga negara dengan jumlah unicorn terbanyak. Proses ini membutuhkan 2 tabel yaitu tabel unicorn_companies, unicorn_industries dengan menggunakan code sebagai berikut :</p><pre>with<br> tiga_negara as <br>  (select<br>   country,<br>   count(distinct company_id)<br>  from<br>   unicorn_companies<br>  where<br>   continent = &#39;Asia&#39;<br>  group by 1<br>  order by 2 desc<br>  limit 3)<br>select<br> ui.industry,<br> count( uc.company_id) as jumlah_company,<br> uc.country<br>from<br> unicorn_companies uc<br>left join<br> unicorn_industries ui<br>on<br> uc.company_id = ui.company_id<br>where<br> continent = &#39;Asia&#39; and country NOT IN (select country from tiga_negara)<br>group by<br> 1,3<br>order by<br> 2 desc</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/641/1*u_r8G5qicJ5-aga_bVjdsA.png" /></figure><p>Menghitung jumlah company menggunakan fungsi COUNT(). Pada kasus ini menggunakan 2 kali filterisasi yang pertama yaitu filter pada benua Asia menggunakan fungsi WHERE dan yang kedua menggunakan fungsi WHERE yang ditambah fungsi NOT IN. Hasil filterisasi dan pengolahan data diatas di dapatkan berupa nama industri, jumlah company berdasarkan industri dan negara asal, serta negara.</p><p><strong>Contoh Kasus 11</strong></p><p>Pada kasus ini saya akan memfilter data industri yang tidak ada company yang berasal dari negara India. Proses ini membutuhkan 2 tabel yaitu tabel unicorn_companies, unicorn_industries dengan menggunakan code sebagai berikut :</p><pre>SELECT <br> ui.industry,<br> count(distinct CASE WHEN uc.country = &#39;India&#39; THEN uc.company_id<br>  END) AS india_company<br>FROM <br> unicorn_companies uc<br>left join<br> unicorn_industries ui<br>on<br> uc.company_id = ui.company_id<br>group by<br> 1<br>having  <br> count(distinct CASE WHEN uc.country = &#39;India&#39; THEN uc.company_id<br>  END) = 0</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/370/1*1PODugj33T_XJ_vYPTwryA.png" /></figure><p>Menghitung jumlah company menggunakan fungsi COUNT(). Pada kasus ini menggunakan 2 kali filterisasi yang pertama menggunakan fungsi CASE WHEN dimana jika nama negara sama dengan India maka SQL akan mengembalikan nilai berupa company_id pada company yang berada di negara India dan yang kedua menggunakan fungsi HAVING dimana SQL akan mengembalikan nilai hasil suatu proses matematik dengan ketentuan suatu nilai atau kondisi. Hasil filterisasi dan pengolahan data diatas terdapat 4 industri yang tidak terdapat company asal negara India.</p><p><strong>Contoh Kasus 12</strong></p><p>Pada kasus ini saya akan memfilter dan mengelompokkan data jumlah company berdasarkan industri dan tahun gabung menjadi 3 industri dengan company terbanyak pada rentang tahun 2019 sampai 2021 serta rata-rata valuasinya. Proses ini membutuhkan 3 tabel yaitu tabel unicorn_dates, unicorn_funding, dan unicorn_industries dengan menggunakan code sebagai berikut :</p><pre>with<br> total_per_ind as<br>   (select<br>   ui.industry,<br>   COUNT(DISTINCT uc.company_id) AS total_company<br>  from<br>   unicorn_companies uc<br>  inner join<br>   unicorn_industries ui<br>  on<br>   uc.company_id = ui.company_id<br>  inner join<br>   unicorn_dates ud<br>  on<br>   uc.company_id = ud.company_id<br>   and EXTRACT(YEAR FROM ud.date_joined) between 2019 and 2021<br>  group by<br>   1<br>  order by<br>   2 desc<br>  limit<br>   3<br>  )<br>select<br> ui.industry,<br> EXTRACT(YEAR FROM ud.date_joined) AS year_joined,<br> COUNT(DISTINCT uc.company_id) AS total_company,<br> round((avg(uf.valuation )/ 10^9)::numeric, 2) AS avg_valuation<br>from<br> unicorn_companies uc<br>inner join<br> unicorn_dates ud<br>on<br> uc.company_id = ud.company_id<br> and EXTRACT(YEAR FROM ud.date_joined) between 2019 and 2021<br>inner join<br> unicorn_industries ui<br>on<br> uc.company_id = ui.company_id<br>inner join<br> unicorn_funding uf<br>on<br> uc.company_id = uf.company_id<br>where<br>  ui.industry IN (select tpi.industry from total_per_ind tpi)<br>group by<br> 2,<br> 1<br>order by<br> 1 desc,<br> 2 desc</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/705/1*ZppufVPls_yLkKmLgjIe_A.png" /></figure><p>Saya melakukan CTE menggunakan command WITH, selanjutnya ekstraksi data tahun bisa menggunakan fungsi EXTRACT() dan menghitung jumlah company menggunakan fungsi COUNT() untuk mendapatkan tabel 3 industri yang paling banyak memiliki unicorn company dalam rentang tahun 2019–2021. Proses selanjutnya mengelompokan dan mengurutkan data berdasarkan industri dan tahun, serta menghitung rata-rata valuasinya. Hasil filterisasi dan pengolahan data di atas didapatkan tabel kelompok industri dengan total company dan rata-rata valuasinya di tiap tahunnya.</p><p><strong>Contoh Kasus 13</strong></p><p>Pada kasus ini saya akan memfilter data company terbanyak berdasarkan negara asal dan menghitung proporsinya dengan menggunakan code sebagai berikut :</p><pre>with<br> company_terbanyak as<br> (select<br>  country,<br>  count(distinct company_id) as jumlah_unicorn<br> from<br>  unicorn_companies<br> group by<br>  1<br> order by<br>  2 desc<br> ),<br> total_company as<br> (select<br>  sum (jumlah_unicorn) as total<br> from<br>  company_terbanyak<br> )<br> <br>select<br> *,<br> round((max(jumlah_unicorn) <br>    over (partition by country) / <br>    (select total_company.total from total_company) * 100)::numeric, 2)<br> as Proporsi<br>from<br> company_terbanyak ct<br>order by<br> jumlah_unicorn desc<br>limit 1</pre><p>akan mengembalikan hasil seperti berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/417/1*7faQJJK24N503W1MbZNxxw.png" /></figure><p>Saya melakukan CTE menggunakan command WITH untuk mendapatkan tabel jumlah company berdasarkan negara menggunakan fungsi COUNT() dan total company menggunakan fungsi SUM() pada data set tersebut. Selanjutnya menghitung proporsi. Hasil dari filterisasi dan pengolahan data diatas didapatkan negara United States memiliki jumlah company sebanyak 562 company dengan proporsi sebesar 0,52</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=11f6065f152a" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>