<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Raudhohfitrah on Medium]]></title>
        <description><![CDATA[Stories by Raudhohfitrah on Medium]]></description>
        <link>https://medium.com/@raudhohfitrah?source=rss-6cc1ae8b79f5------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/2*Eg9EVYi15hshcGdJ5u5XRQ.jpeg</url>
            <title>Stories by Raudhohfitrah on Medium</title>
            <link>https://medium.com/@raudhohfitrah?source=rss-6cc1ae8b79f5------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Thu, 19 Nov 2026 01:14:47 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@raudhohfitrah/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[New Beginning]]></title>
            <link>https://raudhohfitrah.medium.com/new-beginning-b8b1b7b6d6de?source=rss-6cc1ae8b79f5------2</link>
            <guid isPermaLink="false">https://medium.com/p/b8b1b7b6d6de</guid>
            <dc:creator><![CDATA[Raudhohfitrah]]></dc:creator>
            <pubDate>Thu, 20 Mar 2025 03:02:09 GMT</pubDate>
            <atom:updated>2025-03-20T03:02:09.730Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/960/1*OdFUBJXn7w0LLahHKyssQw.jpeg" /></figure><p><em>Tulisan ini adalah tulisan reflektif bagian dari Challenge 10 Hari Menulis Ramadhan.</em></p><p>Menurutku, semesta bekerja adil. Pada setiap insan yang memulai awalan baru, semesta menawarkan akhir yang menyenangkan, terlepas apapun akhiran sebelumnya. Ada proses biologis yang memproduksi dopamin, yang katanya hormon bahagia, kali-kali rasa penasaran muncul di setiap awalan baru. Katanya, bisa berjumlah hampir 10x lipat lebih banyak dari biasanya. Pantas ya, suka deg-degan?</p><p>Memulai hal baru memang se deg-degan itu. Apalagi setelah berhasil melalui tahap pertamanya. Seakan dunia bisa ditaklukkan dalam semalam. Eh, hiperbole ya? Meskipun…untuk memulai ada saja resistensinya.</p><p>Sadar atau tidak selalu ada hal baru kok hampir setiap harinya. Selalu ada saja yang pertama kali, dari hal ringan ataupun berat. Pertama mendatangi suatu tempat, pertama bertemu seseorang, pertama menonton channel youtube tertentu, pertama mencoba kuliner baru, pertama mencoba <em>style </em>dan warna pakaian tertentu, pertama berani <em>speak up</em>, pertama belajar sesuatu, pertama melakukan hal yang tidak disukai, pertama berani menentukan cita-cita sendiri, pertama membuat keputusan beresiko, dan lain-lainnya. Hal-hal pertama yang membuktikan, manusia akan selalu bertumbuh dan hal pertama menjadi bagiannya.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b8b1b7b6d6de" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[A/B Testing for Marketing Campaign]]></title>
            <link>https://raudhohfitrah.medium.com/a-b-testing-for-marketing-campaign-820815b07371?source=rss-6cc1ae8b79f5------2</link>
            <guid isPermaLink="false">https://medium.com/p/820815b07371</guid>
            <dc:creator><![CDATA[Raudhohfitrah]]></dc:creator>
            <pubDate>Tue, 11 Mar 2025 09:55:01 GMT</pubDate>
            <atom:updated>2025-03-11T09:55:01.293Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*viG9vtkDfHC_SAFaXOLFcg.jpeg" /><figcaption>Credit : freepik</figcaption></figure><h3>A/B Testing adalah metode pengujian atau eksperimentasi untuk mengetahui mana di antara dua kelompok uji (A dan B) yang lebih baik menurut metric yang ditentukan (misal : purchase).</h3><h4><strong>Definition</strong></h4><p>Asumsikan anda mendevelop suatu fitur rekomendasi produk yang bertujuan untuk meningkatkan engagement user app hingga meningkatkan konversinya terhadap transaksi. Conversion Rate ini kemudian menjadi success metric terhadap development fitur tersebut. Lalu, bagaimana cara mengukur apakah fitur ini benar-benar berhasil atau tidak?</p><p>Praktik yang lazim diterapkan adalah, dengan mengukur rata-rata conversion rate before after atau mengukur total revenue before after. Jika meningkat, dapat dianggap berhasil dan sebaliknya. Tentu hal tersebut tidak cukup. Perlu diukur dan diuji signifikansi kenaikan tersebut agar dapat disimpulkan fitur berhasil atau tidak. Pengukuran dan pengujian ini dapat dilakukan dengan A/B Testing.</p><p>Sehingga A/B Testing berarti adalah metode pengujian atau eksperimentasi untuk mengetahui mana di antara dua kelompok uji (A dan B) yang lebih baik menurut metric yang ditentukan. Misalnya, dalam case ini conversion rate atau revenue.</p><h4>Steps</h4><p>Langkah-langkah A/B Testing adalah</p><ol><li><strong>Exploratory Data Analysis</strong></li></ol><p>Step ini bertujuan untuk memahami karakter data yang akan diuji. Karena A/B testing membandingkan 2 kelompok uji, maka biasanya data tersebut harus mutually exclusive antara 2 kelompok uji tersebut.</p><p>Hal lain yang perlu diketahui adalah, normality distribusi dari dataset. Bisa dilihat melalui deskriptif statistik, kurtosis dan skewness menggunakan pandas, atau visual inspection menggunakan chart seperti boxplot, distribution plot atau violin plot atau uji normalitas menggunakan library scipy.</p><p>Normalitas akan berhubungan dengan metode statistik yang digunakan untuk A/B testing nantinya.</p><p><strong>2. Data Cleansing and Preparation</strong></p><p>Beberapa data preparation yang standar seperti data deduplikasi, imputasi, outlier removing, labelling antara control dan treatment, dan lainnya.</p><p>3. <strong>Sampling</strong></p><p>Sampling adalah mengambil sebagian data yang dianggap representatif mewakili karakter populasi. Bertujuan untuk efektivitas resources pada data yang berukuran besar, juga sebagai pengujian konsistensi hasil uji statistik pada data.</p><p><strong>4. Assign Control &amp; Treatment Group</strong></p><p><strong>5. Statistical Test</strong></p><p>Memilih metode pengujian berdasarkan karakteristik data yang sudah dieksplor pada langkah pertama. Misal, menggunakan T-Test untuk normal distribution continuous data, atau Mann-whitney U Test untuk data yang tidak berdistribusi normal</p><h4>Dataset</h4><p>Dataset yang digunakan adalah dataset <a href="https://www.kaggle.com/code/iyadmahdy/a-b-testing-analysis-marketing-campaign/input">berikut</a></p><h4>Prerequisite</h4><p>Berikut minimum spec dan beberapa tools yang dibutuhkan :</p><ul><li><strong>Processor:</strong> Intel Core i3 (10th Gen)</li><li><strong>RAM:</strong> <strong>8GB</strong></li><li><strong>Storage:</strong> <strong>256GB SSD</strong></li><li><strong>OS:</strong> Windows 10/11, macOS, or Linux</li><li><strong>Software:</strong> Anaconda with Jupyter Notebook</li><li><strong>Jupyter notebook</strong>/ <a href="https://colab.research.google.com/">google colab</a>/ other code editor tools</li></ul><h3>A/B testing with Python</h3><h4>Import Dataset &amp; Libraries</h4><pre>#Import necessary libraries<br>import pandas as pd<br>import numpy as np<br><br>import seaborn as sns<br>import matplotlib.pyplot as plt<br>from statsmodels.stats.proportion import proportions_ztest<br>from sklearn.utils import resample<br>from scipy.stats import skew, kurtosis,stats,mannwhitneyu, ttest_ind, levene, shapiro  #<br>import statsmodels.stats.api as sms<br><br><br># from statsmodels.stats.api import proportion_effectsize<br>import warnings<br>warnings.filterwarnings(&#39;ignore&#39;)<br>pd.options.display.float_format = &#39;{:.6f}&#39;.format</pre><p>Load dataset :</p><pre>#load dataset<br>treatment = pd.read_csv(&#39;test_group.csv&#39;, delimiter=&#39;;&#39;)<br>control = pd.read_csv(&#39;control_group.csv&#39;, delimiter=&#39;;&#39;)<br><br>#combine data into 1 dataframe then preview the data<br>df = pd.concat([treatment, control])<br><br>#rename column to simplify work<br>cols = [&#39;campaign_name&#39;,&#39;date&#39;,&#39;spend&#39;, &#39;impression&#39;,&#39;reach&#39;,&#39;clicks&#39;,&#39;searches&#39;,&#39;view&#39;,&#39;atc&#39;,&#39;purchase&#39;] <br>df.columns = cols<br><br>df.head()</pre><h4>Exploratory Data Analysis :</h4><pre>df.info()</pre><p>Dari output berikut terlihat ada beberapa variable dengan missing value :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/708/1*Ga8Mz2nkV-vCrofvSnU-5w.png" /></figure><h4>Data imputation</h4><pre>#data imputation so there&#39;s no missing value even 1 row<br>null_cols = df.columns[df.isna().sum() &gt; 0].tolist()<br>df.fillna(df[null_cols].mean(), inplace=True)</pre><h4>Data distribution check</h4><pre>#separate into numeric and object columns<br>numeric_cols = df.select_dtypes(include=[np.number]).columns<br>object_cols = df.select_dtypes(exclude=&#39;int64&#39;).columns<br><br>#add skewness and kurtosis<br>stats_table = df.describe().T<br>stats_table[&#39;kurtosis&#39;] = df[numeric_cols].apply(lambda x: x.kurt())<br>stats_table[&#39;skewness&#39;] = df[numeric_cols].apply(lambda x: x.skew())<br>stats_table</pre><h4>Quick summary from data</h4><p>Dari deskriptif statistik secara umum dapat ditarik kesimpulan</p><ol><li>Secara umum (kecuali variable ctr), keseluruhan variable mendekati distribusi normal</li><li>Umumnya, nilai kurtosis dari keseluruhan variable terlihat <em>moderately-peak</em></li><li>Hampir tidak ditemukan outlier</li><li>Distribusi reach dan impression menunjukkan bahwa campaign memiliki <em>coverage</em> yang luas dan <em>exposure</em> yang tinggi</li><li>Nilai CTR di antara 6–7% mengindikasikan campaign memiliki CTR yang rata-rata atau di atas rata-rata untuk ecommerce</li><li>CTR tidak berdistribusi normal, <em>make sense </em>karena biasanya beberapa campaign bisa lebih perform dibandingkan campaign lainnya</li></ol><h4>Visual Inspection for data normality</h4><ol><li>Menggunakan boxplot untuk mengetahui spread data pada quartiles nya</li></ol><pre>#using boxplot to see the spread of the data through quartiles<br>fig,axes = plt.subplots(rows,cols, figsize=(3*cols,3*rows))<br><br>if len(numeric_cols) == 1:<br>    axes = [axes]  # Convert single subplot to list<br>else:<br>    axes = axes.flatten()<br><br>for i, col in enumerate(list(numeric_cols)):<br>    sns.boxplot(y=df[col], ax=axes[i])<br>    axes[i].set_title(col)<br><br>plt.tight_layout()<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/900/1*tbBxBkYmIeVMTZgZ_SkuQg.png" /></figure><p>2. Mengunakan Distribution plot terutama untuk melihat kurtosis dan skewness</p><pre><br><br>#using boxplot to see the distribution (kurtosis and skewness) of the data <br><br>fig,axes = plt.subplots(rows,cols, figsize=(5*cols,3*rows))<br><br>if len(numeric_cols) == 1:<br>    axes = [axes]  # Convert single subplot to list<br>else:<br>    axes = axes.flatten()<br><br>for i, col in enumerate(list(numeric_cols)):<br>    sns.distplot(a=df[col], ax=axes[i])<br>    axes[i].set_title(col)<br><br>plt.tight_layout()<br><br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TR-jH5vMXcSz_yUiDROMzQ.png" /></figure><p>3. Jumlah data per group</p><pre>sns.barplot(x=version_counts.index, y=version_counts.values, palette=&#39;viridis&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/640/1*buOdKe2L352rl3UpSgackw.png" /></figure><p>4. Correlation between variables</p><pre>#correlation between variables<br>corr = df[numeric_cols].corr()<br>sns.heatmap(corr, annot=True)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/640/1*dPXzHekMuOkyw1jTFI7SPw.png" /></figure><h4>✨ What the correlation matrix say 📊</h4><p>The correlation value between search and view indicate that users used to do search in the first time they open the app. Which means <strong>THE APP MAY CONFUSING FOR THEM.</strong></p><p>5. Distribution between groups</p><pre>spend_counts = df.groupby([&#39;campaign_name&#39;])[&#39;spend&#39;].sum() <br>impression_counts = df.groupby([&#39;campaign_name&#39;])[&#39;impression&#39;].mean()<br><br>reach_counts = df.groupby([&#39;campaign_name&#39;])[&#39;reach&#39;].mean()<br>clicks_counts = df.groupby([&#39;campaign_name&#39;])[&#39;clicks&#39;].sum()<br><br>search_counts = df.groupby([&#39;campaign_name&#39;])[&#39;searches&#39;].sum()<br>view_counts = df.groupby([&#39;campaign_name&#39;])[&#39;view&#39;].sum()<br><br>atc_counts = df.groupby([&#39;campaign_name&#39;])[&#39;atc&#39;].sum()<br>purchase_counts = df.groupby([&#39;campaign_name&#39;])[&#39;purchase&#39;].sum()<br><br>import matplotlib.pyplot as plt<br>import seaborn as sns<br><br>sns.set_style(&quot;darkgrid&quot;)<br>fig, axes = plt.subplots(4,2,figsize=(5*cols,5*rows))<br>fig.suptitle(&quot;Data distributioon and analysis&quot;, fontsize=20)<br><br># Distribution of the &#39;spending&#39; column<br>sns.barplot(x=spend_counts.index, y=spend_counts.values, ax=axes[0, 0], palette=&#39;viridis&#39;)<br>axes[0, 0].text(0, spend_counts.values[0] + 1, f&#39;{spend_counts.values[0]:.1f}&#39;, ha=&#39;center&#39;, va=&#39;bottom&#39;)<br>axes[0, 0].text(1, spend_counts.values[1] + 1, f&#39;{spend_counts.values[1]:.1f}&#39;, ha=&#39;center&#39;, va=&#39;bottom&#39;)<br>axes[0, 0].set_title(&#39;Distribution of Spending&#39;)<br>axes[0, 0].set_ylabel(&#39;Sum&#39;)<br>axes[0, 0].set_xlabel(&#39;Spend&#39;)<br><br># Distribution of &#39;reach&#39;<br>sns.barplot(x=impression_counts.index, y=impression_counts.values, ax=axes[0, 1], palette=&#39;viridis&#39;)<br>axes[0, 1].text(0, impression_counts.values[0] + 1, f&#39;{impression_counts.values[0]:.1f}&#39;, ha=&#39;center&#39;, va=&#39;bottom&#39;)<br>axes[0, 1].text(1, impression_counts.values[1] + 1, f&#39;{impression_counts.values[1]:.1f}&#39;, ha=&#39;center&#39;, va=&#39;bottom&#39;)<br>axes[0, 1].set_title(&#39;Distribution of Impression Average&#39;)<br>axes[0, 1].set_ylabel(&#39;Average&#39;)<br>axes[0, 1].set_xlabel(&#39;Impression&#39;)<br><br># Distribution of &#39;clicks&#39;<br>sns.barplot(x=clicks_counts.index, y=clicks_counts.values, ax=axes[1, 0], palette=&#39;viridis&#39;)<br>axes[1, 0].text(0, clicks_counts.values[0] + 1, f&#39;{clicks_counts.values[0]:.1f}&#39;, ha=&#39;center&#39;, va=&#39;bottom&#39;)<br>axes[1, 0].text(1, clicks_counts.values[1] + 1, f&#39;{clicks_counts.values[1]:.1f}&#39;, ha=&#39;center&#39;, va=&#39;bottom&#39;)<br>axes[1, 0].set_title(&#39;Distribution of Clicks&#39;)<br>axes[1, 0].set_ylabel(&#39;Sum&#39;)<br>axes[1, 0].set_xlabel(&#39;Click&#39;)<br><br><br># Distribution of &#39;reach&#39;<br>sns.barplot(x=reach_counts.index, y=reach_counts.values, ax=axes[1, 1], palette=&#39;viridis&#39;)<br>axes[1, 1].text(0, reach_counts.values[0] + 1, f&#39;{reach_counts.values[0]:.1f}&#39;, ha=&#39;center&#39;, va=&#39;bottom&#39;)<br>axes[1, 1].text(1, reach_counts.values[1] + 1, f&#39;{reach_counts.values[1]:.1f}&#39;, ha=&#39;center&#39;, va=&#39;bottom&#39;)<br>axes[1, 1].set_title(&#39;Distribution of Reach Average&#39;)<br>axes[1, 1].set_ylabel(&#39;Average&#39;)<br>axes[1, 1].set_xlabel(&#39;Reach&#39;)<br><br># # Distribution of &#39;search_counts&#39;<br>sns.barplot(x=search_counts.index, y=search_counts.values, ax=axes[2, 0], palette=&#39;viridis&#39;)<br>axes[2, 0].text(0, search_counts.values[0] + 1, f&#39;{search_counts.values[0]:.1f}&#39;, ha=&#39;center&#39;, va=&#39;bottom&#39;)<br>axes[2, 0].text(1, search_counts.values[1] + 1, f&#39;{search_counts.values[1]:.1f}&#39;, ha=&#39;center&#39;, va=&#39;bottom&#39;)<br>axes[2, 0].set_title(&#39;Distribution of Search&#39;)<br>axes[2, 0].set_ylabel(&#39;Sum&#39;)<br>axes[2, 0].set_xlabel(&#39;Search&#39;)<br><br># # Distribution of &#39;view_counts&#39;<br>sns.barplot(x=view_counts.index, y=view_counts.values, ax=axes[2, 1], palette=&#39;viridis&#39;)<br>axes[2, 1].text(0, view_counts.values[0] + 1, f&#39;{view_counts.values[0]:.1f}&#39;, ha=&#39;center&#39;, va=&#39;bottom&#39;)<br>axes[2, 1].text(1, view_counts.values[1] + 1, f&#39;{view_counts.values[1]:.1f}&#39;, ha=&#39;center&#39;, va=&#39;bottom&#39;)<br>axes[2, 1].set_title(&#39;Distribution of View&#39;)<br>axes[2, 1].set_ylabel(&#39;Sum&#39;)<br>axes[2, 1].set_xlabel(&#39;View&#39;)<br><br><br><br># # Distribution of &#39;purchase sum&#39;<br>sns.barplot(x=purchase_counts.index, y=purchase_counts.values, ax=axes[3, 0], palette=&#39;viridis&#39;)<br>axes[3, 0].text(0, purchase_counts.values[0] + 1, f&#39;{purchase_counts.values[0]:.1f}&#39;, ha=&#39;center&#39;, va=&#39;bottom&#39;)<br>axes[3, 0].text(1, purchase_counts.values[1] + 1, f&#39;{purchase_counts.values[1]:.1f}&#39;, ha=&#39;center&#39;, va=&#39;bottom&#39;)<br>axes[3, 0].set_title(&#39;Distribution of Purchase&#39;)<br>axes[3, 0].set_ylabel(&#39;Sum&#39;)<br>axes[3, 0].set_xlabel(&#39;Purchase&#39;)<br><br># # Distribution of &#39;ATC&#39;<br>sns.barplot(x=atc_counts.index, y=atc_counts.values, ax=axes[3, 1], palette=&#39;viridis&#39;)<br>axes[3, 1].text(0, atc_counts.values[0] + 1, f&#39;{atc_counts.values[0]:.1f}&#39;, ha=&#39;center&#39;, va=&#39;bottom&#39;)<br>axes[3, 1].text(1, atc_counts.values[1] + 1, f&#39;{atc_counts.values[1]:.1f}&#39;, ha=&#39;center&#39;, va=&#39;bottom&#39;)<br>axes[3, 1].set_title(&#39;Distribution of ATC&#39;)<br>axes[3, 1].set_ylabel(&#39;Sum&#39;)<br>axes[3, 1].set_xlabel(&#39;ATC&#39;)<br><br><br>plt.tight_layout(rect=[0, 0.03, 1, 0.95])<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*E0YEcwE5rrP3t2cn4TEnSw.png" /></figure><h4>Removing Outlier</h4><pre>def outlier_remover(df, col):<br>    q1 = df[col].quantile(0.25)<br>    q3 = df[col].quantile(0.75)<br>    iqr = q3-q1<br>    upper_bond = q3 + 1.5 *iqr<br>    lower_bond = q1 - 1.5 *iqr<br><br>    return upper_bond, lower_bond<br><br><br>for i,col in enumerate(numeric_cols):<br>    upper_bond, lower_bond = outlier_remover(df, col)<br>    df = df[(df[col] &gt;= lower_bond) &amp; (df[col] &lt;= upper_bond)]<br><br>df.shape</pre><h3>Statistical Testing</h3><blockquote><strong>Hypothesis null</strong> = There is no difference number of purchase, for treatment campaign compared to control group<br><strong>Hypothesis alternative</strong> = There is significance difference number of purchase, for treatment campaign compared to control group</blockquote><pre>from scipy.stats import mannwhitneyu, ttest_ind, levene, shapiro<br>control_group = df[df[&#39;campaign_name&#39;]==&#39;Control Campaign&#39;]<br>treatment_group = df[df[&#39;campaign_name&#39;]==&#39;Test Campaign&#39;]<br><br>#Check normality <br><br><br>def print_result(var, p_value):<br>    if p_value &lt; 0.05:<br>        print(f&quot;distribution of {var} is not normal : {p_value}&quot;)<br>    else:<br>        print(f&quot;distribution of {var} is normal : {p_value}&quot;)<br><br>shape_control = shapiro(control_group[&#39;purchase&#39;])<br>shape_treatment = shapiro(treatment_group[&#39;purchase&#39;])<br><br>print_result(&#39;Control Group&#39;, shape_control.pvalue)<br>print_result(&#39;Treatment Group&#39;, shape_treatment.pvalue)</pre><p>Hasilnya :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tgqbU-HxAr93A9giluOvLA.png" /></figure><p>Untuk data yang berdistirbusi normal, maka statistical method yang dapat dipakai adalah<strong><em> t-test</em></strong> sementara untuk distribusi tidak normal dapat menggunakan non-parametric model <strong><em>mann-whitney u test</em></strong>.</p><ol><li>Menggunakan T-Test</li></ol><pre>alpha = 0.05<br>stat, p_lev = levene(control_group[&#39;purchase&#39;], treatment_group[&#39;purchase&#39;])<br>equal_var = p_lev &gt; alpha<br>#For normal distribution, use T-test statistical method<br>u_stat, p_value = stats.ttest_ind(control_group[&#39;purchase&#39;], treatment_group[&#39;purchase&#39;], equal_var = equal_var)<br>print(f&quot;T-Test: {u_stat:.4f}, P-value: {p_value:.4f}&quot;)</pre><p>2. Menggunakan Mann-whitney</p><pre>u_stat, p_value = mannwhitneyu(control_group[&#39;purchase&#39;], treatment_group[&#39;purchase&#39;], alternative=&#39;two-sided&#39;)<br>print(f&quot;Mann-Whitney U statistic: {u_stat:.4f}, P-value: {p_value:.4f}&quot;)</pre><h3>Conclusion</h3><pre>alpha = 0.05  # 5% significance level<br>print(&quot;Null hypothesis : There is no significant difference on purchase for treatment or control group\n&quot;)<br><br>if p_value &lt; alpha:<br>    print(&quot;Reject null hypothesis. So, there is a significant difference! ✅&quot;)<br>else:<br>    print(&quot;Fail to reject null hypothesis. So, there&#39;s no significant difference. ❌&quot;)</pre><p>Hasil :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4AElubme9YJ_-Xq3-dkKEg.png" /></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=820815b07371" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Level of Detail (Tableau)]]></title>
            <link>https://raudhohfitrah.medium.com/level-of-detail-tableau-a5710a6232dd?source=rss-6cc1ae8b79f5------2</link>
            <guid isPermaLink="false">https://medium.com/p/a5710a6232dd</guid>
            <category><![CDATA[tableau]]></category>
            <category><![CDATA[data]]></category>
            <category><![CDATA[granularity]]></category>
            <category><![CDATA[visualization]]></category>
            <category><![CDATA[lod]]></category>
            <dc:creator><![CDATA[Raudhohfitrah]]></dc:creator>
            <pubDate>Sun, 04 Feb 2024 07:02:38 GMT</pubDate>
            <atom:updated>2024-02-04T07:08:03.390Z</atom:updated>
            <content:encoded><![CDATA[<p>Post ini me-refer pada artikel <a href="https://raudhohfitrah.medium.com/vital-elements-of-data-visualization-part-1-a913f8d81053">sebelumnya</a>.</p><p>Pada tulisan sebelumya, telah dijelaskan mengenai pengaruh dimension dan measure variable terhadap granularitas.</p><p>Level of Detail adalah salah satu fitur pada Tableau yang dapat mengkalkulasi measure variable dengan meng-abaikan tingkat granularitas tersebut. Contohnya, jika butuh menampilkan kalkulasi berdasarkan visit time saja (Kolom # Customer Based on Visit Time). Karena hanya dikalkukasi berdasarkan visit time variable, maka semua baris dengan value visit time yang sama akan memiliki hasil yang sama.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_Yx5NByg3kWCRQTEUNnIpA.png" /></figure><p>Level of detail dibuat dengan menggunakan fitur calculated field, artinya ia akan menjadi variable buatan yang muncul di dalam data source pada workbook dimana variable itu dibuat.</p><p>Perhatikan 3 variable LOD pada gambar berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*N9qxJL--d6ecJlrme5qovA.png" /></figure><p>Keterangan :</p><ul><li>Sales Amount adalah nilai total sales yang diagregat berdasarkan generation dan visit time</li><li>Average spending per customer ($) adalah <em>average dari total amount spending per customer id pada generation category dan visit time tertentu</em>, dihitung menggunakan <strong><em>include</em></strong>.</li><li>Amount Spending of All Gen adalah total amount sales yang diagregat berdasarkan generation category, dihitung menggunakan <strong><em>exclude.</em></strong></li><li>Sales Total ($) adalah total amount sales keseluruhan, dihitung menggunakan <strong><em>fixed</em></strong>.</li></ul><p>Setiap variable di atas memiliki level granularitas yang berbeda-beda dengan keadaan sebenarnya pada Table atau visualisasi. Setiap variable LOD yang dibuat akan dipengaruhi oleh formula pembentuknya, dan visualisasi dimana variable tersebut digunakan. Kecuali Fixed LOD.</p><p>Terdapat 3 jenis Level of Detail :</p><ol><li>Fixed</li><li>Include</li><li>Exclude</li></ol><p><strong>LEVEL OF DETAIL</strong></p><p>Fixed LOD ini yang paling mudah di antara LOD lainnya. Fixed LOD mengkalkulasi nilai secara fixed sesuai dengan formulasinya. Diletakkan pada granularitas seperti apapun, nilainya tidak akan berubah. Formula LOD adalah,</p><p>{FIXED *[optional DIMENSION]* : AGGREGATE(MEASURE)}</p><p>Contoh, menghitung Sales Total ($) pada gambar di atas lakukan langkah-langkah berikut :</p><ul><li>Buat worksheet baru, masukkan variable generation category dan visit time sebagai row</li><li>Double click / drag variable <em>line_item_amount,</em> maka chart akan ditampilkan sebagai berikut</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Wj0SY8rwyj55Wig-NZPceQ.png" /></figure><ul><li>Perhatikan bedanya dengan nilai LOD Fixed berikut</li><li>Create Calculated Field</li><li>Lalu masukkan formula berikut :</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wFgTKZ8MszkETl6CDlUivw.png" /></figure><ul><li>Tambahkan ke dalam table di atas. Maka angkanya akan jadi berbeda seperti berikut :</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nyw3_d6UPVUxKnOWbQZk_w.png" /></figure><p>Coba-coba dengan menambahkan/ mengurangi variable dimension ke dalam visualisasi dan amati perubahan pada angka <em>Sales Total ($)</em></p><p><strong>2. Exclude</strong></p><p>LOD jenis ini akan meng-kalkulasi sesuai dengan dimension yang ada pada visualisasi terlebih dahulu, lalu kemudian meng-exclude dimensioin yang ada pada formula nya lalu meng-kalkulasi ulang.</p><p>Formula exclude kurang lebih : {EXCLUDE [DIMENSION],[optional DIMENSION2] : AGGREGATE(MEASURE)}.</p><p>Contoh : untuk membuat variable ini ikuti langkah-langkah berikut :</p><ul><li>Buat worksheet baru, masukkan variable generation_category dan visit time sebagai row</li><li>Double click / drag variable <em>line_item_amount,</em> maka chart akan ditampilkan sebagai berikut</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Wj0SY8rwyj55Wig-NZPceQ.png" /></figure><ul><li>Perhatikan bedanya dengan nilai LOD Exclude berikut</li><li>Create Calculated Field, lalu masukkan formula berikut :</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yCaMjSpHmGsek9-4zjjoIQ.png" /></figure><ul><li>Tambahkan ke dalam table di atas. Maka angkanya akan jadi berbeda seperti berikut :</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/770/1*If8xbqxQIbvrkzJeiWE2yQ.png" /></figure><ul><li>Perhatikan bahwa amount <em>spending of all generation</em> hanya akan mengkalkulasi berdasarkan generation_category dan <strong>mengabaikan</strong> visit_time nya</li><li>Tambahkan lagi variable promo Item Yn maka hasilnya akan seperti ini, dimana semua spending baby boomers yang bukan promo akan memiliki nilai yang sama</li></ul><p>Hal tersebut dikarenakan Tableau akan mengkalkulasikan berdasarkan generation category dan promo item Yn saja, mengabaikan visit time nya.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/1*x9xsxHRWuddTGTAssXVmNg.png" /></figure><p><strong>3. Include</strong></p><p>LOD jenis ini digunakan ketika ada kalkulasi yang membutuhkan dimension variable lain, <strong>tanpa</strong> dimension tersebut ada di dalam visualisasi yang dibangun. LOD ini membutuhkan ketelitian tentang urutan-urutan kalkulasi yang dilakukan oleh Tableau.</p><p>Formula LOD include adalah :</p><p>{INCLUDE [DIMENSION],[optional DIMENSION2] : AGGREGATE(measure)}</p><p>Contoh, ikuti langkah-langkah berikut :</p><ul><li>Masukkan variable dimension dan measure ke dalam chart seperti berikut</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*oNhs5-pZR0dGFOLq42c0pw.png" /></figure><ul><li>Perhatikan angka yang ditampilkan adalah <em>amount sales per generatio</em>n dan visit time nya</li><li>Tampilkan subtotal, dengan cara klik menu analysis lalu pilih “add all subtotals”</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KaJbRz6hXWYoZSHCpDkTng.png" /></figure><ul><li>Maka akan muncul seperti berikut :</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/860/1*YCJEUOb2FEnB9jwfoG4XJA.png" /></figure><ul><li>Ganti subtotal dengan average, dengan menu berikut :</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/580/1*JE0mqVI5o8AcGo0bQ2gs2A.png" /></figure><ul><li>Sekarang, subtotal sudah berubah menjadi average. Contohnya pada baby boomers, kita dapat menyimpulkan bahwa rata-rata amount penjualan pelanggan baby boomers pada setiap waktunya (bukan perhari, karena tidak ada variable tanggal) berkisar sekitar $2699.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/1*K3rJ8jkGNNwsQKloij2VKg.png" /></figure><ul><li>Sekarang, bagaimana jika kita hanya ingin menampilkan nilai rata-rata per generation type nya seperti ini?</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/860/1*h6_vJHlh0v7IkZBRtJb5gA.png" /></figure><ul><li>Pada saat menghitung nilai rata-rata tersebut, yang dilakukan oleh Tableau di belakang layar sebernarnya adalah langkah-langkah berikut (ilustrasi menggunakan pivot table):</li></ul><ol><li>Membagi baris berdasarkan generation type</li><li>Lalu untuk semua baris pada generation type, dibedakan pula berdasarkan visit time nya</li><li>Meng-agregat semua amount yang sudah dikelompokkan tersebut lalu menjumlahkannya</li><li>Lalu, terakhir dihitunglah rata-rata nilai hasil agregat tersebut</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/770/1*GulRfLK_n-P7128FzI8WUg.png" /></figure><p>Maka LOD Include menggantikan step ke-2 hingga ke-4 di belakang layar, yaitu dengan menambahkan variable visit_time, meng-agregat (sum) nya, dan terakhir menghitung rata-rata nya.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/860/1*76wjwjRbdXD9G4IF_WF1Qg.png" /></figure><p>Baik exclude maupun include, hasil akhirnya akan dipengaruhi oleh dimension-dimension yang ada pada visualisasi. Jika ada variable dimension yang ditambah/ dikurangi maka nilai akhirnya akan berubah.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a5710a6232dd" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Vital Elements of Data Visualization Part 1]]></title>
            <link>https://raudhohfitrah.medium.com/vital-elements-of-data-visualization-part-1-a913f8d81053?source=rss-6cc1ae8b79f5------2</link>
            <guid isPermaLink="false">https://medium.com/p/a913f8d81053</guid>
            <category><![CDATA[tableau]]></category>
            <category><![CDATA[granularity]]></category>
            <category><![CDATA[data-visualization]]></category>
            <category><![CDATA[dimensions]]></category>
            <category><![CDATA[measure]]></category>
            <dc:creator><![CDATA[Raudhohfitrah]]></dc:creator>
            <pubDate>Sun, 04 Feb 2024 06:44:17 GMT</pubDate>
            <atom:updated>2024-02-04T06:44:17.629Z</atom:updated>
            <content:encoded><![CDATA[<h3>Data Visualisasi 101 : Measure dan Dimension</h3><blockquote>Pada gambar-gambar yang dicantumkan berikut, perhatikan tata letak variable nya dan coba bedakan visualisasi yang dihasilkan.</blockquote><p>Dataset yang digunakan pada halaman ini dapat diakses <a href="https://drive.google.com/drive/folders/1OIUikj7r_kWa3iywd2RVqYxEv1JYwqmq?usp=share_link">di sini</a></p><p>Ringkasnya, tujuan data visualisasi adalah untuk mengkomunikasikan informasi, <em>insight</em> pada chart kepada <em>audience</em>. Pada setiap data visualisasi, terdapat 2 variable utama menurut fungsinya yaitu measure dan dimension.</p><ul><li><strong><em>Measure</em></strong> adalah adalah variable kuantitatif, yang digunakan untuk mengukur. Sehingga nilainya digunakan untuk fungsi kalkulasi seperti sum, average, max, min. Contoh volume, tinggi, amount, persen, dst.</li><li><strong><em>Dimension</em></strong> adalah variable kualitatif, yang digunakan untuk memberikan “dimension”, konteks dan mengelompokkan data sehingga mudah diamati atau memberikan lebih banyak informasi lagi. Contoh kategori produk, warna, tingkat pendidikan, tanggal.</li></ul><p>Data kualitatif dapat memberikan konteks pada data kuantitatif. Sebaliknya, dengan data kuantitatif, maka data yang bersifat kualitatif dapat dibandingkan.</p><p>Selain itu, ada juga 2 jenis variable berdasarkan jenis value di dalamnya, continuous dan discrete.</p><ul><li><strong><em>Discrete</em></strong> adalah nilai bulat, tidak pecah dan mutually exclusive antara value yang satu dan lainnya. Misal, bilangan bulat, nilai pada kategory seperti tingkat pendidikan, warna, nomor urut, NIK.</li><li><strong><em>Continuous</em></strong> adalah nilai pecahan, non-mutually exclusive sehingga tidak memiliki jarak yang tetap antara satu value dan lainnya. Misal, amount, persentase, panjang.</li></ul><p>Perhatikan score card berikut, hanya berisi data kuantitatif.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*enYdUIMtQ75h8lq0LieVYA.png" /></figure><p>Lalu, jika variable product category yang adalah variable dimension berikut dimasukkan, data kuantitatif tadi dapat dibandingkan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*V600twKWV7Ob_gFr-i9-1w.png" /></figure><h3>Granularity</h3><p>Granularitas adalah ke-detailan pada visualisasasi. Perhatikan beberapa table berikut :</p><ul><li>Sales By Product Category</li></ul><p>Granularitasnya ada pada product category, artinya setiap baris data menjelaskan atau mendetailkan 1 product category.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*cW3Yijcevv9gk7H_4KvGww.png" /></figure><ul><li>Sales By Product Category</li></ul><p>Granularitas chart berikut, juga ada pada product category. Satu baris menjelaskan atau mendetailkan 1 product category. Dimana product category adalah bagian dari product group tertentu dan memiliki total sales tertentu.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bCkJC1wLql4ylWO1oMEYgA.png" /></figure><ul><li>Sales By Product Type</li></ul><p>Akan tetapi pada chart berikut, granularitasnya bukan lagi pada product category melainkan pada product type. Dimana 1 baris menjelaskan atau mendetailkan 1 product category.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9RZWJfc7QmMlg0O0BGQrZQ.png" /></figure><ul><li>Sales By Date</li></ul><p>Pada <em>line chart</em> berikut, granularitasnya adalah hari. Berarti setiap baris data pada chart tersebut menjelaskan tentang sales per harinya.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BmLlb-3HICqYdQaq5_WYXQ.png" /></figure><p>Dari <em>chart-chart </em>di atas dapat disimpulkan bahwa granularitas dapat dianggap sebagai “satuan” setiap baris data. Pada chart <em>Sales By Product Category </em>satuan baris datanya adalah per product category, pada chart <em>Sales By Product Type</em> satuan baris datanya adalah per product type, dan pada chart <em>Sales By Date </em>satuan per baris datanya adalah per hari atau per transaction date.</p><h3>Dimension &amp; Granularity of Tableau</h3><p>Dari contoh-contoh di atas, dapat disimpulkan bahwa setiap variable dimension memiliki granularitas yang berbeda-beda. Jika <em>variable-variable</em> dimension tersebut disatukan di dalam satu visualisasi, maka akan mempengaruhi granularitas akhir pada visualisasi tersebut. Perhatikan beberapa contoh berikut :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4XkOCJITQEFw5KugeQ5B8w.png" /></figure><p>Tambahkan dimension variable visit time, maka granularitasnya akan berubah seperti berikut. Sehingga table ini menjelaskan tentang <em>jumlah pengunjung per generation category</em> <em>pada</em> <em>setiap kategori visit time</em>, granularitasnya ada pada generation category dan visit time sekaligus.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8zQyEANycF0WdPChEmoaZw.png" /></figure><p>Jika digeser seperti berikut hanya urutannya yang berubah, akan tetapi granularitasnya tetap <em>jumlah pengunjung per visit time pada setiap generation category</em>, visit time dan generation category sekaligus.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*oS_Pbvg8KuzBuDgjgIKQLA.png" /></figure><p>Jika variablenya diubah seperti berikut, granularitasnya akan berubah pula. Setiap baris data menjelaskan tentang generation. Akan tetapi, walaupun urutan antara generation category dan generation diubah, granularitasnya akan tetap ada pada generation dan bukan pada generation category. Hal ini dikarenakan, kedua variable dimension ini memiliki irisan. Variable generation adalah bagian dari variable generation category.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*I8VQEiYuWWEf-ZjJXzhQ2g.png" /></figure><h3>Measure &amp; Granularity of Tableau</h3><p>Pada setiap contoh di atas, perhatikan bahwa variable measure akan dikalkulasi berdasarkan tingkat granularitas yang ada pada visualisasi tersebut. Jika granularitasnya per visit time dan generation category sekaligus, maka variable measure berikut (Count distinct customer id) akan dihitung dengan logika <em>count distinct number of customer id per visit time kemudian bagi per generation category</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*oS_Pbvg8KuzBuDgjgIKQLA.png" /></figure><p>Atau pada contoh berikut, dimana granularitasnya ada pada generation. Nilai akhir<em> count distinct of customer id </em>akan dihitung dengan logika <em>count ditinct number of customer id per generation category kemudian bagi per generation.</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*I8VQEiYuWWEf-ZjJXzhQ2g.png" /></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a913f8d81053" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[UTM and GTM on Digital Campaign]]></title>
            <link>https://raudhohfitrah.medium.com/utm-and-gtm-on-digital-campaign-9d09d4a9c662?source=rss-6cc1ae8b79f5------2</link>
            <guid isPermaLink="false">https://medium.com/p/9d09d4a9c662</guid>
            <category><![CDATA[google-tag-manager]]></category>
            <category><![CDATA[google-analytics]]></category>
            <category><![CDATA[digital-campaigns]]></category>
            <category><![CDATA[data-analytics]]></category>
            <dc:creator><![CDATA[Raudhohfitrah]]></dc:creator>
            <pubDate>Wed, 04 Oct 2023 02:27:56 GMT</pubDate>
            <atom:updated>2023-10-04T02:27:56.112Z</atom:updated>
            <content:encoded><![CDATA[<h3><em>Gadget sebagai Media marketing</em></h3><p>Saat ini, mobile apps adalah ekosistem paling menjanjikan bagi marketer. Untuk mendapatkan engagement yang bagus, yang berpotensi menghasilkan revenue, mobile apps didesain sedemikian rupa dengan User Interface dan User X-perience yang ciamik.</p><p>Di era semuanya mudah dijangkau melalui gadget seperti ini, transaksi lebih mudah dilakukan. Customer journey mudah diamati, kebutuhan customer mudah dipetakan, jarak antara penjual dan pembeli pun menjadi lebih dekat, dengan mobile apps.</p><p>Memanfaatkan digital marketing, marketer mencoba “menggiring” potential user melalui berbagai campaign. Baik in-app campaign maupun campaign di luar aplikasi yang memanfaatkan platform-platform seperti Google Ads Manager, Meta-ads, LinkedIn-ads, dan lainnya. Tujuannya pun beragam, membangun brand awareness, generating leads, sales promotion, user engagement, retention dan lainnya.</p><h3><strong><em>Metrics pada Digital marketing</em></strong></h3><p>Digital campaign pada umumnya diukur dengan metrics seperti impression, click, conversion dan spending. Metrics turunannya seperti CTR, CVR, dan CAC.</p><ul><li><strong>Impression</strong> : Frekuensi iklan dilihat atau ditampilkan pada laman user, baik in-app maupun di platform lainnya.</li><li><strong>Click</strong> : Frekuensi iklan di-klik oleh user dan di-direct ke aplikasi atau page tertentu</li><li><strong>Conversion</strong> : Frekuensi user melakukan action tertentu sesuai yang diinginkan marketer, contoh mengisi form, melakukan pembelian</li><li><strong>Spending</strong> : Jumlah cost yang dihabiskan pada campaign</li><li><strong>CTR</strong> : Click-through Rate, rasio efektivitas campaign dilihat dari jumlah klik dibagi dengan impression</li><li><strong>CVR</strong> : Conversion Rate, yaitu persentase user melakukan action tertentu sesuai tujuan campaign, terhadap jumlah click, atau bisa juga persentase <em>targetted</em> leads yang melakukan transaksi</li><li><strong>CAC</strong> : Customer Acquisition Cost, yaitu spending cost per leads yang di-generate (tergantung tujuan campaign)</li><li>Lainnya</li></ul><p>Selain itu, pertanyaan yang cukup sering diajukan oleh tim marketing adalah, marketing channel atau campaign channel mana yang paling efektif?</p><h3><em>Bagaimana campaign dilakukan dan bagaimana cara trackingnya</em>?</h3><p>Campaign ada yang dilakukan in-app, yaitu di dalam aplikasi itu sendiri dan outside app, dengan memanfaatkan advertising platform seperti Google Ads, Meta Ads, dan lain-lain. Keduanya bisa menggunakan Google Analytics (GA) sebagai tracking tools, meskipun memiliki banyak keterbatasan yang tidak akan dibahas pada artikel ini.</p><p>Pada outside app, campaign di-blast berisi link yang biasanya disesuaikan dengan target capaian campaign. Misalnya, campaign di akun instagram shopee <a href="https://www.instagram.com/reel/CwEYHinv39k/?utm_source=ig_web_copy_link&amp;igshid=MzRlODBiNWFlZA==">ini</a> jika diklik akan diteruskan ke laman shopee.co.id, atau mobile apps nya. Bentuk linknya :</p><p><a href="https://shopee.co.id/m/9-9?utm_campaign=-&amp;utm_content=081899SuperShoppingDayIG-InstagramFeed-Campaign-Promotion-Static&amp;utm_medium=affiliates&amp;utm_source=an_11305170267&amp;utm_term=9rgxmkuoeox3">https://shopee.co.id/m/9-9?utm_campaign=-&amp;utm_content=081899SuperShoppingDayIG-InstagramFeed-Campaign-Promotion-Static&amp;utm_medium=affiliates&amp;utm_source=an_11305170267&amp;utm_term=9rgxmkuoeox3</a></p><p>Link ini bisa jadi mengarahkan user untuk melihat campaign <strong><em>“SuperShoppingDay 9–9”</em></strong>. Dan saat link di-klik, GA akan mencatat traffic nya.</p><p>Ada 2 database pencatatan, yaitu database Google Analytic itu sendiri, yang mana not-accessible dan Big Query, yang accessible namun formatnya belum tabular sehingga not consume-able bagi non engineer, contoh format json.</p><p>Data-data yang dicatat oleh Google Analytics di antaranya :</p><ol><li>Users</li><li>Session</li><li>Event</li><li>Traffic (source, medium, campaign, etc.)</li><li>Geographic</li><li>Content</li><li>etc.</li></ol><p>Jika dibenturkan pada metrics di atas, beberapa metrics tidak bisa diukur hanya menggunakan GA, oleh karena itu diperlukan Google Tag Manager.</p><h3>UTM versus GTM</h3><p>Link yang disebar melalui campaign tadi akan men-direct user ke dalam page tertentu di app atau website. Data ini dicatat oleh Google Analytics, sehingga untuk mengetahui dari mana saja asal campaign tersebut GA mencatat detailnya di dalam kolom-kolom traffic yaitu traffic_source, traffic_source_medium, dan traffic_source_name. Data pada kolom traffic_* ini berasal dari parameter utm_ pada link campaign, contohnya sebagai berikut :</p><p><a href="https://shopee.co.id/m/9-9?utm_campaign=-&amp;utm_content=081899SuperShoppingDayIG-InstagramFeed-Campaign-Promotion-Static&amp;utm_medium=affiliates&amp;utm_source=an_11305170267">https://shopee.co.id/m/9-9?utm_campaign=-&amp;utm_content=081899SuperShoppingDayIG-InstagramFeed-Campaign-Promotion-Static&amp;utm_medium=affiliates&amp;utm_source=an_11305170267</a></p><ul><li>Utm_source : disimpan ke dalam traffic_source, adalah platform campaign yang digunakan</li><li>Utm_medium : disimpan ke dalam traffic_source_medium, adalah detail platform atau metrics yang ingin diukur, contoh cpc, cpl</li><li>Utm_campaign : disimpan ke dalam traffic_source_name, adalah nama campaign yang diset marketer</li><li>Utm_content : subcontent campaign yang biasanya digunakan marketer untuk memberikan clue terkait campaign</li></ul><p>Variable-variable ini dapat digunakan untuk mendeteksi asal platform traffic yang masuk, sehingga dengan memperhitungkan cost dan capaian, bisa menjawab channel marketing mana yang paling efektif.</p><p>Namun GA pada dasarnya hanyalah tracking tools, dapat mencatat traffic suatu app atau website, akan tetapi tidak dapat meng-custom tracker di dalamnya. Sehingga memerlukan tools lain untuk melacak detail aktivitas user, yaitu Google Tag Manager.</p><p>Perhatikan ilustrasi berikut :</p><blockquote>Pada suatu wahana bermain, setiap pengunjung akan mendaftar pada bagian registrasi dan membayar sesuai dengan permainan yang ingin diaksesnya. Bagian registrasi dan kasir sebagai frontliner berfungsi menerima pengunjung, akan tetapi mereka tidak mampu untuk merancang wahana apa saja di dalamnya. Wahana-wahana bermain mungkin dirancang oleh desainer dan arsitek khusus demi tercapainya user experience yang memuaskan.</blockquote><p>Demikian juga dengan Google Analytic dan Google Tag Manager, GA kurang lebih adalah frontliner sementara GTM adalah desainer dan arsitek yang mengatur user experience pada masing-masing fitur. Action apa akan men-trigger tracker apa, diatur oleh GTM akan tetapi GA tetap mampu mengetahui apa saja fitur yang dilewati oleh user.</p><p>Mari kita melihat lebih detail implementasinya. Silahkan install extension “dataslayer” pada browser chrome lalu masuk ke page tokopedia.com. Klik kanan dan pilih inspect, lalu pada ujung menu berikut pilih dataslayer :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*eUKHUe3bcsocEYYT" /></figure><p>Perhatikan bagian “event”, “event category” dan “event label” berikut. “Event”, “event category” dan “event label” ini adalah tag html. Coba akses beberapa page dan perhatikan perubahan pada tag-tag ini.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*E3LAa54yQxvRuvBD" /></figure><p>Jadi, dari setiap data Google Analytics yang tercatat, harusnya dapat mengandung informasi dari mana asal traffic user, apakah melalui campaign atau organic, aktivitas apa saja yang dilakukan oleh user, berapa lama, dan seterusnya.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9d09d4a9c662" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Bermain Sentiment Analysis Menggunakan TextBlob dan Naive Bayes]]></title>
            <link>https://raudhohfitrah.medium.com/bermain-sentiment-analysis-menggunakan-textblob-dan-naive-bayes-d8133df36fb?source=rss-6cc1ae8b79f5------2</link>
            <guid isPermaLink="false">https://medium.com/p/d8133df36fb</guid>
            <dc:creator><![CDATA[Raudhohfitrah]]></dc:creator>
            <pubDate>Mon, 18 Apr 2022 03:06:31 GMT</pubDate>
            <atom:updated>2022-04-18T03:06:31.018Z</atom:updated>
            <content:encoded><![CDATA[<p>Niatnya, ini bukan satu-satunya tulisan mengenai NLP. Tapi, berhubung sedang tidak intens ngulik NLP lagi, khawatir berhenti di tengah jalan. Jadi, langsung ke use case aja yah!</p><p>Salah satu usecase populer di NLP or Text Mining adalah sentiment analysis, masalahnya use case ini sangat subjektif sehingga cenderung bias. Tergantung konteks dan perspektif, eh gimana?</p><p>Contoh kalimat :</p><blockquote>“Masyarakat mulai beralih menggunakan recycle bag alih-alih plastik sekali pakai”</blockquote><p>Jika konteksnya mengurangi sampah, sentimen tergolong positif. Namun jika berbicara tentang lapangan pekerjaan bagi masyarakat kelas bawah, ini bisa saja tergolong negatif.</p><p>Ohiya, supaya tidak bingung NLP dan Text Mining bukan 2 hal yang sepenuhnya sama. Text Mining fokus pada analysis dan “mining”, atau mencari pattern dalam kalimat. Sementara cakupan NLP lebih luas, semua yang berhubungan dengan interpretasi bahasa manusia menggunakan machine learning. NLP memperhatikan unsur semantik (makna kalimat), sintaksis (struktur kalimat) dan leksikal (kosa kata) dalam kalimat, sementara text mining tidak.</p><p>Fokus tulisan ini lebih kepada langkah-langkah mengerjakan sentiment analysis, dengan 2 pendekatan. Menggunakan machine learning, syaratnya teks sudah dilabeli sentimennya. Atau, menggunakan library TextBlob.</p><p>Langkah-langkah Text Mining kurang lebih :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*FPjV0ACXLbnYlkEz" /></figure><h3><strong>Library</strong></h3><p>Library memudahkan pekerjaan kita, terlebih karena python didukung oleh komunitas open source yang kuat, sehingga library nya akan terus berkembang.</p><p>Beberapa library yang akan kita gunakan :</p><ul><li>Pandas</li><li>Numpy</li><li>Re</li><li>Sastrawi</li><li>NLTK</li><li>Sklearn</li><li>Textblob</li><li>Wordcloud</li><li>Seaborn</li></ul><p>Untuk menginstall library :</p><pre>!pip install textblob</pre><h3><strong>Text Preprocessing</strong></h3><blockquote>Data yang bersih adalah koentji!</blockquote><p>Tahapannya meliputi :</p><ul><li>Case Folding : Menyeragamkan teks menjadi huruf kecil</li><li>Tokenization : Memecah kalimat menjadi kata-kata (token)</li><li>Remove non alphanumeric : Menghapus karakter selain angka dan huruf</li><li>Stopword removing : Menghapus kata-kata kurang bermakna (stopword)</li><li>Stemming &amp; lemmatization : Mengembalikan kata ke bentuk dasarnya</li><li>Normalization : Menerjemahkan <em>slang words</em>, atau kata-kata tipo ke bentuk aslinya</li></ul><p>Apakah langkah-langkah ini harus berurutan? Tidak juga, tapi ada beberapa proses yang saling bergantung. Juga, langkah-langkah ini bisa berbeda per use case nya.</p><p>Karena sudah banyak sekali artikel serupa, maka rtikel ini tidak akan membahas secara detail langkah-langkah ini, namun saya akan cantumkan beberapa referensi di akhir artikel. Adapun skripnya yaitu :</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/f175f80245f01397ab6e457f613ea628/href">https://medium.com/media/f175f80245f01397ab6e457f613ea628/href</a></iframe><p>Perbedaan sebelum dan setelah preprocessing :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*OdFxLiVwHU3F7HUr" /></figure><p>Bagi yang belum paham ,stopword singkatnya adalah kata-kata kurang bermakna namun sering muncul. Seperti dan, atau, jika, maka, kemudian, lalu, dan seterusnya. Stopword yang ada di NLTK maupun Sastrawi tidak baku, artinya bisa ditambahkan atau dikurangi. Saya sendiri, prefer menggunakan stopword Sastrawi, karena meskipun sedikit, lebih <em>make sense</em> ketimbang stopword di NLTK yang masih banyak berupa kata kerja.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/260/0*c0e77Auug_G8GlbP" /></figure><p>Salah satu visualisasi yang populer di text analysis adalah wordcloud, yaitu kata divisualkan dengan ukuran berbeda-beda sesuai frekuensi kemunculannya di dalam teks. Kira-kira apa yang diperbincangkan dalam teks ini?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*rqG-ONFj5UyaEQBB" /></figure><p>Terlihat bahwa 2 tayangan tv yg paling banyak diperbincangkan adalah Mata Najwa dan Kickandy, menyusul ILCtvone. Saking banyaknya disebut, 3 acara televisi ini mendominasi teks sehingga membuat teks lain yang adalah konten sebenarnya, tidak terlihat.</p><p>Selain itu, topik yang diperbincangkan cukup diverse dan seperti teks sentimen pada umumnya, sangat subjektif.</p><p>Tipsnya, kata-kata mendominasi ini jika memang tidak begitu penting dapat dimasukkan sebagai stopword.</p><p>Jika ingin <em>deep-dive</em> lagi, bisa dengan memfilter dataset per jenis tayangan TV, juga sentimen. Silahkan diatur sesukanya saja.</p><p>Sebelumnya, anda boleh meremove kata-kata yang sudah pasti sangat sering muncul seperti hitamputih, hitamputihtranstv, hitam, putih, hitamputihtrans, trans, dan hitamputih.</p><pre>def remove_personalized_stopword(stc, stop_word):<br>    tokens = stc.split()<br>    <br>    tokens = [word for word in tokens if word not in stop_word]<br>    <br>    return &quot; &quot;.join(tokens)</pre><pre>#stopwords for hitamputih<br>stop_words_hp = stop_words  [&quot;hitamputih&quot;,&quot;hitamputihtranstv&quot;,&quot;hitam&quot;,&quot;putih&quot;,&quot;hitamputihtrans&quot;,&quot;trans&quot;,&quot;hitamputiht&quot;]</pre><pre>text_hp_pos = (remove_personalized_stopword(stc, stop_words_hp) for stc in df_hitamputih_pos[&quot;Tweets_clean&quot;])</pre><h3><strong>Sentiment Analysis dengan ML Modeling (Naive Bayes)</strong></h3><p>Analisis sentimen di bagian ini masuk dalam kategori klasifikasi teks ber-sentimen, yaitu sentimen positif dan negatif.</p><p>Dataset yang digunakan memiliki proporsi text positif dan negatif berjumlah sama.</p><pre>Sentiment<br>negative    200<br>positive    200<br>Name: Id, dtype: int64</pre><p><strong>Feature Extraction</strong></p><p>Komputer mencerna teks lebih lama dibandingkan angka. Oleh sebab itu, biasanya teks butuh ditransformasi ke bentuk vektor lebih dulu. Vektor yang berupa angka, akan dapat diolah oleh formula-formula di balik algoritma machine learning.</p><p>2 metode paling umum, yaitu Bag of Words dan Tf-Idf. Lainnya, ada Named Entity Relationship, Part of Speech — tagging, dan word embedding. Nah, 3 pendekatan ini sudah berupa “pre-trained model” yang berisi kamus kata-kata beserta pasangan vektor atau label-nya masing-masing. Sayangnya, kita tidak akan bahas di sini.</p><p><strong>Bag-of-words</strong></p><p>Sederhananya, menghitung kemunculan kata dalam kalimat.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*dd1S5wXXFELQ3BL8" /></figure><p>Semakin tinggi nilai keseluruhannya, kata tersebut dianggap semakin berpengaruh dalam sentimen bersangkutan.</p><p><strong>Tf-Idf (Term Frequency — Inverse Document Frequency)</strong></p><p>Formula Tf-Idf :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/403/0*ziLgOI3ytIRonplC" /></figure><p>Selain menghitung frekuensi kemunculan kata dalam kalimat per kategori sentimen seperti bag-of-words, Tf-Idf juga meng-inverse kan nilai tersebut dengan menghitung kemunculan kata tersebut di kategori sentimen lain. Tujuannya, jika kata muncul sama banyaknya di setiap kategori sentimen, kata tersebut dianggap tidak dapat mencirikan kategori sentimen manapun, jadi diberi skor rendah.</p><p>Buka jupyter notebook kembali, dan ketikkan kode berikut :</p><p><strong>Teknik 1 : Bag of Words</strong></p><pre>cvec = CountVectorizer(min_df=5)<br>featured_df = cvec.fit_transform(df[“Tweets_clean”])<br>featured_df = pd.DataFrame(featured_df.todense(),columns = cvec.get_feature_names())</pre><p><strong>Atau, teknik 2 :Tf-Idf</strong></p><pre>tfidf = TfidfVectorizer()<br>featured_df2 = tfidf.fit_transform(df[“Tweets_clean”])<br>featured_df2 = pd.DataFrame(featured_df2.todense(), columns=tfidf.get_feature_names())</pre><p>Seterusnya, saya akan pakai teknik Tf-Idf.</p><p>Terakhir, masukkan variable target ke dalam dataset yang sudah ditransformasi tersebut.</p><pre>featured_df2[“target”] = df[“Sentiment”]</pre><h4>Machine Learning Modelling</h4><pre>#NB will be variable which contained Gaussian Naive Bayes model<br>NB = GaussianNB()</pre><pre>#training<br>NB.fit(X_train, y_train)</pre><pre>#predict data test label<br>y_predict = NB.predict(X_test)</pre><pre>#measure accuracy <br>accuracy_score(y_test, y_predict)</pre><p>Which one of negative and positive sentiment predicted better? Let confusion matrix show!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*cXAmvuwA1GPBEejXkupNKw.png" /></figure><p><strong>Sentiment Analysis dengan TextBlob</strong></p><p>TextBlob tidak membutuhkan tahap feature extraction, karena, library ini juga memiliki “pre-trained model” yang bisa langsung digunakan untuk mendeteksi sentimen. TextBlob memberikan nilai polarity, subjectivity, dan intensity pada setiap kata. Berikut penjelasannya :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*QsWYTtbBmvx3RWig" /></figure><p>Setiap kata memiliki ke-3 skor tersebut. Untuk kata-kata tertentu yang di-label sebagai modifier (ex : sangat) akan memiliki nilai intensity tinggi. Kata-kata yang me-negasi akan otomatis mengalikan nilai polarity kata setelahnya sebesar -0.5.</p><p>Tapi, itu teori dalam teks berbahasa inggris. Pun, saya belum banyak menggunakan library ini. Penjelasan lebih lengkapnya bisa merefer ke link ini (link).</p><p>Nilai kumulatif polarity dan subjectivity setiap kalimat akan menentukan sentimen kalimat dan seberapa subjektif/ seberapa dianggap argumen kah kalimat tersebut.</p><pre>textIndo = “sejumla ikan mujair ditemukan mati di danau talaga, kecamatan dampelas”</pre><pre>res = TextBlob(textIndo)</pre><pre>res = res.translate(from_lang=’id’, to=’en’)</pre><pre>res.sentiment</pre><p>Skrip ini memiliki polarity=-0.2, subjectivity=0.4. Artinya, bersentimen negatif dan cenderung dianggap fakta.</p><p>Sekarang, looping untuk setiap Tweet :</p><pre>polarity = []<br>subjectivity = []</pre><pre>#Check polarity and subjectivity using TextBlob<br>for stc in df[“Tweets_clean”]:<br> res = TextBlob(stc)<br> res = res.translate(from_lang=’id’,to=’en’)<br> polarity.append(res.sentiment.polarity)<br> subjectivity.append(res.sentiment.subjectivity)</pre><pre>df[“Polarity”] = polarity<br>df[“Subjectivity”] = subjectivity</pre><pre>#assign label by polarity and subjectivity value<br>df[“predicted”] = [“positive” if p &gt;= 0 else “negative” for p in df[“Polarity”]]<br>df[“opinion”] = [True if s &gt;= 0 else False for s in df[“Subjectivity”]]</pre><p>Mari kita lihat hasilnya :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/964/1*H9zDk8vVkGsgjclPANte-Q.png" /></figure><p><strong>Kesimpulan dan Future Improvement</strong></p><p>Beberapa kesimpulan yang bisa ditarik :</p><ul><li>Model ML masih bisa di-improve dengan menambahkan tahap-tahap seperti normalisasi slang words, atau menggunakan metode word/character embedding. Teknik ini dapat meminimalisir pengaruh perbedaan karakter pada kata yang sama namun penulisan berbeda</li><li>TextBlob terlihat sensitif terhadap kalimat bersentimen negatif, bisa jadi karena kata-kata nya tidak bisa dipahami oleh “pre-trained” TextBlob, sehingga nilai yang di-assign cukup rendah.</li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d8133df36fb" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Berkenalan dengan Data WarehouseH]]></title>
            <link>https://raudhohfitrah.medium.com/berkenalan-dengan-data-warehouseh-a7c16f6394e0?source=rss-6cc1ae8b79f5------2</link>
            <guid isPermaLink="false">https://medium.com/p/a7c16f6394e0</guid>
            <dc:creator><![CDATA[Raudhohfitrah]]></dc:creator>
            <pubDate>Fri, 25 Feb 2022 06:34:04 GMT</pubDate>
            <atom:updated>2022-12-14T07:09:38.025Z</atom:updated>
            <content:encoded><![CDATA[<h3>Berkenalan dengan Data Warehouse (DWH)</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Zi0UL7Rx3rY2_1s99k-5gQ.jpeg" /><figcaption>Source : twitter.com/kemendag</figcaption></figure><p>Hai!</p><p>Iseng-iseng aku lagi pengen sharing tentang Data Warehouse (DWH), istilah yang kayaknya mulai hype belakangan. Istilah DWH, bisa dibilang sepaket dengan Data Lake, Data Mart, dan tentu OLTP juga OLAP. Tapi, artikel ini ga akan bahas semuanya.</p><p>Kita mulai dari analogi, bayangkan sebuah toko kelontong sederhana. Di toko tersebut, terdapat etalase juga rak-rak yang menyimpan barang sedemikian rupa berdasarkan kategorinya. Lalu ada penjaga toko, dan tentu anda sebagai pembelinya.</p><p>“Mpok, beli minyak goreng dong”, si penjaga toko langsung mengambil kemasan minyak goreng terdekat.</p><p>“Bukan yang ini, Mpok. Minta yang merknya Rosa”. Karena Anda meminta lebih spesifik, maka si penjaga toko mengembalikan minyak goreng tadi ke raknya, lalu kembali mengambilkan minyak merk Rosa yang Anda minta.</p><p>Mari kita uraikan.</p><p>Rak-rak tadi adalah tabel-tabel, dimana setiap rak spesifik menyimpan barang tertentu. Satu rak, idealnya tidak menyimpan minyak goreng, deterjen, ATK bersamaan. Rak-rak yang terorganisir sedemikian rupa membentuk database.</p><p>Bahasa yang kita gunakan untuk meminta minyak goreng, dan mengubah permintaan, adalah <em>query language </em>. Sementara si penjaga toko adalah <em>engine </em>yang menginterpretasikan permintaan dari pembeli dan melaksanakannya. Keseluruhan sistem di dalam toko kita sebut Database Management System (DBMS).</p><p>Singkat cerita, toko kelontong ini tumbuh semakin besar. Barang yang dijual pun semakin beragam. Bahan-bahan mentah seperti sayur-sayuran, ikan, daging, bahkan peralatan rumah tangga! Toko berubah menjadi swalayan.</p><p>Awalnya, pemilik toko merekrut beberapa karyawan agar semua permintaan bisa dilayani paralel. Namun, lama kelamaan, opsi ini sudah tidak relevan. Saking banyaknya variasi barang yang dijual, pembeli jadi lebih suka memilih sendiri. Swa-layan, atau self-service. Setiap barang diberi label, diatur sedemikian rupa agar mudah ditemukan.</p><p>Tentu aktivitas jual beli swalayan yang sangat padat ini harus didukung oleh gudang yang mumpuni. Ga mungkin dong, ketika barang habis ujug-ujug karyawannya beliin dulu ke toko sebelah?</p><p>Demikian juga dengan Data Warehouse (DWH), gudang diatur sedemikian rupa dari peletakan barang, alur keluar-masuk barang, jenis lemari/rak penyimpanan barang, antara barang tahan lama atau tidak tahan lama semisal daging. Seperti gudang, DWH bukan tempat dimana arus jual beli terjadi. Maka, di sinilah OLTP dan OLAP dibedakan. OLTP (online transactional processing) adalah dimana arus “jual beli” terjadi, sementara OLAP (online analytical processing) fokus untuk fungsi belakang layar, dalam hal ini analisis.</p><p>Dalam analisis, kita tentu menggunakan setidaknya 1 metrics, atau nilai yang dihitung. Maka DWH memisahkan tabel menjadi fact dan dimensi, fact memuat nilai-nilai yang termasuk metrics. Dimensi singkatnya seperti data-data kategori, atau data yang menambah variasi dalam analisis. Misalnya nominal transaksi, quantity belanja, jumlah pelanggan, termasuk ke dalam fact table.Kategori produk, tanggal transaksi, lokasi transaksi, termasuk dalam dimensi.</p><p>Oleh sebab itu, di dalam tabel fact terdapat “foreign key” dari tabel-tabel dimensi. Tanpa dimensi, analisis akan kehilangan “nyawa” nya.</p><p>Contoh struktur DWH dengan star(bintang) schema :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/724/0*dbMLVeXc84e5RP18" /><figcaption><a href="http://www.nicobudidarmawan.com/">www.nicobudidarmawan.com</a></figcaption></figure><p>Mengapa struktur DWH dibuat seperti ini? Akan kita bahas di tulisan berikutnya.</p><p>Terakhir, 2 terminologi yang belum disebutkan, Data Lake dan Data Mart. Bayangkan rak-rak di dalam gudang penyimpanan swalayan. Setiap rak punya fungsinya, dan ada keterkaitan antara rak satu dengan lainnya. Mengapa rak penyimpanan sabun, didekatkan dengan shampoo, detergen. Atau kenapa rak makanan disimpan berdekatan dengan pintu keluar misalnya? Ada tatanan dan setiap tatanan tersebut saling mempengaruhi satu sama lain. Begitu juga dengan Data Warehouse. Tapi ketika barang-barang tersebut dimasukkan ke dalam gudang penyimpanan tanpa tatakelola, sedemikian rupa hanya untuk mengumpulkan dan menyimpan sementara, maka konsep ini serupa dengan Data Lake.</p><p>Data Mart, biasanya digambarkan seperti ini :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/292/0*ZmiftVmmFyAZ5loY" /><figcaption>source : <a href="http://www.robicomp.com/">www.robicomp.com</a></figcaption></figure><p>Mart adalah subset dari DWH dimana datanya dipisahkan spesifik untuk menjawab fungsi atau metric analysis tertentu. Misalnya ingin tracking user journey dari sejak daftar sampai transaksi. Maka, beberapa fact table seperti fact_registrasi, fact_transaksi, fact_return, fact_marketing, dll, dijadikan 1 mart untuk keperluan tracking metric tersebut.</p><p>Atau ada juga yang mempraktikkan pemisahan berdasarkan departemen tertentu. Dalam gambar di atas misalnya, dipisahkan ke departemen Marketing, Finance, Sales, Production. Bisa juga dipisah berdasarkan fungsi reporting tertentu.</p><p>Sekian dulu, insya Allah di tulisan-tulisan berikutnya kita akan bahas terminologi-terminologi ini dengan mendetail.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a7c16f6394e0" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[The Social Dilemma — Movie review]]></title>
            <link>https://raudhohfitrah.medium.com/the-social-dilemma-movie-review-b9e8732d970a?source=rss-6cc1ae8b79f5------2</link>
            <guid isPermaLink="false">https://medium.com/p/b9e8732d970a</guid>
            <dc:creator><![CDATA[Raudhohfitrah]]></dc:creator>
            <pubDate>Wed, 29 Dec 2021 16:53:45 GMT</pubDate>
            <atom:updated>2021-12-29T16:57:36.320Z</atom:updated>
            <content:encoded><![CDATA[<h3>The Social Dilemma — Movie review</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*vmgJdyv-PpEPfG5d3AlaJQ.jpeg" /><figcaption>Source : Cahyaloka.com</figcaption></figure><p>The social dilemma, film dokumenter netflix ini mengumpulkan sudut pandang para perancang teknologi tentang distraksi-distraksi/ disrupsi teknologi terhadap <em>humanity. </em>Mengapa <em>humanity</em>? Karena teknologi yang awalnya dirancang untuk memudahkan kehidupan manusia kemudian berubah manipulatif, untuk menguntungkan.</p><p>“Tools, seharusnya adalah objek, bukan subject”. Ia seharusnya tidak memiliki kemampuan apapun untuk mengendalikan/ mempengaruhi penggunanya. Pada dasarnya, tools memiliki fungsi tertentu, yang seharusnya dimanfaatkan sebatas fungsinya saja. Misal,manusia bergantung pada gelas untuk minum. Cukup.</p><p>Produk-produk teknologi seperti media sosial memperluas bentuk ketergantungan tersebut. Dengan cara melakukan simbiosis mutualisme, dimana pengguna boleh menggunakan produk tersebut secara gratis, namun sosial media (pengembangnya) boleh mengumpulkan rekam jejak pengguna atas nama “meningkatkan pelayanan”, familiar?</p><p>Lalu, seiring waktu, algoritma-algoritma, formula-formula dikembangkan untuk mengenali perilaku pengguna. Eksperimen dibangun, jika pengguna diberikan trigger X, maka akan merespon Y. Jika pengguna diberikan konten X, maka respond nya akan Y. Hipotesis-hipotesis tersebut terus diuji dalam setiap interaksi pengguna dengan aplikasi, misal sosial media.</p><p>Lebih parahnya lagi, bukan hanya model algoritma saja yang dilatih. Pengguna-pun sebenarnya dilatih untuk melakukan sesuatu pada saat menerima stimulus, tentu dengan reward yang akhirnya menimbulkan adiksi. Contoh?</p><p>Bunyi notifikasi akan menstimulasi pikiran untuk membuka aplikasi sosial media. Lalu saat pengguna membuka aplikasi (reaksi 1), dan melihat informasi/ konten yang menarik untuknya (reaksi 2), tubuh akan melepas hormon endorfin yang menimbulkan adiksi (Ivan Pavlo’s dog theory). Pada reaksi 1, tubuh melepaskan 10x lebih banyak kadar endorfin dibandingkan reaksi ke-2 (James Clear, Atomic Habit).</p><p>Yaps, bisa dibilang kita adalah produk teknologi yang sebenarnya. Aplikasi seperti media sosial dikatakan berhasil jika dengan pelan-pelan dan tanpa kelihatan merubah perilaku dan membentuk cara berpikir para penggunanya. Contoh nyata? Beda perilaku antara generasi Y, Z dan generasi-generasi sebelumnya. Dengan rekomendasi-rekomendasi konten, kita digiring ke 1 arah, 1 jalan pikiran tanpa mampu melihat arah sebaliknya.</p><p>Kemampuan-kemampuan inilah yang disebut persuasive technology. Menurut film ini juga, ada 3 tujuan utama dari sosial media :</p><ol><li>Engagement, menghubungkan antar individu (umumnya ini yang terlihat)</li><li>Growth, pengguna terus bertambah</li><li>Advertising/ iklan</li></ol><p>Yaps, komersial.</p><p>Tentu, teknologi jauh meningkatkan kualitas hidup manusia. Namun, jalur komunikasi yang bisa mengarah ke siapapun dan dimanapun ini membuat efek-efek negatif mudah diamplifikasi. “Amplifiers” ini menimbulkan kesenjangan sosial sehingga orang-orang lebih suka berada di “dunia maya-nya”, demikian hingga internet semakin ramai, dunia nyata semakin ditinggalkan.</p><p>Entah tulisan ini masuk ke dalam resensi, atau review, apapun. Intinya, film ini menurutku pribadi recommended untuk ditonton. Kalau sudah, drop pendapatmu di kolom komentar ya!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b9e8732d970a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[IndoLEM & IndoBERT]]></title>
            <link>https://raudhohfitrah.medium.com/indolem-indobert-bf8d527278f5?source=rss-6cc1ae8b79f5------2</link>
            <guid isPermaLink="false">https://medium.com/p/bf8d527278f5</guid>
            <dc:creator><![CDATA[Raudhohfitrah]]></dc:creator>
            <pubDate>Sun, 01 Nov 2020 07:14:20 GMT</pubDate>
            <atom:updated>2020-11-01T07:33:25.487Z</atom:updated>
            <content:encoded><![CDATA[<h3>(Summary dari DSI Talk — Bedah Paper yang diadakan oleh @datascienceindonesia dan Fajri Koto M.Kom)</h3><p>Walaupun Bahasa Indonesia merupakan bahasa ke-4 yang paling banyak digunakan di Indonesia saat ini, <em>resource </em>NLP di Indonesia masih lumayan terbatas. Tidak terstandardisasi, <em>pre-trained </em>model/ dataset-nya masih belum bagus, dan hasil riset-riset terdahulu banyak yang tidak <em>opened</em>. Hal ini yang menjadi daya tarik bagi berbagai peneliti untuk mengembangkan <em>resource-resource</em> tersebut. Salah satunya Kak Fajri Koto dan kawan-kawan.</p><p>Dalam sesi bedah paper yang diadakan oleh Data Science Indonesia kemarin, beliau memaparkan IndoBERT dan IndoLEM. IndoBERT adalah <em>pre-trained model </em>yang dilatih menggunakan Transformer, algoritma yang diadaptasi dari cara kerja Convolutional Neural Network, hanya saja <em>feature extraction </em>pada Transformer tidak dilakukan dengan cara berkonvolusi menggunakan kernel n x m seperti pada CNN, namun melibatkan <em>encoder </em>dan <em>decoder</em>. IndoLEM adalah dataset yang dapat di-<em>utilize </em>untuk 7 <em>task </em>NLP yang di-generalisasi menjadi 3, yaitu <em>morpho-syntax</em>, <em>semantic</em>, dan <em>discourse.</em></p><p><em>Morpho-syntax</em> lebih ke arah grammatikal atau aturan bahasa, terdiri atas NER, POS Tagging dan Dependency-Parsing. Sepengalaman saya, NER dan POS Tagging lumayan <em>challenging </em>mengingat corpora nya masih terbatas, dan <em>domain-specific, </em>sehingga sangat direkomendasikan untuk men-<em>training </em>sendiri. <em>Semantic </em>lebih membahas makna kata. Dalam task ini, ada <em>sentiment analysis </em>dan <em>text summarization</em>. Dua <em>task </em>ini biasanya adalah <em>task favorite </em>orang-orang yang baru mengenal NLP :D</p><p>Terakhir, <em>discourse </em>atau wacana. Dibagi menjadi Next Tweet Prediction, dan Tweet Ordering.</p><p>Agar <em>corpora </em>yang dihasilkan <em>reliable </em>dan lebih lengkap lagi, IndoLEM ini dikembangkan dari <em>corpora-corpora </em>yang sudah pernah dibuat oleh peneliti-peneliti sebelumnya dan diuji kualitasnya. Di antara kriterianya (sepemahaman saya) yaitu tidak <em>noisy</em>/ <em>tag</em> yang dihasilkan tidak bias, tidak bercampur dengan bahasa asing, dan tentu terbuka.</p><p>Untuk <em>benchmarking </em>Indo-BERT ini, digunakan MBERT (Multilingual BERT), MalayBERT(khusus bahasa Malay), dan Bi-LSTM-CRF. Dari hasil comparative evaluationnya, IndoBERT mengungguli hampir semua task. Untuk POS Tagging IndoLEM, Bi-LSTM-CRF memperoleh skor terendah, sementara 3 lainnya seri. Pada task Sentimen Analysis dan text summarization, IndoBERT memperoleh skor tertinggi, disusul MalayBERT. Demikian juga dengan Next Tweet Prediction dan Tweet Ordering, MalayBERT menyusul IndoBERT di urutan dua tertinggi. MBERT memperoleh skor tertinggi pada dataset UD-Indo-PUD, dataset untuk task dependency parsing yang masih cukup kotor karena masih terdapat kata-kata berbahasa asing.</p><p>Hasil riset Kak Koto dan kawan-kawan ini, akan direlease secepatnya di <a href="https://indolem.github.io,/">https://indolem.github.io,</a> rasanya sudah tidak sabar untuk menggunakan NER tag dan POS tag nya! Seperti yang beliau sebutkan kemarin, masih banyak lahan di area Natural Language Processing untuk dieksplor. Termasuk salah satunya, di ranah bahasa daerah yang (masih menurut beliau) , lebih melibatkan domain morfologi dan psikologi.</p><p>Semua tulisan ini adalah hasil pemahaman saya pribadi dari paparan beliau di event tersebut dan dari membaca paper aslinya, sangat mungkin salah atau tidak lengkap. Bagi yang tertarik dengan riset beliau dan dengan Transformer, link referensi saya cantumkan di bawah ini.</p><p>1. Paper IndoBERT &amp; IndoLEM : <a href="http://fajrikoto.com/polls/static/polls/doc/paper/coling2020.e128737a7cdb.pdf">http://fajrikoto.com/polls/static/polls/doc/paper/coling2020.e128737a7cdb.pdf</a></p><p>2. Transformer : <a href="https://arxiv.org/abs/1706.03762">https://arxiv.org/abs/1706.03762</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=bf8d527278f5" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Being A Good Data Scientist [WIP]]]></title>
            <link>https://raudhohfitrah.medium.com/being-a-good-data-scientist-wip-1276e54dff7a?source=rss-6cc1ae8b79f5------2</link>
            <guid isPermaLink="false">https://medium.com/p/1276e54dff7a</guid>
            <dc:creator><![CDATA[Raudhohfitrah]]></dc:creator>
            <pubDate>Mon, 27 Jul 2020 11:46:16 GMT</pubDate>
            <atom:updated>2020-08-04T00:23:29.826Z</atom:updated>
            <content:encoded><![CDATA[<h3>Things to Consider, A Data Scientist 101</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/1*em76S_PVHDy7s1niSQdTAg.jpeg" /></figure><h4>Apa itu Data?</h4><p><em>Data is the new oil</em>. Data digadang-gadangkan sebagai suatu sumber daya yang sangat bernilai, bahkan melebihi minyak bumi sekalipun. Data dianggap juga <em>the new soil</em>, dimana beragam <em>pattern </em>tertanam, digali dan diekstrak menjadi <em>insight </em>yang memberi nilai lebih bagi bisnis.</p><p>Data, bukanlah barang baru. Data sudah digunakan sejak awal peradaban. Setiap pengetahuan dibentuk dari data-data <em>point</em>. Tren pemanfaatan data, mulai berkembang seiring dengan revolusi industri 4, yang jika dirunut lagi ke belakang dipicu oleh revolusi industri 3, ketika komputer dan automasi mulai ditemukan.</p><p>Era revolusi industri 4 dikenal sebagai era dimana berbagai produk teknologi bermunculan. <em>Internet of Things, Internet of People, Smartphone, augmented reality, virtual reality, cloud computing</em> dan berbagai produk teknologi berkembang. Terhubung internet satu dan lainnya.</p><p>Setiap interaksi antar pengguna dan perangkat, bahkan antar perangkat, menghasilkan data. <em>Smartphone </em>misalnya, merekam setiap aktivitas yang dilakukan oleh pengguna, situs apa yang dibuka, jam penggunaan, reaksi terhadap notifikasi iklan. Bahkan, ketika tidak ada aktivitas sekalipun, akan direkam sebagai data. Jam berapa biasanya pengguna tidak aktif, misal.</p><p>Di sinilah, era <em>big data</em> dimulai. Data diproduksi dalam jumlah yang sangat besar setiap detik. Menurut penelitian yang dilakukan oleh Seagate, berjudul “Data Age 2025”, jumlah data pada 2025 akan 5 kali lipat lebih banyak dari tahun 2018, yaitu dari 33 Zettabyte menjadi 175 zetabyte, atau 175 Miliar harddisk berukuran 1 Terabyte.</p><p>Big data yang kita kenal saat ini setidaknya memiliki karakter 8V, walaupun banyak literatur menyebutnya sudah mencapai 10 V, bahkan 42 V. <br>1. <strong><em>Volume</em></strong>, memiliki ukuran sangat besar, yang sudah tidak mampu lagi diolah oleh komputasi konvensional.<br>2. <strong><em>Value</em></strong>, memiliki substansi yang jika diolah dan diekstrak dengan benar memberikan value tinggi.<br>3. <strong><em>Velocity</em></strong>, diperoleh, dihasilkan dan ditransformasi dengan teknologi berkecepatan tinggi.<br>4. <strong><em>Viscosity</em></strong>, hambatan-hambatan mempengaruhi kecepatan data tersebut diproses<br>5. <strong><em>Veracity</em></strong>, dengan ragam jenis, sumber, data dapat menjadi pisau bermata dua. Semakin tinggi variasi data juga bisa menimbulkan ketidak-pastian yang semakin tinggi pula.<br>6. <strong><em>Variety</em></strong>, sangat bervariasi. Dapat berbentuk terstruktur, semi terstruktur, atau sama sekali tak terstruktur. Bisa tabular, teks, suara, gambar, gelombang, dan lainnya.<br>7. <strong><em>Visualization</em></strong>, big data tidak berarti apa-apa jika tidak bisa diinterpretasikan. Tantangannya adalah, bagaimana, data yang kompleks dapat diolah, dan menghasilkan produk data yang mudah digunakan, atau visual yang <em>insightfull</em>.<br>8. <strong><em>Virality</em></strong>, sangat mudah menyebar.</p><h4>Bagaimana data bekerja?</h4><p>Data yang terkumpul dalam jumlah banyak kemudian akan membentuk pola-pola tertentu, merepresentasikan perilaku pengguna layanan, atau konsumen. Mengenali pola tersebut berarti mengenali karakter dan jalan fikiran pengguna. Sehingga, dasar pengambilan keputusan dan resiko yang mungkin diakibatkan bisa diukur dengan lebih presisi.<br>Hal tersebut mengubah cara pandang industri, yang semula product centric, menjadi <em>customer centric</em>. Bagaimana memberi pelayanan terbaik agar customer semakin loyal dan royal terhadap brand nya?</p><h4>Mengapa Data Science penting?</h4><p><em>Data Science</em> bukan merupakan barang baru. Proses dalam <em>data science</em> pada dasarnya natural dan intuitif, seperti cara berfikir manusia pada umumnya. Menemukan masalah, mengumpulkan data, mencerna data tersebut, mengekstrak hingga menjadi dasar pengambilan keputusan. <br>Pengetahuan yang dimiliki manusia, didasarkan pada informasi yang mereka terima, informasi ini adalah kumpulan dari <em>data points</em>. Semakin banyak <em>data points</em> yang dimiliki, semakin luas pengetahuan, semakin tajam intuisi seseorang. Artinya, intuisi seseorang sangat bergantung pada jumlah data points yang dimiliki, dengan kata lain, terbatas. Pun, manusia sering terjebak dalam “cognitive trap”, yaitu memiliki kecenderungan, “over-weighting” pada data tertentu dikarenakan pengalaman personal, tanpa disadari. Di sinilah, <em>big data</em> menjadi penting.</p><p><em>Data Science</em> yang merupakan multidisiplin field mengkombinasikan computer science, matematika terapan, dan statistika. Agar produk data bisa digunakan untuk menyelesaikan permasalahan bisnis, maka mengetahui bagaimana bisnis bekerja tidak kalah penting. Data Science pada dasarnya adalah <em>tool</em>, dapat digunakan di bidang apapun. <em>Marketing, Supply Chain, Manufacture, Financial, Health Care, Entertainment</em>, selama ada data. Namun, berbeda domain beda pula datanya. Maka, <em>Subject Matter Expert</em>, atau para ahli di bidang terkait, berperan penting dalam setiap <em>data science project</em>.</p><h4>Matematika terapan, statistika, dan machine learning</h4><p>Machine learning adalah produk algoritma, yang disusun berdasarkan teori-teori matematika dan statistika. Memahami cara pakai <em>machine learning</em> saja tidak cukup. Seorang <em>data scientist</em> — yang mengerjakan produk data science, dituntut untuk paham algoritma yang ada di dalamnya, dan sewaktu-waktu dapat merekonstruksi. <br>Statistika juga digunakan sebagai dasar analisis pada data. Bagaimana sebaran data setiap variabel direpresentasikan oleh <em>variance</em>, standar deviasi, mode, mean, median, quartile dan lain-lain. Bagaimana korelasi antar variabel, seberapa besar nilai pada satu variabel naik atau turun, ketika variabel tertentu naik atau turun pula.</p><h4>Git, SQL, Programming</h4><p>Kita tidak sedang berurusan dengan data yang berukuran 100 baris saja. Akan tetapi, ribuan bahkan jutaan baris data. SQL (<em>Structured Query Language</em>) adalah bahasa yang digunakan dalam proses pengambilan, penyimpanan, transformasi data dari dan ke tempat penyimpanan. <em>Programming </em>dibutuhkan untuk membangun program komputer yang mengotomasi proses-proses pengolahan data. Sementara git dibutuhkan untuk kolaborasi, me-maintain project dengan team, memastikan versi kodingan yang digunakan dan dikerjakan oleh setiap anggota tim sama (<em>version control</em>).</p><h4>Business</h4><p>Ingat, bahwa inti dari produk data science adalah bagaimana dapat memberikan nilai bagi bisnis. Memahami cara kerja bisnis, memahami istilah-istilah dalam bisnis, tahu proses bisnis pada <em>client </em>di <em>project </em>bersangkutan, akan sangat membantu dalam membentuk pemahaman yang komprehensif terhadap use case yang dikerjakan. Data apa saja yang digunakan, pertanyaan-pertanyaan yang penting, cakupan masalah, resiko yang ditimbulkan, dan lainnya.</p><h4>Big Data Technology</h4><p>Kemampuan untuk beradaptasi dengan teknologi adalah salah satu keunggulan yang harus dimiliki oleh seorang <em>Data Scientist</em>. Beberapa teknologi <em>big data</em> seperti Hadoop, Cloudera, Aws, Google Cloud Platform memiliki keunggulan-keunggulan dan <em>learning curve</em> berbeda-beda. Menjadikannya pilihan yang subjektif bagi setiap perusahaan pengguna. Memiliki portofolio pada tools ini akan menjadi nilai lebih seorang <em>Data Scientist</em>.</p><h4>Networking, Meetups, Collaboration, Projects</h4><p><em>Data Science</em>, adalah field yang mempertemukan profesional dari berbagai bidang. <em>Networking </em>membuka jalan untuk berkolaborasi, atau <em>brain-storming </em>dengan mereka yang memiliki latar berbeda, atau <em>skill level</em> yang berbeda. Ingat, bahwa setiap orang terpapar oleh <em>data points</em> yang berbeda-beda. Oleh sebab itu, mengenal banyak orang yang kompeten di bidangnya, atau melakukan proyek kolaborasi, adalah salah satu cara untuk meng-<em>upgrade</em> wawasan.</p><h4>Sharing</h4><p><em>Sharing </em>melalui tulisan, webinar, konten youtube, atau <em>sharing session</em> apapun, memberi sudut-sudut pandang berbeda. Proses persiapan yang dilewati, <em>feedback </em>yang diterima, akan memvalidasi sejauh apa pengetahuan yang kita miliki. Bagaimana kita memahami apa yang dibutuhkan oleh audien, bagaimana audien memahami narasi yang dibawakan, juga akan mengasah <em>critical thinking</em> dan kemampuan berkomunikasi. Tidak semua orang paham maksud dari ax+b, bukan? Sehingga, <em>sharing </em>adalah proses belajar dua arah.</p><p>Terimakasih sudah membaca, dan jika berkenan silahkan tinggalkan komentar di sini <a href="https://bit.ly/Raudhohfitrah_journey">https://bit.ly/Raudhohfitrah_journey</a></p><p>Terimakasih.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1276e54dff7a" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>