<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Teofilus Satria Rada Insani on Medium]]></title>
        <description><![CDATA[Stories by Teofilus Satria Rada Insani on Medium]]></description>
        <link>https://medium.com/@teoinsani?source=rss-3f514e555a66------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*ldqpM3zfjqc_8wHY</url>
            <title>Stories by Teofilus Satria Rada Insani on Medium</title>
            <link>https://medium.com/@teoinsani?source=rss-3f514e555a66------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 18:28:44 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@teoinsani/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Membongkar Anatomi Transformer: Dari Mekanisme Attention hingga Arsitektur Modern (Refleksi Week 5…]]></title>
            <link>https://medium.com/@teoinsani/membongkar-anatomi-transformer-dari-mekanisme-attention-hingga-arsitektur-modern-refleksi-week-5-d41a3b6e654b?source=rss-3f514e555a66------2</link>
            <guid isPermaLink="false">https://medium.com/p/d41a3b6e654b</guid>
            <category><![CDATA[transformers]]></category>
            <category><![CDATA[reflections]]></category>
            <category><![CDATA[class]]></category>
            <dc:creator><![CDATA[Teofilus Satria Rada Insani]]></dc:creator>
            <pubDate>Sun, 22 Feb 2026 16:54:10 GMT</pubDate>
            <atom:updated>2026-02-23T02:10:56.011Z</atom:updated>
            <content:encoded><![CDATA[<h3>Membongkar Anatomi Transformer: Dari Mekanisme Attention hingga Arsitektur Modern (Refleksi Week 5 &amp; 6 NLP)</h3><p>Artikel ini merupakan refleksi dari Week 5 dan 6 kelas Natural Language Processing yang diampu oleh Bapak Feliks V. P. Samosir, S. Pd., M. Kom. Refleksi ini disusun oleh <strong>Alexander Owen Marlin, Angga Theo Kekuatanta Pasaribu, Rafelixa Reynard Isak, Teofilus Satria Rada Insani.</strong></p><p>Sebelumnya, Anda bisa membaca refleksi kami untuk Week 1–4 di sini: <a href="https://medium.com/@anggatheo850/refleksi-pembelajaran-natural-language-processing-eksplorasi-konsep-dari-minggu-1-hingga-4-4c5654bbc2da">Refleksi Pembelajaran Natural Language Processing: Eksplorasi Konsep dari Minggu 1 hingga 4</a>.</p><h3>Week 5</h3><p>Pada Week 5, kami menyelami dunia Transformer, arsitektur revolusioner yang telah mengubah pandangan tentang NLP. Pada artikel ini kami akan membahas bagaimana mekanisme attention dan self-attention bekerja, serta pentingnya transfer learning dan peran ekosistem Hugging Face dalam mempermudah pengembangan model-model canggih ini.</p><h4>1. Mengapa Transformer? Batasan Arsitektur Rekuren</h4><p>Sebelum Transformer, model recurrent neural network (RNN) seperti LSTM adalah yang paling canggih dalam NLP. RNN memproses data sekuensial (seperti teks) kata demi kata, mempertahankan “memori” dari informasi sebelumnya dalam hidden state mereka.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SypIgCpu7IFaiTPQcm6BSw.jpeg" /><figcaption>RNN/LSTM yang menunjukkan aliran informasi sekuensial dan hidden state yang diperbarui di setiap langkah waktu</figcaption></figure><p>​​Namun, RNN memiliki keterbatasan fundamental:</p><ul><li>​​Squential:​​ Prosesnya harus dilakukan satu per satu, sehingga sulit untuk diparalelkan. Ini membuat training menjadi lambat, terutama untuk urutan yang panjang.</li><li>​​Information Bottleneck:​​ Dalam arsitektur encoder-decoder berbasis RNN, seluruh informasi dari urutan input dikompres menjadi satu context vector tunggal (last hidden state) yang kemudian diteruskan ke decoder. Untuk kalimat yang panjang atau kompleks, vektor tunggal ini memiliki kapasitas terbatas, menyebabkan hilangnya “vibes” dan detail penting.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*oUcyPgscTJBYwetkRW6Y_w.jpeg" /><figcaption>Diagram encoder-decoder berbasis RNN yang menunjukkan bottleneck informasi pada context vector.</figcaption></figure><p>Keterbatasan inilah yang mendorong pengembangan mekanisme attention.</p><h4>2. Mekanisme Attention: “Melirik” Informasi yang Relevan</h4><p>Mekanisme attention muncul sebagai solusi untuk masalah information bottleneck pada model sequence-to-sequence (seq2seq) berbasis RNN. Alih-alih hanya mengandalkan satu context vector yang statis, attention memungkinkan decoder untuk “melirik” kembali bagian-bagian tertentu dari urutan input saat menghasilkan setiap kata di output.</p><p>Bayangkan anda sedang menerjemahkan kalimat panjang. Tanpa attention, anda harus membaca seluruh kalimat sekali, menutup buku, lalu menerjemahkan dari ingatan. Dengan attention, anda bisa membaca kalimat, lalu melirik kembali bagian tertentu setiap kali anda menulis terjemahan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Nm43KmBRp5xztwgCTc3E-g.gif" /></figure><p>​​Cara Kerja Attention:​​</p><ol><li>​​Encoding dengan banyak Hidden States​​: Encoder tidak lagi hanya menghasilkan satu context vector di akhir, tetapi menghasilkan satu hidden state untuk setiap kata dalam urutan input. Setiap hidden state ini mengandung makna kata dan perannya dalam konteks kalimat.</li><li>​​Decoder Memiliki Query​​: Ketika decoder akan menghasilkan satu kata output, ia memiliki hidden state internalnya sendiri yang berperan sebagai query. Query ini “bertanya” informasi apa yang dibutuhkan selanjutnya (misalnya, subjek, kata kerja, atau kata sifat).</li><li>​​Menghitung Attention Weights​​: Decoder membandingkan query-nya dengan semua hidden states dari encoder. Hasil perbandingan ini adalah attention weights yang menunjukkan seberapa relevan setiap hidden state encoder terhadap query saat itu.</li><li>​​Membentuk Context Vector yang Dinamis​​: Setelah attention weights dihitung, decoder membentuk context vector baru sebagai weighted sum dari semua hidden states encoder. Context vector ini bersifat dinamis, artinya berbeda untuk setiap kata output yang dihasilkan.</li><li>​​Menghasilkan Output dengan Informasi yang Tepat​​: Decoder kemudian menggabungkan hidden state decoder dan context vector hasil attention untuk menentukan kata output berikutnya.</li></ol><p>Attention meningkatkan kualitas terjemahan dan menjadi fondasi bagi arsitektur Transformer.</p><h4>3. Self-Attention: Revolusi Paralelisasi</h4><p>Meskipun attention klasik membantu decoder “melirik” encoder, encoder dan decoder RNN masih harus memproses token satu per satu secara berurutan, sehingga sulit diparalelkan. Di sinilah self-attention masuk dan merevolusi paradigma ini.</p><p>Self-attention menghilangkan ketergantungan pada recurrence sama sekali. Alih-alih decoder memperhatikan encoder, dalam self-attention, token-token dalam satu urutan saling memberi perhatian untuk membangun konteks.</p><p>​​Perbedaan Kunci:​​</p><ul><li>​​Attention Klasik:​​ Decoder memperhatikan hidden states dari encoder (antar dua urutan berbeda: input dan output).</li><li>​​Self-Attention:​​ Setiap token dalam kalimat dapat memperhatikan token-token lain dalam kalimat yang sama (dalam satu urutan yang sama).</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3rCZP7v_UvSUI0RnXed6KA.jpeg" /></figure><p>​​Bagaimana Self-Attention Bekerja:​​</p><ol><li>​​Representasi Input​​: Setiap kata dalam kalimat diubah menjadi representasi vektornya melalui proses embedding.</li><li>​​Membentuk Query, Key, dan Value​​: Untuk setiap kata, kita membuat tiga vektor: Query (Q)​​: Vektor yang digunakan untuk “mencari” informasi relevan dari kata-kata lain. ​​Key (K)​​: Vektor yang mewakili informasi yang bisa “diakses” dari kata tersebut. ​​Value (V)​​: Vektor yang berisi informasi aktual dari kata tersebut.</li><li>Ketiga vektor ini bukan “ajaib”, melainkan hasil proyeksi linear dari embedding kata menggunakan matriks bobot yang dipelajari selama pelatihan.</li><li>​​Menghitung Skor Perhatian (Attention Scores)​​: Untuk setiap kata, kita menghitung skor perhatian antara query dari kata tersebut dengan key dari semua kata dalam kalimat (termasuk dirinya sendiri). Skor ini biasanya dihitung dengan dot product dan kemudian diskalakan.</li><li>​​Menggabungkan Value dengan Bobot Perhatian​​: Setelah mendapatkan attention weights (setelah normalisasi softmax dari attention scores), setiap kata menghasilkan representasi konteks baru sebagai weighted sum dari semua vektor value. Ini berarti representasi baru sebuah kata adalah campuran informasi dari semua kata lain, dengan bobot yang ditentukan oleh attention weights.</li></ol><p>​​Keunggulan Self-Attention:​​</p><ul><li>​​Paralelisasi​​: Perhitungan self-attention untuk semua kata dapat dilakukan secara bersamaan, karena tidak ada ketergantungan urutan yang kaku. Ini mempercepat pelatihan secara signifikan.</li><li>​​Konteks Global​​: Setiap kata dapat “melihat” seluruh kata lain dalam kalimat, sehingga mampu menangkap konteks dengan lebih mendalam, termasuk dependensi jarak jauh.</li><li>​​Skalabilitas​​: Efisien untuk menangani kalimat atau dokumen yang panjang.</li></ul><p><strong>​​Positional Encoding: Dari Mana Model Tahu Urutan?​​</strong></p><p>Karena self-attention memproses token secara paralel, informasi urutan asli dalam kalimat akan hilang. Untuk mengatasi ini, Transformer menambahkan positional encoding (informasi posisi) ke embedding token. Jadi, representasi token menjadi:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/643/1*L0alP7VzFot9wTnuMJjJ0Q.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1-b4ilHeRTQnQ2kMn94EOA.jpeg" /><figcaption>penambahan positional encoding ke word embedding</figcaption></figure><p>Dengan positional encoding, self-attention dapat mempertimbangkan isi kata dan posisinya dalam urutan.</p><h4>4. Transfer Learning dalam NLP: Membangun di Atas Pengetahuan yang Ada</h4><p>Meskipun arsitektur Transformer sangat kuat, melatihnya dari awal pada dataset yang besar membutuhkan sumber daya komputasi yang sangat besar. Di sinilah transfer learning menjadi kunci.</p><p>Transfer learning melibatkan penggunaan pengetahuan yang telah dipelajari oleh sebuah model dari tugas sebelumnya (biasanya pada korpus data yang sangat besar dan umum) untuk diterapkan pada tugas baru.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/850/1*JI7ErMZdNYoTpCbjYccaKw.jpeg" /></figure><p>​​Pendekatan Umum Transfer Learning di NLP (dipopulerkan oleh ULMFiT):​​</p><ol><li>​​Pra-pelatihan (Pretraining)​​: Model dilatih pada korpus generik skala besar untuk memprediksi kata berikutnya (language modeling). Ini memungkinkan model mempelajari fitur dasar bahasa.</li><li>​​Adaptasi Domain (Domain Adaptation)​​: Model yang telah di-pretrain dilatih lebih lanjut pada korpus dalam domain spesifik jika diperlukan.</li><li>​​Penyesuaian (Fine-tuning)​​: Model disesuaikan dengan lapisan klasifikasi untuk tugas target spesifik (misalnya, klasifikasi sentimen, tanya jawab).</li></ol><p>Pada tahun 2018, dua arsitektur berbasis Transformer, ​​GPT​​ (Generative Pretrained Transformer) dan ​​BERT​​ (Bidirectional Encoder Representations from Transformers), menggabungkan self-attention dengan transfer learning dan menetapkan standar baru di banyak benchmark NLP.</p><ul><li>​​GPT​​: Menggunakan bagian decoder dari arsitektur Transformer dan pendekatan language modeling seperti ULMFiT.</li><li>​​BERT​​: Menggunakan bagian encoder dari arsitektur Transformer dan masked language modeling (memprediksi kata yang hilang).</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/654/1*irRfQjdJEToXexF-p_HV1g.jpeg" /><figcaption>decoder only</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/485/1*FIxyVoj1pPYd13cF0dNFbQ.jpeg" /><figcaption>encoder only</figcaption></figure><h4>5. Hugging Face Transformers: Menjembatani Kesenjangan</h4><p>Menerapkan arsitektur machine learning yang baru bisa menjadi rumit. Kode yang dirilis oleh kelompok penelitian seringkali tidak standar dan sulit diadaptasi. Laboratorium yang berbeda juga merilis model dalam framework yang tidak kompatibel.</p><p>​​Hugging Face Transformers​​ hadir sebagai solusi. Ia menyediakan antarmuka yang distandarisasi untuk berbagai model Transformer, termasuk kode dan alat untuk menyesuaikan model-model ini dengan aplikasi baru.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HMrixwaGKjF_S8KXze49EA.jpeg" /></figure><p>​​Manfaat Hugging Face Transformers:​​</p><ul><li>​​Standardize interface​​: Memudahkan praktisi NLP untuk mengintegrasikan model-model canggih ke dalam aplikasi nyata.</li><li>​​Framework Fleksibel​​: Mendukung PyTorch, TensorFlow, dan JAX.</li><li>​​Pipelines yang Mudah Digunakan​​: Menyederhanakan proses dari teks mentah hingga prediksi untuk berbagai tugas NLP seperti klasifikasi teks, tanya jawab, peringkasan, dan named entity recognition (NER).</li></ul><p>Ekosistem Hugging Face telah menjadi katalisator utama dalam ledakan penelitian dan aplikasi Transformer, memungkinkan siapa saja untuk memanfaatkan kekuatan model-model NLP mutakhir.</p><h3>Week 6</h3><p>Mengapa Transformer Penting?</p><p>Sejak diperkenalkan dalam paper <strong>”Attention is All You Need”</strong> , Transformer telah mengubah landscape Natural Language Processing secara fundamental. Hampir semua model NLP modern dari BERT hingga ChatGPT menggunakan arsitektur Transformer.</p><p>Transformer memiliki karakteristik unik:</p><ul><li>Parallel processing semua token diproses bersamaan, tidak sequential.</li><li>Self-attention mechanism setiap token bisa attend ke semua token lain secara langsung.</li><li>Scalable mudah di-scale ke billions of parameters.</li><li>Transfer learning pre-trained models bisa di-fine-tune untuk berbagai tasks.</li></ul><h4>1. Self-Attention: Inti dari Transformer Architecture</h4><p>Di pertemuan sebelumnya kita sudah kenalan dengan self-attention mechanism sebagai konsep. Sekarang di Week 6, kita akan deep dive ke <strong>implementasi teknis</strong>dan bagaimana self-attention menjadi building block transformer.</p><p>Self-attention adalah mekanisme inti dalam Transformer yang memungkinkan setiap token dalam sequence untuk “memperhatikan” dan mengekstrak informasi dari <strong>semua token lain</strong> secara langsung</p><h4>2. Karakteristik Kunci</h4><ul><li>Parallel processing: Semua token diproses bersamaan (tidak sequential).</li><li>Full context: Setiap token bisa akses seluruh sequence secara langsung.</li><li>Flexible: Bidirectional (encoder) atau Causal (decoder).</li><li>Complexity: O(n²) dalam sequence length, tapi highly parallelizable.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*qvww4R1Zeqk2ySf8.jpeg" /></figure><h4>3. Tiga Komponen Utama</h4><ul><li>Q (Query): Representasi token yang sedang diproses.</li><li>K (Key): Representasi token yang akan di-attend.</li><li>V (Value): Informasi actual yang akan diekstrak.</li></ul><h4>4. Anatomi Self-Attention: Enam Langkah Fundamental</h4><p>Mari kita bedah self-attention step-by-step dengan contoh: <strong>”Jakarta adalah ibu kota Indonesia”1</strong></p><p><strong>Step 1: Token Embeddings</strong></p><p>Setiap kata diubah menjadi vektor numerik 768-dimensi.</p><pre>&quot;Jakarta&quot;   -&gt; [0.23, -0.45, ...,  0.12]<br>&quot;adalah&quot;    -&gt; [0.11,  0.67, ...,  0.89]<br>&quot;ibu&quot;       -&gt; [-0.56, 0.23, ..., -0.22]<br>&quot;kota&quot;      -&gt; [0.89, -0.12, ...,  0.67]<br>&quot;Indonesia&quot; -&gt; [0.34,  0.88, ...,  0.45]</pre><p><strong>Proyeksi Q, K, V</strong></p><p>Setiap embedding diproyeksikan menjadi tiga representasi utama:</p><ul><li>Query: Informasi yang sedang dicari oleh token.</li><li>Key: Informasi yang ditawarkan oleh token.</li><li>Value: Konten aktual dari token tersebut.</li></ul><pre>Q = X · W^Q    # &quot;Apa yang token ini cari?&quot;<br>K = X · W^K    # &quot;Apa yang token ini tawarkan?&quot;<br>V = X · W^V    # &quot;Konten token ini&quot;</pre><p><strong>Step 3–5: Compute Attention Weights</strong></p><p>Model menghitung seberapa relevan setiap kata dengan kata lainnya, lalu dinormalisasi jadi probabilitas.</p><p><strong>Contoh untuk token “kota”</strong></p><pre>Jakarta:   28%  ← Nama tempat yang dijelaskan<br>adalah:    8%   ← Kata hubung (kurang relevan)<br>ibu:       35%  ← Membentuk compound &quot;ibu kota&quot; (PALING TINGGI!)<br>kota:      21%  ← Self-attention<br>Indonesia: 8%   ← Context negara</pre><p><strong>Step 6: Weighted Sum</strong></p><p>epresentasi final “kota” = kombinasi weighted dari semua token:</p><pre>Output_kota = 35% × ibu + 28% × Jakarta + 21% × kota + sisanya</pre><p>Hasil: Token “kota” kini memiliki pemahaman konteks bahwa ia merupakan bagian dari frasa “ibu kota Jakarta”. Representasi inilah yang dinamakan contextualized embedding.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nXLJ9ztDPINLcwYGnrTQag.jpeg" /></figure><p><strong>Encoder: Bidirectional Attention</strong></p><p>Karakteristik Utama Model dapat memproses seluruh token secara dua arah (masa lalu dan masa depan) secara bersamaan tanpa menggunakan mekanisme pemotongan (<em>masking</em>).</p><p>Contoh Kasus: Analisis sentimen pada kalimat “Produk ini sangat mengecewakan sekali”.</p><ul><li>Token “sangat” dapat berinteraksi (<em>attend to</em>) dengan token “mengecewakan” (konteks kanan) dan “Produk” (konteks kiri).</li><li>Token “mengecewakan” membutuhkan konteks dari token “sangat” untuk memahami intensitas sentimen secara presisi.</li><li>Pemahaman konteks secara menyeluruh sangat krusial untuk mengklasifikasikan kalimat tersebut sebagai sentimen negatif yang kuat.</li></ul><pre>Produk   ini      sangat   mengecewakan   sekali<br>Produk        [  ✓       ✓        ✓           ✓           ✓  ]<br>ini           [  ✓       ✓        ✓           ✓           ✓  ]<br>sangat        [  ✓       ✓        ✓           ✓           ✓  ] &lt;- Dapat mengakses semua token<br>mengecewakan  [  ✓       ✓        ✓           ✓           ✓  ]<br>sekali        [  ✓       ✓        ✓           ✓           ✓  ]</pre><p><strong>Decoder: Causal (Masked) Attention</strong></p><p><strong>Karakteristik Utama:</strong> Model ini hanya memiliki akses ke token-token yang telah dihasilkan sebelumnya (<em>past-only context</em>). Pembatasan ini dilakukan menggunakan mekanisme <em>causal mask</em>.</p><p><strong>Contoh Implementasi:</strong> Proses generasi teks (<em>text generation</em>) secara bertahap untuk kalimat “Indonesia merdeka pada tahun 1945”.</p><pre>Langkah 1: Menghasilkan &quot;Indonesia&quot; -&gt; Konteks: []<br>Langkah 2: Menghasilkan &quot;merdeka&quot;   -&gt; Konteks: [&quot;Indonesia&quot;]<br>Langkah 3: Menghasilkan &quot;pada&quot;      -&gt; Konteks: [&quot;Indonesia&quot;, &quot;merdeka&quot;]<br>Langkah 4: Menghasilkan &quot;tahun&quot;     -&gt; Konteks: [&quot;Indonesia&quot;, &quot;merdeka&quot;, &quot;pada&quot;]<br>Langkah 5: Menghasilkan &quot;1945&quot;      -&gt; Konteks: [&quot;Indonesia&quot;, &quot;merdeka&quot;, &quot;pada&quot;, &quot;tahun&quot;]</pre><p><strong>Representasi Attention Matrix:</strong> Matriks ini membentuk pola segitiga (<em>triangular matrix</em>), di mana model dihalangi (di-<em>mask</em>) untuk melihat token yang berada di sebelah kanannya.</p><pre>Indonesia   merdeka   pada    tahun   1945<br>Indonesia    [   ✓          ✗       ✗        ✗       ✗  ] &lt;- Hanya akses token sendiri<br>merdeka      [   ✓          ✓       ✗        ✗       ✗  ] &lt;- Akses 2 token<br>pada         [   ✓          ✓       ✓        ✗       ✗  ] &lt;- Akses 3 token<br>tahun        [   ✓          ✓       ✓        ✓       ✗  ] &lt;- Akses 4 token<br>1945         [   ✓          ✓       ✓        ✓       ✓  ] &lt;- Akses seluruh konteks sebelumnya</pre><p><strong>Fungsi Mekanisme <em>Masking</em></strong> Selama proses pelatihan (<em>training</em>), sistem memiliki akses penuh ke seluruh sekuens kalimat sekaligus. Namun, pada tahap penerapan (<em>inference</em>), sistem harus menghasilkan kata satu per satu secara berurutan. Mekanisme <em>masking</em> diterapkan untuk menutupi token masa depan (<em>future tokens</em>), sehingga model tidak bisa “mengintip” jawaban saat dilatih. Hal ini memastikan bahwa kondisi pelatihan secara akurat mensimulasikan kondisi inferensi.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YF7hU-aqGTK7ECNlmDgXdQ.jpeg" /></figure><p><strong>Tiga Arsitektur Utama</strong></p><ol><li>Arsitektur Encoder-Only (BERT, RoBERTa)</li></ol><p>Penggunaan Optimal: Klasifikasi teks, Named Entity Recognition (NER), dan Question Answering.</p><p>Karakteristik: Menggunakan mekanisme bidirectional attention dengan hasil keluaran umumnya berupa label atau kelas spesifik.</p><pre>Contoh Kasus Penggunaan:<br>Sentiment Analysis: &quot;Makanan ini enak banget!&quot; -&gt; POSITIVE (93%)<br>NER: &quot;Jokowi berkunjung ke Bandung&quot; -&gt; [PERSON: Jokowi], [LOCATION: Bandung]</pre><p>2. Arsitektur Decoder-Only (GPT, LLaMA)</p><p>Penggunaan Optimal: Generasi teks, pengembangan chatbot, dan text completion.</p><p>Karakteristik: Menggunakan mekanisme causal attention secara autoregressive (menghasilkan token kata demi kata).</p><pre>Contoh Kasus Penggunaan:<br>Text Completion: &quot;Pada suatu hari&quot; -&gt; &quot;hiduplah seorang petani yang baik hati...&quot;<br>Chatbot: &quot;Apa itu NLP?&quot; -&gt; &quot;NLP adalah Natural Language Processing, bidang AI yang fokus pada bahasa...&quot;</pre><p>3. Arsitektur Encoder-Decoder (T5, BART)</p><p>Penggunaan Optimal: Penerjemahan bahasa (translation), peringkasan dokumen (summarization), dan parafrase teks.</p><p>Karakteristik: Menggabungkan fungsi encoder untuk memahami dan memetakan konteks input, serta decoder untuk menghasilkan sekuens teks output yang baru.</p><pre>Contoh Kasus Penggunaan:<br>Translation: &quot;Selamat pagi, apa kabar?&quot; -&gt; &quot;Good morning, how are you?&quot;<br>Summarization: [Teks awal 500 kata] -&gt; &quot;Teknologi AI berkembang pesat di Indonesia dengan berbagai implementasi.&quot; [Hasil ringkasan 15 kata]</pre><pre>---------------------------------------------------------------------------------------------<br>| Jenis Tugas         | Arsitektur        | Alasan Pemilihan                                |<br>---------------------------------------------------------------------------------------------<br>| Analisis Sentimen   | Encoder-Only      | Membutuhkan pemahaman konteks secara menyeluruh |<br>| Generasi Teks       | Decoder-Only      | Menghasilkan keluaran secara sekuensial         |<br>| Penerjemahan        | Encoder-Decoder   | Memiliki struktur input dan output yang berbeda |<br>| Chatbot             | Decoder-Only      | Membutuhkan fleksibilitas dalam generasi teks   |<br>| NER                 | Encoder-Only      | Memerlukan klasifikasi pada tingkat token       |<br>---------------------------------------------------------------------------------------------</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tO8XziBaV9wUTvMMNckBjQ.png" /></figure><p><strong>Multi-Head Attention: Kekuatan Perspektif Ganda</strong></p><p>Proses ini menyerupai cara membaca sebuah novel dengan beberapa fokus yang berbeda secara bersamaan:</p><ul><li>Head 1: Memperhatikan alur cerita (plot).</li><li>Head 2: Memperhatikan penokohan (karakter).</li><li>Head 3: Memperhatikan latar (setting).</li><li>Head 4: Memperhatikan percakapan (dialog).</li></ul><p>Hasil akhirnya adalah pemahaman konteks keseluruhan yang jauh lebih komprehensif.</p><h4>5. Perbandingan Single-Head dan Multi-Head Attention</h4><p><strong>Single-Head Attention</strong> Pada arsitektur dengan satu kepala (single-head), model memiliki keterbatasan dalam menangkap berbagai jenis relasi antar kata sekaligus. Menggunakan contoh kalimat “Presiden memberikan sambutan pada acara kemerdekaan Indonesia”:</p><pre>Berhasil menangkap: Presiden -&gt; memberikan (relasi sintaksis)<br>Gagal menangkap: sambutan -&gt; acara (relasi semantik)<br>Gagal menangkap: kemerdekaan -&gt; Indonesia (entitas semantik)<br>Gagal menangkap: pada -&gt; acara (relasi preposisi)</pre><p><strong>Multi-Head Attention (Contoh 12 Heads)</strong> Dengan arsitektur banyak kepala (multi-head), model dapat membagi tugas dan mempelajari berbagai representasi hubungan kata secara paralel. Setiap <em>head</em> memiliki fokus pembelajarannya masing-masing:</p><pre>Head 1 (Sintaksis): Presiden -&gt; memberikan (subjek-kata kerja)<br>Head 2 (Semantik): sambutan -&gt; acara (relasi kata benda-acara)<br>Head 3 (Entitas): kemerdekaan -&gt; Indonesia (atribut-entitas)<br>Head 4 (Preposisi): pada -&gt; acara (preposisi-objek)<br>Head 5 (Temporal): acara -&gt; kemerdekaan (konteks waktu acara)<br>... (7 head lainnya beroperasi dengan spesialisasi masing-masing)</pre><h4>6. Manfaat Multi-Head Attention</h4><ul><li><strong>Perspektif Ganda (<em>Multiple Perspectives</em>):</strong> Model mampu menangkap berbagai jenis relasi secara bersamaan, mulai dari relasi sintaksis, semantik, hingga posisional.</li><li><strong>Efek Ansambel (<em>Ensemble Effect</em>):</strong> Kehadiran banyak <em>heads</em> yang bertindak sebagai “pemilih” (<em>voters</em>) membuat hasil prediksi model menjadi jauh lebih tangguh dan stabil (<em>robust</em>).</li><li><strong>Efisiensi Komputasi:</strong> Meskipun menggunakan banyak <em>heads</em>, total parameter yang dibutuhkan tetap sama dengan arsitektur <em>single-head</em>. Hal ini dimungkinkan karena dimensi representasi dibagi secara proporsional ke setiap <em>head</em>.</li></ul><h4>7. Bukti Empiris</h4><p>Sebagai gambaran nyata, berikut adalah perbandingan performa pada model BERT-base (768-dimensi) berdasarkan jumlah <em>heads</em> yang digunakan:</p><pre>1 head:   Akurasi 78.2%<br>4 heads:  Akurasi 82.1%<br>12 heads: Akurasi 84.6% &lt;- Titik optimal (Sweet spot)<br>16 heads: Akurasi 84.3% &lt;- Penurunan efektivitas (Diminishing returns)</pre><p><strong>Kesimpulan Utama (<em>Key Insight</em>):</strong> Penambahan jumlah <em>heads</em> secara umum berbanding lurus dengan peningkatan performa model. Namun, terdapat batas optimal di mana penambahan lebih lanjut justru tidak memberikan peningkatan yang signifikan (<em>diminishing returns</em>). Pada kasus BERT-base, penggunaan 12 <em>heads</em> terbukti menjadi titik paling optimal.</p><h4>8. Positional Embeddings: Memberikan Konteks Urutan Kata</h4><p><strong>Masalah: Sifat Permutation Invariant pada Transformer</strong> Tanpa adanya <em>positional encoding</em>, arsitektur Transformer tidak dapat membedakan urutan kata karena semua token diproses secara bersamaan. Sebagai contoh, model akan memproses kedua kalimat di bawah ini sebagai input yang identik:</p><pre>&quot;Kucing mengejar tikus&quot; = &quot;Tikus mengejar kucing&quot; -&gt; Dianggap Sama</pre><p>Dalam bahasa, urutan kata sangat krusial dalam menentukan struktur dan makna kalimat. Perubahan urutan kata dapat mengubah arti secara fundamental, seperti:</p><ul><li>“Saya memberi dia uang” memiliki makna yang bertolak belakang dengan “Dia memberi saya uang”.</li></ul><p><strong>Solusi: Penambahan Positional Encoding</strong> Untuk menanamkan “kesadaran” akan urutan, Transformer menambahkan informasi posisi absolut atau relatif dari sebuah kata ke dalam vektor <em>embedding</em> sebelum diproses lebih lanjut.</p><pre>Embedding_Akhir = Token_Embedding + Positional_Encoding</pre><p><strong>Dua Pendekatan Utama Positional Encoding</strong></p><p><strong>1. Pendekatan Sinusoidal (Arsitektur Transformer Orisinal)</strong></p><ul><li>Karakteristik: Menggunakan formula matematika tetap berupa fungsi gelombang sinus dan kosinus.</li><li>Keunggulan: Memungkinkan model untuk melakukan ekstrapolasi pada sekuens teks yang lebih panjang daripada yang pernah dilihat saat proses pelatihan.</li></ul><pre>Formula: PE(pos, 2i) = sin(pos / 10000^(2i/d))</pre><p><strong>2. Pendekatan Learned (Arsitektur BERT)</strong></p><ul><li>Karakteristik: Nilai posisi dipelajari secara otomatis dari data selama proses pelatihan model berlangsung.</li><li>Keunggulan: Lebih fleksibel menyesuaikan dengan karakteristik data latih, namun kinerjanya terbatas pada batas panjang maksimum sekuens yang ditetapkan saat masa pelatihan.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*L_MCTmod7YYZqebr.jpeg" /></figure><h4>9. Dampak Positional Encoding pada Model</h4><p><strong>Tanpa Positional Encoding:</strong></p><pre>&quot;Dia makan nasi&quot; -&gt; [0.8, -0.2, 0.6, ...]<br>&quot;Nasi makan dia&quot; -&gt; [0.8, -0.2, 0.6, ...] (Hasil representasi sama, model tidak dapat mendeteksi perbedaan makna)</pre><p>Dengan Positional Encoding:</p><pre>&quot;Dia makan nasi&quot; -&gt; [0.8, -0.2, 0.6, ...] (Struktur Subjek-Predikat-Objek)<br>&quot;Nasi makan dia&quot; -&gt; [0.3, 0.5, -0.9, ...] (Hasil representasi berbeda, model dapat mendeteksi anomali struktur)</pre><p><strong>Kesimpulan:</strong> Positional encoding adalah komponen kritis yang memastikan arsitektur Transformer memiliki kesadaran terhadap urutan kata di dalam sebuah kalimat.</p><h4>10. Transfer Learning: Feature Extraction vs Fine-Tuning</h4><ol><li><strong>Feature Extraction (Pembekuan Encoder)</strong> Pendekatan ini menggunakan model pre-trained (seperti BERT) murni sebagai ekstraktor fitur yang dibekukan, dan hanya melatih lapisan klasifikasi di tahap akhir.</li></ol><pre># Membekukan parameter encoder<br>for param in bert_model.parameters():<br>    param.requires_grad = False</pre><pre># Hanya melatih lapisan klasifikasi<br>classifier = nn.Linear(768, num_classes)</pre><p>Karakteristik Utama:</p><ul><li>Waktu komputasi cepat (berkisar 5–10 menit).</li><li>Konsumsi memori rendah (2–4 GB).</li><li>Akurasi tergolong baik (80–85%).</li><li>Penggunaan optimal: Pembuatan prototipe cepat dan dataset berukuran kecil.</li></ul><p><strong>2. Fine-Tuning (Pelatihan Menyeluruh)</strong> Pendekatan ini memperbarui seluruh bobot parameter model, termasuk bagian encoder, agar beradaptasi secara penuh dengan tugas yang diberikan.</p><pre># Membuka seluruh parameter untuk dilatih<br>for param in bert_model.parameters():<br>    param.requires_grad = True</pre><p>Karakteristik Utama:</p><ul><li>Waktu komputasi lambat (1–3 jam).</li><li>Konsumsi memori tinggi (12–16 GB).</li><li>Akurasi sangat memuaskan (88–92%).</li><li>Penggunaan optimal: Implementasi pada tahap produksi dan dataset berskala besar.</li></ul><p><strong>Perbandingan Cepat</strong></p><ul><li><strong>Feature Extraction:</strong> Waktu 5–10 menit | Memori 2–4 GB | Skala Data 100–1000 | Akurasi 80–85%</li><li><strong>Fine-Tuning:</strong> Waktu 1–3 jam | Memori 12–16 GB | Skala Data 1000–10000 | Akurasi 88–92%</li></ul><p><strong>Pendekatan Hibrida (Praktik Terbaik)</strong> Pendekatan ini menggabungkan efisiensi awal dari <em>feature extraction</em> dengan performa maksimal dari <em>fine-tuning</em>.</p><pre># Tahap 1: Feature extraction (Contoh: 3 epoch)<br>freeze_encoder()<br>train_quick()</pre><pre># Tahap 2: Fine-tuning (Contoh: 7 epoch)<br>unfreeze_encoder()<br>train_with_lower_lr() # Menggunakan learning rate yang lebih rendah</pre><h4>11. Navigasi Trade-offs: Ukuran Model vs Performa</h4><p>Dalam mendesain arsitektur NLP, selalu ada kompromi antara akurasi, kecepatan komputasi, dan kebutuhan sumber daya. Berikut adalah perbandingan metrik pada varian keluarga model BERT:</p><ul><li><strong>BERT-tiny:</strong> 4 Juta Parameter | 2 Layer | Latensi 5ms | Akurasi 65%</li><li><strong>BERT-mini:</strong> 11 Juta Parameter | 4 Layer | Latensi 8ms | Akurasi 72%</li><li><strong>BERT-base:</strong> 110 Juta Parameter | 12 Layer | Latensi 25ms | Akurasi 84.6% (Titik paling seimbang)</li><li><strong>BERT-large:</strong> 340 Juta Parameter | 24 Layer | Latensi 80ms | Akurasi 88.4%</li></ul><p><strong>Analisis Trade-offs:</strong></p><ol><li><strong>Akurasi vs Kecepatan:</strong> Model BERT-large memberikan tambahan akurasi sekitar 3.8% dibandingkan BERT-base, namun beroperasi tiga kali lipat lebih lambat. Keputusan penggunaannya sangat bergantung pada batasan latensi sistem Anda.</li><li><strong>Biaya vs Performa:</strong> Model berskala masif memberikan performa <em>State-of-the-Art</em> (SOTA), namun menuntut biaya pelatihan yang eksponensial. Varian standar (seperti BERT-base) umumnya menawarkan rasio performa dan biaya komputasi yang paling rasional.</li></ol><p><strong>Kerangka Pengambilan Keputusan:</strong></p><ul><li><strong>Perangkat Edge (Mobile/IoT):</strong> Gunakan BERT-tiny atau BERT-mini. Prioritas utama adalah kecepatan dan efisiensi memori, bukan akurasi absolut.</li><li><strong>Layanan Web Produksi:</strong> Gunakan BERT-base. Model ini menawarkan keseimbangan (sweet spot) terbaik antara akurasi model dan kecepatan respons (latensi).</li><li><strong>Riset dan Pencapaian SOTA:</strong> Gunakan BERT-large atau arsitektur LLM tingkat lanjut. Prioritas utama adalah mendorong batas maksimal akurasi tanpa menghiraukan batasan biaya komputasi.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*Ae3KQwm0l6jlgQPi.jpeg" /></figure><ul><li><strong>Distillation:</strong> Pendekatan pemindahan pengetahuan dari <em>teacher model</em> (seperti BERT-base) ke <em>student model</em> (seperti DistilBERT). Teknik ini dapat mempertahankan sekitar 97% <em>accuracy</em> dengan kecepatan <em>inference</em> dua kali lipat lebih cepat.</li><li><strong>Quantization:</strong> Proses mengubah presisi parameter numerik model dari FP32 ke INT8. Teknik ini mampu memperkecil ukuran model hingga empat kali lipat dengan penurunan <em>accuracy</em> yang sangat minim (di bawah 1%).</li><li><strong>Pruning:</strong> Proses menghapus sekitar 30% koneksi <em>weights</em> yang kurang signifikan. Teknik ini meningkatkan kecepatan komputasi hingga 30% dengan konsekuensi penurunan <em>accuracy</em> hanya sekitar 0.5%.</li></ul><p><strong>Recommendation:</strong> Mulailah pengembangan menggunakan arsitektur standar seperti BERT-base. Lakukan optimasi dengan <em>model compression techniques</em> di atas hanya jika aplikasi Anda menuntut efisiensi <em>resource</em> yang lebih ketat</p><h4>Kesimpulan</h4><p><strong>Apa yang Telah Kita Pelajari?</strong></p><ol><li><strong>Building Blocks Transformer (Fokus Week 6):</strong> Meliputi mekanisme <em>Self-Attention</em> untuk menghasilkan <em>contextualized representations</em>, <em>Multi-Head Attention</em> untuk menangkap <em>multiple perspectives</em>, <em>Feed-Forward Networks</em> untuk <em>non-linear transformations</em>, <em>Layer Normalization</em> dan <em>Residual Connections</em> untuk <em>training stability</em>, serta <em>Positional Embeddings</em> untuk menyandikan <em>sequence order</em>.</li><li><strong>Tiga Arsitektur Utama Transformer Family:</strong> Arsitektur <em>Encoder-only</em> (contoh: BERT) untuk <em>understanding tasks</em> seperti <em>classification</em> dan NER, <em>Decoder-only</em> (contoh: GPT) untuk <em>generation tasks</em> dan <em>chatbots</em>, serta <em>Encoder-decoder</em> (contoh: T5, BART) untuk <em>transformation tasks</em> seperti <em>translation</em> dan <em>summarization</em>.</li><li><strong>Multi-Head Attention:</strong> Mekanisme ini memungkinkan model untuk secara simultan menangkap berbagai representasi relasi kata (sintaksis, semantik, posisional), yang pada akhirnya meningkatkan performa melalui <em>ensemble effect</em>.</li><li><strong>Urgensi Positional Encoding:</strong> Arsitektur Transformer membutuhkan injeksi informasi posisi secara eksplisit (melalui <em>sinusoidal</em> atau <em>learned embeddings</em>) agar tidak kehilangan konteks <em>sequence order</em>. Tanpa ini, model akan bersifat <em>permutation invariant</em>.</li><li><strong>Transfer Learning Strategies:</strong> Memilih pendekatan yang paling efisien, baik melalui <em>feature extraction</em> (komputasi cepat melalui <em>freeze encoder</em>), <em>fine-tuning</em> (waktu komputasi lambat namun ideal untuk <em>production</em> karena melatih semua <em>weights</em>), maupun <em>hybrid approach</em>.</li><li><strong>Model Size Trade-offs:</strong> Prinsip bahwa model yang lebih besar tidak selalu menjadi pilihan yang terbaik. Praktisi harus menyeimbangkan antara <em>accuracy</em>, <em>latency</em>, dan <em>cost</em>, di mana BERT-base sering menjadi <em>sweet spot</em> untuk tahap <em>production</em>.</li></ol><p><strong>Mengapa Pemahaman Week 6 Sangat Krusial?</strong></p><p>Pemahaman mendalam tentang <em>encoder architecture</em> memberikan landasan yang kuat terkait cara kerja BERT. Mengetahui <em>attention mechanism</em> memudahkan proses <em>debugging</em> ketika model mengalami kendala. Selain itu, pemahaman tentang <em>positional encoding</em> menyadarkan kita pada batasan <em>sequence length</em>, sementara pemahaman terkait <em>layer structure</em> memastikan keakuratan saat mengonfigurasi <em>layers</em> mana yang akan di-<em>freeze</em> maupun di-<em>unfreeze</em>. Memahami <em>multi-head</em> juga krusial agar kita bisa memvisualisasikan <em>attention patterns</em> dengan baik.</p><p><strong>Final Thoughts</strong></p><p>Materi anatomi Transformer yang dibahas pada Week 6 bukan sekadar teori akademis, melainkan <em>practical knowledge</em> esensial bagi seorang <em>NLP Engineer</em>. Jika Week 5 difokuskan pada landasan konseptual <em>self-attention</em> (apa dan mengapa), maka Week 6 mengupas tuntas <em>implementation detail</em> (bagaimana).</p><p>Penguasaan anatomi arsitektur ini berdampak langsung pada kemampuan teknis Anda:</p><ul><li><strong>Debugging:</strong> Mengidentifikasi fenomena seperti <em>attention collapse</em> atau <em>gradient vanishing</em>.</li><li><strong>Architecture Selection:</strong> Menentukan penggunaan BERT untuk <em>classification</em>, GPT untuk <em>generation</em>, atau T5 untuk <em>translation</em>.</li><li><strong>Optimization:</strong> Melakukan instruksi <em>freeze layers</em>, menyesuaikan <em>attention heads</em>, dan mengoptimalkan <em>memory</em>.</li><li><strong>Research:</strong> Memudahkan proses membedah dan memahami berbagai <em>paper</em> NLP modern.</li></ul><p>Berbekal fondasi anatomi ini, kita telah sepenuhnya siap untuk melangkah ke Week 7 dan menggunakan <em>encoder</em> Transformer pada aplikasi <em>real-world</em>!</p><h3>Pembagian Tugas</h3><ol><li><strong>Alexander Owen Marlin : </strong>Format Penulisan</li><li><strong>Angga Theo Kekuatanta Pasaribu :</strong> Week 6</li><li><strong>Rafelixa Reynard Isak : </strong>Seluruh Ilustrasi</li><li><strong>Teofilus Satria Rada Insani : </strong>Week 5</li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d41a3b6e654b" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Menjadi Pengusaha Retail Legendaris dengan Market Basket Analysis]]></title>
            <link>https://medium.com/@teoinsani/menjadi-pengusaha-retail-legendaris-dengan-market-basket-analysis-e83c2259da67?source=rss-3f514e555a66------2</link>
            <guid isPermaLink="false">https://medium.com/p/e83c2259da67</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[market-basket-analysis]]></category>
            <dc:creator><![CDATA[Teofilus Satria Rada Insani]]></dc:creator>
            <pubDate>Sun, 03 Nov 2024 15:05:49 GMT</pubDate>
            <atom:updated>2024-11-03T15:05:49.778Z</atom:updated>
            <content:encoded><![CDATA[<p>Artikel ini berisi tentang <em>insight </em>yang kami (Teofilus Satria Rada Insani dan Rafelixa Reynard Isak) dapatkan dalam perkuliahan di minggu ke-11 ini. Perkuliahan di minggu ke-11 pada mata kuliah “Pengantar Data Science” membahas mengenai <em>Market Basket Analysis.</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*OxWq9ZSINVFM6JQ2.jpeg" /><figcaption>Ilustrasi Market Basket Analysis</figcaption></figure><h4>Apa itu Market Basket Analysis?</h4><p>Market basket analysis adalah teknik <strong>data mining </strong>yang digunakan untuk mengenali pola pembelian konsumen dengan menganalisis keterkaitan antar produk dalam satu keranjang belanja. Intinya, Market Basket Analysis berusaha menjawab pertanyaan seperti, “<strong>Jika seorang pelanggan membeli produk A, seberapa besar kemungkinan mereka juga akan membeli produk B?”</strong>. Teknik ini sangat berguna pada sektor ritel dan e-commerce karena memungkinkan kita untuk memahami kebiasaan belanja pelanggan dan pola keterkaitan produk yang sering dibeli bersama.</p><p>Konsep utama yang digunakan dalam Market Basket Analysis adalah metode <strong>Association Rule Learning</strong>. Metode ini bertujuan menemukan hubungan yang menggambarkan keterkaitan antar item dalam <strong>data transaksi</strong>. Association Rule Learning berfokus pada identifikasi aturan <strong>“Jika (kondisi), maka (hasil)”</strong> berdasarkan seberapa sering pola tersebut muncul dalam data. Contohnya, <strong>Jika seseorang membeli roti, maka kemungkinan besar mereka juga membeli mentega</strong>.</p><p>Market Basket Analysis memungkinkan kita memahami pola keterkaitan antar produk, yang dapat memberikan wawasan berharga untuk pengambilan keputusan dalam pemasaran dan penjualan.</p><h4>Istilah-istilah penting</h4><ul><li><strong>Itemset</strong> = kelompok item yang terdapat dalam suatu transaksi. Itemset bisa berupa <strong>kumpulan</strong> produk seperti roti, susu, dan mentega.</li><li><strong>Frekuensi</strong> = jumlah kemunculan suatu itemset dalam data transaksi. Semakin sering sebuah itemset muncul, semakin relevan itemset tersebut dalam analisis.</li><li><strong>Rule (aturan)</strong> = keterkaitan antara item dalam suatu itemset yang dapat diinterpretasikan menjadi bentuk, <strong>“Jika… maka…”</strong>.</li><li><strong>Confidence (kepercayaan)</strong> = metrik yang mengukur seberapa sering <strong>rule</strong> <strong>(aturan)</strong> tersebut benar didalam dataset. Confidence mengindikasikan probabilitas bahwa pelanggan yang membeli A juga akan membeli B.</li></ul><h4>Konsep Dasar Association Rule</h4><p>Dalam Market Basket Analysis, kita menggunakan metode <strong>Association Rule Learning</strong> untuk menemukan aturan atau pola keterkaitan antara produk-produk. Metode ini berfokus pada tiga metrik utama yang penting untuk dipahami, yaitu <strong>Support</strong>, <strong>Confidence</strong>, dan <strong>Lift</strong>. Ketiga metrik ini membantu kita menilai seberapa kuat dan relevan suatu aturan dalam data transaksi.</p><ul><li><strong>Support</strong> = mengukur seberapa sering suatu itemset muncul dalam seluruh dataset. Contohnya jika kita memiliki sebuah <strong>rule</strong> <strong>(aturan) </strong>“Jika membeli susu, maka membeli roti,” maka support untuk itemset {susu, roti} adalah persentase transaksi yang menunjukkan susu dan roti dibeli bersamaan.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/639/1*o7pjqoBD5fIbQDGsW_nK2w.png" /><figcaption>Rumus Support</figcaption></figure><ul><li><strong>Confidence</strong> = mengukur seberapa sering <strong>rule (aturan)</strong> terbukti benar, berbicara tentang probabilitas.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/397/1*oPB6WLqRIE-P9s5FgZXc3w.png" /><figcaption>Rumus Confidence</figcaption></figure><ul><li><strong>Lift </strong>= mengukur aturan asosiasi dengan membandingkan <strong>confidence aturan</strong> tersebut dengan probabilitas pembelian item B secara terpisah. Lift menunjukan sejauh mana kemunculan item B lebih mungkin jika item A sudah dibeli.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/333/1*rUYi0n5DjUygyP-PPF_e6A.png" /><figcaption>Rumus Lift</figcaption></figure><ul><li><strong>Lift &gt; 1 </strong>= Jika pelanggan membeli A maka lebih mungkin juga untuk membeli B. Semakin tinggi nilai Lift maka semakin kuat hubungan ini, misalnya jika Lift = 2, maka pembelian B menjadi 2x lebih mungkin jika A dibeli.</li><li><strong>Lift = 1 </strong>= menunjukkan tidak ada hubungan khusus antara item A dan B. Pembelian A tidak mempengaruhi pembelian B.</li><li><strong>Lift &lt; 1 </strong>= Jika item A dibeli maka item B kurang mungkin untuk dibeli.</li></ul><h4>Contoh Perhitungan</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/426/1*JCDOZeL2NiphW2Oq5gEW-Q.png" /><figcaption>Tabel data transaksi</figcaption></figure><p>Rule (aturan) = <strong>Jika membeli susu, maka membeli keju.</strong></p><p><strong>Support</strong> dari {susu, keju} = 2/5</p><ul><li>2/5 = 0,4 atau <strong>40%</strong></li><li>Support dari {keju} = 3/5 = 0,6 atau <strong>60%</strong></li></ul><p><strong>Confidence</strong></p><ul><li><strong>(Jumlah transaksi dengan {susu, keju}) / (Jumlah transaksi dengan {susu})</strong></li><li>2/4 = 0,5 atau <strong>50%</strong></li></ul><p><strong>Lift</strong></p><ul><li>Confidence / Support {keju}</li><li>0,5/0,6 = <strong>0,833333333</strong></li></ul><p>Dari perhitungan ini kita dapat melihat bahwa <strong>aturan</strong> “<strong>Jika membeli susu, maka membeli keju” </strong>kurang kuat, dengan support <strong>40% </strong>dan confidence <strong>50%</strong>. Nilai Lift yang diperoleh adalah <strong>0,833333333</strong>, ini kurang dari 1 sehingga hubungan antara susu dan keju lebih lemah dibandingkan jika mereka dipilih secara acak.</p><h4>Algoritma Apriori</h4><p>Algoritma Apriori adalah salah satu <strong>metode yang paling umum</strong> digunakan dalam <strong>Market Basket Analysis</strong> untuk menemukan aturan asosiasi yang sering muncul dalam data transaksi. Apriori bekerja dengan prinsip bahwa <strong>jika suatu itemset sering muncul dalam data, maka subset dari itemset tersebut juga sering muncul.</strong> Dengan prinsip ini, algoritma Apriori dapat mempersempit ruang pencarian, sehingga pola-pola dapat diidentifikasi dengan lebih efisien.</p><p>Algoritma apriori bekerja melalui dua langkah utama:</p><ul><li>Pembentukan frequent itemsets: <strong>frequent itemsets </strong>adalah kumpulan item yang muncul bersama lebih sering daripada ambang batas yang telah ditentukan, yang disebut <strong>support threshold</strong>. Algoritma Apriori mulai dengan mencari itemset yang terdiri dari satu item, kemudian secara bertahap memperluas itemset tersebut ke dalam kombinasi yang lebih besar.</li><li>pembuatan aturan: setelah membentuk <strong>frequent itemset</strong>, selanjutnya membentuk <strong>association rules</strong>. Dalam langkah ini, algoritma apriori membuat <strong>aturan</strong> berbentuk <strong>“Jika… maka…” </strong>dari itemset yang telah ditemukan. Untuk setiap frequent itemset, algoritma akan memeriksa subsetnya dan mengukur <strong>confidence</strong> dari aturan tersebut.</li></ul><p>Algoritma Apriori dibuat untuk mempermudah pencarian pola dalam dataset yang besar. Dengan menggunakan prinsip <strong>downward closure property</strong>, Apriori hanya memperluas itemset yang sering muncul, sehingga menghindari perhitungan yang tidak perlu untuk itemset yang jarang terjadi. Artinya, jika itemset <strong>{A}</strong> tidak memenuhi ambang batas support, maka semua itemset yang mengandung A juga tidak perlu dihitung.</p><p>Meskipun prinsip ini mengurangi jumlah perhitungan, Apriori masih menghadapi kesulitan saat menangani dataset yang sangat besar. Dalam kasus ini, optimisasi tambahan dapat dilakukan, seperti menghapus itemset yang tidak relevan lebih awal atau menggunakan teknik sampling untuk mempercepat perhitungan. Selain itu, algoritma lain, seperti <strong>FP-Growth (Frequent Pattern Growth)</strong> dikembangkan untuk mengatasi keterbatasan Apriori dengan memanfaatkan struktur pohon yang lebih efisien dalam mengolah dataset besar.</p><h3>Penerapan (Aktivitas Mandiri)</h3><p>Dataset ini diperoleh dari Kaggle, berjudul <a href="https://www.kaggle.com/datasets/mittalvasu95/the-bread-basket"><strong>The Bread Basket</strong></a>. Data ini berisi informasi tentang transaksi di sebuah bakery, termasuk fitur seperti tanggal, waktu, nomor transaksi, dan item yang dibeli.</p><p>Tujuan kami adalah untuk melakukan <strong>Market Basket Analysis (MBA)</strong> untuk mengidentifikasi pola pembelian di antara item-item yang dibeli bersama dalam satu transaksi. Dengan MBA ini, kami berharap dapat menemukan item yang cenderung dibeli bersama, sehingga dapat memberikan wawasan tentang preferensi pelanggan dan membantu merancang promosi atau bundling produk yang lebih efektif.</p><p>Kami juga menyediakan link Google Colab untuk dapat dianalisis lebih lanjut. Link <strong>Google Colab</strong>: <a href="https://colab.research.google.com/drive/1_vzBy7W3Qwmnp2WcgT56_aIDsmtmOYxe?usp=sharing"><strong>MBA</strong></a>.</p><h4>Import Library</h4><pre>import pandas as pd<br>import numpy as np<br>import seaborn as sns<br>import matplotlib.pyplot as plt<br><br>import warnings<br>warnings.filterwarnings(&quot;ignore&quot;, category=DeprecationWarning)</pre><p>mengimpor semua library yang akan digunakan untuk analisis eksplorasi data dan visualisasi data.</p><h4>Import Dataset</h4><pre>df = pd.read_csv(&#39;BreadBasket_DMS.csv&#39;)</pre><p>Dataset ini diperoleh dari Kaggle, berjudul The Bread Basket, yang dapat diakses melalui tautan berikut: <a href="https://www.google.com/url?q=https%3A%2F%2Fwww.kaggle.com%2Fdatasets%2Fmittalvasu95%2Fthe-bread-basket">https://www.kaggle.com/datasets/mittalvasu95/the-bread-basket</a></p><h4>Data Preparation</h4><pre>print(&#39;Dataset Information: \n&#39;)<br>df.info()<br><br>Output :<br>Dataset Information: <br><br>&lt;class &#39;pandas.core.frame.DataFrame&#39;&gt;<br>RangeIndex: 21293 entries, 0 to 21292<br>Data columns (total 4 columns):<br> #   Column       Non-Null Count  Dtype <br>---  ------       --------------  ----- <br> 0   Date         21293 non-null  object<br> 1   Time         21293 non-null  object<br> 2   Transaction  21293 non-null  int64 <br> 3   Item         21293 non-null  object<br>dtypes: int64(1), object(3)<br>memory usage: 665.5+ KB</pre><p>Seperti yang bisa kita lihat dari output di atas, dataset ini memiliki total 21,293 baris dan 4 kolom: Date, Time, Transaction, dan Item. Semua kolom memiliki jumlah non-null yang lengkap, artinya tidak ada missing values dalam dataset ini, sehingga datanya sudah bersih.</p><pre>print(&#39;Unique Items: &#39;, df[&#39;Item&#39;].nunique())<br>print( &#39;\n&#39;, df[&#39;Item&#39;].unique())<br><br>Output :<br>Unique Items:  95<br><br> [&#39;Bread&#39; &#39;Scandinavian&#39; &#39;Hot chocolate&#39; &#39;Jam&#39; &#39;Cookies&#39; &#39;Muffin&#39; &#39;Coffee&#39;<br> &#39;Pastry&#39; &#39;Medialuna&#39; &#39;Tea&#39; &#39;NONE&#39; &#39;Tartine&#39; &#39;Basket&#39; &#39;Mineral water&#39;<br> &#39;Farm House&#39; &#39;Fudge&#39; &#39;Juice&#39; &quot;Ella&#39;s Kitchen Pouches&quot; &#39;Victorian Sponge&#39;<br> &#39;Frittata&#39; &#39;Hearty &amp; Seasonal&#39; &#39;Soup&#39; &#39;Pick and Mix Bowls&#39; &#39;Smoothies&#39;<br> &#39;Cake&#39; &#39;Mighty Protein&#39; &#39;Chicken sand&#39; &#39;Coke&#39; &#39;My-5 Fruit Shoot&#39;<br> &#39;Focaccia&#39; &#39;Sandwich&#39; &#39;Alfajores&#39; &#39;Eggs&#39; &#39;Brownie&#39; &#39;Dulce de Leche&#39;<br> &#39;Honey&#39; &#39;The BART&#39; &#39;Granola&#39; &#39;Fairy Doors&#39; &#39;Empanadas&#39; &#39;Keeping It Local&#39;<br> &#39;Art Tray&#39; &#39;Bowl Nic Pitt&#39; &#39;Bread Pudding&#39; &#39;Adjustment&#39; &#39;Truffles&#39;<br> &#39;Chimichurri Oil&#39; &#39;Bacon&#39; &#39;Spread&#39; &#39;Kids biscuit&#39; &#39;Siblings&#39;<br> &#39;Caramel bites&#39; &#39;Jammie Dodgers&#39; &#39;Tiffin&#39; &#39;Olum &amp; polenta&#39; &#39;Polenta&#39;<br> &#39;The Nomad&#39; &#39;Hack the stack&#39; &#39;Bakewell&#39; &#39;Lemon and coconut&#39; &#39;Toast&#39;<br> &#39;Scone&#39; &#39;Crepes&#39; &#39;Vegan mincepie&#39; &#39;Bare Popcorn&#39; &#39;Muesli&#39; &#39;Crisps&#39;<br> &#39;Pintxos&#39; &#39;Gingerbread syrup&#39; &#39;Panatone&#39; &#39;Brioche and salami&#39;<br> &#39;Afternoon with the baker&#39; &#39;Salad&#39; &#39;Chicken Stew&#39; &#39;Spanish Brunch&#39;<br> &#39;Raspberry shortbread sandwich&#39; &#39;Extra Salami or Feta&#39; &#39;Duck egg&#39;<br> &#39;Baguette&#39; &quot;Valentine&#39;s card&quot; &#39;Tshirt&#39; &#39;Vegan Feast&#39; &#39;Postcard&#39;<br> &#39;Nomad bag&#39; &#39;Chocolates&#39; &#39;Coffee granules&#39; &#39;Drinking chocolate spoons&#39;<br> &#39;Christmas common&#39; &#39;Argentina Night&#39; &#39;Half slice Monster&#39; &#39;Gift voucher&#39;<br> &#39;Cherry me Dried fruit&#39; &#39;Mortimer&#39; &#39;Raw bars&#39; &#39;Tacos/Fajita&#39;]</pre><p>terdapat 95 item unik di kolom Item, dan menampilkan daftar lengkap dari item-item tersebut, seperti ‘Bread’, ‘Scandinavian’, ‘Hot chocolate’, dan seterusnya. Beberapa item yang menarik perhatian termasuk kategori makanan, minuman, hingga produk khusus seperti “Valentine’s card”, ‘Nomad bag’, dan ‘Gift voucher’.</p><p>Keberadaan item dengan nilai ‘NONE’ menunjukkan bahwa ada transaksi tanpa pembelian spesifik, yang mungkin dapat diabaikan atau diproses lebih lanjut tergantung pada tujuan analisis. Secara keseluruhan, data ini menunjukkan variasi produk yang cukup luas dalam transaksi yang tercatat.</p><pre>print(df[df[&#39;Item&#39;]==&#39;NONE&#39;])<br><br>Output :<br>             Date      Time  Transaction  Item<br>26     2016-10-30  10:27:21           11  NONE<br>38     2016-10-30  10:34:36           15  NONE<br>39     2016-10-30  10:34:36           15  NONE<br>66     2016-10-30  11:05:30           29  NONE<br>80     2016-10-30  11:37:10           37  NONE<br>...           ...       ...          ...   ...<br>21108  2017-04-08  11:54:22         9590  NONE<br>21122  2017-04-08  12:58:25         9599  NONE<br>21254  2017-04-09  12:01:07         9666  NONE<br>21255  2017-04-09  12:04:13         9667  NONE<br>21266  2017-04-09  12:31:28         9672  NONE</pre><p>Terdapat nilai ‘NONE’ di dataset kita. Ini bisa berarti bahwa ada item yang tidak dibeli, atau nama item tersebut tidak dicatat. Terdapat 786 data dengan nilai “None” dari total 21293. Karena data ini tidak berguna, maka bisa kita hapus saja</p><pre>df.drop(df[df[&#39;Item&#39;]==&#39;NONE&#39;].index, inplace=True)<br>print(df.info())<br><br>Output :<br>&lt;class &#39;pandas.core.frame.DataFrame&#39;&gt;<br>Index: 20507 entries, 0 to 21292<br>Data columns (total 4 columns):<br> #   Column       Non-Null Count  Dtype <br>---  ------       --------------  ----- <br> 0   Date         20507 non-null  object<br> 1   Time         20507 non-null  object<br> 2   Transaction  20507 non-null  int64 <br> 3   Item         20507 non-null  object<br>dtypes: int64(1), object(3)<br>memory usage: 801.1+ KB<br>None</pre><p>Seperti yang bisa kita lihat, fitur tanggal yang semula dalam satu kolom telah dipecah menjadi tiga kolom baru, yaitu Year, Month, dan Day, masing-masing mewakili tahun, bulan, dan hari dari setiap transaksi. Langkah ini mempermudah kita untuk melakukan analisis atau visualisasi berdasarkan waktu tertentu, misalnya untuk melihat tren penjualan bulanan atau harian.</p><p>Dengan menghapus kolom asli Date, kita mengurangi redundansi dan menjaga dataset tetap ringkas, hanya berfokus pada informasi tanggal yang lebih spesifik.</p><pre># Hari<br>df[&#39;Day&#39;] = df[&#39;Date&#39;].apply(lambda x: x.split(&quot;-&quot;)[2])<br># Bulan<br>df[&#39;Month&#39;] = df[&#39;Date&#39;].apply(lambda x: x.split(&quot;-&quot;)[1])<br># Tahun<br>df[&#39;Year&#39;] = df[&#39;Date&#39;].apply(lambda x: x.split(&quot;-&quot;)[0])<br><br>df = df.drop(columns=[&#39;Date&#39;])<br><br>df.info()<br>df.head()<br><br>output :<br><br>&lt;class &#39;pandas.core.frame.DataFrame&#39;&gt;<br>Index: 20507 entries, 0 to 21292<br>Data columns (total 6 columns):<br> #   Column       Non-Null Count  Dtype <br>---  ------       --------------  ----- <br> 0   Time         20507 non-null  object<br> 1   Transaction  20507 non-null  int64 <br> 2   Item         20507 non-null  object<br> 3   Day          20507 non-null  object<br> 4   Month        20507 non-null  object<br> 5   Year         20507 non-null  object<br>dtypes: int64(1), object(5)<br>memory usage: 1.1+ MB<br><br>       Time  Transaction           Item Day Month  Year<br>0  09:58:11            1          Bread  30    10  2016<br>1  10:05:34            2   Scandinavian  30    10  2016<br>2  10:05:34            2   Scandinavian  30    10  2016<br>3  10:07:57            3  Hot chocolate  30    10  2016<br>4  10:07:57            3            Jam  30    10  2016</pre><h4>Visualisasi dan Memahami Data</h4><p>Dataset ini mencakup periode pencatatan dari 30 Oktober 2016 hingga 9 April 2017. Sebelum melangkah ke tahap pemodelan, penting bagi kita untuk mengeksplorasi dan memvisualisasikan data penjualan dalam rentang waktu ini. Misalnya, kita dapat mencari tahu barang apa yang paling banyak dibeli pelanggan dan bulan mana yang menunjukkan tingkat penjualan tertinggi. Mari kita menjawab pertanyaan-pertanyaan ini melalui visualisasi data.</p><pre>most_sold = df[&#39;Item&#39;].value_counts().head(30)<br><br>print(&#39;Most Sold Items: \n&#39;)<br>print(most_sold)<br><br>Ouput :<br>Most Sold Items: <br><br>Item<br>Coffee               5471<br>Bread                3325<br>Tea                  1435<br>Cake                 1025<br>Pastry                856<br>Sandwich              771<br>Medialuna             616<br>Hot chocolate         590<br>Cookies               540<br>Brownie               379<br>Farm House            374<br>Muffin                370<br>Alfajores             369<br>Juice                 369<br>Soup                  342<br>Scone                 327<br>Toast                 318<br>Scandinavian          277<br>Truffles              193<br>Coke                  185<br>Spanish Brunch        172<br>Fudge                 159<br>Baguette              152<br>Jam                   149<br>Tiffin                146<br>Mineral water         136<br>Jammie Dodgers        125<br>Chicken Stew          123<br>Hearty &amp; Seasonal     107<br>Salad                  99<br>Name: count, dtype: int64</pre><p>Hasil di atas menunjukkan 30 item yang paling sering dibeli oleh pelanggan. Dari data ini, kita dapat melihat bahwa Coffee adalah produk yang paling laris, terjual sebanyak 5.471 kali, diikuti oleh Bread sebanyak 3.325 kali, dan Tea sebanyak 1.435 kali.</p><p>Data ini memberi gambaran tentang preferensi pelanggan, di mana minuman seperti kopi dan teh serta makanan seperti roti dan kue mendominasi penjualan. Informasi ini dapat menjadi dasar dalam memahami item populer dan pola konsumsi dalam dataset.</p><pre>plt.figure(figsize=(30,6))<br><br>plt.subplot(1,2,1)<br>most_sold.plot(kind=&#39;line&#39;)<br>plt.title(&#39;Items Most Sold&#39;)<br><br><br>plt.subplot(1,2,2)<br>most_sold.plot(kind=&#39;bar&#39;)<br>plt.title(&#39;Items Most Sold&#39;) pelanggan. Dari data ini, kita dapat melihat bahwa Coffee adalah produk yang paling laris, terjual sebanyak 5.471 kali, diikuti oleh Bread sebanyak 3.325 kali, dan Tea sebanyak 1.435 kali.</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-_6YOTNxK5ZBFkuvDy-kcQ.png" /></figure><p>terlihat bahwa kopi adalah produk terpopuler dengan penjualan yang jauh lebih tinggi dibandingkan item lain, diikuti oleh roti, teh, dan kue yang juga memiliki jumlah penjualan cukup tinggi. Sebagian besar penjualan didominasi oleh beberapa item utama, sementara banyak produk lain seperti sandwich, brownies, dan pastry memiliki penjualan yang lebih rendah. Distribusi ini menunjukkan bahwa sebagian besar penjualan berasal dari sedikit item, sementara banyak item lainnya hanya memiliki permintaan rendah.</p><pre>df.groupby(&#39;Month&#39;)[&#39;Transaction&#39;].nunique().plot(kind=&#39;bar&#39;, title=&#39;Monthly Sales&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/560/1*kVGX5xVt0FxhXh4S6N4_4A.png" /></figure><p>Dari hasil visualisasi data penjualan perbulan, terlihat terjadi perbedaan penjualan yang drastis pada bulan 4 dan 10 ini disebut dengan outlier. Untuk mengetahui lebih lanjut, kita bisa periksa untuk melihat apakah ada lebih sedikit transaksi harian yang dicatat untuk bulan-bulan ini dibandingkan dengan yang lain.</p><h4>Market Basket Analysis</h4><pre>from mlxtend.preprocessing import TransactionEncoder<br>from mlxtend.frequent_patterns import association_rules, apriori</pre><p>Pertama kita mengubah item list menjadi data transaksi dengan menggunakan TransactionEncoder. Kita akan menggunakan frequent item-sets untuk menghasilkan aturan asosiasi dengan menggunakan algoritma Apriori.</p><pre>transaction_list = []<br><br>for i in df[&#39;Transaction&#39;].unique():<br>    tlist = list(set(df[df[&#39;Transaction&#39;]==i][&#39;Item&#39;]))<br>    if len(tlist)&gt;0:<br>        transaction_list.append(tlist)<br>print(len(transaction_list))<br><br>Output :<br>9465</pre><p>kita melakukan pengelompokkan item-item yang terdapat dalam setiap transaksi unik dari dataframe df. Setiap transaksi unik diperiksa, dan item-item yang ada dalam transaksi tersebut dikumpulkan dalam sebuah daftar unik tanpa duplikasi. Hasil akhirnya adalah transaction_list, yaitu sebuah daftar yang berisi sub-list item-item per transaksi, dengan jumlah transaksi sama dengan jumlah transaksi unik pada dataframe awal.</p><pre>te = TransactionEncoder()<br>te_ary = te.fit(transaction_list).transform(transaction_list)<br>df2 = pd.DataFrame(te_ary, columns=te.columns_)</pre><p>kita mengonversi transaction_list, yang berisi daftar item per transaksi, menjadi format DataFrame ayng biner dan siap untuk melakukan analisa. TransactionEncoder mengubah daftar transaksi menjadi array biner, di mana setiap kolom mewakili item dan setiap baris mewakili transaksi. Jika suatu item ada dalam transaksi, nilainya True; jika tidak, nilainya False. Array hasil konversi ini kemudian disimpan dalam df2 sebagai DataFrame, dengan nama item sebagai kolom, sehingga dapat digunakan untuk analisis lebih lanjut seperti Apriori atau aturan asosiasi.</p><pre>frequent_itemsets = apriori(df2, min_support=0.01, use_colnames=True)<br>rules = association_rules(frequent_itemsets, metric=&#39;lift&#39;, min_threshold=1.0)<br>metrix = pd.DataFrame(rules)<br>print(metrix[[&#39;antecedents&#39;,&#39;consequents&#39;, &#39;support&#39;, &#39;confidence&#39;, &#39;lift&#39;]].sort_values(&#39;lift&#39;, ascending=False))<br><br>Output :<br>         antecedents       consequents   support  confidence      lift<br>40            (Cake)     (Coffee, Tea)  0.010037    0.096643  1.937977<br>39     (Coffee, Tea)            (Cake)  0.010037    0.201271  1.937977<br>8             (Cake)   (Hot chocolate)  0.011410    0.109868  1.883874<br>9    (Hot chocolate)            (Cake)  0.011410    0.195652  1.883874<br>11             (Tea)            (Cake)  0.023772    0.166667  1.604781<br>10            (Cake)             (Tea)  0.023772    0.228891  1.604781<br>30          (Coffee)           (Toast)  0.023666    0.049470  1.472431<br>31           (Toast)          (Coffee)  0.023666    0.704403  1.472431<br>37          (Pastry)   (Bread, Coffee)  0.011199    0.130061  1.444872<br>36   (Bread, Coffee)          (Pastry)  0.011199    0.124413  1.444872<br>32             (Tea)        (Sandwich)  0.014369    0.100741  1.402222<br>33        (Sandwich)             (Tea)  0.014369    0.200000  1.402222<br>41             (Tea)    (Cake, Coffee)  0.010037    0.070370  1.285822<br>38    (Cake, Coffee)             (Tea)  0.010037    0.183398  1.285822<br>29  (Spanish Brunch)          (Coffee)  0.010882    0.598837  1.251766<br>28          (Coffee)  (Spanish Brunch)  0.010882    0.022747  1.251766<br>18          (Coffee)       (Medialuna)  0.035182    0.073542  1.189878<br>19       (Medialuna)          (Coffee)  0.035182    0.569231  1.189878<br>23          (Coffee)          (Pastry)  0.047544    0.099382  1.154168<br>22          (Pastry)          (Coffee)  0.047544    0.552147  1.154168<br>1           (Coffee)       (Alfajores)  0.019651    0.041078  1.130235<br>0        (Alfajores)          (Coffee)  0.019651    0.540698  1.130235<br>17          (Coffee)           (Juice)  0.020602    0.043065  1.116750<br>16           (Juice)          (Coffee)  0.020602    0.534247  1.116750<br>24          (Coffee)        (Sandwich)  0.038246    0.079947  1.112792<br>25        (Sandwich)          (Coffee)  0.038246    0.532353  1.112792<br>6             (Cake)          (Coffee)  0.054728    0.526958  1.101515<br>7           (Coffee)            (Cake)  0.054728    0.114399  1.101515<br>26           (Scone)          (Coffee)  0.018067    0.522936  1.093107<br>27          (Coffee)           (Scone)  0.018067    0.037765  1.093107<br>12         (Cookies)          (Coffee)  0.028209    0.518447  1.083723<br>13          (Coffee)         (Cookies)  0.028209    0.058966  1.083723<br>34   (Bread, Coffee)            (Cake)  0.010037    0.111502  1.073621<br>35            (Cake)   (Bread, Coffee)  0.010037    0.096643  1.073621<br>14          (Coffee)   (Hot chocolate)  0.029583    0.061837  1.060311<br>15   (Hot chocolate)          (Coffee)  0.029583    0.507246  1.060311<br>3            (Bread)          (Pastry)  0.029160    0.089119  1.034977<br>2           (Pastry)           (Bread)  0.029160    0.338650  1.034977<br>5           (Coffee)         (Brownie)  0.019651    0.041078  1.025860<br>4          (Brownie)          (Coffee)  0.019651    0.490765  1.025860<br>20          (Coffee)          (Muffin)  0.018806    0.039311  1.022193<br>21          (Muffin)          (Coffee)  0.018806    0.489011  1.022193</pre><p>Melalui data tersebut bisa didapat beberapa insight :</p><ul><li>Kombinasi Cake dengan Coffee dan Tea memiliki lift yang tinggi (1.937977), yang berarti pembelian ketiga item ini secara bersama-sama lebih sering terjadi daripada yang diharapkan jika pembeliannya acak. Ini menunjukkan adanya hubungan yang kuat antara ketiga item tersebut, sehingga paket promosi atau diskon untuk kombinasi ini bisa menarik.</li><li>Kombinasi item seperti Coffee dengan Brownie, Muffin, atau Juice memiliki lift yang relatif rendah (dekat dengan 1). Ini menunjukkan bahwa item-item tersebut memiliki hubungan yang lemah dengan Coffee dibandingkan dengan item lain seperti Cake atau Pastry.</li><li>Banyak aturan menunjukkan bahwa Coffee sering dibeli bersamaan dengan item seperti Cake, Pastry, Scone, Medialuna, dan Cookies. Hal ini dapat dimanfaatkan untuk strategi upselling, di mana item-item ini dapat dipromosikan sebagai pendamping saat pelanggan membeli Coffee.</li><li>Beberapa item, seperti Spanish Brunch yang memiliki confidence tinggi untuk muncul bersama Coffee (0.598837), mungkin menunjukkan preferensi pelanggan pada waktu tertentu atau kondisi tertentu.</li></ul><h4>Kesimpulan</h4><p>Berdasarkan hasil analisis market basket di atas, terdapat beberapa kesimpulan penting:</p><ul><li>Produk yang paling banyak diminati oleh pelanggan adalah Coffee, diikuti oleh Bread, Tea, dan Cake. Hal ini menunjukkan bahwa minuman seperti kopi dan makanan seperti roti sangat populer dan menjadi daya tarik utama di bakery ini.</li><li>Karena beberapa item seperti Cake, Pastry, Scone, Medialuna, dan Cookies memiliki kecenderungan kuat untuk dibeli bersama Coffee, bakery dapat memanfaatkan pola ini dengan menawarkan promosi upselling, seperti “Tambah sedikit untuk menikmati Cake dengan Coffee” atau penawaran kombo untuk pasangan minuman dan makanan ini.</li><li>Item dengan lift rendah menunjukkan adanya produk yang jarang dibeli bersama dan memiliki hubungan lemah dengan produk lain. Bakery dapat mempertimbangkan apakah produk tersebut harus dikombinasikan dengan item yang lebih populer atau bahkan dipromosikan lebih efektif.</li></ul><p><a href="https://colab.research.google.com/drive/1_vzBy7W3Qwmnp2WcgT56_aIDsmtmOYxe?usp=sharing">Google Colab</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e83c2259da67" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[1002 Jurus Menjadi Juragan: Segmentasi Pelanggan dengan Clustering]]></title>
            <link>https://medium.com/@teoinsani/1002-jurus-menjadi-juragan-segmentasi-pelanggan-dengan-clustering-cf54f207658d?source=rss-3f514e555a66------2</link>
            <guid isPermaLink="false">https://medium.com/p/cf54f207658d</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[clustering]]></category>
            <dc:creator><![CDATA[Teofilus Satria Rada Insani]]></dc:creator>
            <pubDate>Sun, 27 Oct 2024 16:55:35 GMT</pubDate>
            <atom:updated>2024-11-03T15:26:05.744Z</atom:updated>
            <content:encoded><![CDATA[<p>Artikel ini berisi tentang <em>insight </em>yang kami (Teofilus Satria Rada Insani dan Rafelixa Reynard Isak) dapatkan dalam perkuliahan di minggu ke-10 ini. Perkuliahan di minggu ke-10 pada mata kuliah “Pengantar Data Science” membahas mengenai <em>Clustering.</em></p><p>Dalam industri retail, salah satu yang sering dilakukan para analis bisnis adalah pembuatan <strong><em>customer segmentation</em></strong> (segmentasi pelanggan/segmentasi pasar). Pada dasarnya, <strong>segmentasi pelanggan</strong> adalah memilah pelanggan ke dalam kelompok-kelompok yang memiliki kesamaan tersendiri. Kelompok bisa dibentuk berdasarkan demografi, lokasi geografis, pola perilaku pembelian, dan sebagainya.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/720/0*ZyT1i0xW7G7wHRju.gif" /><figcaption>Ilustrasi Segmentasi</figcaption></figure><p>Dengan dibuatnya kelompok-kelompok (segmen) pelanggan, proses pemasararan dapat lebih terarah dan menyasar ke segmen pelanggan yang tepat. Algoritma matematis yang biasanya digunakan untuk mencari pola dalam data adalah <strong>K-Means Clustering</strong>. Tapi sebelum itu kita perlu untuk membahas apa itu clustering.</p><h4>Apa itu Clustering?</h4><p>Clustering adalah proses mengelompokkan data yang tidak memiliki label (unsupervised learning) ke dalam beberapa kelompok atau cluster berdasarkan kesamaan tertentu. Tujuannya yaitu untuk menemukan struktur atau pola dalam data tanpa adanya informasi mengenai kategori data. Dengan melakukan clustering, kita mendapatkan pengetahuan baru tentang kelompok-kelompok yang terbentuk secara alamiah. Clustering sifatnya <strong><em>bukan</em> prediksi</strong>, namun lebih bersifat <strong><em>knowledge discovery</em></strong>, yaitu melihat apa yang telah terjadi</p><p>Clustering berbeda dengan metode lainnya karena tidak memiliki label/target. Misalnya <strong>Decision Tree</strong> yang memerlukan label/target untuk dapat membentuk kelompok data, Clustering justru akan menciptakan data baru yang kemudian dapat digunakan untuk memperkaya data yang ada. Clustering menggunakan pendekatan dengan mengelompokkan data sehingga elemen yang serupa atau saling terkait ditempatkan di cluster yang sama.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*bLqtRZch252k8UJt.gif" /><figcaption>Ilustrasi Clustering</figcaption></figure><h4>Algoritma K-Means</h4><p>Algoritma ini adalah metode untuk membagi data ke dalam beberapa kelompok berdasarkan kesamaan fitur. Setiap cluster diwakili oleh satu titik pusat yang disebut <strong>centroid</strong>. Centroid adalah titik yang mewakili pusat atau rata-rata dari sebuah cluster, titik pusat ini digunakan sebagai refrensi untuk menentukan keanggotaan titik-titik dalam setiap cluster. Intinya K-Means adalah pembagian data berdasarkan jarak ke centroid, algoritma ini meminimalkan variasi dalam cluster, sehingga setiap titik data dalam satu cluster memiliki kemiripan lebih besar dengan anggota cluster tersebut daripada dengan data di cluster lain. Salah satu tantangan utama dalam algoritma ini adalah menentukan berapa jumlah cluster yang optimal.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*TPZAqVGkC7tlpvtI.png" /><figcaption>Ilustrasi Algoritma K-Means</figcaption></figure><p>Proses dalam algoritma K-Means melibatkan langkah-langkah iteratif yang bertujuan untuk menemukan <strong>centroid. </strong>Langkah pertama, K-Means akan menentukan <em>K</em>, yaitu jumlah cluster yang diinginkan, lalu algoritma ini akam memiliki <em>K</em> secara acak dari dataset sebagai centroid awal. Kemudian, setiap poin yang ada didalam dataset akan dihitung jaraknya ke centroid yang sudah dipilih. Jarak biasanya dihitung menggunakan <strong>Euclidean Distance.</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*VxWybz76XC0GrgaR.png" /><figcaption>Ilustrasi formula Euclidean Distance</figcaption></figure><p>Setelah semua data poin ditetapkan ke cluster centroid terdekat, centroid akan di-update dengan cara mengambil rata-rata dari semua titik data yang termasuk dalam cluster tersebut. Proses ini diulang hingga jumlah iterasi yang ditentukan tercapai.</p><p>Fungsi objektif K-Means adalah mencoba untuk mengoptimalkan jarak antara titik data dan centroid dari cluster tempat titik itu berada. Fungsi objektif ini biasanya disebut sebagai <strong><em>Sum of Squared Distance </em></strong>(SSD). Tujuan utama K-Means adalah meminimalkan SSD untuk mendapatkan posisi centroid yang terbaik.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/230/1*_zU-1xOvlUnb1UW6OfJspA.png" /><figcaption>Fungsi Objektif K-Means</figcaption></figure><p>Secara sederhana, formula ini menghitung total <strong>jarak kuadrat</strong> antara setiap titik data dan <strong>centroid</strong> dari cluster tempat titik tersebut berada, yang ingin diminalkan oleh algoritma K-Means. Berikut komponen-komponen yang ada dalam formula ini:</p><ul><li>∑K i=1: Ini adalah <strong>sigma notation</strong> yang menunjukkan <strong>penjumlahan</strong> dari seluruh <strong>cluster</strong>. Simbol K adalah jumlah cluster, sehingga penjumlahan ini dilakukan untuk setiap cluster dari i=1 sampai i=K.</li><li>∑x∈Ci: Untuk setiap cluster Ci, dilakukan penjumlahan atas setiap titik data x yang termasuk dalam cluster tersebut. Jadi, ini adalah penjumlahan untuk semua data yang termasuk dalam cluster Ci.</li><li>distance(x,μi): Ini menunjukkan <strong>jarak</strong> antara titik data x dan <strong>centroid</strong> dari cluster i, yang disimbolkan dengan μi. Jarak ini biasanya dihitung menggunakan <strong>Euclidean Distance</strong>.</li><li>(distance(x,μi))^2: Setelah jarak antara titik data dan centroid dihitung, jarak tersebut <strong>dikuadratkan</strong> untuk menekankan perbedaan yang lebih besar.</li></ul><p>Intinya, dengan <strong>menjumlahkan semua jarak kuadrat</strong> antara titik data dan centroid mereka masing-masing, kita mendapatkan nilai SSD. Algoritma K-Means kemudian <strong>berusaha meminimalkan nilai SSD ini</strong> agar titik-titik dalam satu cluster memiliki jarak yang lebih dekat dengan centroid mereka. Dengan demikian, cluster yang terbentuk akan lebih kompak dan sesuai dengan pola data.</p><h4>Metode Elbow</h4><p>Salah satu tantangan terbesar dalam algoritma K-Means adalah menentukan berapa jumlah <strong><em>K </em></strong>(cluster) yang optimal. Jika terlalu kecil, beberapa cluster mungkin mengandung data yang terlalu beragam dan jika terlalu besar, akan muncul cluster yang tidak berarti. Untuk dapat memiliki jumlah cluster yang optimal, kita dapat menggunakan <strong>Elbow Method</strong>. Dalam elbow method, kita mencoba berbagai nilai <strong><em>K</em></strong> dan menghitung SSD untuk setiap <strong><em>K</em></strong>. SSD ini dihitung sebagai total jarak kuadrat antara titik data dan centroid cluster mereka. Ketika <strong><em>K</em></strong> bertambah, SSD akan semakin kecil karena cluster akan menjadi lebih kecil dan jarak ke centroid akan semakin pendek. Berikut langkah-langkah menggunakan elbow method:</p><ul><li>Tentukan rentang nilai <strong><em>K</em></strong> yang akan diuji, misalnya 1–5.</li><li>Untuk setiap nilai <strong><em>K</em></strong> jalankan algoritma K-Means pada dataset. Pada setiap iterasi, K-Means akan membagi data ke dalam <strong><em>K</em></strong> cluster yang berbeda.</li><li>Hitung <strong><em>Sum of Squared Distance </em></strong>(SSD) untuk setiap <strong><em>K</em></strong>. SSD adalah total jarak kuadrat antara titik data dan centroid clusternya. Ini mengukur seberapa jauh titik-titik data dari centroid mereka dalam setiap cluster.</li><li>Buat grafik yang memplot nilai <strong><em>K</em></strong> kepada sumbu <em>x</em> dan nilai SSD pada sumbu <em>y. </em>Biasanya, SSD akan menurun seiring bertambahnya <strong><em>K</em></strong>, karena semakin banyak cluster semakin membuat titik-titik data lebih dekat dengan centroidnya.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/657/0*mfH3DhjBvIwz7m0g" /><figcaption>Ilustrasi Grafik Elbow Method</figcaption></figure><ul><li>Temukan titik dimana penurunan SSD mulai melambat secara signifikan. Titik tersebut dinamakan <strong>Elbow Point</strong>, karena bentuknya grafiknya menyerupai siku. Nilai <strong><em>K</em></strong> di elbow poin adalah jumlah cluster yang optimal.</li></ul><h3>Penerapan (Aktivitas Mandiri)</h3><p>Pada penerapan <em>clustering </em>kali ini, kami menggunakan data yang didapat dari kaggle yaitu data mengenai <a href="https://www.kaggle.com/competitions/titanic"><em>Insiden Kapal Titanic</em></a><em>.</em> Data ini berisi informasi tentang penumpang, termasuk fitur seperti kelas penumpang, jenis kelamin, usia, jumlah saudara atau pasangan yang ikut, jumlah orang tua atau anak yang ikut, tarif tiket, pelabuhan, dan status bertahan hidup. Tujuan kami adalah untuk melakukan clustering untuk mengelompokkan penumpang berdasarkan karakteristik tertentu yang mungkin menunjukkan pola atau kecenderungan dalam data. Dengan clustering ini, kami berharap dapat mengidentifikasi kelompok penumpang yang memiliki kesamaan dalam fitur-fitur tertentu, yang mungkin memberikan wawasan lebih dalam tentang pola demografi atau faktor-faktor yang memengaruhi keselamatan dalam insiden tersebut.</p><p>Kami juga menyediakan link google colab untuk dapat dianalisa lebih lanjut. Link <strong>google colab</strong> : <a href="https://colab.research.google.com/drive/1M2XzHhEi5Q7Y-b4muaVxbqk83jyc1dG8?usp=sharing">Clustering</a></p><h4>Mengimpor Library</h4><pre>import pandas as pd</pre><h4>Mengimpor Dataset</h4><pre>df_test = pd.read_csv(&#39;test.csv&#39;)<br>df_train = pd.read_csv(&#39;train.csv&#39;)<br>df_submission = pd.read_csv(&#39;gender_submission.csv&#39;)</pre><p>Membaca dataset ‘train.csv’, ‘test.csv’, dan ‘gender_submission.csv’ ke dalam DataFrame. Dataset ‘train.csv’ berisi data yang digunakan untuk melatih model, sedangkan ‘test.csv’ adalah data yang akan digunakan untuk menguji model. ‘gender_submission.csv’ berisi informasi nilai ‘Survived’ yang hilang pada dataset ‘test.csv’. Tapi semua nya akan disatukan karena <strong>tidak ada training dan testing</strong>.</p><h4>Checking Column pada Dataset</h4><pre>print(df_train.columns)<br>print(df_test.columns)<br>print(df_submission.columns)<br><br>Output :<br>Index([&#39;PassengerId&#39;, &#39;Survived&#39;, &#39;Pclass&#39;, &#39;Name&#39;, &#39;Sex&#39;, &#39;Age&#39;, &#39;SibSp&#39;,<br>       &#39;Parch&#39;, &#39;Ticket&#39;, &#39;Fare&#39;, &#39;Cabin&#39;, &#39;Embarked&#39;],<br>      dtype=&#39;object&#39;)<br>Index([&#39;PassengerId&#39;, &#39;Pclass&#39;, &#39;Name&#39;, &#39;Sex&#39;, &#39;Age&#39;, &#39;SibSp&#39;, &#39;Parch&#39;,<br>       &#39;Ticket&#39;, &#39;Fare&#39;, &#39;Cabin&#39;, &#39;Embarked&#39;],<br>      dtype=&#39;object&#39;)<br>Index([&#39;PassengerId&#39;, &#39;Survived&#39;], dtype=&#39;object&#39;)</pre><p>Dapat dilihat pada file test ada kolom yang hilang, yaitu kolom survived yang bisa didapatkan pada file gender_submission. Maka dari itu, kita perlu men-join kan kedua file itu bedasarkan PassengerId nya. Data dari ‘gender_submission.csv’ dapat digunakan untuk melengkapi kolom ‘Survived’ yang hilang pada ‘test.csv’.</p><h4>Menggabungkan Fitur yang Hilang</h4><pre>df_test = pd.merge(df_test, df_submission, on=&#39;PassengerId&#39;, how=&#39;left&#39;)<br>print(df_test.head())<br><br>Output :<br>   PassengerId  Pclass                                          Name     Sex  \<br>0          892       3                              Kelly, Mr. James    male   <br>1          893       3              Wilkes, Mrs. James (Ellen Needs)  female   <br>2          894       2                     Myles, Mr. Thomas Francis    male   <br>3          895       3                              Wirz, Mr. Albert    male   <br>4          896       3  Hirvonen, Mrs. Alexander (Helga E Lindqvist)  female   <br><br>    Age  SibSp  Parch   Ticket     Fare Cabin Embarked  Survived  <br>0  34.5      0      0   330911   7.8292   NaN        Q         0  <br>1  47.0      1      0   363272   7.0000   NaN        S         1  <br>2  62.0      0      0   240276   9.6875   NaN        Q         0  <br>3  27.0      0      0   315154   8.6625   NaN        S         0  <br>4  22.0      1      1  3101298  12.2875   NaN        S         1  </pre><p>Menggabungkan dataset ‘test.csv’ dengan ‘gender_submission.csv’ menggunakan kolom ‘PassengerId’ sebagai kunci penghubung. Penggabungan ini dilakukan untuk menambahkan kolom ‘Survived’ yang hilang pada ‘test.csv’. Penggunaan parameter ‘how=left’ memastikan semua baris dari ‘test.csv’ akan dipertahankan dalam hasil penggabungan.</p><pre>df = pd.concat([df_train, df_test], ignore_index=True)</pre><p>Menggabungkan data training dan testing bertujuan untuk menambah jumlah data yang akan digunakan dalam analisis clustering. Clustering membutuhkan data yang cukup banyak agar dapat mendeteksi pola dengan baik, sehingga menggabungkan seluruh dataset membantu membentuk kluster yang lebih representatif. Karena clustering adalah unsupervised learning, pembagian data antara train dan test tidak relevan; seluruh dataset digunakan untuk menemukan struktur atau kelompok dalam data tersebut. Dengan ignore_index=True, indeks baru yang berurutan terbentuk, sehingga hasil penggabungan lebih rapi dan siap untuk analisis clustering yang lebih mendalam.</p><h4>Mengubah String ke Numeric</h4><pre>from sklearn.preprocessing import LabelEncoder<br><br>le = LabelEncoder()<br><br>df[&#39;Sex&#39;] = le.fit_transform(df[&#39;Sex&#39;])<br>df[&#39;Embarked&#39;] = le.fit_transform(df[&#39;Embarked&#39;])</pre><p>Melakukan encoding pada fitur ‘Sex’ dan ‘Embarked’ menggunakan LabelEncoder. Encoding ini mengubah nilai kategori menjadi numerik sehingga dapat digunakan dalam model ML.</p><pre>df = df.drop([&#39;PassengerId&#39;, &#39;Name&#39;, &#39;Ticket&#39;, &#39;Cabin&#39;], axis=1)</pre><p>Kami menghapus kolom <strong>‘PassengerId’</strong>, <strong>‘Name’</strong>, <strong>‘Ticket’</strong>, dan <strong>‘Cabin’</strong> dari dataset karena fitur-fitur tersebut dianggap tidak relevan untuk analisis clustering yang akan dilakukan. Kolom <strong>‘PassengerId’</strong> hanya berisi nomor identifikasi unik yang tidak memberikan informasi penting untuk pengelompokan penumpang. Kolom <strong>‘Name’</strong> juga dihapus karena tidak memiliki nilai numerik atau kategorikal yang dapat digunakan dalam analisis clustering, serta nama penumpang tidak berpengaruh terhadap pola atau kategori yang mungkin terbentuk. <strong>‘Ticket’</strong> dihilangkan karena merupakan kode acak yang tidak memiliki hubungan langsung dengan karakteristik penumpang atau keselamatan mereka. Sementara itu, kolom <strong>‘Cabin’</strong> memiliki banyak nilai yang hilang (missing values), dan informasi mengenai nomor kabin tidak terlalu signifikan dalam menentukan kelompok penumpang. Dengan menghapus kolom-kolom ini, dataset menjadi lebih bersih dan fokus pada fitur yang relevan untuk clustering.</p><h4>Menghapus NaN Value</h4><pre>null_counts = df.isnull().sum()<br>print(null_counts)<br><br>Output :<br>Survived      0<br>Pclass        0<br>Sex           0<br>Age         263<br>SibSp         0<br>Parch         0<br>Fare          1<br>Embarked      0<br>dtype: int64</pre><p>terlihat bahwa kolom Age memiliki 263 missing values, sementara Fare hanya memiliki 1 missing value. Karena jumlah data yang hilang di kolom tersebut lumayan sedikit, baris tersebut dapat dihapus tanpa mempengaruhi dataset secara signifikan.</p><pre>df.dropna(inplace=True)<br><br>null_counts = df.isnull().sum()<br>print(null_counts)<br><br>Output:<br>Survived    0<br>Pclass      0<br>Sex         0<br>Age         0<br>SibSp       0<br>Parch       0<br>Fare        0<br>Embarked    0<br>dtype: int64</pre><p>Setelah row yang terdapat missing value dihapus, dapat terlihat bahwa sudah tidak ada lagi missing value</p><h4>Menentukan Nilai K yang Optimal</h4><pre>from sklearn.cluster import KMeans<br>from sklearn.preprocessing import StandardScaler<br>import matplotlib.pyplot as plt<br>import seaborn as sns<br><br>scaler = StandardScaler()<br>scaled_features = scaler.fit_transform(df)<br><br>inertia = []<br>k_values = range(1, 10)<br><br>for k in k_values:<br>    kmeans = KMeans(n_clusters=k, random_state=0)<br>    kmeans.fit(scaled_features)<br>    inertia.append(kmeans.inertia_)<br><br># Plotting the elbow curve to visualize the optimal number of clusters<br>plt.figure(figsize=(10, 6))<br>plt.plot(k_values, inertia, marker=&#39;o&#39;)<br>plt.xlabel(&#39;Number of Clusters (k)&#39;)<br>plt.ylabel(&#39;Inertia&#39;)<br>plt.title(&#39;Elbow Method for Optimal k&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BuMV_LI4UbLaAC3G2ERHVg.png" /></figure><p>Kami memilih k= 4 karena pada bentuk “elbow” di grafik, di mana penurunan inertia mulai melambat. Sebelum titik ini, penurunan inertia cukup tajam, tetapi setelahnya, penurunan menjadi lebih landai, menunjukkan bahwa menambah jumlah cluster setelah k=4 memberikan benefit yang semakin kecil. Dari grafik, penurunan inertia terlihat signifikan dari k=1 hingga k=4, namun setelah itu penurunannya melambat. Dengan memilih k=4, model menjadi cukup representatif tanpa terlalu kompleks, meminimalkan risiko overfitting dan tetap memberikan hasil clustering yang efektif.</p><h4>EDA</h4><p>Kami memilih Age dan Fare untuk memvisualisasikan cluster karena keduanya adalah fitur numerik yang cukup representatif dalam konteks profil penumpang Titanic:</p><p>Age (Usia): Menunjukkan rentang usia penumpang, yang seringkali terkait dengan prioritas keselamatan (misalnya, anak-anak lebih mungkin diselamatkan terlebih dahulu). Ini juga bisa menunjukkan pola demografis di setiap cluster.</p><p>Fare (Biaya Tiket): Biaya tiket sering kali terkait dengan kelas sosial-ekonomi atau tingkat kemewahan yang dipilih penumpang. Ini mencerminkan kemungkinan akses ke fasilitas atau perlakuan berbeda di kapal, yang dapat mempengaruhi peluang keselamatan.</p><p>Namun, untuk analisis yang lebih mendalam, kita bisa menambahkan fitur-fitur lain seperti Pclass (kelas kabin) atau SibSp dan Parch (jumlah keluarga di kapal), yang dapat memberikan gambaran lebih komprehensif tentang karakteristik setiap cluster. Jika ingin, kita bisa coba untuk visualisasi 3D atau eksplorasi cluster berdasarkan fitur-fitur tambahan tersebut.</p><pre>kmeans = KMeans(n_clusters=4, random_state=0)<br>df[&#39;Cluster&#39;] = kmeans.fit_predict(scaled_features)<br><br>plt.figure(figsize=(12, 8))<br>sns.scatterplot(data=df, x=&#39;Age&#39;, y=&#39;Fare&#39;, hue=&#39;Cluster&#39;, palette=&#39;viridis&#39;, style=&#39;Cluster&#39;)<br>plt.xlabel(&#39;Age&#39;)<br>plt.ylabel(&#39;Fare&#39;)<br>plt.title(&#39;Clusters of Titanic Passengers Based on Age and Fare&#39;)<br>plt.legend(title=&#39;Cluster&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xpfdKRl8tjQ1a7pRbPErCw.png" /></figure><p>Scatter plot diatas memvisualisasikan cluster-cluster berdasarkan Usia dan Tarif di antara para penumpang Titanic, yang menunjukkan pengelompokan penumpang yang berbeda:</p><ul><li>cluster 0: Sebagian besar penumpang membayar tarif rendah dan berusia lebih muda, hal ini mewakili penumpang kelas tiga atau mereka yang memiliki hubungan keluarga yang lebih sedikit.</li><li>cluster 1: Umumnya membayar tarif lebih tinggi, berusia paruh baya hingga lebih tua, hal ini menunjukkan penumpang kelas satu atau lebih kaya.</li><li>cluster 2: Campuran antara penumpang yang lebih muda dan lebih tua dengan tarif menengah, hal ini mewakili penumpang kelas dua atau penumpang kelas tiga yang sering bepergian.</li><li>cluster 3: Sebagian besar terdiri dari penumpang yang lebih tua dengan tarif rendah dan tinggi, yang mungkin mencerminkan kelas sosial dan situasi keluarga yang bervariasi.</li></ul><p>Cluster ini mengisyaratkan keragaman sosial-ekonomi, struktur keluarga, dan probabilitas kelangsungan hidup di antara para penumpang. Beri tahu saya jika Anda ingin analisis lebih lanjut tentang aspek klaster tertentu, seperti tingkat kelangsungan hidup atau distribusi kelas</p><pre>kmeans = KMeans(n_clusters=4, random_state=0)<br>df[&#39;Cluster&#39;] = kmeans.fit_predict(scaled_features)<br><br>cluster_counts = df[&#39;Cluster&#39;].value_counts()<br><br>plt.figure(figsize=(8, 6))<br>sns.barplot(x=cluster_counts.index, y=cluster_counts.values)<br>plt.xlabel(&#39;Cluster&#39;)<br>plt.ylabel(&#39;Number of Passengers&#39;)<br>plt.title(&#39;Number of Passengers in Each Cluster&#39;)<br>plt.show()<br><br>print(&quot;Number of passengers in each cluster:&quot;)<br>cluster_counts</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kAyqBe0r-teou9b0VljjpA.png" /></figure><p>Berdasarkan data jumlah penumpang di setiap cluster yang Anda berikan, berikut adalah insight mengenai distribusi penumpang Titanic di masing-masing cluster:</p><ul><li>cluster 0 (62 penumpang) : Cluster ini memiliki jumlah penumpang paling sedikit, menunjukkan bahwa ini adalah kelompok yang paling tidak umum, mungkin terdiri dari imigran atau pelancong dengan tujuan ekonomi yang lebih rendah. Keterbatasan hubungan keluarga dan tarif yang rendah bisa menunjukkan bahwa mereka berisiko lebih tinggi dalam situasi darurat, dengan kemungkinan lebih kecil untuk mendapatkan bantuan saat terjadi bencana.</li><li>cluster 1 (262 penumpang): Meskipun jumlahnya lebih kecil dibandingkan dengan Cluster 3, cluster ini menunjukkan bahwa ada kelompok penumpang yang lebih kaya, yang kemungkinan memiliki akses lebih baik dan kenyamanan dalam perjalanan. Profil penumpang di cluster ini dapat mencerminkan pemegang kekuasaan atau individu dengan latar belakang yang lebih stabil, yang mungkin mempengaruhi respons mereka terhadap situasi darurat, seperti bencana yang terjadi pada Titanic.</li><li>cluster 2 (180 penumpang): Jumlah penumpang yang lebih sedikit dibandingkan dengan Cluster 3, tetapi cukup signifikan untuk menunjukkan keberagaman. Penumpang di cluster ini mungkin lebih sering bepergian dan memiliki latar belakang yang lebih beragam, mencerminkan gaya hidup yang aktif dan interaksi sosial yang lebih besar. Mereka mungkin memiliki peluang lebih baik untuk bertahan hidup jika dibandingkan dengan Cluster 0, tetapi tidak seaman Cluster 1.</li><li>cluster 3 (541 penumpang): Dengan jumlah penumpang terbanyak, cluster ini mungkin mencerminkan keberagaman sosial yang luas, termasuk penumpang dari kelas sosial yang berbeda Banyaknya penumpang di sini menunjukkan bahwa situasi keluarga dan status sosial sangat beragam. Ini dapat berimplikasi pada tingkat kelangsungan hidup yang beragam, di mana penumpang yang lebih tua mungkin memiliki faktor risiko lebih tinggi. Cluster ini dapat diinterpretasikan sebagai kelompok penumpang yang memiliki pengalaman hidup lebih banyak, yang berpotensi memengaruhi pilihan dan keputusan mereka saat bepergian.</li></ul><h4>Kesimpulan</h4><ul><li>Pola Umum: Jumlah penumpang berkurang seiring dengan peningkatan nomor cluster, menunjukkan bahwa cluster yang lebih rendah mewakili kelompok yang lebih besar dan umum, sedangkan yang lebih tinggi menunjukkan kelompok yang lebih kecil dan lebih spesifik.</li><li>Klasifikasi Sosial: Analisis cluster ini memberikan wawasan penting tentang stratifikasi sosial di antara penumpang Titanic, di mana status sosial dan ekonomi sangat mempengaruhi pengalaman dan hasil perjalanan.</li><li>Arah Penelitian Lanjutan: Pemahaman lebih dalam tentang karakteristik masing-masing cluster dapat memberikan gambaran yang lebih jelas mengenai hubungan antara status sosial, usia, tarif, dan kelangsungan hidup penumpang Titanic. Ini bisa membuka jalan untuk analisis yang lebih mendalam mengenai dampak kelas sosial dalam konteks sejarah dan bencana.</li></ul><p><a href="https://colab.research.google.com/drive/1M2XzHhEi5Q7Y-b4muaVxbqk83jyc1dG8?usp=sharing">Google Colab</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=cf54f207658d" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[1001 Jurus Menjadi Juragan: Salah satunya menggunakan Churn Prediction]]></title>
            <link>https://medium.com/@teoinsani/1001-jurus-menjadi-juragan-salah-satunya-menggunakan-churn-prediction-9e80d7d33a4e?source=rss-3f514e555a66------2</link>
            <guid isPermaLink="false">https://medium.com/p/9e80d7d33a4e</guid>
            <category><![CDATA[churn]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[Teofilus Satria Rada Insani]]></dc:creator>
            <pubDate>Sun, 20 Oct 2024 15:55:54 GMT</pubDate>
            <atom:updated>2024-11-03T15:24:57.777Z</atom:updated>
            <content:encoded><![CDATA[<p>Artikel ini berisi tentang <em>insight </em>yang kami (Teofilus Satria Rada Insani dan Rafelixa Reynard Isak) dapatkan dalam perkuliahan di minggu ke-6 ini. Perkuliahan di minggu ke-9 pada mata kuliah “Pengantar Data Science” membahas mengenai <em>Churn Prediction.</em></p><h3>Apa itu Churn Prediction?</h3><p>Churn Prediction adalah upaya untuk memprediksi apakah seorang pelanggan akan berhenti menggunakan layanan (churn) atau tetap menjadi pelanggan. Tujuan utamanya adalah mengidentifikasi pelanggan yang berpotensi berhenti dan mengenali tanda-tanda awal yang menunjukkan kecenderungan tersebut.</p><p>Dengan memahami pola perilaku pelanggan dan mengidentifikasi mereka yang berisiko churn, bisnis dapat mengambil tindakan pencegahan untuk mempertahankan pelanggan, mengurangi kerugian, serta meningkatkan tingkat retensi. Langkah ini bertujuan mencegah pelanggan benar-benar berhenti, sehingga perusahaan dapat menghindari biaya besar dalam mencari pelanggan baru, yang umumnya lebih mahal daripada menjaga pelanggan lama.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1001/0*ENcjo2LNlnrZp3pa.png" /><figcaption>Ilustrasi prediksi churn rate menggunakan machine learning</figcaption></figure><p>Churn rate adalah persentase pelanggan yang berhenti menggunakan produk atau layanan dalam jangka waktu tertentu. Ini merupakan metrik penting untuk mengukur tingkat kehilangan pelanggan di berbagai industri, terutama yang berbasis langganan. Churn rate yang tinggi bisa menjadi indikasi adanya masalah dengan produk, layanan, atau pengalaman pelanggan, sehingga perusahaan perlu mengambil langkah untuk mengatasinya. Sebaliknya, churn rate yang rendah menunjukkan bahwa perusahaan berhasil mempertahankan pelanggan dengan baik.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*RzC4tUpDTDi0FtcL" /><figcaption>Formula churn rate</figcaption></figure><h4>Pentingnya Churn Prediction Untuk Bisnis</h4><p>Churn Prediction sangat penting bagi bisnis, terutama untuk bisnis yang mengandalkan basis pelanggan berlangganan seperti industri telekomunikasi, layanan streaming dan e-commerce. Berikut beberapa alasannya:</p><ul><li><strong>Biaya Akuisisi Pelanggan Baru</strong>: Biaya untuk mendapatkan pelanggan baru biasanya lebih mahal daripada mempertahankan pelanggan yang sudah ada. Perusahaan yang bisa memprediksi churn dengan baik dapat menghemat uang yang seharusnya digunakan untuk mencari pelanggan baru, dan sebaliknya fokus pada program retensi yang lebih hemat dan efektif.</li><li><strong>Meningkatkan Loyalitas Pelanggan</strong>: Dengan memprediksi churn, bisnis bisa merancang strategi retensi yang lebih tepat, seperti memberikan diskon, penawaran khusus, atau peningkatan layanan kepada pelanggan yang berisiko churn. Hal ini dapat meningkatkan loyalitas dan kepuasan pelanggan.</li><li><strong>Pengambilan Keputusan yang Lebih Baik</strong>: Churn Prediction membantu manajemen membuat keputusan yang lebih baik berdasarkan data. Daripada hanya bereaksi saat pelanggan sudah berhenti, perusahaan bisa lebih proaktif dalam menjaga pelanggan dengan menggunakan analisis prediktif untuk mencegah churn.</li><li><strong>Memahami Pola Perilaku Pelanggan: </strong>Model prediksi churn membantu perusahaan mengenali pola perilaku pelanggan yang terkait dengan kemungkinan berhenti berlangganan. Pola ini bisa berupa seberapa sering mereka menggunakan layanan, kapan terakhir kali berinteraksi, atau berapa banyak keluhan yang diajukan. Dengan memahami pola-pola ini, perusahaan bisa memperbaiki produk atau layanan mereka secara keseluruhan.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/0*jFJi5RsqouVx8ZsD.jpg" /></figure><h4>Jenis-jenis Churn</h4><p>Ada dua jenis churn yang biasanya diamati dalam bisnis: <strong>voluntary churn</strong> dan <strong>involuntary churn</strong>.</p><ul><li><strong>Voluntary Churn </strong>terjadi ketika pelanggan secara sukarela memilih untuk berhenti menggunakan layanan. Ini biasanya terjadi karena pelanggan tidak puas dengan pelayanan, harga yang terlalu mahal, dan adanya pesaing yang lebih baik.</li><li><strong>Involuntary Churn</strong> terjadi ketika pelanggan berhenti berlangganan bukan karena keinginan mereka sendiri, melainkan karena faktor-faktor teknis atau administratif seperti misalnya pembayaran otomatis yang gagal.</li></ul><h4>Metodologi dalam Churn Prediction</h4><p>Dalam Churn Prediction, berbagai metode dan teknik digunakan untuk memprediksi pelanggan yang kemungkinan besar akan berhenti berlangganan. Proses ini melibatkan beberapa langkah utama yang meliputi pemilihan model machine learning yang tepat, feature engineering, dan evaluasi model.</p><ul><li><strong>Model Machine Learning untuk Churn Prediction: </strong>Model machine learning berfungsi untuk menemukan pola dalam data historis pelanggan yang dapat digunakan untuk memprediksi apakah pelanggan akan churn atau tidak. Beberapa model yang umum digunakan dalam Churn Prediction adalah <strong>Logistic Regresion, Decision Tree, dan Random Forest.</strong></li><li><strong>Feature Engineering: </strong>feature engineering adalah proses mengubah, menciptakan, atau mengubah fitur yang ada untuk meningkatkan kinerja model machine learning. Salah satunya adalah dengan mengonversi fitur kategorikal menjadi fitur numerik yang dapat dipahami oleh algoritma, misalnya seperti menggunakan <strong>one-hot encoding</strong>. Banyak algoritma machine learning seperti <strong>Logistic Regression, Decission Tree, atau Random Forest</strong> tidak bisa bekerja langsung dengan data kategorikal.</li><li><strong>Feature Selection: </strong>Dalam proses training, bisa jadi tidak semua feature di dalam dataset akan bermanfaat. Kita harus melakukan feature selection, yaitu memilih feature mana yang setidaknya bisa membantu membuat akurasi model menjadi lebih tinggi. Sebaliknya, bisa jadi ada feature yang justru akan membuat akurasi model menjadi buruk sehingga perlu dibuang dari training dataset.</li><li><strong>Feature Scaling (Normalisasi Data): </strong>feature scaling merupakan teknik yang dilakukan untuk <strong>memadatkan</strong> semua feature agar seragam jangkauan nilai minimum dan maksimumnya. Ini penting agar proses pembuatan model bisa lebih lancar.</li></ul><h4>Evaluasi Model</h4><p>Setelah model dibuat, penting untuk mengevaluasi kinerjanya menggunakan berbagai metrik seperti:</p><ul><li><strong>Accuracy: </strong>Mengukur seberapa akurat model dalam memprediksi status churn pelanggan (churn atau tidak churn).</li><li><strong>Precision:</strong> Mengukur seberapa akurat model dalam mengidentifikasi pelanggan yang diprediksi akan churn.</li><li><strong>Recall:</strong> Mengukur seberapa baik model dalam mengidentifikasi semua pelanggan yang benar-benar churn.</li><li><strong>AUC (Area Under The Curve):</strong> Mengukur kemampuan model dalam membedakan antara pelanggan yang churn dan yang tidak churn.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/248/1*okmUEx_m8sdlZVCzxLH15A.png" /><figcaption>Contoh nilai evaluasi model</figcaption></figure><h3>Penerapan (Aktivitas Mandiri)</h3><p>Pada penerapan <em>Churn Prediction </em>kali ini, kami menggunakan data yang didapat dari kaggle yaitu data mengenai <a href="https://www.kaggle.com/datasets/radheshyamkollipara/bank-customer-churn"><em>Bank Customer Churn</em></a>. Tujuan kami kali ini adalah untuk mengidentifikasi nasabah yang berpotensi untuk berhenti menggunakan layanan bank berdasarkan pola-pola tertentu yang terdeteksi dari data(Menentukan faktor-faktor utama yang memengaruhi churn, seperti skor kredit, status keaktifan nasabah, jumlah produk yang digunakan, atau tingkat kepuasan nasabah).</p><p>Kami juga menyediakan link google colab untuk dapat dianalisa lebih lanjut. Link <strong>google colab</strong> : <a href="https://colab.research.google.com/drive/18ZEl67TEgrp6NhjzqF_PfBSX9dpgKZJA?usp=sharing">Churn Predcition</a></p><h4>Identifikasi Masalah</h4><p>Seperti yang kita ketahui, jauh lebih mahal untuk merekrut klien baru daripada mempertahankan klien yang sudah ada. Maka dari itu, menguntungkan bagi bank untuk mengetahui apa yang membuat klien memutuskan untuk meninggalkan perusahaan. Pencegahan churn memungkinkan perusahaan untuk mengembangkan program loyalitas dan kampanye retensi untuk mempertahankan pelanggan sebanyak mungkin.</p><h4>Importing Dataset</h4><pre>import pandas as pd<br>df = pd.read_csv(&#39;Customer-Churn-Records.csv&#39;)</pre><pre>df.columns<br><br>Output :<br>Index([&#39;RowNumber&#39;, &#39;CustomerId&#39;, &#39;Surname&#39;, &#39;CreditScore&#39;, &#39;Geography&#39;,<br>       &#39;Gender&#39;, &#39;Age&#39;, &#39;Tenure&#39;, &#39;Balance&#39;, &#39;NumOfProducts&#39;, &#39;HasCrCard&#39;,<br>       &#39;IsActiveMember&#39;, &#39;EstimatedSalary&#39;, &#39;Exited&#39;, &#39;Complain&#39;,<br>       &#39;Satisfaction Score&#39;, &#39;Card Type&#39;, &#39;Point Earned&#39;],<br>      dtype=&#39;object&#39;)</pre><p><strong>DESKRIPSI DATA</strong></p><ul><li>RowNumber — nomor baris dan tidak berpengaruh pada output.</li><li>CustomerId — berisi nilai random dan (tidak berpengaruh pada nasabah yang meninggalkan bank).</li><li>Surname — nama belakang nasabah (tidak berdampak pada keputusan mereka untuk meninggalkan bank).</li><li>CreditScore — dapat berdampak pada perputaran nasabah, karena nasabah dengan skor kredit yang lebih tinggi memiliki kemungkinan yang lebih kecil untuk meninggalkan bank.</li><li>Geography — lokasi nasabah dapat mempengaruhi keputusan mereka untuk meninggalkan bank.</li><li>Gender — menarik untuk mengeksplorasi apakah gender memainkan peran dalam seorang nasabah meninggalkan bank.</li><li>Age — hal ini tentu saja relevan, karena nasabah yang lebih tua cenderung tidak akan meninggalkan bank mereka dibandingkan nasabah yang lebih muda.</li><li>Tenure — mengacu pada jumlah tahun nasabah telah menjadi nasabah bank. Biasanya, nasabah yang lebih tua lebih loyal dan kecil kemungkinannya untuk meninggalkan bank.</li><li>Balance — juga merupakan indikator yang sangat baik untuk mengetahui perputaran nasabah, karena nasabah yang memiliki saldo yang lebih tinggi di rekeningnya memiliki kemungkinan yang lebih kecil untuk meninggalkan bank dibandingkan dengan nasabah yang memiliki saldo yang lebih rendah.</li><li>NumOfProducts — mengacu pada jumlah produk yang telah dibeli nasabah melalui bank.</li><li>HasCrCard — menunjukkan apakah pelanggan memiliki kartu kredit atau tidak. Kolom ini juga relevan, karena orang yang memiliki kartu kredit cenderung tidak akan meninggalkan bank.</li><li>IsActiveMember — nasabah yang aktif cenderung tidak akan meninggalkan bank.</li><li>EstimatedSalary — seperti halnya saldo, orang-orang dengan gaji yang lebih rendah lebih cenderung meninggalkan bank dibandingkan dengan mereka yang bergaji lebih tinggi.</li><li>Exited — apakah nasabah meninggalkan bank atau tidak.</li><li>Complain — pelanggan memiliki keluhan atau tidak.</li><li>Satisfaction Score — Skor yang diberikan oleh pelanggan untuk penyelesaian keluhan mereka.</li><li>Card Type — jenis kartu yang dipegang oleh nasabah.</li><li>Points Earned — poin yang diperoleh pelanggan karena menggunakan kartu kredit.</li></ul><h4>Cek Missing Value</h4><pre>df.info()<br><br>Output :<br>RangeIndex: 10000 entries, 0 to 9999<br>Data columns (total 18 columns):<br> #   Column              Non-Null Count  Dtype  <br>---  ------              --------------  -----  <br> 0   RowNumber           10000 non-null  int64  <br> 1   CustomerId          10000 non-null  int64  <br> 2   Surname             10000 non-null  object <br> 3   CreditScore         10000 non-null  int64  <br> 4   Geography           10000 non-null  object <br> 5   Gender              10000 non-null  object <br> 6   Age                 10000 non-null  int64  <br> 7   Tenure              10000 non-null  int64  <br> 8   Balance             10000 non-null  float64<br> 9   NumOfProducts       10000 non-null  int64  <br> 10  HasCrCard           10000 non-null  int64  <br> 11  IsActiveMember      10000 non-null  int64  <br> 12  EstimatedSalary     10000 non-null  float64<br> 13  Exited              10000 non-null  int64  <br> 14  Complain            10000 non-null  int64  <br> 15  Satisfaction Score  10000 non-null  int64  <br> 16  Card Type           10000 non-null  object <br> 17  Point Earned        10000 non-null  int64  <br>dtypes: float64(2), int64(12), object(4)</pre><pre>print(df.isnull().sum())</pre><p>tidak ada nilai yang hilang (missing values) di dalam DataFrame untuk semua kolom yang ada, maka tidak perlu melakukan imputasi (penggantian) atau menangani terhadap nilai yang hilang, karena data sudah lengkap.</p><h4>Menghapus Kolom yang Tidak Berpengaruh</h4><pre>df = df.drop([&#39;RowNumber&#39;, &#39;CustomerId&#39;, &#39;Surname&#39;], axis = 1)</pre><p>Kolom RowNumber, CustomerId, dan Surname dihapus karena tidak memiliki pengaruh apapun terhadap analisis atau prediksi perilaku nasabah, seperti keputusan mereka untuk meninggalkan bank (kolom Exited). RowNumber hanya merupakan nomor urut baris yang tidak relevan, CustomerId adalah unique key yang diacak dan tidak memiliki korelasi dengan perilaku nasabah, dan Surname (nama belakang) tidak berkontribusi dalam memprediksi keputusan nasabah. Dengan menghapus kolom-kolom ini, analisis dapat lebih fokus pada variabel yang lebih penting dan relevan, sehingga hasilnya menjadi lebih akurat dan tidak terganggu oleh data yang tidak relevan.</p><h4>Hipotesis</h4><p>Ada 2 hipotesis utama terkait churn atau tidaknya seorang nasabah :</p><ul><li><strong>Nasabah dengan skor kepuasan yang rendah lebih cenderung churn</strong>: Jika nasabah merasa keluhan mereka tidak ditangani dengan baik, mereka mungkin tidak puas dengan layanan bank dan lebih mungkin untuk meninggalkan bank.</li><li><strong>Nasabah yang memiliki saldo rendah lebih cenderung churn</strong>: Nasabah dengan saldo rendah mungkin merasa kurang terikat secara finansial dengan bank, sehingga mereka lebih mudah berpindah ke bank lain atau layanan keuangan lainnya.</li></ul><h4>Distribusi Kolom Kategorikal</h4><ul><li><strong>Distribusi Variable Geography</strong></li></ul><pre>import seaborn as sns<br>import matplotlib.pyplot as plt<br><br>plt.figure(figsize=(8, 6))<br>category = &#39;Geography&#39;<br>sns.countplot(x=category, palette = &#39;Set1&#39;, data=df, hue = category)<br>plt.title(f&#39;Distribution of {category}&#39;)<br>plt.xlabel(category)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Tnww2c3HNU0FRBxkxi9Whg.png" /></figure><p>terlihat bahwa mayoritas nasabah berasal dari Perancis, dengan jumlah yang jauh lebih besar dibandingkan Spanyol dan Jerman, yang memiliki jumlah nasabah yang lebih seimbang. Hal ini menunjukkan bahwa bank memiliki kehadiran yang lebih dominan di Perancis. Hal ini bisa menjadi analisis churn rate berdasarkan lokasi geografis, untuk melihat apakah faktor geografis memengaruhi loyalitas nasabah atau tingkat churn di masing-masing negara.</p><ul><li><strong>Distribusi Variable Gender</strong></li></ul><pre>plt.figure(figsize=(8, 6))<br>category = &#39;Gender&#39;<br>sns.countplot(x=category, palette = &#39;Set1&#39;, data=df, hue = category)<br>plt.title(f&#39;Distribution of {category}&#39;)<br>plt.xlabel(category)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qJV5A1TQUqIa5rhi-fpCkQ.png" /></figure><p>terlihat bahwa jumlah nasabah laki-laki (male) sedikit lebih banyak dibandingkan dengan nasabah perempuan (female). Meskipun perbedaannya tidak terlalu besar, ini menunjukkan bahwa bank memiliki proporsi nasabah laki-laki yang lebih tinggi. Maka nantinya nanti bisa dilihat apakah ada perbedaan tingkat churn atau perilaku nasabah berdasarkan gender, dan apakah gender memiliki pengaruh signifikan terhadap keputusan nasabah untuk meninggalkan bank.</p><ul><li><strong>Distribusi Variable Tenure</strong></li></ul><pre>plt.figure(figsize=(15, 6))<br>category = &#39;Tenure&#39;<br>sns.countplot(x=category, palette = &#39;Set1&#39;, data=df, hue = category, legend = 0)<br>plt.title(f&#39;Distribution of {category}&#39;)<br>plt.xlabel(category)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YnbxBzwjXh2HneM4EbqXOQ.png" /></figure><p>dapat dilihat bahwa jumlah nasabah dengan lama nasabah antara 1 hingga 9 tahun relatif merata, dengan setiap kategori memiliki sekitar 1000 nasabah. Namun, ada penurunan signifikan pada nasabah dengan lama 0 tahun dan 10 tahun. Hal ini menunjukkan bahwa sebagian kecil nasabah adalah yang baru bergabung (Tenure 0), dan nasabah yang sudah sangat lama (Tenure 10) juga jumlahnya lebih sedikit dibandingkan yang lain. Ini dapat menjadi indikasi bahwa <strong><em>churn mungkin lebih umum terjadi di kalangan nasabah yang baru bergabung atau sudah sangat lama menjadi nasabah, atau bahwa ada faktor lain yang memengaruhi kelompok-kelompok ini</em></strong></p><ul><li><strong>Distribusi Variable NumOfProducts</strong></li></ul><pre>plt.figure(figsize=(10, 6))<br>category = &#39;NumOfProducts&#39;<br>sns.countplot(x=category, palette = &#39;Set1&#39;, data=df, hue = category, legend = 0)<br>plt.title(f&#39;Distribution of {category}&#39;)<br>plt.xlabel(category)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SGMDRf33xiUPCru-67JtrQ.png" /></figure><p>dapat dilihat bahwa mayoritas nasabah hanya memiliki 1 atau 2 produk, dengan nasabah yang memiliki 1 produk mendominasi. Sangat sedikit nasabah yang memiliki lebih dari 2 produk, menandakan bahwa penawaran produk tambahan mungkin kurang menarik atau tidak memberikan nilai tambah yang cukup bagi nasabah. Hal ini bisa membuka peluang untuk menganalisis lebih lanjut apakah nasabah yang memiliki lebih banyak produk cenderung lebih loyal dan kecil kemungkinannya untuk meninggalkan bank.</p><ul><li><strong>Distribusi Variable HasCrCard</strong></li></ul><pre>plt.figure(figsize=(10, 6))<br>category = &#39;HasCrCard&#39;<br>sns.countplot(x=category, palette = &#39;Set1&#39;, data=df, hue = category, legend = 0)<br>plt.title(f&#39;Distribution of {category}&#39;)<br>plt.xlabel(category)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YLutauxsXu6USBphJee4YA.png" /></figure><p>dapat dilihat bahwa mayoritas nasabah di dataset memiliki kartu kredit dibandingkan dengan mereka yang tidak punya. Hal ini menandakan bahwa kepemilikan kartu kredit cukup umum di antara nasabah bank. Nantinya bisa dianalisa untuk mengetahui apakah kepemilikan kartu kredit berdampak pada tingkat churn, karena nasabah dengan kartu kredit mungkin lebih terikat pada layanan bank, sehingga cenderung tidak meninggalkan bank dibandingkan dengan nasabah yang tidak memiliki kartu kredit.</p><ul><li><strong>Distribusi Variable IsActiveMember</strong></li></ul><pre>plt.figure(figsize=(10, 6))<br>category = &#39;IsActiveMember&#39;<br>sns.countplot(x=category, palette = &#39;Set1&#39;, data=df, hue = category, legend = 0)<br>plt.title(f&#39;Distribution of {category}&#39;)<br>plt.xlabel(category)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nVgMJ5-rwL1-AH9G2cgD8Q.png" /></figure><p>distribusi nasabah yang aktifdan tidak aktif hampir seimbang, meskipun sedikit lebih banyak nasabah yang aktif. Hal ini berarti bank memiliki hampir sama banyaknya nasabah aktif dan tidak aktif, yang bisa menjadi faktor penting. Nasabah yang aktif mungkin lebih loyal dan memiliki keterikatan lebih besar dengan layanan bank, sementara nasabah yang tidak aktif mungkin lebih berisiko untuk churn atau meninggalkan bank.</p><ul><li><strong>Distribusi Variable Satisfaction Score</strong></li></ul><pre>plt.figure(figsize=(10, 6))<br>category = &#39;Satisfaction Score&#39;<br>sns.countplot(x=category, palette = &#39;Set1&#39;, data=df, hue = category, legend = 0)<br>plt.title(f&#39;Distribution of {category}&#39;)<br>plt.xlabel(category)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*7yMriZZRAEhXVse9gQ80rQ.png" /></figure><p>Distribusi yang merata ini bisa menandakan bahwa ada berbagai faktor yang mempengaruhi kepuasan pelanggan secara seragam, dan tidak ada kecenderungan yang signifikan terhadap kelompok pelanggan yang merasa sangat puas atau sangat tidak puas.</p><ul><li><strong>Distribusi Variable Card Type</strong></li></ul><pre>plt.figure(figsize=(10, 6))<br>category = &#39;Card Type&#39;<br>sns.countplot(x=category, palette = &#39;Set1&#39;, data=df, hue = category, legend = 0)<br>plt.title(f&#39;Distribution of {category}&#39;)<br>plt.xlabel(category)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VSvpdUAN_UGcaPuXoiJelw.png" /></figure><p>Distribusi yang merata ini mengindikasikan bahwa tidak ada preferensi yang signifikan dari pelanggan terhadap salah satu jenis kartu tertentu. Semua jenis kartu memiliki jumlah pelanggan yang hampir setara, menunjukkan bahwa layanan yang ditawarkan melalui jenis kartu ini mungkin memiliki daya tarik yang serupa bagi pelanggan.</p><h4>Feature Engineering</h4><ul><li><strong>One Hot Encoding</strong></li></ul><pre>encoded = pd.get_dummies(df[[&#39;Geography&#39;, &#39;Gender&#39;, &#39;Card Type&#39;]])<br>print(encoded)<br><br>Output :<br>      Geography_France  Geography_Germany  Geography_Spain  Gender_Female  \<br>0                 True              False            False           True   <br>1                False              False             True           True   <br>2                 True              False            False           True   <br>3                 True              False            False           True   <br>4                False              False             True           True   <br>...                ...                ...              ...            ...   <br>9995              True              False            False          False   <br>9996              True              False            False          False   <br>9997              True              False            False           True   <br>9998             False               True            False          False   <br>9999              True              False            False           True   <br><br>      Gender_Male  Card Type_DIAMOND  Card Type_GOLD  Card Type_PLATINUM  \<br>0           False               True           False               False   <br>1           False               True           False               False   <br>2           False               True           False               False   <br>3           False              False            True               False   <br>4           False              False            True               False   <br>...           ...                ...             ...                 ...   <br>9995         True               True           False               False   <br>9996         True              False           False                True   <br>9997        False              False           False               False   <br>9998         True              False            True               False   <br>9999        False               True           False               False   <br><br>      Card Type_SILVER  <br>0                False  <br>1                False  <br>2                False  <br>3                False  <br>4                False  <br>...                ...  <br>9995             False  <br>9996             False  <br>9997              True  <br>9998             False  <br>9999             False  <br><br>[10000 rows x 9 columns]</pre><p>model prediktif seperti regresi logistic dan random forest tidak dapat bekerja dengan data kategorikal secara langsung, karena mereka hanya memahami angka. Dengan <strong>one hot encoding</strong> yang kami lakukan, setiap kategori dalam kolom tersebut akan diubah menjadi kolom biner (0 atau 1) yang mewakili ada atau tidaknya kategori tersebut untuk setiap baris.</p><pre>for columns in encoded:<br>    encoded[columns] = encoded[columns].astype(int)<br><br>Output:<br>      Geography_France  Geography_Germany  Geography_Spain  Gender_Female  \<br>0                    1                  0                0              1   <br>1                    0                  0                1              1   <br>2                    1                  0                0              1   <br>3                    1                  0                0              1   <br>4                    0                  0                1              1   <br>...                ...                ...              ...            ...   <br>9995                 1                  0                0              0   <br>9996                 1                  0                0              0   <br>9997                 1                  0                0              1   <br>9998                 0                  1                0              0   <br>9999                 1                  0                0              1   <br><br>      Gender_Male  Card Type_DIAMOND  Card Type_GOLD  Card Type_PLATINUM  \<br>0               0                  1               0                   0   <br>1               0                  1               0                   0   <br>2               0                  1               0                   0   <br>3               0                  0               1                   0   <br>4               0                  0               1                   0   <br>...           ...                ...             ...                 ...   <br>9995            1                  1               0                   0   <br>9996            1                  0               0                   1   <br>9997            0                  0               0                   0   <br>9998            1                  0               1                   0   <br>9999            0                  1               0                   0   <br><br>      Card Type_SILVER  <br>0                    0  <br>1                    0  <br>2                    0  <br>3                    0  <br>4                    0  <br>...                ...  <br>9995                 0  <br>9996                 0  <br>9997                 1  <br>9998                 0  <br>9999                 0</pre><p>Mengubah nilai kolom hasil encoding dari True/False menjadi integer (0/1) diperlukan agar dataset lebih kompatibel dengan model machine learning, dengan mengonversi data menjadi integer, data menjadi seragam dan konsisten dengan variabel numerik lainnya dalam dataset, seperti CreditScore atau Age, sehingga model dapat memproses dan menganalisis data secara efisien dan akurat.</p><ul><li><strong>Menggabungkan DF yang Sudah di encode</strong></li></ul><pre>df = pd.concat([df, encoded], axis = 1)<br>df = df.drop([&#39;Geography&#39;, &#39;Gender&#39;, &#39;Card Type&#39;], axis = 1)</pre><h4>Memisahkan Predictor dan Target</h4><pre>X = df.drop(&#39;Exited&#39;, axis = 1)<br>y = df[&#39;Exited&#39;]</pre><h4>Normalisasi data (scaling)</h4><pre>from sklearn.preprocessing import StandardScaler<br>scaler = StandardScaler()<br>X_std = scaler.fit_transform(X)</pre><p>Scaling diperlukan dalam machine learning untuk memastikan semua fitur memiliki skala yang sebanding, terutama untuk algoritma yang sensitif terhadap perbedaan skala seperti Logistic Regression. Tanpa scaling, fitur dengan skala besar dapat mendominasi ketika melatih model atau pengukuran jarak, menyebabkan model lambat untuk konvergen atau memberikan bobot yang tidak proporsional pada fitur-fitur tertentu.</p><h4>Memisahkan Data Testing dan Training</h4><pre>from sklearn.model_selection import train_test_split<br>X_train,X_test, y_train, y_test = train_test_split(X, y, test_size = 0.3, random_state = 42)</pre><p>Data yang ada kami gunakan 30 persen untuk testing dan 70 persen untuk training. Random state kami assign dengan 42 agar pemisahan data ketika di run lagi tidak menjadi acak.</p><h4>Model Logistic Regression</h4><pre>from sklearn.linear_model import LogisticRegression<br>from sklearn.metrics import accuracy_score, classification_report<br><br># Membuat model LR<br>model = LogisticRegression(solver = &#39;liblinear&#39;)<br><br># Melatih model<br>model.fit(X_train, y_train)<br><br># Membuat prediksi testing<br>y_pred = model.predict(X_test)<br><br># Evaluasi model<br>accuracy = accuracy_score(y_test, y_pred)<br>print(&quot;Accuracy:&quot;, accuracy)<br><br>print(classification_report(y_test, y_pred))<br><br>Output :<br>Accuracy: 0.7983333333333333<br>              precision    recall  f1-score   support<br><br>           0       0.82      0.97      0.89      2416<br>           1       0.42      0.10      0.16       584<br><br>    accuracy                           0.80      3000<br>   macro avg       0.62      0.53      0.52      3000<br>weighted avg       0.74      0.80      0.74      3000</pre><ul><li>Secara keseluruhan, model LR memiliki accuracy hampir 80%, yang artinya model dapat memprediksi sekitar 80% dari total data dengan benar.</li><li>Class 0 (Tidak Exited) memiliki precision 0.82, recall 0.97, dan f1-score 0.89. Ini menunjukkan bahwa model cukup baik dalam memprediksi data yang tidak keluar (class 0).</li><li>Class 1 (Exited) memiliki performa yang sangat buruk dengan precision 0.42, recall hanya 0.10, dan f1-score 0.16. Ini menunjukkan bahwa model tidak mampu dengan baik mengenali data pelanggan yang keluar (class 1). Misalnya, dari semua pelanggan yang benar-benar keluar, model hanya berhasil mendeteksi sekitar 10% (recall).</li><li>Dari nilai support, terlihat bahwa hanya 584 dari 3000 sampel (sekitar 19%) adalah class 1, menunjukkan adanya ketidakseimbangan data. Ketidakseimbangan ini menyebabkan model lebih fokus pada prediksi class 0 (tidak keluar) yang jumlahnya lebih banyak (2416 sampel), sehingga mengabaikan class 1 (keluar)</li></ul><pre>from sklearn.metrics import confusion_matrix<br>import seaborn as sns<br>import matplotlib.pyplot as plt<br><br># Menghitung confusion matrix<br>cm = confusion_matrix(y_test, y_pred)<br>print(cm)<br><br># Visualisasi confusion matrix<br>plt.figure(figsize=(8, 6))<br>sns.heatmap(cm, annot=True, fmt=&#39;d&#39;, cmap=&#39;Blues&#39;,<br>            xticklabels=[&#39;Not Exited&#39;, &#39;Exited&#39;],<br>            yticklabels=[&#39;Not Exited&#39;, &#39;Exited&#39;])<br>plt.title(&#39;Confusion Matrix&#39;)<br>plt.xlabel(&#39;Predicted Label&#39;)<br>plt.ylabel(&#39;True Label&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/653/1*zrlosY9aM-6LNJTDfzUgNQ.png" /></figure><p>model sangat baik dalam mendeteksi pelanggan yang tidak keluar tetapi sangat buruk dalam mendeteksi pelanggan yang keluar (class 1), karena ada 528 false negatives, di mana model gagal mengidentifikasi pelanggan yang benar-benar keluar.</p><h4>Model Random Forest</h4><pre>from sklearn.ensemble import RandomForestClassifier<br><br># Membuat model RF<br>rf_model = RandomForestClassifier()<br><br># Melatih model<br>rf_model.fit(X_train, y_train)<br><br># Membuat prediksi testing<br>y_pred_rf = rf_model.predict(X_test)<br><br># Evaluasi model<br>accuracy_rf = accuracy_score(y_test, y_pred_rf)<br>print(&quot;Random Forest Accuracy:&quot;, accuracy_rf)<br><br>print(classification_report(y_test, y_pred_rf))<br><br>Output :<br>Random Forest Accuracy: 0.9986666666666667<br>              precision    recall  f1-score   support<br><br>           0       1.00      1.00      1.00      2416<br>           1       0.99      1.00      1.00       584<br><br>    accuracy                           1.00      3000<br>   macro avg       1.00      1.00      1.00      3000<br>weighted avg       1.00      1.00      1.00      3000</pre><ul><li>Akurasi sebesar 99.87% berarti model kami hampir selalu memprediksi kelas dengan benar. Ini berarti hanya ada sedikit kesalahan klasifikasi.</li><li>Class 0 (Tidak Exited): Precision, recall, dan f1-score semuanya 1.00, menunjukkan bahwa model memprediksi pelanggan yang tidak keluar (class 0) dengan sempurna.</li><li>Class 1 (Exited): Precision adalah 0.99 dan recall 1.00, yang berarti model sangat jarang salah memprediksi pelanggan yang keluar sebagai tidak keluar.</li></ul><h4>Insight dari Kedua Model</h4><p>Performa Logistic Regression dan Random Forest pada dataset churn ini menunjukkan perbedaan yang signifikan. Logistic Regression, dengan akurasi 79.8%, bekerja baik untuk kelas mayoritas (tidak churn) tetapi kesulitan menangani kelas minoritas (churn), terutama karena ketidakseimbangan data dan sifatnya yang linier. Precision dan recall untuk churn sangat rendah, menunjukkan model ini cenderung bias ke kelas mayoritas. Sebaliknya, Random Forest memiliki akurasi hampir sempurna (99.87%) dan mampu memprediksi kedua kelas dengan sangat baik, termasuk churn customer, berkat kemampuannya menangani hubungan non-linier dan imbalance class dengan lebih baik. Namun, kinerja sempurna ini bisa mengindikasikan overfitting, sehingga evaluasi lebih lanjut dengan data baru diperlukan.</p><h4>Feature Importance</h4><pre>feature_importances = pd.Series(rf_model.feature_importances_, index=X.columns)<br><br>plt.figure(figsize=(10, 6))<br>feature_importances.plot(kind=&#39;bar&#39;)<br>plt.title(&#39;Feature Importance&#39;)<br>plt.xlabel(&#39;Features&#39;)<br>plt.ylabel(&#39;Importance&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Q7P9FVjRNO9VHdTFSzE0oA.png" /></figure><p>Terlihat bahwa “Complain” adalah fitur yang paling signifikan dengan tingkat pentingnya hampir mencapai 0.8, sedangkan fitur lainnya seperti Satisfaction Score dan Balance menunjukkan pengaruh yang jauh lebih kecil.</p><ul><li><strong>Complain adalah faktor utama dalam churn</strong>: Dari grafik tersebut, terlihat bahwa fitur Complain memiliki pengaruh paling dominan dalam menentukan apakah nasabah akan churn atau tidak. Ini mendukung hipotesis pertama kami bahwa nasabah yang tidak puas dengan penanganan keluhan mereka lebih cenderung meninggalkan bank.</li><li><strong>Balance dan Satisfaction Score tidak terlalu berpengaruh</strong>: Meskipun hipotesis kedua kami menyatakan bahwa nasabah dengan saldo rendah lebih mungkin churn, grafik tersebut kepentingan fitur menunjukkan bahwa fitur Balance dan Satisfaction Score memiliki pengaruh yang sangat kecil. Ini berarti saldo nasabah dan skor kepuasan tidak terlalu signifikan dalam memprediksi churn dibandingkan keluhan.</li></ul><h4><strong>Kesimpulan</strong></h4><ul><li>Fokus utama pada penanganan keluhan nasabah, karena ini tampaknya menjadi faktor penting dalam keputusan mereka untuk tetap tinggal atau berpindah.</li><li>Faktor lain seperti Balance atau Satisfaction Score mungkin masih penting, tetapi dalam konteks model ini, perannya jauh lebih kecil dibandingkan penanganan keluhan.</li></ul><p><a href="https://colab.research.google.com/drive/18ZEl67TEgrp6NhjzqF_PfBSX9dpgKZJA?usp=sharing">Google Colab</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9e80d7d33a4e" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Apakah Naive Bayes bisa dimakan?]]></title>
            <link>https://medium.com/@teoinsani/apakah-naive-bayes-bisa-dimakan-56f6ed751e83?source=rss-3f514e555a66------2</link>
            <guid isPermaLink="false">https://medium.com/p/56f6ed751e83</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[naive-bayes]]></category>
            <category><![CDATA[data-analysis]]></category>
            <dc:creator><![CDATA[Teofilus Satria Rada Insani]]></dc:creator>
            <pubDate>Sun, 13 Oct 2024 15:51:34 GMT</pubDate>
            <atom:updated>2024-11-03T15:23:31.663Z</atom:updated>
            <content:encoded><![CDATA[<p>Artikel ini berisi tentang <em>insight </em>yang kami (Teofilus Satria Rada Insani dan Rafelixa Reynard Isak) dapatkan dalam perkuliahan di minggu ke-6 ini. Perkuliahan di minggu ke-7 pada mata kuliah “Pengantar Data Science” membahas mengenai <em>Naive Bayes.</em></p><h4><strong>Apa itu Naive Bayes?</strong></h4><p>Naive Bayes adalah algoritma yang didasarkan pada teorema bayes dengan asumsi sederhana bahwa setiap fitur atau atribut dalam dataset saling independen. Disebut “naive” karena kenyataannya banyak fitur sebenarnya saling terkait, tetapi algoritma ini mengabaikan hubungan tersebut dan menganggap bahwa kehadiran satu fitur tidak mempengaruhi fitur lainnya.</p><p>Contohnya, ketika kita ingin memprediksi apakah seseorang menyukai suatu film berdasarkan genre, usia, dan rating film tersebut. Naive bayes mengasumsikan bahwa variabel-varibel tersebut independen satu sama lain, meskipun memungkinkan bahwa usia seseorang mempengaruhi genre film mereka.</p><h4>Teorema Bayes</h4><p>Teorema Bayes merupakan metode yang menjelaskan cara memperbarui probabilitas suatu kejadian atau hipotesis setelah memperoleh informasi atau bukti baru. Dalam machine learning, pendekatan ini menjadi landasan pengembangan algoritma Naive Bayes yang banyak digunakan dalam berbagai masalah klasifikasi.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/0*16uQHWYS9mrXIqCL.png" /><figcaption>Persamaan Teorema Bayes</figcaption></figure><ul><li>P(H|E): Probabilitas hipotesis <strong>(H)</strong> yang benar diberikan bukti atau informasi <strong>(E)</strong> (disebut <strong>posterior probability</strong>).</li><li>P(E|H): Probabilitas mendapatkan bukti <strong>(E)</strong> jika hipotesis <strong>(H)</strong> benar (disebut <strong>likelihood</strong>).</li><li>P(H): Probabilitas awal hipotesis <strong>(H)</strong> (disebut <strong>prior probability</strong>).</li><li>P(E): Probabilitas bukti atau informasi <strong>(E)</strong> (disebut <strong>marginal likelihood</strong>).</li></ul><p>Teorema ini memungkinkan kita untuk memperbarui kemungkinan (probabilitas) berdasarkan bukti baru.</p><h4>Keunggulan Naive Bayes</h4><p>Meskipun asumsi independensi dalam Naive Bayes sering tidak akurat untuk banyak dataset di dunia nyata, algoritma ini tetap efektif dalam berbagai tugas klasifikasi, terutama ketika kecepatan sangat dibutuhkan dan data memiliki banyak fitur. Hal ini terjadi karena beberapa alasan tertentu.</p><ul><li><strong>Kesederhanaan dan efisiensi:</strong> Dengan mengansumsikan independensi antar fitur, Naive Bayes dapat menghitung probabilitas setiap fitur secara terpisah tanpa memodelkan hubungan antar fitur. Hal ini membuat algoritma menjadi efisien terutama ketika menangani dataset besar.</li><li><strong>Performa baik pada data tertentu: </strong>Walaupun asumsi independensi tidak selalu realistis, Naive bayes menunjukan kinerja yang sangat baik pada beberapa jenis masalah seperti klasifikasi teks, spam filtering, dan analisis sentimen.</li><li><strong>Mudah ditafsirkan: </strong>Probabilitas yang dihasilkan oleh model Naive Bayes mudah dimengerti, sehingga pengguna dapat mengetahui alasan di balik keputusan yang diambil oleh model.</li></ul><h4><strong>Implementasi Naive Bayes dalam Klasifikasi</strong></h4><p>Mari kita coba mengklasifikasikan apakah suatu buah adalah apel atau jeruk berdasarkan dua fitur: <strong>warna</strong> dan <strong>ukuran</strong>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/529/1*a7pCd2EoVDuUGsJi3-ZV8g.png" /><figcaption>Dataset buah</figcaption></figure><ol><li><strong>Menghitung Prior Probability (Probabilitas Awal)</strong></li></ol><p>Langkah pertama dalam algoritma Naive Bayes adalah menghitung prior probability atau probabilitas awal dari masing-masing kelas. Ini adalah probabilitas tanpa memperhitungkan fitur apapun. Karena disini kita memiliki dataset tentang buah, pertama kita perlu untuk menghitung probabilitas awal dari dua kelas : <strong>apel </strong>dan <strong>jeruk</strong>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/653/1*McSeQZDC3gfcZC5i2C-NSw.png" /><figcaption>Rumus Prior</figcaption></figure><p>Jumlah buah apel: 2</p><p>Jumlah buah jeruk: 2</p><p>Total: 4</p><p>Prior probability:</p><ul><li>P(Apel) = 2/4 = 0.5 (50% adalah apel)</li><li>P(Jeruk) = 2/4 = 0.5 (50% adalah jeruk)</li></ul><p>2. <strong>Menghitung Likelihood (Kecenderungan)</strong></p><p>Setelah menghitung prior, langkah selanjutnya adalah menghitung likelihood dari setiap fitur yang terkait dengan setiap kelas. Likelihood adalah probabilitas bahwa fitur tertentu muncul di sampel yang berada dalam kelas tertentu.</p><p>Kita menghitung pobabilitas fitur <strong>warna </strong>dan <strong>ukuran</strong> muncul di kelas <strong>apel </strong>dan <strong>jeruk</strong>. Naive Bayes mengasumsikan bahwa setiap fitur bersifat independen, jadi likelihood dari setiap fitur dihitung secara terpisah.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/851/1*R7_ZiAg7cZBcOiZ_Z_ostA.png" /><figcaption>Rumus Likelihood</figcaption></figure><p>Likelihood untuk kelas apel:</p><ul><li>P(Warna = Merah | Apel) = 2/2 = 1 (dua dari dua apel berwarna merah)</li><li>P(Ukuran = Besar | Apel) = 1/2 = 0.5 (satu dari dua apel berukuran besar)</li></ul><p>Likelihood untuk kelas jeruk:</p><ul><li>P(Warna = Merah | Jeruk) = 0/2 = 0 (tidak ada jeruk berwarna merah)</li><li>P(Ukuran = Besar | Jeruk) = 1/2 = 0.5 (satu dari dua jeruk berukuran besar)</li></ul><p><strong>3. Menghitung Posterior Probability (Probabilitas Posterior)</strong></p><p>Setelah menghitung prior dan likelihood, kita menggunakan <strong>Teorema Bayes</strong> untuk menghitung <strong>posterior probability</strong> dari kelas yang diberikan fitur tertentu. <strong>Posterior probability</strong> adalah probabilitas bahwa sampel termasuk dalam kelas tertentu berdasarkan fitur yang diamati.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/608/1*4EdBUDI-z7ydYIDdR5oZBA.png" /><figcaption>Rumus Posterior</figcaption></figure><ul><li>P(Kelas|Fitur) adalah posterior probability (probabilitas setelah fitur diketahui).</li><li>P(Fitur|Kelas) adalah likelihood (probabilitas fitur terjadi di dalam kelas).</li><li>P(Kelas) adalah prior probability (probabilitas awal kelas).</li><li>P(Fitur) adalah total probabilitas fitur (sering kali diabaikan karena nilainya sama untuk semua kelas).</li></ul><p>Posterior untuk kelas apel:</p><p>P(Apel | Merah, Besar) = P(Merah | Apel) x P(Besar | Apel) x P(Apel)</p><p>P(Apel | Merah, Besar) = 1 x 0.5 x 0.5 = 0.25</p><p>Posterior untuk kelas jeruk:</p><p>P(Jeruk | Merah, Besar) = P(Merah | Jeruk) x P(Besar | Jeruk) x P(Jeruk)</p><p>P(Jeruk | Merah, Besar) = 0 x 0.5 x 0.5 = 0</p><p><strong>4. Prediksi Kelas</strong></p><p>Setelah menghitung probabilitas posterior untuk kedua kelas, kita akan membandingkan hasilnya. Kelas dengan probabilitas tertinggi akan dipilih sebagai hasil prediksi akhir.</p><ul><li>P(Apel | Merah, Besar) = 1 x 0.5 x 0.5 = 0.25</li><li>P(Jeruk | Merah, Besar) = 0 x 0.5 x 0.5 = 0</li></ul><p>Karena probabilitas apel lebih besar daripada jeruk, maka buah tersebut diprediksi sebagai apel. Jadi buah dengan warna <strong>Merah</strong> dan ukuran <strong>Besar</strong> diklasifikasikan sebagai apel berdasarkan algoritma Naive Bayes.</p><h3>Penerapan (Aktivitas Mandiri)</h3><p>Pada penerapan <em>Naive bayes </em>ini, kami menggunakan data yang didapat dari kaggle yaitu data mengenai <em>kecelakaan kapal titanic</em>(titanic competition kaggle). Tujuan kami kali ini adalah untuk mengklasifikasikan orang yang berada pada kapal titanic itu selamat atau tidak dengan model Naive Bayes.</p><p>Kami juga menyediakan link google colab untuk dapat dianalisa lebih lanjut. Link <strong>google colab</strong> : <a href="https://colab.research.google.com/drive/1ueKThJKPHlYuUzDr5nZuZ627vo1YD3dJ?usp=sharing">Naive Bayes</a></p><h4>Pre-Processing</h4><ul><li><strong>Mengimpor Library</strong></li></ul><pre>import pandas as pd<br>from sklearn.preprocessing import LabelEncoder<br>from sklearn.naive_bayes import GaussianNB<br>from sklearn.metrics import accuracy_score<br>from sklearn.naive_bayes import BernoulliNB<br>from sklearn.ensemble import RandomForestClassifier</pre><p>Mengimpor pustaka yang diperlukan: LabelEncoder untuk encoding fitur kategori menjadi numerik, GaussianNB dan BernoulliNB sebagai algoritma Naive Bayes, RandomForestClassifier sebagai algoritma ensemble untuk model Random Forest.</p><ul><li><strong>Mengimpor Dataset</strong></li></ul><pre>df_test = pd.read_csv(&#39;test.csv&#39;)<br>df_train = pd.read_csv(&#39;train.csv&#39;)<br>df_submission = pd.read_csv(&#39;gender_submission.csv&#39;)</pre><p>Membaca dataset ‘train.csv’, ‘test.csv’, dan ‘gender_submission.csv’ ke dalam DataFrame. Dataset ‘train.csv’ berisi data yang digunakan untuk melatih model, sedangkan ‘test.csv’ adalah data yang akan digunakan untuk menguji model. ‘gender_submission.csv’ berisi informasi nilai ‘Survived’ yang hilang pada dataset ‘test.csv’.</p><ul><li><strong>Checking Column pada Dataset</strong></li></ul><pre>print(df_train.columns)<br>print(df_test.columns)<br>print(df_submission.columns)<br><br>Output :<br>Index([&#39;PassengerId&#39;, &#39;Survived&#39;, &#39;Pclass&#39;, &#39;Name&#39;, &#39;Sex&#39;, &#39;Age&#39;, &#39;SibSp&#39;,<br>       &#39;Parch&#39;, &#39;Ticket&#39;, &#39;Fare&#39;, &#39;Cabin&#39;, &#39;Embarked&#39;],<br>      dtype=&#39;object&#39;)<br>Index([&#39;PassengerId&#39;, &#39;Pclass&#39;, &#39;Name&#39;, &#39;Sex&#39;, &#39;Age&#39;, &#39;SibSp&#39;, &#39;Parch&#39;,<br>       &#39;Ticket&#39;, &#39;Fare&#39;, &#39;Cabin&#39;, &#39;Embarked&#39;],<br>      dtype=&#39;object&#39;)<br>Index([&#39;PassengerId&#39;, &#39;Survived&#39;], dtype=&#39;object&#39;)</pre><p>Dapat dilihat pada file test ada kolom yang hilang, yaitu kolom survived yang bisa didapatkan pada file gender_submission. Maka dari itu, kita perlu men-join kan kedua file itu bedasarkan PassengerId nya. Data dari ‘gender_submission.csv’ dapat digunakan untuk melengkapi kolom ‘Survived’ yang hilang pada ‘test.csv’.</p><ul><li><strong>Menggabungkan Fitur yang Hilang</strong></li></ul><pre>df_test = pd.merge(df_test, df_submission, on=&#39;PassengerId&#39;, how=&#39;left&#39;)</pre><p>Menggabungkan dataset ‘test.csv’ dengan ‘gender_submission.csv’ menggunakan kolom ‘PassengerId’ sebagai kunci penghubung. Penggabungan ini dilakukan untuk menambahkan kolom ‘Survived’ yang hilang pada ‘test.csv’. Penggunaan parameter ‘how=left’ memastikan semua baris dari ‘test.csv’ akan dipertahankan dalam hasil penggabungan.</p><ul><li><strong>Mengubah String ke Numeric</strong></li></ul><pre>le = LabelEncoder()<br><br>df_train[&#39;Sex&#39;] = le.fit_transform(df_train[&#39;Sex&#39;])<br>df_train[&#39;Embarked&#39;] = le.fit_transform(df_train[&#39;Embarked&#39;].astype(str))<br><br>df_test[&#39;Sex&#39;] = le.fit_transform(df_test[&#39;Sex&#39;])<br>df_test[&#39;Embarked&#39;] = le.fit_transform(df_test[&#39;Embarked&#39;].astype(str))</pre><p>Melakukan encoding pada fitur ‘Sex’ dan ‘Embarked’ menggunakan LabelEncoder. Encoding ini mengubah nilai kategori menjadi numerik sehingga dapat digunakan dalam model ML. Dilakukan pada kedua dataset, yaitu ‘train’ dan ‘test’ agar format datanya konsisten.</p><ul><li><strong>Menentukan Predictor dan Target</strong></li></ul><pre>df_train = df_train.drop([&#39;PassengerId&#39;, &#39;Name&#39;, &#39;Ticket&#39;, &#39;Cabin&#39;], axis=1)<br>df_test = df_test.drop([&#39;PassengerId&#39;, &#39;Name&#39;, &#39;Ticket&#39;, &#39;Cabin&#39;], axis=1)<br><br>#Untuk RF<br>X_train_ori = df_train.drop(&#39;Survived&#39;, axis=1)<br>y_train_ori = df_train[&#39;Survived&#39;]<br><br>X_test_ori = df_test.drop(&#39;Survived&#39;, axis=1)<br>y_test_ori = df_test[&#39;Survived&#39;]<br><br>#Untuk NB<br>X_train = df_train.drop(&#39;Survived&#39;, axis=1)<br>y_train = df_train[&#39;Survived&#39;]<br><br>X_test = df_test.drop(&#39;Survived&#39;, axis=1)<br>y_test = df_test[&#39;Survived&#39;]</pre><p>Menghapus fitur-fitur yang tidak berpengaruh atau sulit untuk dianalisis, yaitu ‘PassengerId’, ‘Name’, ‘Ticket’, dan ‘Cabin’. Menentukan variabel predictor (X) dan target (y) untuk dataset pelatihan dan pengujian. Pada dataset pelatihan, kolom ‘Survived’ adalah variabel target, sementara pada dataset uji, ‘Survived’ merupakan label yang diambil dari ‘gender_submission.csv’.</p><ul><li><strong>Mengisi Missing Value</strong></li></ul><pre>X_train[&#39;Age&#39;].fillna(X_train[&#39;Age&#39;].mean(), inplace=True)<br>X_test[&#39;Fare&#39;].fillna(X_test[&#39;Fare&#39;].mean(), inplace=True)<br>X_test[&#39;Age&#39;].fillna(X_test[&#39;Age&#39;].mean(), inplace=True)</pre><p>Mengisi nilai yang hilang pada kolom ‘Age’ di ‘X_train’ dan ‘X_test’ dengan rata-rata (mean). Mengisi nilai yang hilang pada kolom ‘Fare’ di ‘X_test’ dengan rata-rata kolom tersebut. Ini adalah langkah awal untuk menangani data yang hilang dan memastikan model tidak terganggu oleh nilai NaN.</p><h4>Data processing</h4><ul><li><strong>Model 1 : Gaussian Naive Bayes</strong></li></ul><pre>model = GaussianNB()<br>model.fit(X_train, y_train)</pre><p>Melatih model Gaussian Naive Bayes menggunakan data pelatihan ‘X_train’ dan ‘y_train’. Model ini akan memprediksi variabel target ‘Survived’ pada data uji ‘X_test’.</p><pre>y_pred = model.predict(X_test)<br>accuracy = accuracy_score(y_test, y_pred)<br>print(&quot;Akurasi Model: &quot;, &quot;%.2f&quot; % (accuracy*100), &#39;%&#39;)<br><br>Output :<br>Akurasi Model:  89.71 %</pre><p>Menguji akurasi model Gaussian Naive Bayes dengan memprediksi nilai ‘Survived’ pada data uji. Akurasi yang didapat adalah 81,71 persen</p><ul><li><strong>Model 2 : Bernoulli Naive Bayes</strong></li></ul><pre>X_train[&#39;Age&#39;] = (X_train[&#39;Age&#39;] &gt; 47).astype(int)<br>X_train[&#39;SibSp&#39;] = (X_train[&#39;SibSp&#39;] == 0).astype(int)<br>X_train[&#39;Pclass&#39;] = (X_train[&#39;Pclass&#39;] == 2).astype(int)<br>X_train = X_train.drop(&#39;Embarked&#39;, axis=1)<br>X_train[&#39;Fare&#39;] = (X_train[&#39;Fare&#39;] &gt;= X_train[&#39;Fare&#39;].median()).astype(int)<br><br>X_test[&#39;Age&#39;] = (X_test[&#39;Age&#39;] &gt; 47).astype(int)<br>X_test[&#39;SibSp&#39;] = (X_test[&#39;SibSp&#39;] != 0).astype(int)<br>X_test[&#39;Pclass&#39;] = (X_test[&#39;Pclass&#39;] == 2).astype(int)<br>X_test = X_test.drop(&#39;Embarked&#39;, axis=1)<br>X_test[&#39;Fare&#39;] = (X_test[&#39;Fare&#39;] &gt;= X_test[&#39;Fare&#39;].median()).astype(int)</pre><p>Melakukan one-hot encoding pada fitur yang sesuai untuk digunakan dalam model Bernoulli Naive Bayes.Mengubah nilai fitur-fitur tertentu menjadi nilai biner sesuai dengan kondisi tertentu, seperti: ‘Age’ jika lebih dari 47 tahun maka akan dianggap tua (1), SibSp’ sama dengan 0 menjadi 1 (Membawa rekan atau tidak) Menghapus fitur ‘Embarked’ karena tidak berpengaruh pada kejadian tabrakan.</p><pre>model_bernoulli = BernoulliNB()<br>model_bernoulli.fit(X_train, y_train)<br>y_pred_bnb = model_bernoulli.predict(X_test)<br>print(f&#39;Bernoulli NB Accuracy: {accuracy_score(y_test, y_pred_bnb) * 100:.2f}%&#39;)<br><br>Output :<br>Bernoulli NB Accuracy: 98.33%</pre><p>Melatih model Bernoulli Naive Bayes menggunakan data yang telah diubah (one-hot encoding) ‘X_train’ dan ‘y_train’. Model mendapat improvement yang jauh yaitu 98,33 pesen (naik 8 persen). Kenaikkan ini disebabkan oleh perbedaan dalam cara kedua model menangani data. GNB, yang mengasumsikan distribusi Gaussian, bekerja lebih baik dengan fitur kontinu seperti Age dan Fare. Namun, ketika fitur ini diubah menjadi format biner untuk BNB (misalnya, apakah Age melebihi batas tertentu atau apakah Fare berada di atas median), BNB dapat lebih efektif menangkap pola kategori atau biner yang relevan dalam data. Format biner yang sederhana ini memudahkan model untuk mengenali perbedaan penting antara kelas dan mengurangi noise, sehingga meningkatkan akurasi prediksi kelangsungan hidup pada dataset ini.</p><ul><li><strong>Model 3 : Random Forest</strong></li></ul><pre>from sklearn.model_selection import GridSearchCV<br>param_grid = {<br>    &#39;n_estimators&#39;: [50, 100, 200],<br>    &#39;max_depth&#39;: [None, 10, 20, 30],<br>    &#39;min_samples_split&#39;: [2, 5, 10],<br>    &#39;min_samples_leaf&#39;: [1, 2, 4]<br>}<br><br>model_rf = RandomForestClassifier(random_state=42)<br>grid_search = GridSearchCV(estimator=model_rf, param_grid=param_grid, <br>                           cv=5, n_jobs=-1, verbose=2)<br>grid_search.fit(X_train_ori, y_train_ori)<br><br>best_rf_model = grid_search.best_estimator_<br>y_pred_rf = best_rf_model.predict(X_test_ori)<br>accuracy_rf = accuracy_score(y_test_ori, y_pred_rf)<br>print(f&#39;Random Forest Accuracy: {accuracy_rf * 100:.2f}%&#39;)<br><br>Output :<br>Random Forest Accuracy: 85.17%</pre><p>Menggunakan GridSearchCV untuk mencari parameter terbaik pada model Random Forest. Parameter grid meliputi ‘n_estimators’, ‘max_depth’, ‘min_samples_split’, dan ‘min_samples_leaf’. Model mendapatkan akurasi hanya mendapatkan akurasi 85,17 persen, hal ini mungkin disebabkan karena sifat dataset Titanic yang relatif kecil dan bervariasi dalam jenis fitur. Random Forest bekerja dengan membuat keputusan berdasarkan banyak pohon (tree), tetapi model ini cenderung lebih rentan terhadap fitur-fitur yang tidak konsisten atau memiliki nilai yang hilang, seperti Cabin, Age, dan Fare pada dataset Titanic. Selain itu, model ini dapat mengalami kesulitan dalam menangkap pola yang sangat kompleks atau saling terkait yang bisa menjadi penentu dalam prediksi kelangsungan hidup pada dataset ini.</p><h4>Kesimpulan</h4><p>Dari hasil penerapan tiga model ini, terlihat bahwa Bernoulli Naive Bayes memiliki akurasi tertinggi (98.33%) dibandingkan dengan Gaussian Naive Bayes (89.71%) dan Random Forest (85.17%). Hal ini menunjukkan bahwa dalam menangani data Titanic, model Bernoulli yang mengubah fitur menjadi biner lebih efektif dalam menangkap pola penting. Gaussian Naive Bayes, yang mengasumsikan distribusi Gaussian pada fitur kontinu, berhasil dengan baik tetapi kurang optimal pada format data biner. Sementara itu, Random Forest, meskipun powerful dalam beberapa kasus, tampak lebih rentan terhadap dataset kecil dan fitur tidak konsisten di sini, sehingga menghasilkan akurasi yang lebih rendah.</p><p><a href="https://colab.research.google.com/drive/1ueKThJKPHlYuUzDr5nZuZ627vo1YD3dJ?usp=sharing">Google Colab</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=56f6ed751e83" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Random Forest: Insight dan Refleksi]]></title>
            <link>https://medium.com/@teoinsani/random-forest-insight-dan-refleksi-ab5bbcfc47ed?source=rss-3f514e555a66------2</link>
            <guid isPermaLink="false">https://medium.com/p/ab5bbcfc47ed</guid>
            <dc:creator><![CDATA[Teofilus Satria Rada Insani]]></dc:creator>
            <pubDate>Sun, 29 Sep 2024 16:57:41 GMT</pubDate>
            <atom:updated>2024-11-03T15:22:22.453Z</atom:updated>
            <content:encoded><![CDATA[<p>Artikel ini berisi tentang <em>insight </em>yang kami (Teofilus Satria Rada Insani dan Rafelixa Reynard Isak) dapatkan dalam perkuliahan di minggu ke-6 ini. Perkuliahan di minggu ke-6 pada mata kuliah “Pengantar Data Science” membahas mengenai <em>random forest.</em></p><h4>Apa itu Random Forest</h4><p>Random Forest merupakan algoritma ensemble yang mengkombinasikan banyak decision tree untuk meningkatkan akurasi dan mengurangi risiko overfitting. Algoritma ini bekerja dengan membangun beberapa decision tree dari subset acak data pelatihan. Setiap tree menghasilkan prediksi, dan hasil akhirnya ditentukan melalui suara terbanyak (untuk klasifikasi) atau rata-rata (untuk regresi).</p><h4>1. Ensemble Learning</h4><p>Ensemble learning adalah teknik dalam machine learning yang menggabungkan beberapa model sederhana seperti decision tree dalam random forest untuk menghasilkan prediksi yang lebih baik dibandingkan dengan model individu. Dengan menggabungkan banyak model sederhana, kita dapat mencapai akurasi yang lebih tinggi dibandingkan dengan model individu.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/0*liGiOEjAnpmeSjnX.gif" /><figcaption>Analogi Ensemble</figcaption></figure><p>Salah satu algoritma yang menggunakan konsep ensemble learning adalah Random Forest. Random Forest dianggap dapat mengatasi kelemahan decsion tree. Prinsipnya yaitu membangun model decision tree dan menggabungkan hasilnya, salah satu teknik penggabungannya adalah voting. Jadi training dataset yang besar jumlahnya dipecah-pecah menjadi bagian subset-subset tertentu lalu masing-masing ditangani oleh model tree masing-masing.</p><h4>2. Mekanisme Voting</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*jGWfDKpX_CW4HYhK.gif" /><figcaption>Ilustrasi Mekanisme Voting</figcaption></figure><p>Dibutuhkan suatu fungsi penyatuan untuk menggabungkan model hasil dari model yang terbaik. Mekanisme tersebut dinamakan mekanisme voting, mekanisme ini akan menentukan output mana yang akan dipakai. Setiap tree akan dilihat prediksinya yang mana yang paling banyak menggunakan class tertentu.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*5f2NJsIK_CKAgWw2.gif" /><figcaption>Ilustrasi Decision Tree yang memilih class A sebagai yang paling banyak</figcaption></figure><h4>3. Pentingnya fitur (predictor)</h4><p>Random forest memberikan fitur penting yang membantu kita memahami kontribusi masing-masing variabel dalam model. Random forest menggunakan <em>feature importance</em> untuk menilai seberapa besar pengaruh masing-masing fitur terhadap hasil prediksi, sehingga kita dapat mengetahui fitur mana yang paling penting dalam model tersebut.</p><h4>4. Robustness terhadap Overfitting</h4><p>Salah satu yang menjadi tantangan dalam machine learning adalah overfitting yaitu dimana model terlalu cocok dengan data pelatihan sehingga kinerjanya buruk ketika diterapkan pada data baru. Random forest dapat membentuk banyak decision tree sehingga lebih tahan terhadap overfitting.</p><h3>Penerapan (Aktivitas Mandiri)</h3><p>Pada penerapan <em>random forest </em>ini, kami menggunakan data yang didapat dari google colab pada kelas minggu ke-6 yaitu data mengenai <em>adult income</em>, data tersebut kami download dan kami impor ke google colab yang berbeda. Tujuan kami kali ini adalah untuk mengetahui gaji bedasarkan fitur (kolom) yang ada seperti pekerjaan, pendidikan, dan lainnya menggunakan <em>random foerst</em>.</p><p>Kami juga menyediakan link google colab untuk dapat dianalisa lebih lanjut. Link google colab : <a href="https://colab.research.google.com/drive/1lyFUr4QmQB7IgXIy1ySrVDSDheApmeyT?usp=sharing">Random Forest</a></p><h4>Pre-Processing</h4><ul><li><strong>Impor Library</strong></li></ul><pre>import pandas as pd<br>import numpy as np<br><br>import sklearn.tree as tree<br>import sklearn.model_selection as ms<br>import sklearn.ensemble as ens<br>import sklearn.metrics as met<br>import sklearn.preprocessing as prep<br>from sklearn.model_selection import cross_val_score<br><br>from sklearn.model_selection import RandomizedSearchCV<br>from sklearn.ensemble import RandomForestClassifier<br>import numpy as np<br>import matplotlib.pyplot as plt<br>import seaborn as sns<br>from sklearn.model_selection import train_test_split</pre><p>Mengimpor semua library yang dibutuhkan</p><ul><li><strong>Mengimpor dataset</strong></li></ul><pre>df = pd.read_csv(&#39;adult.data&#39;)</pre><p>Dataset yang telah didownload diimpor ke google colab dengan cara mengupload nya di drive google colab lalu di read dengan menggunakan pandas</p><ul><li><strong>Memberi header kolom</strong></li></ul><pre>data_header = [<br>    &#39;age&#39;,&#39;workclass&#39;,&#39;fnlwgt&#39;,&#39;education&#39;,<br>    &#39;education-num&#39;,&#39;marital-status&#39;,<br>    &#39;occupation&#39;,&#39;relationship&#39;,&#39;race&#39;,<br>    &#39;sex&#39;,&#39;capital-gain&#39;,&#39;capital-loss&#39;,<br>    &#39;hrs-per-week&#39;,&#39;native&#39;,&#39;income&#39;]</pre><p>Setelah melihat isi dataset nya kami mengetahui bahwa kolom dataset tersebut belum memiliki header. Maka dari itu perlu ditambahkan header untuk menamai setiap kolom yang ada</p><pre>df.columns = data_header</pre><p>mengganti nama kolom DataFrame df dengan daftar nama kolom baru dari data_header</p><pre>print(df.head())<br><br>Output :<br>   age          workclass  fnlwgt   education  education-num  \<br>0   50   Self-emp-not-inc   83311   Bachelors             13   <br>1   38            Private  215646     HS-grad              9   <br>2   53            Private  234721        11th              7   <br>3   28            Private  338409   Bachelors             13   <br>4   37            Private  284582     Masters             14   <br><br>        marital-status          occupation    relationship    race      sex  \<br>0   Married-civ-spouse     Exec-managerial         Husband   White     Male   <br>1             Divorced   Handlers-cleaners   Not-in-family   White     Male   <br>2   Married-civ-spouse   Handlers-cleaners         Husband   Black     Male   <br>3   Married-civ-spouse      Prof-specialty            Wife   Black   Female   <br>4   Married-civ-spouse     Exec-managerial            Wife   White   Female   <br><br>   capital-gain  capital-loss  hrs-per-week          native  income  <br>0             0             0            13   United-States   &lt;=50K  <br>1             0             0            40   United-States   &lt;=50K  <br>2             0             0            40   United-States   &lt;=50K  <br>3             0             0            40            Cuba   &lt;=50K  <br>4             0             0            40   United-States   &lt;=50K  </pre><p>Dapat dilihat bahwa header dataset sudah berganti</p><ul><li><strong>Membersihkan missing value</strong></li></ul><pre>df = df.replace(&#39; ?&#39;, np.nan)<br>df.dropna(inplace=True)</pre><p>Sama seperti minggu kemarin, masalah missing value yaitu dlam data tersebut ada missing value berupa spasi dan diikuti oleh tanda tanya. Data pada row tersebut akan saya hapus untuk menghindari ketidakakuratan model.</p><pre>df.info()<br><br>Output :<br>&lt;class &#39;pandas.core.frame.DataFrame&#39;&gt;<br>Index: 30161 entries, 0 to 32559<br>Data columns (total 15 columns):<br> #   Column          Non-Null Count  Dtype <br>---  ------          --------------  ----- <br> 0   age             30161 non-null  int64 <br> 1   workclass       30161 non-null  object<br> 2   fnlwgt          30161 non-null  int64 <br> 3   education       30161 non-null  object<br> 4   education-num   30161 non-null  int64 <br> 5   marital-status  30161 non-null  object<br> 6   occupation      30161 non-null  object<br> 7   relationship    30161 non-null  object<br> 8   race            30161 non-null  object<br> 9   sex             30161 non-null  object<br> 10  capital-gain    30161 non-null  int64 <br> 11  capital-loss    30161 non-null  int64 <br> 12  hrs-per-week    30161 non-null  int64 <br> 13  native          30161 non-null  object<br> 14  income          30161 non-null  object</pre><p>Ada 2000 row yan ghialng setelah saya menghapusnya</p><ul><li><strong>Membersihkan Data Duplikat</strong></li></ul><pre>df.drop_duplicates(inplace=True)<br>df.info()<br><br>Output :<br>&lt;class &#39;pandas.core.frame.DataFrame&#39;&gt;<br>Index: 30138 entries, 0 to 32559<br>Data columns (total 15 columns):<br> #   Column          Non-Null Count  Dtype <br>---  ------          --------------  ----- <br> 0   age             30138 non-null  int64 <br> 1   workclass       30138 non-null  object<br> 2   fnlwgt          30138 non-null  int64 <br> 3   education       30138 non-null  object<br> 4   education-num   30138 non-null  int64 <br> 5   marital-status  30138 non-null  object<br> 6   occupation      30138 non-null  object<br> 7   relationship    30138 non-null  object<br> 8   race            30138 non-null  object<br> 9   sex             30138 non-null  object<br> 10  capital-gain    30138 non-null  int64 <br> 11  capital-loss    30138 non-null  int64 <br> 12  hrs-per-week    30138 non-null  int64 <br> 13  native          30138 non-null  object<br> 14  income          30138 non-null  object</pre><p>Ada sekitar 30 an data yang dihapus karena duplikasi</p><ul><li><strong>Encoding (string ke numeric)</strong></li></ul><pre>def encode_nominal_columns(df):<br>  le = prep.LabelEncoder()<br>  for column in [&#39;workclass&#39;, &#39;education&#39;, &#39;marital-status&#39;, &#39;occupation&#39;, &#39;relationship&#39;, &#39;race&#39;, &#39;sex&#39;, &#39;native&#39;]:<br>    df[column + &#39;_code&#39;] = le.fit_transform(df[column])<br>  return df<br><br>df = encode_nominal_columns(df)</pre><p>mengonversi kolom nominal dalam DataFrame df menjadi kode numerik menggunakan LabelEncoder. Hal ini dilakukan agar model dapat megolah dataset ini, karena model yang akan kami pakai hanya bisa mengolah data numeric.</p><pre>df = df.drop([&#39;workclass&#39;, &#39;education&#39;, &#39;marital-status&#39;, &#39;occupation&#39;, &#39;relationship&#39;, &#39;race&#39;, &#39;sex&#39;, &#39;native&#39;], axis=1)</pre><p>Tidak lupa juga kolom yang akan menjadi taget juga kami encode menjadi numeric</p><h4>Data Processing</h4><ul><li><strong>menentukan Target dan predictor</strong></li></ul><pre>X = df.drop(columns=[&#39;income&#39;], axis=1)<br>y = df[&#39;income&#39;]</pre><p>X adalah DataFrame yang berisi semua kolom kecuali kolom ‘income’, yang dihapus menggunakan drop, sementara y adalah Series yang berisi nilai dari kolom ‘income’, yang akan digunakan sebagai label atau target dalam analisis atau model prediksi</p><ul><li><strong>Memisahkan Data Training dan Data Testing</strong></li></ul><pre>X_train, X_test, y_train, y_test = ms.train_test_split(X, y, test_size=0.2, random_state=42)</pre><p>Memisahkan data testing dan data training. Untuk data training kit amemaki 80 persen data yang ada serta 20 persen data untuk testing.</p><ul><li><strong>Balancing Kolom Target</strong></li></ul><pre>target_counts = y_train.value_counts()<br><br>plt.figure(figsize=(8, 6))<br>sns.barplot(x=target_counts.index, y=target_counts.values)<br>plt.title(&#39;Distribution of Target Variable (Income)&#39;)<br>plt.xlabel(&#39;Income Class&#39;)<br>plt.ylabel(&#39;Number of Samples&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/709/1*yy8plFV5kYvba0oH4f7dhA.png" /></figure><p>Dapat dilihat bahwa kolom target berbeda jauh (tidak seimbang). Ketidakseimbangan ini dapat menyebabkan model Random Forest lebih cenderung memprediksi kelas mayoritas, sehingga performa pada kelas minoritas menurun. Maka dari itu kita harus menyeimbangkannya.</p><pre>from imblearn.over_sampling import SMOTE<br><br>smote=SMOTE(random_state=0)<br>X_train_balanced,y_train_balanced=smote.fit_resample(X_train, y_train)<br>print(&quot;Aslinya : &quot;)<br>print(y_train.value_counts())<br><br>print(&quot;Balanced : &quot;)<br>print(y_train_balanced.value_counts())<br><br>Output :<br>Aslinya : <br>income<br>0    18105<br>1     6005<br>Name: count, dtype: int64<br>Balanced : <br>income<br>0    18105<br>1    18105<br>Name: count, dtype: int64</pre><p>Dapat dilihat bahwa kolom target sudah balance. Dengan data yang seimbang, model Random Forest akan memiliki representasi yang lebih baik dari setiap class.</p><ul><li><strong>Memisahkan data training dan testing yang sudah di balancing</strong></li></ul><pre>X_train_bal, X_test_bal, y_train_bal, y_test_bal = train_test_split(X_train_balanced, y_train_balanced, test_size=0.2, random_state=42)</pre><ul><li><strong>Membuat Model Random Forest</strong></li></ul><pre>model = ens.RandomForestClassifier(class_weight=&#39;balanced&#39;)</pre><p>Model yang kami pakai adalah random forest, dengan class_weight=’balanced’ digunakan untuk mengatasi ketidakseimbangan kelas dalam dataset, yang berarti model akan memberikan bobot lebih pada kelas yang kurang terwakili saat melakukan pelatihan, sehingga membantu meningkatkan akurasi prediksi pada kelas tersebut.</p><ul><li><strong>Melatih Model</strong></li></ul><pre>model.fit(X_train_bal, y_train_bal)</pre><ul><li><strong>Menguji Model</strong></li></ul><pre>y_pred = model.predict(X_test_bal)<br><br>print(&#39;Akurasi = &#39;, met.accuracy_score(y_test_bal, y_pred))<br>print(met.classification_report(y_test_bal, y_pred))<br>print(&#39;Skor Kepentingan Fitur = &#39;,model.feature_importances_)<br><br>Output :<br>Akurasi =  0.8893951946975973<br>              precision    recall  f1-score   support<br><br>           0       0.88      0.89      0.89      3561<br>           1       0.90      0.88      0.89      3681<br><br>    accuracy                           0.89      7242<br>   macro avg       0.89      0.89      0.89      7242<br>weighted avg       0.89      0.89      0.89      7242<br><br>Skor Kepentingan Fitur =  [0.14186845 0.10755932 0.0882233  0.065482   0.01762198 0.0968849<br> 0.03354626 0.07336916 0.18456991 0.05580841 0.09850648 0.01162572<br> 0.01186482 0.0130693 ]</pre><p>Dengan tahapan tambahan yang telah kami lakukan, seperti membersihkan data yang sebelumnya tidak dilakukan di Colab oleh Pak Feliks, kami berhasil meningkatkan akurasi model sebesar 4 persen.</p><p>Keakuratan pada kelas &gt;50K juga naik menjadi 90 persen, yang disebabkan oleh penyeimbangan kolom target. Namun, kami masih belum berhasil meningkatkan akurasi keseluruhan model hingga mencapai 90 persen.</p><h4>Insight</h4><ul><li>Kualitas data sangat berpengaruh pada performa model</li><li>Balncing class berdampak signifikan</li><li>Masih ada ruang untuk perbaikan dalam pembuatan model</li></ul><h4><strong>Kesimpulan</strong></h4><p>Dengan melakukan tahapan tambahan, seperti pembersihan data yang sebelumnya diabaikan, kami berhasil meningkatkan akurasi model sebesar 4 persen. Peningkatan signifikan juga terlihat pada kelas &gt;50K, dengan akurasi yang mencapai 90 persen, berkat penyeimbangan kolom target. Meskipun demikian, akurasi keseluruhan model masih belum mencapai target 90 persen. Hal ini menunjukkan bahwa ada ruang untuk optimasi lebih lanjut dalam model, baik melalui pemilihan fitur, tuning hyperparameter, atau teknik pemrosesan data lainnya.</p><p><a href="https://colab.research.google.com/drive/1lyFUr4QmQB7IgXIy1ySrVDSDheApmeyT?usp=sharing">Google Colab</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ab5bbcfc47ed" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Memahami Decision Tree dalam Data Science: Konsep dan Penerapannya]]></title>
            <link>https://medium.com/@teoinsani/memahami-decision-tree-dalam-data-science-konsep-dan-penerapannya-77a70a70c937?source=rss-3f514e555a66------2</link>
            <guid isPermaLink="false">https://medium.com/p/77a70a70c937</guid>
            <category><![CDATA[decision-tree]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[Teofilus Satria Rada Insani]]></dc:creator>
            <pubDate>Sun, 22 Sep 2024 16:27:39 GMT</pubDate>
            <atom:updated>2024-11-03T15:21:09.730Z</atom:updated>
            <content:encoded><![CDATA[<p>Artikel ini berisi tentang <em>insight </em>yang kami (Teofilus Satria Rada Insani dan Rafelixa Reynard Isak) dapatkan dalam perkuliahan di minggu ke-4 ini. Perkuliahan di minggu ke-5 pada mata kuliah “Pengantar Data Science” membahas mengenai <em>decision tree.</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*ep1d1k6iio22B1yV.png" /><figcaption>illustration by <a href="https://www.jcchouinard.com/decision-trees-in-machine-learning/">JC Chouinard</a></figcaption></figure><h4><strong>Decision Tree</strong></h4><p><em>Decision tree </em>adalah metode pembelajaran <em>machine learning</em> yang digunakan untuk membuat model prediksi dari sekumpulan data. Struktur <em>tree </em>ini dibangun berdasarkan serangkaian pertanyaan atau kondisi yang menghasilkan keputusan di tiap cabang hingga mencapai hasil akhir pada <em>leaf node</em>. <em>Decision tree </em>sangat berguna karena sifatnya yang intuitif dan mudah diinterpretasikan.</p><h4><strong>Mengukur Entropy</strong></h4><p>Decision Tree melakukan <em>splitting</em> (pemecahan ) data ke dalam dua kelompok berdasarkan atribut-atribut yang ada di dalam data dengan mengukur suatu angka yang disebut <strong>entropy</strong>. <strong>Entropy</strong> adalah ukuran dari <strong>ketidakpastian</strong> atau <strong>impuritas</strong> dalam suatu dataset. Dalam konteks <strong>Decision Tree</strong>, entropy digunakan untuk mengukur ketidakpastian pada node tertentu dan membantu menentukan seberapa baik suatu fitur membagi data.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/732/1*OK-tBPWGTO9wrzxBVfEHYA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/654/1*6QY4X7Du7cA4lVCvbb-xrQ.png" /></figure><h4><strong>Memilih fitur <em>(Feature Selection) </em>dengan <em>Information Gain</em></strong></h4><p>Information gain adalah konsep yang digunakan dalam decision tree untuk mengukur seberapa banyak informasi yang diperoleh dari membagi dataset berdasarkan atribut tertentu. Konsep ini berasal dari teori informasi dan digunakan untuk menentukan fitur mana yang paling relevan dalam memisahkan data ke dalam kelas-kelas yang berbeda. Semakin besar information gain, semakin baik atribut tersebut dalam mengurangi ketidakpastian dan membantu dalam klasifikasi data.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*57eJxvCiqTbBUZLmCnmz1w.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Ye74Icq8pUgtnkl5s4irlw.png" /></figure><h4><strong>Pengumpulan data</strong></h4><p>Pengumpulan data dalam decision tree dimulai dengan menyiapkan data yang berisi fitur dan target yang ingin diprediksi, lalu membaginya menjadi data pelatihan dan pengujian. Model menggunakan data pelatihan untuk memilih fitur sebagai titik percabangan sehingga decision tree dibentuk dengan memecah data hingga terbentuk kelompok yang jelas. Setelah pohon terbentuk, performanya diuji dengan data pengujian untuk mengevaluasi akurasi prediksi model.</p><h4><strong>Prapemrosesan Data</strong></h4><p>Prapemrosesan data dalam decision tree melibatkan pengubahan nilai kategori menjadi angka, pengaturan kolom identifikasi sebagai indeks, pemeriksaan distribusi kategori pada kolom target, pemilihan fitur relevan, dan pembagian data menjadi dua bagian yaitu untuk melatih model dan untuk menguji model. Langkah-langkah ini memastikan data siap digunakan untuk pengembangan dan evaluasi model decision tree.</p><h4><strong>Pemrosesan Data</strong></h4><p>Pemrosesan data dalam decision tree dimulai dengan memilih algoritma dan kriteria, seperti entropi untuk mengukur pemisahan data. Model dilatih menggunakan data pelatihan yang terdiri dari fitur dan target di mana model menganalisis pola dan hubungan untuk membangun struktur pohon. Pengaturan seperti kedalaman maksimum diterapkan untuk menghindari overfitting. Namun, model dapat menjadi tidak akurat jika jumlah kelas dalam data pelatihan tidak seimbang, sehingga perlu dilakukan balancing dengan membuang atau menambah data dari kelas tertentu. Hasil akhirnya adalah model yang siap digunakan untuk memprediksi hasil berdasarkan data baru.</p><h4><strong>Pengujian Performa Model</strong></h4><p>Pengujian performa model dalam decision tree dilakukan dengan menggunakan model yang telah dilatih untuk memprediksi hasil pada data uji, kemudian membandingkan hasil prediksi dengan hasil sebenarnya untuk menghitung akurasi. Kita dapat membandingkan dua model yang menggunakan kriteria berbeda, yaitu entropi dan Gini, untuk melihat mana yang lebih akurat dalam prediksi. Hasil akurasi dari kedua model ditampilkan untuk menilai kemampuan model dalam mengenali pola dari data baru.</p><h4><strong>Penerapan Lain</strong></h4><p>Selain dari mengklasifikasikan sebuah kategori yang ingin diprediksi, Decision Tree juga dapat digunakan untuk menganalisis sebuah risiko. Misalnya, decision tree dapat digunakan untuk menganalisis risiko terutama dalam keputusan finansial seperti pemberian pinjaman atau investasi. Dengan memodelkan faktor-faktor yang memengaruhi risiko seperti riwayat kredit, pendapatan, dan pengeluaran, decision tree membantu mengidentifikasi kemungkinan hasil dan probabilitasnya. Ini memungkinkan lembaga keuangan membuat keputusan lebih baik mengenai kelayakan kredit, mengurangi risiko kerugian, dan meningkatkan profitabilitas. Selain itu, visualisasi pohon keputusan memudahkan pemangku kepentingan memahami dan menjelaskan proses pengambilan keputusan.</p><h3>Penerapan (Aktivitas Mandiri)</h3><p>Pada penerapan <em>decision tree </em>ini, kami menggunakan data yang didapat dari google colab pada kelas minggu ke-5 yaitu data mengenai <em>salary</em>, data tersebut kami convert menjadi file (.csv) dan kami impor ke google colab yang berbeda. Tujuan kami kali ini adalah untuk mengetahui gaji bedasarkan fitur (kolom) yang ada seperti pekerjaan, pendidikan, dan lainnya.</p><p>Kami juga menyediakan link google colab untuk dapat dianalisa lebih lanjut. Link google colab : <a href="https://colab.research.google.com/drive/1uFQSVgV_8mM_YhBgG-wd1RBa_YhnfQCz?usp=sharing">Decision Tree</a></p><h4>Pra Proses</h4><ul><li><strong>Impor Library</strong></li></ul><pre>import pandas as pd<br>import pandas as pd<br>from sklearn.model_selection import train_test_split<br>from sklearn.tree import DecisionTreeClassifier<br>from sklearn.metrics import accuracy_score<br>from sklearn import tree<br>import matplotlib.pyplot as plt<br>from sklearn.preprocessing import LabelEncoder<br>from sklearn.model_selection import GridSearchCV<br>import matplotlib.pyplot as plt</pre><p>Mengimpor semua library yang dibutuhkan termauk untuk visualisasi tree dan menentukan max depth terbaik untuk model yang saya buat dan juga termasuk untuk meng-encode data</p><ul><li><strong>Impor file CSV</strong></li></ul><pre>df = pd.read_csv(&#39;salary.csv&#39;)</pre><p>Jangan lupa ketika mengimpor file csv, harus ada datasetnya dengan nama dan format yang sama</p><ul><li><strong>Missing Value</strong></li></ul><pre>row_count = df.shape[0]<br>print(f&quot;Number of rows: {row_count}&quot;)</pre><p>Mengecek berapa jumlah baris sebelum delete row karena ada missing value di data tersebut</p><pre>df = df.replace(&#39; ?&#39;, pd.NA)<br>df = df.dropna()</pre><p>Dalam data tersebut setelah kami melihat file csv nya ada missing value berupa spasi dan diikuti oleh tanda tanya (‘ ?’). Data pada row tersebut akan saya hapus untuk menghindari ketidakakuratan model. (agak menjebak missing value nya karena bukan null atau NaN seperti biasanya)</p><p>Sebenarnya dalam menghadapi missing value bisa saja menggunakan imputer atau modus atau median atau mean (tergantung datanya). Tapi kami sengaja menghapus datanya karena hanya 2000 data dari 30000, yang artinya tidak seberapa signifikan perubahannya. Kami juga takut jikalau menggunakan imputer, hasilnya akan lebih tidak akurat.</p><pre>row_count = df.shape[0]<br>print(f&quot;Number of rows: {row_count}&quot;)</pre><p>Setelah missing value dihapus, ada sekitar dua ribu data yang hilang (tidak terlalu besar, maka kami putuskan untuk hapus)</p><h4>Encoding (string ke numeric)</h4><ul><li><strong>Menentukan fitur dan target</strong></li></ul><pre>X = df.drop(columns=[&#39;salary&#39;])<br>y = df[&#39;salary&#39;]</pre><p>Saya menjadikan kolom salary sebagai target dan kolom lainnya sebagai fitur</p><pre>label_encoder = LabelEncoder()<br>for column in X.columns:<br>    X[column] = label_encoder.fit_transform(X[column])<br>y = label_encoder.fit_transform(y)</pre><p>fitur dan salary akan diencode (diubah dari string menjadi numeric) menggunakan label encoder dari library untuk preprocessing dari sklearn (sklearn.preprocessing). model label encoder akan mengencode kolom, kolom yang akan diencode adalah kolom yang buat klasifikasi (misal gender bukan seperti age)</p><h4>Pemrosesan data</h4><ul><li><strong>Memisahkan data training dan testing</strong></li></ul><pre>X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)</pre><p>Saya menggunakan 80 persen data untuk training dan 20 persen data untuk testing</p><pre>DTmodel = DecisionTreeClassifier(random_state=42)<br>param_grid = {&#39;max_depth&#39;: range(1, 11)}<br>grid_search = GridSearchCV(DTmodel, param_grid, cv=5, scoring=&#39;accuracy&#39;)<br>grid_search.fit(X_train, y_train)<br>best_max_depth = grid_search.best_params_[&#39;max_depth&#39;]<br>best_accuracy = grid_search.best_score_<br><br>print(f&quot;Best Max Depth: {best_max_depth}, with Cross-Validation Accuracy: {best_accuracy:.2f}&quot;)</pre><p>untuk membuat model decision tree, saya harus mengetahui max depth yang optimal untuk mencari akurasi yang tinggi. Saya memakai library sklear untuk mengimpor model yaitu GridSearchCV untuk mencari max depth. Saya nilai mendapatkan max depth yang paling optimal yaitu 8</p><h4>Uji Model</h4><pre>DTmodel = tree.DecisionTreeClassifier(criterion=&#39;entropy&#39;, max_depth=8)<br>DTmodel.fit(X_train, y_train)<br><br>output :<br>pred [0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 1 1 0 0]<br>test [1 0 1 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 0 0 1 0 1 0 0]</pre><p>Saya membuat model dan melatihnya dengan max depth 8 yang saya dapatkan tadi</p><pre>y_pred = DTmodel.predict(X_test)</pre><p>dilihat sekilas dari 35 data pertama ada 12 data prediksi yang melenceng dari data testing</p><pre>accuracy = accuracy_score(y_test, y_pred)<br>print(f&#39;Akurasi: {accuracy:.6f}&#39;)<br><br>output :<br>Akurasi: 0.855296</pre><p>Saya mendapatkan poin akurasi 85% an, sudah cukup baik akurasi model yang telah saya buat.</p><h4>Visualisasi</h4><pre>plt.figure(figsize=(12, 8))<br>tree.plot_tree(DTmodel, feature_names=X.columns, class_names=[&#39;&lt;=50K&#39;, &#39;&gt;50K&#39;], filled=True)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/946/1*Iz_SKRhW0a3ayd5VblNm1g.png" /></figure><p>Kami bisa melihat fitur mana yang muncul di node paling atas (root) dan di node awal lainnya. Fitur-fitur ini dianggap paling penting oleh model dalam memisahkan data. Semakin dekat sebuah fitur dengan root, semakin besar pengaruhnya terhadap prediksi. (untuk lebih jelasnya dapat lihat di link google colab yang kami berikan)</p><h3>Kesimpulan</h3><p>Dari klasifikasi gaji menggunakan decision tree, saya mendapat insight tentang faktor-faktor penting yang memengaruhi kategori gaji, seperti pendidikan, status, dan usia. Decision tree menunjukkan bagaimana faktor-faktor itu berinteraksi, serta threshold yang memisahkan kategori gaji tertentu. Selain itu, saya bisa menilai performa model melalui akurasi yang dihasilkan model, namun perlu berhati-hati terhadap overfitting, yang bisa diatasi dengna mencari max depth yang optimal.</p><p><a href="https://colab.research.google.com/drive/1uFQSVgV_8mM_YhBgG-wd1RBa_YhnfQCz?usp=sharing">Google Colab</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=77a70a70c937" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Logistic Regression: Belajar Menguasai Klasifikasi dalam Data Science]]></title>
            <link>https://medium.com/@teoinsani/logistic-regression-belajar-menguasai-klasifikasi-dalam-data-science-6324be66e0b9?source=rss-3f514e555a66------2</link>
            <guid isPermaLink="false">https://medium.com/p/6324be66e0b9</guid>
            <category><![CDATA[collage]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[logistic-regression]]></category>
            <category><![CDATA[informatics]]></category>
            <dc:creator><![CDATA[Teofilus Satria Rada Insani]]></dc:creator>
            <pubDate>Sun, 15 Sep 2024 14:23:02 GMT</pubDate>
            <atom:updated>2024-11-03T15:19:00.585Z</atom:updated>
            <content:encoded><![CDATA[<p>Artikel ini berisi tentang <em>insight </em>yang kami (Teofilus Satria Rada Insani dan Rafelixa Reynard Isak) dapatkan dalam perkuliahan di minggu ke-4 ini. Perkuliahan di minggu ke-4 pada mata kuliah “Pengantar Data Science” membahas mengenai <em>logistic regression. Logistic regression </em>adalah algoritma atau teknik yang digunakan untuk masalah klasifikasi. Sebagai contoh, sebuah perusahaan ingin memprediksi apakah seorang pelanggan akan merespons kampanye pemasaran atau tidak. Untuk memodelkan kasus ini, kita memerlukan data histori dari kampanye pemasaran sebelumnya (variabel independen : demografi, riwayat transaksi, media pemasaran, waktu). Data tersebut digunakan untuk melatih model <em>logistic regression</em>, yang akan mempelajari hubungan antara variabel-variabel independen (seperti usia, riwayat pembelian) dan kemungkinan seorang pelanggan akan merespons kampanye. Model yang dibuat akan digunakan untuk memprediksi probabilitas setiap pelanggan merespons kampanye pemasaran di masa mendatang. Jika probabilitasnya di atas nilai yang telah ditentukan (misalnya 0.5), perusahaan bisa menargetkan pelanggan tersebut dengan kampanye yang lebih sering.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*lwDHXLhSHCN5WgN4SD5kyg.jpeg" /><figcaption>illustration by <a href="https://www.linkedin.com/company/wcs-winkler-consulting-solutions-llc">Winkler Consulting Solutions</a></figcaption></figure><h3>Logistic Regression</h3><p>Tidak seperti <em>linear regression </em>yang memprediksi output berupa nilai kontinu<em>, logistic regression </em>lebih digunakan untuk memprediksi suatu kejadian yang akan diklasifikasikan ke dalam salah satu dari beberapa kategori (target) yang ada melalui beberapa variabel independen. <em>Logistic Regression</em> menggunakan sebuah fungsi yang disebut <strong>fungsi sigmoid </strong>untuk mengubah angka-angka yang dihitung oleh model menjadi probabilitas antara 0 dan 1.</p><h4>Fungsi Sigmoid</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/336/1*mNMqNsXTBQYsIHtcd-xFTA.png" /><figcaption>Fungsi Sigmoid</figcaption></figure><p><strong><em>z </em></strong><em>= </em>Kombinasi dari variabel-variabel independent (faktor-faktor yang digunakan untuk prediksi) misalnya:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/574/1*4nKnWiuLSoOJC9-RuCMyVQ.png" /></figure><ul><li><strong><em>b0 </em></strong>= Intercept (titik potong)</li><li><strong><em>b1, b2, … , bn </em></strong>= Bobot atau koefisien yang dipelajari oleh model</li><li><strong><em>x1, x2, … , xn = </em></strong>Variabel-variabel yang digunakan untuk prediksi</li></ul><p><strong><em>e </em></strong><em>= </em>Bilangan Euler (Bernilai 2.718), dalam konteks fungsi sigmoid menunjukkan seberapa cepat nilai prediksi mendekati 0 atau 1.</p><ul><li>Ketika <strong><em>z </em></strong>menjadi sangat besar, <strong><em>e^-z </em></strong>mendekati 0 dan output sigmoid mendekati 1</li><li>Ketika <strong><em>z</em></strong> menjadi sangat kecil (atau negatif), <strong><em>e^-z</em></strong> menjadi sangat besar dan output sigmoid mendekati 0</li></ul><h4>Langkah-Langkah</h4><ul><li><strong>Mengimpor dan mempersiapkan data: </strong>Pada proses ini kita perlu mempersiapkan data untuk klasifikasi biner dalam pembelajaran mesin. Pertama, pustaka yang diperlukan diimpor untuk mengolah data dan membuat model. Kemudian, dataset dimuat dan diubah ke dalam bentuk tabel agar lebih mudah digunakan. Selanjutnya, hanya sebagian data yang dipilih untuk fokus pada dua kategori saja. Terakhir, dilakukan pengecekan ukuran data untuk memastikan semuanya siap digunakan dalam model pembelajaran mesin.</li><li><strong>Membagi dataset: </strong>Pada proses ini kita membagi data menjadi dua bagian, yaitu data pelatihan dan data pengujian. Data pelatihan digunakan untuk melatih model pembelajaran mesin, sementara data pengujian digunakan untuk menguji kinerja model setelah dilatih. Pembagian ini penting untuk memastikan model dapat melakukan prediksi yang baik pada data baru yang belum pernah dilihat sebelumnya. Pembagian dataset adalah sekitar 80% data pelatihan dan 20%. Alasannya adalah untuk memastikan bahwa model memiliki cukup data untuk belajar dari pola yang ada (data pelatihan), sambil tetap menyisakan data yang cukup untuk mengevaluasi kinerjanya (data pengujian). Jika terlalu sedikit data pelatihan, model mungkin tidak cukup belajar dan memberikan hasil yang buruk. Sebaliknya, jika data pengujian terlalu sedikit, evaluasi model tidak akan akurat.</li><li><strong>Membangun model: </strong>· Proses ini berfokus pada pembuatan dan pelatihan model pembelajaran mesin menggunakan regresi logistik. Pertama, model dibentuk, kemudian dilatih menggunakan data pelatihan yang telah disiapkan sebelumnya. Proses pelatihan ini memungkinkan model untuk mempelajari pola dan hubungan antara data input (fitur) dan label yang diberikan, sehingga nantinya model bisa membuat prediksi berdasarkan data baru.</li><li><strong>Evaluasi model: </strong>Pada proses ini, model yang telah dilatih diuji menggunakan data yang belum pernah dilihat sebelumnya untuk mengevaluasi seberapa baik model tersebut dalam membuat prediksi. Dengan membandingkan hasil prediksi model terhadap label asli dari data pengujian dan menghitung akurasi, kita bisa menilai kinerja model dan seberapa baik ia dapat generalisasi pada data baru. Evaluasi ini penting untuk memastikan bahwa model bekerja dengan baik sebelum digunakan untuk aplikasi dunia nyata.</li></ul><h3>Penerapan Logistic Regression (aktivitas mandiri)</h3><p>Pada penerapan <em>logistic regression</em>, kami menggunakan data yang didapat dari google colab pada kelas minggu ke-4 yaitu data mengenai <em>wine recognition</em>, data tersebut kami convert menjadi file (.csv) dan kami impor ke google colab yang berbeda. Tujuan <em>logistic regression</em> ini adalah untuk mengklasifikasikan <em>wine </em>menjadi beberapa kategori (class_0, class_1, class_2) berdasarkan fitur-fitur yang ada dalam dataset tersebut.</p><p>Kami juga menyediakan link google colab untuk dapat dilihat lebih lanjut. <em>Link google colab</em> : <a href="https://colab.research.google.com/drive/17kGQmNpv8PbR-D_D6fOseyiNsP9vpUX2?usp=sharing">Wine Recog</a></p><h4>Persiapan</h4><ul><li><strong>Mengimpor semua library yang dibutuhkan</strong></li></ul><pre>import numpy as np<br>import pandas as pd<br>import matplotlib.pyplot as plt<br>import seaborn as sns<br><br>from sklearn.model_selection import train_test_split<br>from sklearn.linear_model import LogisticRegression<br>from sklearn.metrics import accuracy_score<br>from sklearn import datasets<br>from sklearn.metrics import confusion_matrix</pre><ul><li><strong>Membaca dataset</strong></li></ul><pre>df = pd.read_csv(&#39;wine_dataset.csv&#39;)</pre><p>mengimpor dataset wine yang ada dalam format .csv ke dalam program menjadi dataframe.</p><ul><li><strong>Analisa Korelasi Kolom</strong></li></ul><pre>print(df.columns)<br><br>output :<br>Index([&#39;alcohol&#39;, &#39;malic_acid&#39;, &#39;ash&#39;, &#39;alcalinity_of_ash&#39;, &#39;magnesium&#39;,<br>       &#39;total_phenols&#39;, &#39;flavanoids&#39;, &#39;nonflavanoid_phenols&#39;,<br>       &#39;proanthocyanins&#39;, &#39;color_intensity&#39;, &#39;hue&#39;,<br>       &#39;od280/od315_of_diluted_wines&#39;, &#39;proline&#39;, &#39;target&#39;],<br>      dtype=&#39;object&#39;)</pre><p>melihat semua kolom(fitur) yang ada dalam dataset tersebut.</p><pre>corr_with_target = df.corr(method=&#39;pearson&#39;)[&#39;target&#39;].sort_values(ascending=False)<br>print(corr_with_target)Membaca dataset<br><br>output :<br>target                          1.000000<br>alcalinity_of_ash               0.517859<br>nonflavanoid_phenols            0.489109<br>malic_acid                      0.437776<br>color_intensity                 0.265668<br>ash                            -0.049643<br>magnesium                      -0.209179<br>alcohol                        -0.328222<br>proanthocyanins                -0.499130<br>hue                            -0.617369<br>proline                        -0.633717<br>total_phenols                  -0.719163<br>od280/od315_of_diluted_wines   -0.788230<br>flavanoids                     -0.847498</pre><p>dari nilai korelasi yang ada, kami memilih kolom dengan korelasi yang paling signifikan dengan kolom target (mendekati 1 atau mendekati -1), kami mengambil kolom yang mempunyai nilai (&lt;-0.6) atau (&gt;0.6). Kami tidak memilih semua kolom karena jika kami memilih semua kolom sebagai variable independen, ketika melakukan uji model akan terjadi overfitting yaitu kondisi dimana sebuah model bekerja dengan akurasi yang sangat baik pada data training tetapi akan sangat buruk pada data baru yang diujikan.</p><h4>Data Processing</h4><ul><li><strong>Menentukan Variabel Independen dan Dependen</strong></li></ul><pre>X = df[[&#39;total_phenols&#39;, &#39;od280/od315_of_diluted_wines&#39;, &#39;flavanoids&#39;, &#39;proline&#39;, &#39;hue&#39;]]<br>y = df[&#39;target&#39;]</pre><p>dari analisa korelasi kolom sebelumnya, kami mnemilih kolom untuk variable independen yang kolom tersebut memiliki nilai (&lt;-0.6) karena tidak ada kolom yang nilai korelasi nya (&gt;0.6). Kami juga memilih kolom target sebagai variable dependen (yang akan diprediksi).</p><ul><li><strong>Memisahkan data training dan data testing</strong></li></ul><pre>X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)</pre><p>data training yang dipakai adalah 80% data, sedangkan data testing kami memakai 20% data.</p><ul><li><strong>Membuat dan melatih model</strong></li></ul><pre>model_multi = LogisticRegression(multi_class=&#39;ovr&#39;, solver=&#39;liblinear&#39;)<br>model_multi.fit(X_train, y_train)</pre><p>menggunakan model multiclass karena wine yang akan diklasifikasikan lebih dari 2 target, yaitu class_0, class_1, class_2. Model menggunakan solver yang mendukung multiclass logistic regression dengan pendekatan one vs rest (one vs all).</p><h4>Uji Model (testing)</h4><ul><li><strong>Hasil prediksi</strong></li></ul><pre>y_pred_multi = model_multi.predict(X_test)<br><br>print(y_pred_multi)<br>print(y_test.values)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/729/1*z0XWKzBPU_MzdWzF1ncffQ.png" /><figcaption>output</figcaption></figure><p>dari output yang dihasilkan model, sekilas terdapat 3 prediksi target yang melenceng dari dari data testing.</p><ul><li><strong>Akurasi Model</strong></li></ul><pre>accuracy_multi = accuracy_score(y_test, y_pred_multi)<br>print(f&#39;Akurasi Multiclass: {accuracy_multi:.7f}&#39;)<br><br>output:<br>Akurasi Multiclass: 0.9166667</pre><p>model dapat memprediksi 91.67% dengan benar, maka hal ini menunjukkan performa yang sangat baik secara umum, tetapi penting untuk melihat lebih jauh dengan menggunakan metrik tambahan dan mempertimbangkan konteks serta distribusi data untuk memastikan bahwa model benar-benar optimal.</p><ul><li><strong>Visualisasi hasil</strong></li></ul><pre>cm = confusion_matrix(y_test, y_pred_multi)<br>plt.figure(figsize=(8, 6))<br>sns.heatmap(cm, annot=True, fmt=&#39;d&#39;, cmap=&#39;Blues&#39;, xticklabels=[&#39;Class 0&#39;, &#39;Class 1&#39;, &#39;Class 2&#39;], yticklabels=[&#39;Class 0&#39;, &#39;Class 1&#39;, &#39;Class 2&#39;])<br>plt.title(&#39;Confusion Matrix&#39;)<br>plt.xlabel(&#39;Predicted&#39;)<br>plt.ylabel(&#39;Test&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/637/1*J8zZFOFtzpZi9FTcNkdwYQ.png" /></figure><p>dari hasil visualisasi diatas, prediksi yang sesuai dengan data testing berada pada lingkaran hijau, sedangkan prediksi yang melenceng ada di lingkaran warna merah. Dapat dilihat pada matrix tersebut bahwa pada diagonal utama bewarna biru yang jauh lebih gelap dibanding segitiga atas dan bawah, artinya bahwa model yang dibuat sudah akurat.</p><h4>Menggunakan Model Lain (Improve)</h4><ul><li><strong>Membuat dan Melatih Model lain</strong></li></ul><pre>model_multi_lain = LogisticRegression(multi_class=&#39;multinomial&#39;, solver=&#39;lbfgs&#39;)<br>model_multi_lain.fit(X_train, y_train)</pre><p>Kami menggunakan model multiclass ‘multinomial’ dengan solver ‘lbfgs’. Hal ini kami coba karena ‘multinomial’ mempertimbangkan semua kelas sekaligus, sehingga model lebih memahami pola data secara keseluruhan (kalau ovr itu memandingkan satu satu).</p><ul><li><strong>Akurasi Model Lain</strong></li></ul><pre>y_pred_multi_lain = model_multi_lain.predict(X_test)<br><br>accuracy_multi_lain = accuracy_score(y_test, y_pred_multi_lain)<br><br>print(f&#39;Akurasi Multiclass: {accuracy_multi_lain:.7f}&#39;)\<br><br>output :<br>Akurasi Multiclass: 0.9722222</pre><p>dapat dilihat akurasi model baru lebih baik 6.56% dibanding model yang sebelumya. (sebelumnya 0.9166667)</p><h4>Kesimpulan</h4><p>Dapat dilihat dari kedua model yang kami pakai, terjadi peningkatan keakuratan model dalam memprediksi. Hal itu dapat kami simpulkan bahwa <em>multinomial logistic regression</em> menangani semua kelas secara langsung dalam satu model, memungkinkan pemodelan hubungan antar kelas yang lebih baik, menghasilkan probabilitas yang lebih konsisten, dan lebih efisien pada dataset.</p><p><a href="https://colab.research.google.com/drive/17kGQmNpv8PbR-D_D6fOseyiNsP9vpUX2?usp=sharing">Google Colab</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6324be66e0b9" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Linear Regression : Penggunaannya dalam Data Science]]></title>
            <link>https://medium.com/@teoinsani/linear-regression-penggunaannya-dalam-data-science-f9f2805cc499?source=rss-3f514e555a66------2</link>
            <guid isPermaLink="false">https://medium.com/p/f9f2805cc499</guid>
            <category><![CDATA[linear-regression]]></category>
            <dc:creator><![CDATA[Teofilus Satria Rada Insani]]></dc:creator>
            <pubDate>Sun, 08 Sep 2024 15:52:28 GMT</pubDate>
            <atom:updated>2024-11-03T15:17:14.970Z</atom:updated>
            <content:encoded><![CDATA[<h3>Linear Regression : Penggunaannya dalam Data Science</h3><p>Artikel ini berisi tentang <em>insight </em>yang kami (Teofilus Satria Rada Insani dan Rafelixa Reynard Isak)dapatkan dalam perkuliahan di minggu ke-3 ini. Perkuliahan di minggu ke-3 pada mata kuliah “Pengantar Data Science” membahas mengenai <em>linear regression. Linear regression </em>adalah teknik yang dipakai untuk memprediksi (<em>forecasting</em>) suatu nilai yang tidak diketahui, melalui data atau nilai yang sudah ada sebelumnya. Sebagai contoh, kami ingin memasang iklan untuk penjualan produk yang kami miliki. Kami membutuhkan sebuah teknik untuk memprediksi bagaimana anggaran iklan mempengaruhi penjualan. Disini, jumlah penjualan menjadi target sedangkan anggaran iklan, harga produk, dan penawaran promosi menjadi predictor. Dengan menggunakan linear regression, kami bisa membuat keputusan yang tepat mengenai anggaran iklan yang harus kami keluarkan, penetapan harga, dan strategi promosi untuk memaksimalkan keuntungan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wk4pj9sOnaFVhtTmY-KLHA.png" /><figcaption>Contoh regresi linear pada konsumsi bahan bakar</figcaption></figure><h4>Konsep Dasar Linear Regression</h4><p>Teknik <em>linear regression </em>ini dipakai untuk memodelkan sebuah relasi antara variabel independen (predictor) dan variabel dependen (target). Tujuannya adalah untuk memprediksi atau menilai seberapa besar pengaruh dari suatu variabel penyebab (x) terhadap variabel hasil (y). Linear regression memiliki konsep dasar yang sama seperti persamaan garis lurus:<br><strong><em>y = mx + c<br></em></strong>y = nilai yang ingin kita prediksi (<em>Dependent variable</em>)<br>x = nilai yang digunakan untuk membuat prediksi (<em>Independent Variable)<br></em>m = <em>slope</em>, merupakan kemiringan garis yang menunjukkan seberapa besar perubahan y ketika x berubah<br>c = <em>intercept</em>, merupakan nilai <em>y</em> saat <em>x = 0</em></p><h4>Tahapan Menggunakan Model Linear Regression</h4><p>Ada beberapa tahapan penting yang harus dilakukan ketika menggunakan teknik linear regression ini. Tahapan tersebut antara lain:</p><p><strong>Mempersiapkan data : </strong>pada proses ini, kita harus mengumpulkan data dan memfilter data-data tersebut. Dataset yang diambil harus ada relevansi (hubungan) terhadap masalah apa yang ingin kita pecahkan. Kita juga harus memastikan bahwa dalam mengumpulkan data terbebas dari kesalahan pencatatan. Selain itu, data yang dikumpulkan harus terhindar dari duplikasi, outliers (data yang secara signifikan berbeda), atau hilang. Data yang dikumpulkan juga harus cukup dan bervariasi untuk membangun model<em> linear regression</em> yang bagus.</p><p><strong>Memisahkan <em>data training</em> dan <em>data testing</em> : </strong>Pada proses ini, memisahkan <em>data training</em> dan <em>data testing</em> dilakukan untuk membagi <em>dataset</em> menjadi dua bagian yaitu data untuk melatih model dan data untuk menguji model. <em>Training data</em> untuk digunakan melatih model digunakan untuk menemukan hubungan antara variabel independen dan dependen lalu model akan belajar dari data tersebut untuk menghasilkan persamaan yang bisa digunakan untuk prediksi. Sedangkan <em>test data</em> digunakan untuk menguji seberapa baik model yang sudah dilatih bekerja pada data baru yang belum pernah dilihat model. Selama pemisahan, kita perlu menentukan persentase data yang akan dialokasikan untuk <em>training </em>dan <em>test data</em>, misalnya 80% untuk <em>training</em> dan 20% untuk <em>test</em>. Ini dilakukan untuk memastikan bahwa model dapat digeneralisasi dan tidak hanya menghafal data sehingga menghasilkan prediksi yang tepat saat diterapkan.</p><p><strong>Visualisasi : </strong>Proses visualisasi dalam regresi linear dimulai dengan memetakan data asli sebagai titik-titik pada grafik lalu sebuah garis lurus dibuat untuk menunjukkan hubungan antara dua variabel. Garis tersebut menggambarkan bagaimana satu variabel berubah seiring dengan perubahan variabel lainnya sehingga dapat membantu kita memahami hubungan linear antara kedua variabel tersebut secara visual.</p><p><strong>Melatih model : </strong>Pada proses melatih model, model regresi linear memerlukan pemanfaatan data untuk mempelajari hubungan antara variabel input dan output di mana model mencari pola dalam data untuk menentukan koefisien yang menggambarkan pengaruh setiap variabel input terhadap prediksi output.</p><p><strong>Menguji model : </strong>Proses menguji regresi linear melibatkan pemberian data uji kepada model yang yang telah dilatih untuk memprediksi hasil, lalu membandingkan hasil prediksi tersebut dengan nilai sebenarnya untuk menilai akurasi model dalam memprediksi hubungan antara variabel input dan output.</p><h4>Penerapan Linear Regression (Multiple Linear Regression)</h4><p>Pada penerapan linear regression, kami menggunakan data yang didapat dari google colab pada kelas minggu ke-3 yaitu data mengenai beberapa kendaraan, namun kami memodifikasinya dengan menambahkan seribu row (random menggunakan numpy) lalu data tersebut kami convert menjadi file (.csv).</p><p>Link Google Colab : <a href="https://colab.research.google.com/drive/12hLpMHYaBNFSMmgsSZtM-c5-XK8jXbS6?usp=sharing">Linear Regression</a></p><p><strong>Mempersiapkan Data :</strong></p><p>Tahap pertama yaitu mengimpor library yang dibutuhkan dan data yang sudah di convert menjadi .csv dibaca menjadi dataframe dengan variabel <em>df </em>serta.</p><pre>#Mengimpor semua library yang dibutuhkan<br>import pandas as pd<br>import numpy as np<br>import sklearn.linear_model as lm<br>import matplotlib.pyplot as plt<br>from sklearn.linear_model import LinearRegression<br>import sklearn.model_selection as ms</pre><pre>#Membaca file .csv<br>df = pd.read_csv(&#39;data kendaraan.csv&#39;)</pre><p><strong>Korelasi Data :</strong></p><p>Tahap kedua yaitu memvisualisasikan tabel korelasi dengan menggunakan library seaborn (agar lebih mudah melihatnya)untuk mengetahui seberapa kuat hubungan antar kolom. Tujuan lainnya untuk memilih kolom yang akan dijadikan variabel independen (predictor).</p><pre>#Membuat visualisasi korelasi untuk melihat hubungan antar kolom<br>corr_matrix = df.corr(method=&#39;pearson&#39;)<br>plt.figure(figsize=(10, 8))<br>sns.heatmap(corr_matrix, annot=True, cmap=&#39;coolwarm&#39;)<br>plt.title(&#39;Tabel Korelasi&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/763/1*DoJk8fVa4o3mYxP5G_dFJA.png" /><figcaption>Tabel korelasi antar kolom</figcaption></figure><p>Dapat dilihat pada matriks tersebut bahwa hubungan liter dengan kilometer memiliki korelasi yang sangat signifikan, hal itu ditunjukkan dengan index “1”(semakin mendekat 1 maka semakin berhubungan) dan berwarna merah. Sedangkan untuk kolom lainnya, terlihat angka yang ditampilkan mendekati 0 itu berarti kolom tersebut tidak signifikan terhadap kolom lainnya (misal liter dengan RPM adalah -0.049 berarti perubahan pada RPM tidak berpengaruh signifikan pada konsumsi bahan bakar).</p><p><strong>Menentukan Kolom yang Akan Menjadi Predictor :</strong></p><pre>corr_with_harga = df.corr()[&#39;Kilometer&#39;].sort_values(ascending=False)<br>print(corr_with_harga)<br><br>output :<br>Kilometer    1.000000<br>Liter        0.999435<br>Suhu         0.029521<br>Kecepatan   -0.003806<br>Penumpang   -0.012420<br>Bagasi      -0.014285<br>RPM         -0.052590</pre><p>Tahap ini, kami menentukan kolom untuk dijadikan predictor, kami memilih 3 kolom teratas yang korelasinya paling signifikan. Kolom tersebut adalah <em>liter, suhu, kecepatan.</em></p><p><strong>Membuat Variabel Predictor dan Target :</strong></p><pre>X = df[[&#39;Liter&#39;, &#39;Bagasi&#39;, &#39;Suhu&#39;]]<br>y = df[&#39;Kilometer&#39;]</pre><p>Kami mengambil kolom <em>liter, suhu,</em> dan <em>kecepatan </em>sebagai predictor dan mengambil kolom <em>kilometer </em>untuk target.</p><p><strong>Memisahkan Data Training dan Data Testing :</strong></p><pre>#memisahkan data training dan data testing<br>X_train, X_test, y_train, y_test = ms.train_test_split( X, y, test_size = 0.2, random_state = 0)<br><br>#Melatih model<br>model = lm.LinearRegression()<br>model.fit(X_train, y_train)</pre><p>Pada kasus ini kami mencoba mengambil 80% data sebagai training data dan 20% sebagai data untuk mengetes model. Setelah itu, model akan dilatih dengan data training yang kita gunakan.</p><p><strong>Nilai Intercept dan Kemiringan Garis :</strong></p><pre>print(&#39;intercept = &#39;, model.intercept_)<br>print(&#39;slope = &#39;, model.coef_)<br><br>output :<br>intercept =  -0.554764444204352<br>slope =  [1.09280610e+01 3.78684462e-04 1.78390958e-02]</pre><p>Sebenarnya jika tidak menggunakan tahap ini tidak apa-apa, namun jika kita ingin mengetahui berapa nilai intercept dan kemiringan garis, kita bisa menggunakan code ini. Setelah kita tahu intercept dan slopenya, kita bisa memasukkan nya kedalam rumus yaitu :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/690/1*81oSE73B32LlaPr2vb8Epw.png" /></figure><p><strong>Menguji Model</strong> :</p><pre>y_pred = model.predict(X_test)<br>print(&#39;Mean Error:&#39;, abs(np.mean(y_pred - y_test)))<br><br>output :<br>Mean Error: 0.5505371511155053</pre><p>Untuk menguji model yang kami buat, kami perlu mengetesnya terlebih dahulu, apakah model tersebut akurat atau tidak. Terlihat pada output, error yang dihasilkan rata-rata hanya 0,55 an.</p><p>Sebagai perbandingan, ketika data yang kami gunakan adalah data dengan 66 row, tingkat error yang kami dapatkan yaitu 2,29 an. (hal ini menunjukkan bahwa jumlah data berpengaruh terhadap keakuratan prediksi)</p><h4>Kesimpulan</h4><p>Pada aktivitas mandiri yang telah kami lakukan ada beberapa hal penting yang kami dapatkan untuk membuat model linear regression yang baik. Hal pertama yaitu jumlah data, ketika jumlah data kita sedikit, maka prediksi yang ditampilkan oleh model memiliki tingkat error yang tinggi, hal ini dikarenakan jumlah data untuk training model sangat sedikit sehingga model hanya belajar sedikit saja. Hal kedua yaitu pemilihan predictor, untuk memilih predictor yang tepat maka kita harus memperhatikan korelasi antar kolomnya, dalam kasus ini kami mencari 3 kolom dengan korelasi yang paling signifikan lalu kami pilih 3 kolom dengan korelasi yang paling signifikan. Dengan memperhatikan dua hal tersebut, model linear regression memiliki tingkat error yang kecil.</p><p><a href="https://colab.research.google.com/drive/12hLpMHYaBNFSMmgsSZtM-c5-XK8jXbS6?usp=sharing">Google Colab</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f9f2805cc499" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Topic 7 — Cryptography]]></title>
            <link>https://medium.com/@teoinsani/topic-7-cryptography-02f49c8561e4?source=rss-3f514e555a66------2</link>
            <guid isPermaLink="false">https://medium.com/p/02f49c8561e4</guid>
            <dc:creator><![CDATA[Teofilus Satria Rada Insani]]></dc:creator>
            <pubDate>Fri, 27 Oct 2023 16:51:56 GMT</pubDate>
            <atom:updated>2023-10-27T16:51:56.186Z</atom:updated>
            <content:encoded><![CDATA[<h3>Topic 7 — Cryptography</h3><p>Laporan ini merupakan hasil kegiatan eksplorasi mandiri dari perkuliahan Pengantar Informatika dan Komputasi untuk Pertemuan Ketujuh tentang Keamanan Informasi di Universitas Pelita Harapan. Tulisan ini disusun oleh <strong>Rafelixa Reynard Isak </strong>dan <strong>Teofilus Satria Rada Insani</strong>. Pada tugas eksplorasi ini, kami mempelajari beberapa metode “Cryptography” melalui situs (<a href="https://www.cryptool.org/en/cto/">https://www.cryptool.org/en/cto/).</a></p><p>Definisi “<em>Cryptography</em>” adalah sebuah teknik untuk melindungi informasi yang akan disampaikan kepada orang tertentu. Jadi hanya orang yang dituju saja yang dapat mengerti tentang informasi yang kita sampaikan. Kriptografi digunakan untuk melindungi sebuah data atau informasi dari kebocoran, pengubahan, dan pengungkapan dari pihak tidak berwenang dari sebuah informasi. Kriptografi ini memodifikasi sebuah data asli (<em>plain</em>) menjadi data yang tidak dapat dibaca (<em>ciphertext</em>) oleh orang yang tidak mempunyai kunci untuk membaca sebuah <em>ciphertext</em>.</p><p>Terdapat 3 kategori metode terkait ilmu “Cryptography” yang kami eksplorasi yaitu: <em>Cypher, Codings, Cryptanalysis.</em></p><p>Secara general, yang termasuk kategori <strong><em>Cypher</em></strong> adalah metode yang mengenkripsi sebuah informasi atau pesan dengan sebuah algoritma. Metode ini menuliskan kembali pesan atau informasi (<em>plaintext</em>) yang ingin disampaikan kepada yang tertuju dengan sebuah kode rahasia (<em>ciphertext</em>) yang di generate melalui sebuah kunci enkripsi yang hanya diketahui oleh kedua pihak. Pihak tertuju membutuhkan kunci dekripsi untuk menterjemahkan sebuah <em>ciphertext </em>sehingga dapat mengerti informasi apa yang disampaikan oleh pembuat pesan.</p><p>Sedangkan yang termasuk metode <strong><em>Codings</em></strong><em> </em>adalah metode yang mempersulit sebuah pesan untuk dapat dibaca dengan tujuan agar orang tidak dengan mudah untuk mengetahui sebuah pesan. Untuk menterjemahkan sebuah kode dibutuhkan <em>codebooks </em>yang berisi sebuah daftar kode enkripsi. <em>Codings</em> mengubah pesan menjadi satu format kode contohnya seperti <em>barcode </em>pada bungkus makanan, untuk dapat mengetahui pesan dalam barcode tersebut, dibutuhkan optical scanner yang akan mengubahnya menjadi informasi makanan tersebut.</p><p>Sementara <strong><em>Cryptanalysis</em></strong> adalah proses analisa sebuah sistem dalam informasi untuk mengerti sebuah kerahasiaan dari sistem itu. <em>Cryptanalysis </em>ini juga berguna untuk menjebol sistem keamanan dalam <em>cryptographic</em> serta mendapatkan akses ke informasi dari sebuah pesan yang terenkripsi bahkan saat kunci dekripsinya tidak diketahui.</p><p>Untuk kategori “Cypher” terdapat banyak metode. Pada kegiatan ekplorasi kali ini, kami memilih 3 metode yang akan kami bahas lebih lanjut yaitu: <strong>Atbash, Rail Fence, Vernam.</strong></p><h4>Atbash</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/488/0*wPznDljN0mXBiV1C.PNG" /></figure><ul><li><strong>SEJARAH </strong>| Dalam sejarah dicatat bahwa <em>atbash</em> merupakan metode kriptografi tertua yang pernah diketahui oleh manusia. Atbash ini sudah ada sekitar tahun 500 sebelum masehi yang dipakai oleh orang Yahudi (ahli taurat) saat itu, mereka memakainya untuk mengenkripsi teks Alkitab dan teks lainnya. Nama atbash ini berasal dari alfabet dalam bahasa Ibrani yaitu <em>Aleph, Tav, Bet, and Shin</em>. <em>Atbash</em> ini juga banyak di adopsi oleh berbagai kebudayaan seperti Yunani dan Roma, mereka menggunakannya untuk kepentingan mereka sendiri-sendiri. Penggunaan <em>atbash</em> ini cukup lama hingga pada masa abad pertengahan dan era <em>Renaissance</em>.</li><li><strong>DEFINISI</strong> | <em>Atbash </em>adalah <em>cipher </em>monoalfabetik yang bersifat subtitusi, dengan kata lain huruf <em>plaintext</em> akan ditukar dengan huruf-huruf kode dan algoritma yang telah ditentukan.</li><li><strong>CARA KERJA </strong>| <em>Atbash </em>mempunyai algoritma dan cara kerja yang sederhana. Sesuai asal namanya, <em>ciphertext </em>dalam bahasa aslinya aleph ditukar dengan taw dan bet ditukar dengan shin. Maka dalam penerapannya, sebuah kalimat atau kata, setiap hurufnya ditukar atau di substitusi dengan huruf lainnya yang bersebrangan sesuai dengan aturan. Dalam bahasa aslinya aturan tersebut dapat dilihat pada gambar [Aturan Atbash dalam Bahasa Aslinya]. <em>Atbash </em>ini telah diadaptasi ke <a href="https://id.wikipedia.org/wiki/Alfabet_fonetik_NATO">alfabet fonetik internasional</a> degan aturan sebagai berikut : A(plain) menjadi Z(cipher), B(plain) menjadi Y(cipher), dan seterusnya yang dapat dilihat dari gambar [Aturan Atbash dalam alfabet internasional].</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2zH-w1Jzt_j1efutSAeT7Q.png" /><figcaption><a href="https://en.wikipedia.org/wiki/Atbash">Aturan Atbash dalam alfabet internasional</a></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/609/1*E93kXuXQPiytjpvQBhpSyA.png" /><figcaption><a href="https://www.theology.ox.ac.uk/article/crack-the-code#:~:text=It%20is%20a%20simple%20substitution,%2C%20taw%2C%20bet%20and%20shin.">Aturan Atbash dalam Bahasa Aslinya</a></figcaption></figure><ul><li><strong>KELEBIHAN </strong>| <em>Atbash </em>memiliki beberapa kelebihan yang menjadikannya <em>cipher </em>yang sering dipakai kala itu. Kelebihan yang paling utama yaitu bahwa metode <em>atbash </em>ini sangat mudah untuk digunakan oleh semua kalangan, mereka yang memakainya hanya perlu mengubah satu huruf menjadi huruf kebalikannya dalam aturan. Dengan kata lain, atbash hanya membutuhkan satu kunci untuk mengenkripsi dan mendekripsi sebuah pesan. Kelebihan atbash lainnya yaitu bahwa metode ini hanya membutuhkan satu algoritma saja untuk mengenkripsi dan mendekripsi. Hal ini membuat kedua pihak menjadi lebih cepat dan mudah dalam mengirim dan menerima sebuah informasi.</li><li><strong>KEKURANGAN </strong>| Karena kemudahannya dalam mengenkripsi serta mendekripsinya, <em>atbash </em>menjadi metode yang sangat lemah untuk melindungi sebuah informasi. Maka pihak ketiga akan lebih mudah untuk mengetahui sebuah informasi yang dienkripsi menggunakan metode <em>atbash</em>. Pihak ketiga dengan mudah menganalasis sebuah algoritma untuk mendekripsi <em>ciphertextnya</em>. Karena <em>atbash </em>menggunakan huruf-huruf yang fiks, maka penyerang akan lebih cepat mengetahui pola aturan <em>atbash</em>.</li></ul><h4>Rail Fence</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/627/0*KTuIYsmK3kkgSt3M.jpg" /></figure><ul><li><strong>SEJARAH </strong>| Rail fence ini merupakan metode yang disempurnakan dari sebuah alat yang bernama scytale (alat yang memiliki pita panjang dari daun papirus dan sebatang silinder) untuk mengenkripsi dan mendekripsi sebuah pesan. Scytale kemudian disederhanakan oleh mereka dan lahirlah Rail Fence. Daripada mereka harus menggunakan batang silinder, mereka menuliskannya secara horizontal. Cipher metode ini sangat populer pada saat terjadinya perang saudara dan para pengintai pada saat itu. Pada akhir abad ke-19 metode ini mulai ditinggalkan karena munculnya kriptografi yang lebih aman.</li><li><strong>DEFINISI</strong> | Rail fence cipher adalah jenis sandi transposisi yang sederhana dengan kata lain rail fence merupakan salah satu teknik untuk menyamarkan tulisan dengan mengubah posisi karakter dengan bentuk diagonal ke bawah dan ke atas.</li><li><strong>CARA KERJA </strong>| Dahulu, pada zaman Yunani kuno, untuk mengenkripsi pesan, mereka menuliskan pesan di sebuah pita secara spiral dengan sebuah benda silinder dan melepasnnya setelah selesai menulis. Untuk mendekripsinya, penerima pesan harus membungkus sebuah silinder dengan pita tersebut secara spiral dan membacanya secara sepiral juga. Namun cara tersebut dianggap terlalu rumit, maka dari itu, disederhanakanlah menjadi rail fence yang berubah transposisi sederhana. Untuk mengenkripsi, penulis pesan menuliskan pesannya dengan berpola zigzag atas bawah secara horizontal lalu dituliskan kembali menjadi ciphertext dengan membacanya per baris. Untuk menuliskannya secara zigzag, harus ditentukan dulu berapa baris yang akan dituliskan. Setelah itu, plaintext akan dituliskan melalui baris 1 kolom 1 lalu dilanjutkan dengan baris 2 kolom 2, dan selanjutnya(dapat dilihat pada gambar [pola rail fence]). Contoh gambar tersebut memiliki 3 baris kebawah.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/627/0*6_X1r6Jh24-Oh9NL.jpg" /><figcaption>pola rail fence</figcaption></figure><ul><li><strong>KELEBIHAN </strong>| Kriptografi ini termasuk ke dalam kriptografi yang mudah untuk digunakan. Algoritma yang dipakai dapat dengan mudah dimengerti dan diimplementasikan, menjadikannya pilihan yang paling banyak dipakai dalam mengirim pesan pada zaman Yunani Kuno. Selain itu, rail fence dapat memberikan perlindugan terhadap serangan cepat atau yang biasa disebut brute force karena ada banyak kemungkinan pergeseran pada pesan aslinya. Kelebihan selanjutnya yaitu tidak memerlukan perangkat khusus dalam mengenkripsi serta mendekripsi, hanya membutuhkan pensil dan kertas. Kelebihan lainnya yang dimiliki oleh rail fence yaitu kemudahannya dalam mendekripsi jika memiliki kunci dekripsi namun akan sulit jika tidak memiliki kunci dekripsi karena pihak ketiga harus mencoba baris satu persatu.</li><li><strong>KEKURANGAN </strong>| Metode rail fence ini memiliki beberapa kelemahan yang signifikan dan fundamental. Kelemahan pertama yaitu metode ini memiliki pola yang terlihat, pesan yang dienkripsi akan terlihat memiliki sebuah pola yang nantinya akan mudah untuk dilihat oleh pihak ketiga, semakin panjang pesan yang dikirim maka akan semakin terlihat juga pola yang membentuk cyphertext tersebut. Kelemahan selanjutnya yaitu dapat dipecahkan melalui metode brute force (mencoba satu-satu). Meskipun akan lama, memecahkan suatu cyphertext (rail fence) bisa dengan mencoba semua kemungkinan pergeseran pada pesan. Hal tersebut membuat metode rail fence ini menjadi rentan terhadap serangan brute force. Maka dari itu, rail fence ini tidak cocok untuk melindungi informasi yang sangat rahasia, biasanya rail fence ini dipakai untuk tujuan pendidikan dan hiburan saja.</li></ul><h4>Vernam</h4><ul><li><strong>SEJARAH </strong>| Awal pengembangan pada tahun 1917 oleh Gilbert Vernam. Awalnya ia mengembangkan ide ini dari penggunaan kunci panjang dan acak untuk mengenkripsi sebuah pesan. Kunci tersebut hanya akan digunakan sekali saja dan tidak akan pernah digunakan kembali. Setelah mengembangkannya dengan berbagai percobaan, Vernam mendapatkan hak paten pada tahun 1919 yang diberi nama “<em>Cipher Printing Telegraph Systems For Secret Wire and Radio Telegraphic Communications</em>”. Hak paten ini menjadikan paten pertama dalam metode one-time pad. Setelah mendapatkan paten, vernam dipakai dalam perang dunia II untuk menjaga suatu informasi rahasia pihak militer. Amerika Serikat adalah negara yang banyak memakai metode vernam dalam menjaga informasi rahasia mereka dari musuh karena metode inilah yang paling aman untuk digunakan pada masa itu.</li><li><strong>DEFINISI </strong>| vernam adalah penyandian dengan kode simetris yang menggabungkan teks biasa dengan data acak atau pseudorandom dengan panjang yang sama untuk menghasilkan kode menggunakan fungsi boolean yaitu “<em>exclusive or</em>” (XOR).</li><li><strong>CARA KERJA</strong> | Vernam mengenkripsi pesan dengan kunci yang sama panjang dengan pesannya. Untuk mengenkripsi pesan, kunci yang akan dibuat harus benar-benar acak agar tidak mudah diketahui oleh pihak lain dan tidak boleh digunakan kembali. Kunci tersebut terdiri dari karakter yang dipilih secara acak. Setiap karakter dalam pesan asli akan dilakukan pengkodean dengan operasi XOR dalam boolean. Operasi XOR akan menghasilkan 0 apabila kedua karakter dari pesan asli dan kunci sama. Operasi XOR akan menghasilkan 1 jika kedua karakter dari pesan asli dan kunci berbeda. Setelah operasi XOR dilakukan, kita akan mendapat sebuah pesan yang telah terenkripsi. Untuk melakukan dekripsi kita memerlukan kunci yang sama dan melakukan operasi XOR secara terbalik yaitu dari pesan yang terenkripsi melalui kunci. Contoh dari cara pemakaian metode vernam adlaah sebagai berikut</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/778/1*KaD-5dwQX6G8IcoE5SMvpw.png" /><figcaption>image from <a href="https://www.geeksforgeeks.org/vernam-cipher-in-cryptography/">geeksforgeeks.org</a></figcaption></figure><ul><li><strong>KELEBIHAN </strong>| Metode vernam cipher ini merupakan metode enkripsi yang sangat aman karena vernam membutuhkan kunci sekali pakai. Operasi XOR dan kunci dengan karakter yang sangat acak membuat teks yang terenkripsi menjadi sangat sulit jika tidak memiliki kunci yang tepat. Kunci sekali pakai yang digunakan menjadikan metode ini tahan terhadap serangan yang berulang serta memastikan tidak akan pernah di dekripsikan oleh orang yang tidak mempunyai kunci itu. Sedangkan metode lainnya kadang mudah untuk ditebak karena menggunakan satu kunci untuk semua pesan enkripsi. Karena menggunakan kunci dengan karakter yang acak, pengenkripsian dengan metode vernam tidak rentan terhadap serangan yang menganalisis pola dalam sebuah ciphertext, ciphertext yang terbentuk tidak memiliki pola apapun.</li><li><strong>KEKURANGAN </strong>| Kekurangan utama dari metode vernam ini adalah kuncinya yang benar-benar acak sehingga sulit untuk dilakukan analisa bahkan oleh pembuat kunci itu sendiri. Pembuat kunci harus memastikan bahwa kunci yang dibuat benar-benar acak dan tidak ada pola pada kunci tersebut. Karena kunci ini benar-benar acak, kunci itu harus benar-benar diantar dan sampai ke tangan penerima pesan. Pengamanan menjadi hal penting disini. Berbeda dengan metode lainnya, vernam membutuhkan biaya lebih untuk melakukan distribusi kuncinya apalagi jika kedua pihak terletak pada jarak yang jauh. Selain itu, metode ini tidak praktis untuk pesan yang panjang karena kunci yang panjangnya sama dengan pesan itu sendiri. Pada era modern ini, vernam sangat tidak praktis karena kunci yang acak itu, metode enkripsi yang lebih praktis dari pada vernam pada saat ini adalah AES (Advanced Encryption Standard).</li></ul><p>Sedangkan untuk kategori Codings, 1 metode yang akan kami bahas adalah <strong>Barcode.</strong></p><h4>Barcode</h4><ul><li><strong>SEJARAH | </strong>Ide dari <em>barcode</em> pertamakali muncul pada tahun 1930 yang ditulis didalam tesis milik Wallace Flint, seorang mahasiswa jurusan bisnis lulusan Harvard. Dia menemukan “<em>Automated Grocery System</em>” yang menggunakan <em>Punch Card</em> dan <em>Flow rack. </em>Wallace Flint membuat sistem pemeriksaan barang untuk perusahaan retail. Awalnya, teknologi <em>barcode</em> digunakan oleh perusahaan retail, lalu diikuti oleh Perusahaan industry. Pada tahun 1948, pemilik toko makanan lokal meminta <em>Drexel Institute of Technology</em> di Philadelphia, untuk membuat sistem pembacaan informasi produk. Kemudian Bernard Silver dan Norman Joseph Woodland, bergabung untuk mencari solusi. Woodland awalnya mengusulkan tinta yang sensitive terhadap sinar ultraviolet. Prototype tersebut ditolak karena tidak stabil dan mahal. Pada Tanggal 20 Oktober 1949, Woodland dan Silver berhasil membuat prototype yang lebih baik dan mengajukan paten. Desain <em>barcode</em> saat itu sebenarnya tidak terlalu mirip dengan <em>barcode</em> saat ini. Desain <em>barcode</em> pertama kali berupa lingkaran konsentris, mirip dengan <em>bullseye</em> dan polanya didasarkan pada kode morse. Lalu pertamakalinya kode <em>barcode</em> yang kita pakai sekarang ini digunakan secara komersial adalah pada tahun 1970, ketika <em>Logicon Inc.</em> membuat <em>Universal Grocery Products Identification Standard </em>(UGPIC).</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/765/1*lU2D9eCl0lOIiixvHF7URQ.png" /></figure><ul><li><strong>DEFINISI </strong>| Barcode atau kode bar adalah data optik yang berbentuk garis yang tersusun rapi dan dapat dibaca oleh mesin. Kode-kode yang ada pada produk berfungsi sebagai pembeda antara satu jenis produk dan jenis produk lainnya, sehingga memudahkan pengguna untuk menemukan produk tersebut.</li><li><strong>CARA KERJA | </strong>Umumnya cara kerja <em>barcode</em> yaitu dengan cara mengambil dan memindai simbol atau kode yang menjadi data elektrik, kemudian dikirim ke komputer dalam format data sederhana dan bisa dikenali dan dibaca. <strong>(1) </strong>Jadi pertama, <em>barcode scanner</em> akan menggunakan laser untuk menerangi tepat ke <em>barcode. </em><strong>(2)</strong> Garis-garis hitam yang terdapat pada <em>barcode</em> akan menyerap cahaya tersebut dan bagian yang berwarna putih akan diterangi dan akan memantulkan cahaya. <strong>(3)</strong><em>Scanner</em> akan mendekteksi nilai dari cahaya dan akan dikonversikan kedalam kedalam komputer dalam bentuk data yang bisa dibaca. Contohnya, garis-garis hitam akan dihitung 1 dan bagian yang berwarna putih dihitung 0. <strong>(4)</strong><em>Inventory Management</em> <em>Software</em> akan menerima data dan mengonversi informasi tersebut kedalam sistem. <strong>(5)</strong> Setiap <em>barcode</em> akan memiliki 12 digit angka dan normalnya akan terletak dibagian bawah produk untuk pencegahan hal yang tak diinginkan. Berikut apa yang diwakili setiap nomor pada <em>barcode</em>. Nomor pertama adalah Jenis Produk. Lima nomor setelah nomor pertama adalah Kode manufaktur (Mengidentifikasi produsen barang). Lima nomor disebelah kanan berikutnya adalah Kode produksi. Nomor terakhir adalah <em>Check Digit</em> (Berfungsi untuk mendeteksi kesalahan).</li><li><strong>KELEBIAHN | </strong><em>Barcode</em> banyak digunakan dalam dunia bisnis yang bergerak dengan sangat cepat, yang dimana efisiensi adalah suatu kunci kesuksesan. Menemukan cara menyederhanakan sebuah operasi dapat berdampak besar terhadap keuntungan. Salah satu alat yang dapat memberikan hasil kerja yang efisien adalah <em>barcode</em>. Dengan <em>barcode</em>, kita dapat mudah melacak dan mengelola daftar sumber daya penting milik perusahaan lalu memproses transaksi penjualan lebih cepat dan mengurangi kesalahan yang disebabkan manusia. Cukup gunakan <em>barcode</em> dan semua informasi akan langsung tercatat di dalam database. Manfaat dari <em>barcode</em> dengan kata lain yaitu memproses Input data lebih cepat dan tepat, penelurusan informasi data lebih akurat, mengurangi biaya dan meningkatkan kinerja manajemen, lalu kemampuan bersaing dengan kompetitor lebih terjaga.</li><li><strong>KEKURANGAN </strong>| <em>Barcode</em> tentu juga memilik sebuah kekurangan yaitu <em>barcode</em> hanya dapat mengidentifikasi informasi terbatas seperti produsen dan komoditas, data tidak dapat dibaca jika <em>barcode tag</em> rusak, informasi pada <em>barcode</em> mudah disalin, dan <em>barcode </em>yang berbasis teknologi optic hanya dapat dikenali pada kisaran sinar lurus jarak pendek yang diterima oleh <em>scanner</em>.</li></ul><p>Untuk kategori Cryptanalysis, 1 metode yang akan kami bahas adalah <strong>Graphical Frequency Analysis.</strong></p><h4><strong>Graphical Frequency Analysis.</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-G486JwbvHtG7fBVzt1JjA.png" /></figure><p><strong>SEJARAH</strong> | Dalam setiap bahasa, huruf-huruf individual muncul dalam teks alami dengan frekuensi yang unik bagi bahasa tersebut. Dalam bahasa inggris, huruf yang paling umum adalah E dengan frekuensi sekitar 12% lalu diikuti oleh huruf T dengan frekuensi sekitar 9%.</p><p>Sebuah <em>Monoalphabetic Substitution Cipher</em> dapat dengan mudah ditembus dengan analisis frekuensi. Jenis <em>Cipher</em> ini dapat dikenali dengan fakta bahwa tidak pernah dua karakter teks asli dipetakan oleh karakter sandi yang sama.</p><p>Setiap karakter teks asli diberi satu atau lebih karakter sandi yang membuat analisis frekuensi menjadi lebih sulit. Untuk memecahkan <em>Cipher</em> ini, karakter sandi yang muncul dihitung dan dibandingkan dengan frekuensi rata-rata hurud teks asli dalam bahasa nasional yang bersangkutan.</p><p><strong>DEFINISI</strong> | <em>Graphical Frequency Analysis</em> adalah teknik yang digunakan untuk menganalisis data kriptografi dengan menggambarkan frekuensi kemunculan berbagai elemen dalam data tersebut dalam bentuk grafik atau diagram. Teknik ini membantu kriptoanalis dalam mengungkap pola atau sifat-sifat kunci dalam data terenkripsi yang mungkin mengarah pada pemecahan kode enkripsi</p><p><strong>CARA KERJA</strong> | Dalam <em>cryptanalysi</em>s, <em>Graphical Frequency Analysis</em> adalah alat penting yang digunakan untuk mengungkapkan informasi tersembunyi dalam data terenkripsi. Dengan menganalisis frekuensi kemunculan elemen-elemen dalam data tersebut, kriptoanalisis dapat memahami lebih baik sifat-sifat enkripsi dan mengidentifikasi titik awal dalam Upaya pemecahan kode. Berikut cara kerja <em>Graphical Frequency Analysis:</em></p><ul><li>Pengumpulan data: Data berupa teks terenkripsi, pesan kriptografi, atau data lain yang perlu dipecahkan.</li><li>Identifikasi elemen yang akan dianalisis: Elem dapat berupa hurug, angka, simbol, atau n-gram (Kumpulan huruf atau karakter, seperti pasangan huruf atau triplet).</li><li>Analisis Frekuensi kemunculan: Menganalisis dan mengidentifikasi sejauh mana elemen-elemen tersebut muncul dalam teks terenkripsi.</li><li>Membuat grafik atau diagram: Data frekuensi yang dikumpulkan akan diwakili dalam bentuk grafik atau diagram.</li><li>Interpretasi Grafik: Mencari pola frekuensi yang tidak wajar atau mencurigakan.</li><li>Percobaan Dekripsi: Dengan bantuan dari informasi dari analisis frekuensi, maka dapat mencoba berbagai pendekatan untuk mendekripsi data. Contohnya, melakukan subtitusi huruf “e” yang diduga mungkin mewakili huruf “a”.</li></ul><p><strong>MANFAAT | </strong>Manfaat <em>Graphical Frequency Analysis</em> adalah sebagai berikut:</p><ul><li>Mengungkapkan Pola dalam data terenkripsi: Membantu mengungkapkan pola-pola dalam data terenkripsi, seperti frekuensi kemunculan elemen-elemen tertentu.</li><li>Bantuan dalam proses Dekripsi: Dapat memberikan petunjuk yang memungkinkan kriptoanalisis untuk mencoba berbagai strategi dekripsi.</li><li>Identifikasi bahasa atai karakteristik kunci: Dapat membantu dalam mengidentifikasi bahasa asli dari pesan tersebut atau menentukan karakterisitik kunci dari bahasa yang digunakan.</li><li>Pemecahan sandi subtitusi: <em>Graphical Frequency Analysis </em>sangat berguna dalam pemecahan sandi substitusi, seperti sandi Caesar yang dimana huruf-huruf dalam pesan terenkripsi digantikan oleh huruf-huruf tertentu.</li></ul><p><strong>KEKURANGAN</strong> | Kekurangan <em>Graphical Frequency Analysis </em>adalah sebagai berikut:</p><ul><li>Keterbatasan pada data terenkripsi yang kecil: Dalam kasus teks terenkripsi yang sangat pendek, frekuensi kemunculan elemen-elemen mungkin tidak mencerminkan pola bahasa dengan baik, sehingga analisisnya kurang efektif</li><li>Hanya efektif untuk sandi yang sederhana: Samgat berguna untuk mendekripsi sandi yang sederhana seperti sandi subtitusi atau sandi pergeseran dan kurang efektif digunakan pada sandi yang kompleks seperti sandi pergeseran.</li><li>Pentingnya bahasa yang digunakan: Tekniknya sangat bergantung kepada pemahaman bahasa yang digunakan dalam teks terenkripsi.</li><li>Rentan terhadap teknik perlindungan: Pengirim pesan terenkripsi dapat menerapkan teknik perlindungan seperti penggunaan kata kunci, padding, atau perubahan pola frekuensi, untuk mengacaukan Upaya dekripsi.</li><li>Memerlukan pengetahuan tentang bahasa dan konteks: Diperlukan pengetahuan tentang bahasa asli dan konteks pesan yang menjadi pembatas keefektivitasannya.</li><li>Hasil analisis bersifat statistik: Interpretasi dapat mengandalkan asumsi dan probabilitas dan ada kemungkinan kesalahan interpretasi</li></ul><h4>Kesimpulan</h4><p>Kenapa kita perlu mempelajari kriptografi?</p><p>Kriptografi memainkan peran penting dalam memastikan keamanan dan privasi di era digital, memungkinkan komunikasi dan transaksi yang aman, serta melindungi informasi rahasia dan data sensitif. Perkembangan dunia yang semakin terhubung secara digital, peran kriptografi akan terus meningkat dalam menjaga keamanan dan privasi individu, bisnis, dan pemerintah.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=02f49c8561e4" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>