<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Mahardi Nalendra Syafa on Medium]]></title>
        <description><![CDATA[Stories by Mahardi Nalendra Syafa on Medium]]></description>
        <link>https://medium.com/@mahardinalendra?source=rss-49804189581e------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*Wl7dk47zuyiR7X6_TfZhQA.jpeg</url>
            <title>Stories by Mahardi Nalendra Syafa on Medium</title>
            <link>https://medium.com/@mahardinalendra?source=rss-49804189581e------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sat, 21 Nov 2026 02:14:43 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@mahardinalendra/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Beat the SHL Test: Persiapan, Soal Latihan Gratis, Pengalaman, Tips & Trik]]></title>
            <link>https://medium.com/@mahardinalendra/beat-the-shl-test-persiapan-soal-latihan-gratis-pengalaman-tips-trik-f254a1c4e851?source=rss-49804189581e------2</link>
            <guid isPermaLink="false">https://medium.com/p/f254a1c4e851</guid>
            <category><![CDATA[shl]]></category>
            <category><![CDATA[interview-questions]]></category>
            <category><![CDATA[interview-tips]]></category>
            <category><![CDATA[interview-preparation]]></category>
            <dc:creator><![CDATA[Mahardi Nalendra Syafa]]></dc:creator>
            <pubDate>Mon, 17 Feb 2025 14:22:09 GMT</pubDate>
            <atom:updated>2025-02-17T14:22:09.731Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OvtsFksvb4GkJwSQQ1R4Dw.jpeg" /><figcaption>Image by snowing on Freepik</figcaption></figure><p><strong>Hai Teman-teman, </strong>pada kesempatan kali ini, aku ingin berbagi pengalamanku mengikuti tes assessment SHL di Indonesia, lengkap dengan materi belajar, strategi, serta tips dan trik. Aku mendapatkan kesempatan mengikuti tes ini saat menjalani proses seleksi Internship di AXA Mandiri Financial Services. Setelah berhasil melalui seleksi berkas dan interview, aku harus menghadapi beberapa sub-tes, yaitu <em>Personality Questionnaire, Numerical Reasoning</em>, dan <em>Verbal Reasoning</em>. Kini, Alhamdulillah aku diterima di posisi yang aku mau, dan semoga cerita ini bisa membantu kamu yang sedang mempersiapkan diri untuk tes serupa. <strong>Good luck!</strong></p><h3>Memahami Ujian SHL</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SjrmMChsXJZlzd_mgmrpAQ.png" /></figure><h4>Apa itu SHL?</h4><p>SHL adalah lembaga penyedia tes yang banyak digunakan perusahaan dalam proses perekrutan. Tes ini membantu memastikan bahwa kandidat yang direkrut benar-benar sesuai dengan posisi yang dibutuhkan.</p><p>Jenis-jenis Tes yang Aku Hadapi:</p><ol><li><strong>Tes Kepribadian (<em>Personality Questionnaire</em>)<br></strong>Tes ini menilai karakter dan kepribadian kamu, membantu perusahaan memahami apakah kamu cocok dengan budaya dan nilai perusahaan.</li><li><strong>Tes Kemampuan Numerik (<em>Numerical Reasoning</em>)</strong><br>Tes ini menguji kemampuanmu dalam mengolah dan menganalisa data numerik, suatu keterampilan yang sangat penting di dunia kerja.</li><li><strong>Tes Penalaran Verbal (<em>Verbal Reasoning</em>)</strong><br>Di sini, kemampuanmu dalam memahami dan menganalisa informasi teks diuji. Tes ini penting untuk menilai kemampuan komunikasi dan pemecahan masalah.</li></ol><p>Peraturan lain dan teknis shl aku rekomendasikan teman-teman untuk langsung membacanya di <a href="https://support.shl.com/categories.html?hl=en&amp;c=10_91_12_">website resmi shl indonesia</a> dan pastikan memahaminya sebelum mempersiapkan ujian.</p><h3>Persiapan-persiapan</h3><h4><strong>Persiapan Awal dan Sumber Belajar</strong></h4><p>Aku memulai persiapan dengan mencari soal-soal latihan yang serupa dengan tes SHL secara umum. Banyak website internasional menyediakan layanan latihan soal, meskipun sebagian berbayar. Untungnya, ada juga beberapa situs yang menyediakan trial gratis beserta pembahasan dan simulasi <em>timer </em>seperti kondisi ujian sebenarnya.</p><p><strong>Rekomendasi <em>Website </em>Latihan Gratis:</strong></p><p><strong>Tes Kemampuan Numerik (<em>Numerical Reasoning</em>):</strong></p><ul><li><a href="https://testttalent.com/free-numerical-shl/">TestTalent — Free Numerical SHL</a></li><li><a href="https://www.numericalreasoningtest.org/">Numerical Reasoning Test</a></li><li><a href="https://www.practiceaptitudetests.com/shl-style-numerical-reasoning-tests/">Practice Aptitude Tests — SHL Style Numerical Reasoning</a></li><li><a href="http://prepterminal.com/shl-numerical-reasoning">PrepTerminal SHL Numerical Reasoning</a></li><li><a href="https://member.assessmentday.com/member/member-area#/">Assessment Day</a></li></ul><p><strong>Tes Penalaran Verbal (<em>Verbal Reasoning</em>):</strong></p><ul><li><a href="https://www.prepterminal.com/shl-verbal-reasoning-test">PrepTerminal SHL Verbal Reasoning</a></li><li><a href="https://www.verbalreasoningtest.org/">Verbal Reasoning Test</a></li><li><a href="https://www.wikijob.co.uk/aptitude-tests/test-providers/practice-shl-tests/shl-verbal-practice">WikiJob — SHL Verbal Practice</a></li></ul><p>Dari berbagai tes gratis yang aku coba, aku memperoleh gambaran umum mengenai format dan tipe soal dalam tes SHL. Karena penyelenggara tes ini adalah SHL Indonesia, aku pun mencari materi yang lebih spesifik dan mendalam. Aku menemukannya di YouTube — cukup ketik kata kunci seperti <strong>‘pembahasan SHL’, ‘SHL Test Indonesia’</strong>, atau jika kamu ingin mencari yang lebih spesifik, misalnya <strong>‘SHL Bank Mandiri’.</strong> Di sana, kamu akan menemukan banyak video pembahasan dan strategi pengerjaan soal yang sangat mirip dengan soal yang muncul, bahkan kadang-kadang diambil dari dokumentasi tahun-tahun sebelumnya</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/786/1*izLuFpGoDp17wEF8lb4Y4w.png" /></figure><h3>Lesson Learned</h3><h4>Manajemen waktu adalah Kunci</h4><p>Salah satu pelajaran terpenting yang aku dapatkan adalah <strong>manajemen waktu</strong>. Meskipun aku sudah mempersiapkan materi dengan baik, di hari-H ternyata waktu menjadi musuh terbesar. Aku terlalu lama menghabiskan waktu pada awal tes, sehingga di bagian akhir, meskipun soal mudah, aku merasa terburu-buru dan tidak yakin.</p><p><strong>Tips untuk Mengelola Waktu:</strong></p><ul><li>Jangan terpaku pada soal yang terasa sulit.</li><li>Latih dirimu dengan simulasi tes berwaktu agar terbiasa dengan tekanan waktu.</li><li>Prioritaskan soal-soal yang kamu yakin bisa dijawab dengan cepat dan tepat.</li></ul><h4>Soal-soalnya mirip juga ya</h4><p>Soal-soal yang diujikan mirip dari soal latihan yang aku kerjakan, terutama soal yang berasal dari shl indonesia yang aku pelajari dari youtube. Bahkan walaupun yang aku pelajari soal shl dari perusahaan lain tapi tetap mirip bahkan hampir sama dengan soal yang aku terima. Jadi ini sangatlah menguntukngkan karena aku sudah tahu pertanyaan seperti ini saya perlu melakukan apa.</p><p>Demikianlah pengalamanku dalam mempersiapkan dan menghadapi tes SHL. <strong><em>Key takeaways</em></strong> di sini adalah:</p><ul><li>Familiarisasikan diri kamu dengan soal-soal SHL, terutama yang berfokus pada SHL Indonesia.</li><li>Manajemen waktu adalah kunci untuk menghindari kepanikan di saat-saat akhir.</li><li>Teruslah berlatih dan percaya pada kemampuanmu.</li></ul><p>Jangan lupa untuk terus belajar, tetap positif, dan berdoa. Semoga tips dan trik ini membantumu meraih hasil terbaik dalam tes SHL yaa. <strong>Good luck dan semangat!</strong></p><p>_________________________________________________________________</p><p><em>Contact</em> and <em>Connect </em>with me!!!</p><ol><li><strong>Linkedin</strong>: <a href="https://www.linkedin.com/in/mahardinalendra/">https://www.linkedin.com/in/mahardinalendra/</a></li><li><strong>Email</strong>: mahardinalendra@gmail.com</li><li><strong>GitHub</strong>: <a href="https://github.com/nalenndra">https://github.com/nalenndra</a></li><li><strong>X/Twitter</strong> : <a href="https://x.com/mahardinalen">https://x.com/mahardinalen</a></li><li><strong>Instagram </strong>: @mahardinalendra._</li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f254a1c4e851" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Journey on Achieving Master of Data Analysis Title ]]></title>
            <link>https://medium.com/@mahardinalendra/journey-on-achieving-master-of-data-analysis-title-a92702a237eb?source=rss-49804189581e------2</link>
            <guid isPermaLink="false">https://medium.com/p/a92702a237eb</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[universitas-gadjah-mada]]></category>
            <dc:creator><![CDATA[Mahardi Nalendra Syafa]]></dc:creator>
            <pubDate>Sat, 02 Nov 2024 09:00:39 GMT</pubDate>
            <atom:updated>2024-11-02T10:31:48.574Z</atom:updated>
            <content:encoded><![CDATA[<blockquote><strong>“hah??? woii real kah ini?? Alhamdulillahhh!!!”</strong><br>Itu adalah kalimat spontan yang keluar waktu tahu kami berhasil menjadi juara. Rasanya campur aduk, antara bahagia, bangga, dan lega. Pengalaman mengikuti kompetisi analisis data di tingkat internasional ini jelas menjadi salah satu “big step” dalam perjalanan karirku. Setiap momen, pelajaran, dan tantangan yang aku lalui memberikan begitu banyak insight yang berharga. Dan di sini, aku bakal berbagi cerita dan pengalaman luar biasa itu.</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aHM8Kk9iylIHp-rP9kH12w.jpeg" /><figcaption>Gambar 1. Mahardi Nalendra (Penulis) dan Daffa Elgo.</figcaption></figure><h3>The Beginning : Niat dan Komitmen Penuh</h3><p>Sebelum kompetisi ini, aku sudah sering ikut lomba, mulai dari esai, infografis, hingga olimpiade. Tapi untuk kompetisi analisis data yang spesifik ke <em>data science</em>, belum pernah sampai tahap final. Ketika tahu ada <strong>Data Analysis Competition (DAC)</strong> yang diadakan oleh Institut Teknologi Sepuluh Nopember (ITS), aku langsung terpikir: <strong>ini kesempatan yang ga boleh disia-siakan</strong>.</p><blockquote>“Eh go, yuk serius beneran ini kayaknya bisa”<br>“Oke gas, serius ya?”</blockquote><p>Aku dan Daffa Elgo Santosa, teman satu jurusan di kampus, memutuskan buat membentuk tim Lumineux. Kami sudah sering bareng di berbagai proyek dan lomba sebelumnya, jadi aku tahu kalau kami serius, pasti ada peluang besar buat menang. Apalagi kompetisi ini naik tingkat ke level internasional. Persaingannya makin ketat, tapi dengan komitmen dan persiapan yang matang, kami yakin tetap ada kesempatan.</p><h3>Babak Penyisihan, Error terkecil atau Makalah yang Komperhensif? 🤔</h3><h4>Data dan Permasalahan</h4><p>Babak penyisihan diikuti oleh total <strong>135</strong> <strong>tim</strong> yang masing-masing terdiri dari dua orang. Kompetisi ini dilakukan di platform <strong>Kaggle</strong>, di mana kami diberikan data dan permasalahan dengan tema <strong>“Predictive Analytics on Sustainable Energy.”</strong> Fokusnya adalah bagaimana mengoptimalkan produksi energi matahari.</p><p>Kami diberikan tiga dataset:</p><ol><li><strong>Solar Power Output Data</strong> — berisi informasi tentang seberapa efektif panel surya menghasilkan energi dibandingkan kapasitas maksimumnya.</li><li><strong>Weather Data</strong> — mencakup kondisi cuaca di lokasi panel surya. Cuaca berperan penting dalam menentukan seberapa efisien panel surya berfungsi.</li><li><strong>Solar Irradiance Data</strong> — data radiasi matahari, faktor utama yang memengaruhi produksi energi surya, serta data kondisi angin dan suhu yang juga berdampak pada efisiensi panel.</li></ol><p>Data ini tersedia dalam skala harian hingga jam, dari tahun 2014 hingga 2017, sehingga satu hari bisa mencakup beberapa titik data per jam.</p><p>Objektifnya jelas: membangun model prediktif yang bisa secara andal memprediksi output energi surya pada <strong>Kuartal 4 tahun 2017</strong>. Hasil prediksi akan dihitung menggunakan <strong>Root Mean Squared Error (RMSE)</strong>, dan tim yang memiliki nilai error terendah bakal menduduki peringkat tertinggi. Selain itu, kami juga diminta untuk menulis makalah yang menjelaskan metode dan solusi yang kami terapkan.</p><h4>Eksplorasi Data</h4><p>Masalah ini dikategorikan sebagai <strong>Time-series Regression</strong>, jadi kami menggunakan kombinasi antara pendekatan <strong>statistika klasik</strong> dan <strong>machine learning</strong>. Langkah pertama yang kami lakukan adalah <em>data preparation</em>, di mana kami menggabungkan tiga dataset yang diberikan agar waktunya selaras satu sama lain. Setelah itu, kami melanjutkan dengan <strong>Exploratory Data Analysis (EDA)</strong> untuk memahami karakteristik data lebih dalam.</p><p>Saat menganalisis fitur target, yaitu <strong>Baseline Efficiency Output (%)</strong>, kami menemukan pola musiman yang berulang setiap tahun.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/379/1*XMQJ0jp2qE4k1mMPewRFUA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/744/1*E13t5UTrcMJaoV_mEzY2VQ.png" /><figcaption>Gambar 2. Eksplorasi fitur target</figcaption></figure><p>Kami kemudian melakukan visualisasi scatterplot untuk semua fitur dengan target variable untuk melihat korelasinya. Dari analisis ini, tiga pola utama muncul:</p><ol><li>Pola acak,</li><li>Peningkatan spesifik pada fitur tipe indeks, dan</li><li>Data yang menggerombol dalam rentang tertentu.</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RNrPFGSVWy46qLxUNAQgqA.png" /><figcaption>Gambar 3. Eksplorasi fitur-fitur prediktor</figcaption></figure><p>Kami juga meninjau hubungan antarfitur menggunakan <strong>heatmap</strong>, yang menunjukkan bahwa beberapa kelompok fitur memiliki korelasi positif dan negatif yang signifikan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/389/1*mxjQQwZjKXhBK8Dp9vNSHw.png" /><figcaption>Gambar 4. Heatmap korelasi antar fitur</figcaption></figure><p>Pengetahuan dari tahap ini memberi kami arah yang jelas untuk melanjutkan ke proses berikutnya, yaitu <strong>Pre-processing</strong> dan <strong>Feature Engineering</strong>.</p><h4>Tahap Terberat tapi Krusial: Pre-processing dan Feature Engineering</h4><p>Pada tahap ini, kami menangani data yang hilang menggunakan teknik imputasi <strong>backward fill</strong>. Teknik ini dipilih karena nilai yang berdekatan dalam data per jam biasanya tidak jauh berbeda, sehingga lebih masuk akal untuk menggunakan data sebelumnya sebagai pengganti.</p><p>Kami juga melakukan <strong>feature engineering</strong> dengan membuat fitur baru dan mendiskritisasi beberapa fitur, sesuai pola yang ditemukan pada tahap EDA. Fitur-fitur baru ini diharapkan bisa memberikan informasi yang lebih kaya dan membantu model memprediksi dengan lebih akurat.</p><h4>Here comes the modelling step! Statistik Klasik vs Machine Learning</h4><p>Dalam kasus <em>time-series regression</em>, kami mencoba dua pendekatan utama: <strong>statistika klasik</strong> dan <strong>machine learning</strong>.</p><p>Selama kuliah, kami sering diajari berbagai model statistik untuk masalah-masalah seperti ini. Namun, dalam kasus ini, data yang diberikan tidak konsisten dalam hal jangka waktu. Sebagai contoh, pada tanggal 10 Oktober, terdapat 6 titik data yang diambil pada jam 9 pagi, 10 pagi, 11 pagi, dan seterusnya. Tapi, pada 11 Oktober, hanya ada 3 titik data diambil, yakni pada jam 11 pagi, 12 siang, dan 3 sore. Kasus ini dikenal sebagai <strong>“Irregular-Time Series.”</strong></p><p>Karena data ini tidak beraturan, model statistik umum seperti <strong>ARIMA</strong>, <strong>ARCH-GARCH</strong>, dan <strong>Triple Exponential Smoothing</strong> tidak dapat digunakan tanpa mengimputasi semua titik data untuk setiap jam sepanjang 4 tahun. Jika dipaksa, hal ini akan menghasilkan terlalu banyak data yang diimputasi dan akhirnya menjadi berlebihan. Oleh karena itu, kami memilih menggunakan <strong>Irregular Auto Regressive (IAR)</strong>, model yang bisa menangani data dengan interval waktu yang tidak teratur.</p><p>Analisis menggunakan statistika klasik memang menuntut pengecekan banyak asumsi, seperti error yang harus terdistribusi normal, tidak saling berkorelasi, serta stasioneritas data. Memenuhi semua asumsi ini akan menghasilkan model yang kuat dan stabil. Namun, meskipun sudah mencoba model IAR, nilai RMSE yang dihasilkan masih terlalu tinggi. Dengan demikian, kami butuh pendekatan lain yang lebih sesuai.</p><p>Kami kemudian beralih ke <strong>machine learning</strong>, yang lebih fleksibel terhadap data yang tidak terstruktur. Selain itu, machine learning tidak membutuhkan banyak uji asumsi seperti statistika klasik. Model yang kami gunakan adalah algoritma berbasis pohon keputusan seperti <strong>Decision Tree</strong> dan pengembangannya, seperti <strong>XGBoost</strong>, <strong>LightGBM</strong>, <strong>AdaBoost</strong>, dan <strong>CatBoost</strong>.</p><p>Untuk memperkuat prediksi, kami menggabungkan beberapa model menggunakan teknik <strong>Ensemble Learning</strong>, di mana prediksi dari beberapa algoritma digabungkan untuk membentuk prediktor yang lebih kuat. Alur yang kami gunakan dapat dilihat pada gambar</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/527/1*Oq27fbIqEdAg1YjHEdfheA.png" /><figcaption>Gambar 5. Alur Metode</figcaption></figure><p>Dari model terbaik yang kami bangun, prediksi untuk satu kuartal ke depan kami submit untuk kompetisi dan dihitung nilai RMSE-nya. Kami melakukan total 22 kali submisi, mencoba berbagai metode untuk menurunkan error. Prediksi terbaik kami berhasil masuk <strong>peringkat 10 besar</strong>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QiG5kfxBSx8fl8If35fQpg.png" /><figcaption>Gambar 6. Hasil perankingan error (RMSE) terkecil</figcaption></figure><p>Namun, menjelang akhir babak penyisihan, kami masih merasa khawatir karena nilai RMSE kami masih cukup tinggi dibandingkan peserta lain. Setelah mempertimbangkan berbagai upaya yang sudah dilakukan dan waktu yang semakin menipis, kami memutuskan untuk fokus pada penulisan proposal. Karena kami meyakini bahwa,</p><blockquote>Kompetisi ini bukan hanya tentang siapa yang memiliki error prediksi terkecil. Lebih dari itu, ini juga tentang bagaimana menyusun solusi yang jelas, tepat, dan bisa dipahami oleh banyak orang.</blockquote><p>Saat hari pengumuman tiba, kami merasa tegang menunggu hasilnya. Dan, Alhamdulillah, kami lolos ke <strong>babak semifinal</strong>! Rasanya sangat melegakan dan membuat kami semakin bersemangat untuk melanjutkan ke tahap berikutnya di Surabaya.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/801/1*7M_tnLXZGMaBRaZxv5Ww7Q.png" /><figcaption>Gambar 7. Pengumuman lolos ke babak semifinal.</figcaption></figure><h3>Semifinal: Live Coding dan Presentasi dalam Bahasa Inggris 👨🏻‍💻🧑🏻‍💻</h3><h4>Penyusunan Strategi dan Infografis Analisis</h4><p>Sebelum berangkat ke Surabaya, kami diminta membuat infografis yang memuat hasil analisis dari babak penyisihan. Tantangannya adalah menyusun infografis yang padat, tapi tetap menarik dan jelas dalam menyampaikan poin-poin utama. Membuatnya ringkas sekaligus menarik secara visual bukan hal yang mudah. Tapi, dengan usaha maksimal, kami merasa puas dengan hasilnya. Cakep, kan? Hehe :DD</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WrUtjL1BMWd5tSgEpQT9MQ.png" /><figcaption>Gambar 8. Infografis keren tim Lumineux</figcaption></figure><p>Selain itu, kami juga <strong>mempersiapkan</strong> <strong>strategi</strong> untuk semifinal, yang formatnya berupa live coding selama 4 jam. Kami bakal diberi data baru dan sebuah permasalahan yang harus diselesaikan dengan analisis dan proposal, langsung di komputer yang disediakan panitia. Untuk menghadapi ini, kami menyusun strategi matang dengan mempertimbangkan berbagai skenario permasalahan. Mulai dari regresi, klasifikasi, clustering, <em>time series</em>, analisis teks, gambar, dan lainnya, semuanya kami pikirkan dan persiapkan pendekatannya.</p><p>Tugas kami juga dibagi secara efisien agar setiap orang fokus pada bagian yang sudah ditentukan, dan tentu saja manajemen waktu sangat penting di sini. Kami memperkirakan alokasi waktu dari mulai memahami masalah, menganalisis data, hingga menyusun solusi yang harus selesai dalam waktu 4 jam.</p><h4>Halooo Surabaya!!!! Gala Dinner dan Makan Makan :D</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Vec3aqpMyywg6QWJ0DPw-g.png" /><figcaption>Gambar 9. Opening Ceremony dan Gala Dinner</figcaption></figure><p>Begitu tiba di Surabaya, kami langsung menuju hotel. Sore harinya, kami mengikuti <strong>Gala Dinner</strong> — momen yang sangat dinanti, karena ini artinya waktunya makan-makan enak! Selain menikmati hidangan, kami juga bertemu peserta lain dari berbagai universitas. Seru banget cuy, ngobrol mulai dari pengalaman lomba sampai membahas hal-hal random seperti <em>sigma mindset +1000 aura </em>dan <em>skibidi toilet</em>. Ternyata orang-orang ini asyik juga, banyak dari mereka berlatar belakang <strong>computer science</strong> dengan minat di bidang data.</p><h4>Live Coding, 4 Jam Full</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*avGdPfw9_3lSGVcpmZ_14Q.jpeg" /><figcaption>Gambar 10. Sesi Live Coding</figcaption></figure><p>Akhirnya, hari<em> live coding</em> tiba. BAM! Tantangan yang diberikan ternyata tidak main-main. Kami diminta menganalisis faktor-faktor yang mempengaruhi <strong>efisiensi pembangkit listrik tenaga uap (PLTU)</strong>, baik dari variabel internal pembangkit maupun kondisi cuaca.</p><p>Yang bikin sulit? Kondisi datanya benar-benar tidak teratur! Data tersebar dalam beberapa file untuk tiap wilayah — Jawa Barat, Jawa Timur, Jawa Tengah, dan DKI Jakarta. Langkah pertama kami adalah menyusun ulang data agar bisa dianalisis dengan benar. Proses ini memakan waktu sekitar 1,5 jam — sangat krusial, karena pemahaman masalah dan pengolahan data yang tepat adalah fondasi penting untuk analisis selanjutnya.</p><p>Setelah penyusunan data selesai, kami mengajukan solusi menggunakan <strong>regresi data panel</strong> dan <strong>machine learning regression</strong>. Analisis kami berjudul “<em>Unraveling Stem Power Plants Performance by Internal and Environmental Factors using Panel Data and Machine Learning Regression</em>”. Suara ketikan terus terdengar sepanjang ruangan, semua peserta fokus penuh pada layar masing-masing selama 4 jam penuh.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*R9gX1HOdEqQn4U5sswt6_g.png" /><figcaption>Gambar 11. Metodologi babak semifinal</figcaption></figure><h4>Surabaya City Tour!!</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yPwOGpWYxyDQtdX8HhB_9g.png" /><figcaption>Gambar 12. Foto bersama saat Surabaya City Tour!!</figcaption></figure><p>Setelah sesi live coding yang intens, kami akhirnya bisa bernapas lega. Sore harinya, kami mengikuti <strong>city tour keliling Surabaya</strong>. Tujuan pertama kami adalah Museum Surabaya, di mana sejarah kota ini diceritakan dengan sangat menarik. Kami juga sempat berjalan-jalan di Jalan Tunjungan dan membeli oleh-oleh khas Surabaya sebelum kembali ke hotel, menunggu hasil pengumuman final.</p><h3>We made it to the Final!!! 😁</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Gw_Gs2uzo_rHaNAS7hZ25w.jpeg" /><figcaption>Gambar 13. Surat cinta lolos ke babak final</figcaption></figure><p>Setelah kembali ke hotel dan menikmati nasi goreng di dekat sana, kami menerima surat pengumuman. Alhamdulillah! Isinya: <strong>“<em>Congratulations!</em>”</strong> Kami lolos ke babak final! Ga percaya, tapi senangnya luar biasa. Surat itu datang sekitar jam 8.30 malam, dan meski sudah malam, kami langsung berkomitmen untuk menyusun <strong>presentasi</strong> sebaik mungkin karena kami diberi kesempatan sekali lagi.</p><p>Kami membuat <strong>presentasi PowerPoint</strong>, menyusun kemungkinan pertanyaan yang akan muncul, dan tentu saja berlatih presentasi. Ini adalah tantangan besar karena <strong>presentasi akan dilakukan dalam bahasa Inggris </strong>— dan ini adalah pengalaman pertama kami melakukannya secara penuh. Kami berlatih hingga pagi hari, bahkan tidur pun kami lakukan bergantian (shift-shift an) agar ga kesiangan untuk presentasi keesokan pagi harinya.</p><h4>Sudah Saatnya Presentasi</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*iBs82jBzgq9i6KrAc-atpw.png" /><figcaption>Gambar 14. Presentasi hasil analisis di depan dewan juri</figcaption></figure><p>Hari final tiba, dan kami mendapatkan urutan pertama untuk presentasi! :D<br>Deg-degan? Pastinya! Dewan juri terdiri dari para ahli dengan latar belakang statistik, matematika, dan data sains. Ada kepala program studi Statistika ITS, dosen Matematika Universitas Airlangga, serta dosen dari program Data Sains.</p><p>Alhamdulillah, presentasi kami berjalan lancar. Saat sesi tanya jawab, kami sering ditanya tentang <strong>bagaimana cara kami memetakan masalah, alasan menggunakan pendekatan tertentu, apakah hasil analisis sudah reliabel, dan bagaimana algoritma yang kami gunakan bekerja</strong>. Meski pertanyaannya cukup banyak dan berat, kami bisa menjawab dengan yakin. Semua yang kami lakukan berdasarkan teori yang sudah kami pelajari di kuliah, dan itu membantu kami memahami setiap langkah analisis secara menyeluruh.</p><h4>Seminar Peran Data Science dalam Sektor Energi</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Mu-2MfkrSmDEjwWk-hToEw.jpeg" /><figcaption>Gambar 15. Seminar analisis data</figcaption></figure><p>Sebelum pengumuman juara, kami mengikuti seminar tentang peran statistik dan data science di sektor energi. Pembicara utamanya adalah <strong>Prof. Dr.rer.pol. Heri Kuswanto, M.Si</strong>, seorang guru besar ITS dengan latar belakang komputasi statistik yang sering melakukan penelitian di bidang statistik dan machine learning. Beliau berbagi pengalaman tentang bagaimana data bisa diolah untuk memecahkan masalah di dunia nyata, terutama di sektor energi dan cuaca, seperti pada panel surya.</p><h3>Mendapatkan Gelar Master of Data Analysis II</h3><p>Akhirnya, setelah sesi webinar dan hiburan selesai, tibalah waktu yang paling dinanti — pengumuman juara. Lima tim finalis dipanggil ke depan untuk menerima pengumuman. Kami berdoa yang terbaik, karena bisa sampai di titik ini saja sudah luar biasa bagi kami. Dan… Alhamdulillah! Kami mendapatkan posisi kedua!! Yayy! Rasanya ga percaya, tapi sekaligus bangga luar biasa.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XoZv0ZM_GO1CROns2nqcyQ.png" /><figcaption>Gambar 16. The Champions</figcaption></figure><p>Pengalaman ini benar-benar tak terlupakan! Terima kasih yang sebesar-besarnya untuk rekan setimku, <strong>Daffa Elgo</strong>, dan juga Departemen Matematika UGM yang selalu mendukung kami dalam mengikuti kompetisi ini. Banyak sekali pelajaran berharga yang kami dapatkan.</p><p>Well, that’s a wrap! Terima kasih sudah membaca sampai sini! Semoga cerita ini bermanfaat, ya! Sampai jumpa lagi di tulisan-tulisan selanjutnya, hehehe!</p><p>_________________________________________________________________</p><p><em>Contact</em> and <em>Connect </em>with me!!!</p><ol><li><strong>Linkedin</strong>: <a href="https://www.linkedin.com/in/mahardinalendra/">https://www.linkedin.com/in/mahardinalendra/</a></li><li><strong>Email</strong>: mahardinalendra@gmail.com</li><li><strong>GitHub</strong>: <a href="https://github.com/nalenndra">https://github.com/nalenndra</a></li><li><strong>X/Twitter</strong> : <a href="https://x.com/mahardinalen">https://x.com/mahardinalen</a></li><li><strong>Instagram </strong>: @mahardinalendra._</li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a92702a237eb" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Penerapan Teknik Clustering Gaussian Mixture Model berdasarkan Karakteristik Akses Air Bersih serta…]]></title>
            <link>https://medium.com/@mahardinalendra/penerapan-teknik-clustering-gaussian-mixture-model-berdasarkan-karakteristik-akses-air-bersih-serta-914d36a663b5?source=rss-49804189581e------2</link>
            <guid isPermaLink="false">https://medium.com/p/914d36a663b5</guid>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[data-visualization]]></category>
            <category><![CDATA[universitas-gadjah-mada]]></category>
            <category><![CDATA[clustering]]></category>
            <dc:creator><![CDATA[Mahardi Nalendra Syafa]]></dc:creator>
            <pubDate>Sat, 24 Aug 2024 11:02:18 GMT</pubDate>
            <atom:updated>2024-08-24T11:02:18.665Z</atom:updated>
            <content:encoded><![CDATA[<h3>Penerapan Teknik Clustering Gaussian Mixture Model berdasarkan Karakteristik Akses Air Bersih serta Sanitasi Layak di Indonesia | Analisis Juara 2 SIC SATRIA DATA 2024</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4ArV3uPZcroYMNaiBUzNNQ.jpeg" /><figcaption>Dokumentasi Penutupan SATRIA DATA 2024. Dari kiri ke kanan: Rektor Universitas Udayana, Prof. Ir. Ngakan Putu Gede Suardana, M.T., Ph.D., IPU; Hanna Marie Octavia Br. Simanjuntak; Mahardi Nalendra Syafa (Penulis); dan Fabima Fadhlin Minallah Zidta.</figcaption></figure><p>Halo teman-teman!!<br>Beberapa waktu lalu timku berhasil meraih <strong>juara kedua</strong> dan mendapatkan medali perak dalam kompetisi <strong>Statistika Ria dan Festival Sains Data (SATRIA DATA) 2024</strong> pada divisi <strong>Statistic Infographic Competition (SIC)</strong>. Kompetisi bergengsi ini diselenggarakan oleh <strong>Balai Pengembangan Talenta Indonesia (BPTI)</strong>, <strong>Pusat Prestasi Nasional (PUSPRESNAS), Kementerian Pendidikan, Kebudayaan, Riset, dan Teknologi (KEMENDIKBUDRISTEK), Universitas Telkom</strong>. Kami bangga dapat maju ke tahap final, terpilih dari <strong>679 partisipan</strong> yang berkompetisi dari <strong>18 perguruan tinggi</strong> yang berbeda di Indonesia.</p><p>Pencapaian ini benar-benar merupakan hasil dari kerja keras dan kolaborasi tim yang luar biasa. Sebagai ketua tim, saya sangat menghargai dedikasi dan komitmen dari rekan-rekan saya, <a href="https://www.linkedin.com/in/hannamarie/"><strong>Hanna Marie Octavia Br. Simanjuntak</strong></a><strong> </strong>dan <a href="https://www.linkedin.com/in/fabimafmz/"><strong>Fabima Fadhlin Minallah Zidta</strong></a>. Terima kasih yang sebesar-besarnya juga saya sampaikan kepada dosen pembimbing kami, <a href="https://acadstaff.ugm.ac.id/NoormaMegawati"><strong>Dr. Noorma Yulia Megawati, S.Si., M.Sc</strong>.</a>, serta komunitas <a href="https://www.instagram.com/komastagama/"><strong>KOMASTAGAMA</strong></a> yang telah memberikan dukungan luar biasa dari awal hingga akhir kompetisi.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*B9Ju0dv2uPP3DxCLj7suJw.png" /><figcaption>Live Penutupan Pengumuman Juara Satria Data 2024, <a href="https://www.youtube.com/live/QkouQSzCLLw?si=oaM_8CaAa6kRtQ40&amp;t=5562">https://www.youtube.com/live/QkouQSzCLLw?si=oaM_8CaAa6kRtQ40&amp;t=5562</a></figcaption></figure><p>Karya kami berjudul <strong>“<em>Smart Water Management System</em> berbasis <em>Big Data</em>: Solusi Inovatif untuk Akses dan Kualitas Air Bersih di Indonesia”</strong>. Latar belakang dari karya ini adalah buruknya kondisi kualitas air bersih dan akses terhadap sanitasi layak Indonesia yang diprediksi terus menurun setiap tahunnya.</p><p>Analisis utama yang kami gunakan adalah <em>clustering </em>dengan <strong>Gaussian Mixture Models (GMM)</strong>. Kami memilih teknik ini untuk mengelompokkan 34 provinsi di Indonesia ke dalam beberapa kelompok berdasarkan karakteristik akses terhadap air bersih dan sanitasi layak. Pemilihan model ini didasarkan pada distribusi data yang mengikuti pola Gaussian (atau biasa dikenal dengan distribusi Normal) dengan lebih dari satu puncak.</p><p>Berikut <a href="https://github.com/nalenndra/SICUGM04"><strong>Repository GitHub</strong></a> yang dapat teman-teman akses, berisi syntax dan data dari analisis ini.</p><p>Data yang kami gunakan berasal dari <strong>Badan Pusat Statistik (BPS)</strong> yang dapat diakses melalui <a href="https://www.bps.go.id/id/statistics-table?subject=525">tautan ini</a>. Dataset ini terdiri dari 4 kolom:</p><ol><li><strong>Provinsi</strong>: Menunjukkan 34 provinsi di Indonesia.</li><li><strong>Persentase Rumah Tangga dengan Sumber Air Minum Layak</strong></li><li><strong>Persentase Rumah Tangga dengan Akses terhadap Sanitasi Layak</strong></li><li><strong>Persentase Rumah Tangga yang Memiliki Fasilitas Cuci Tangan dengan Sabun dan Air</strong></li></ol><p>Sebelum memilih tiga variabel utama yang digunakan dalam analisis ini, kami terlebih dahulu melakukan peninjauan terhadap penelitian-penelitian terdahulu yang membahas topik serupa. Penelitian-penelitian ini memberikan wawasan mengenai variabel apa saja yang telah digunakan untuk mengukur akses dan kualitas air bersih serta sanitasi yang layak di berbagai wilayah.</p><p>Selain melakukan peninjauan literatur, kami juga melakukan evaluasi intuitif terhadap publikasi dan data dari <strong>Badan Pusat Statistik (BPS)</strong> yang berkaitan dengan air dan sanitasi. Publikasi ini mencakup berbagai indikator yang berhubungan dengan akses air bersih dan sanitasi, memberikan gambaran menyeluruh tentang kondisi di berbagai provinsi di Indonesia. Dari hasil evaluasi ini, kami mengidentifikasi hingga <strong>10 variabel potensial</strong> yang dapat digunakan untuk <em>clustering</em>, termasuk:</p><ul><li><strong>Persentase Penduduk Miskin (P0) Menurut Provinsi dan Daerah (Persen)</strong>: Mengindikasikan tingkat kemiskinan yang bisa berpengaruh terhadap akses air bersih.</li><li><strong>Volume Air Bersih yang Disalurkan Perusahaan Air Bersih (m³)</strong>: Mengukur ketersediaan dan distribusi air bersih di berbagai daerah.</li><li><strong>Indeks Kualitas Air</strong>: Memberikan gambaran kualitas air yang tersedia, baik untuk konsumsi maupun penggunaan lainnya.</li><li><strong>Jumlah Perusahaan Air Bersih</strong>: Indikator yang menggambarkan infrastruktur dan penyediaan layanan air bersih di suatu daerah.</li><li><strong>Kapasitas Produksi Potensial Perusahaan Air (liter/detik)</strong>: Mengukur kapasitas produksi air yang tersedia, yang bisa menjadi indikator penting dalam menilai ketersediaan air bersih di daerah tersebut.</li></ul><p>Setelah mengevaluasi berbagai variabel ini, kami memutuskan untuk menggunakan hanya <strong>tiga variabel</strong> utama: <strong>Persentase Rumah Tangga dengan Sumber Air Minum Layak</strong>, <strong>Persentase Rumah Tangga dengan Akses terhadap Sanitasi Layak</strong>, dan <strong>Persentase Rumah Tangga dengan Fasilitas Cuci Tangan dengan Sabun dan Air</strong>. Pemilihan ini didasarkan pada beberapa pertimbangan penting:</p><ol><li><strong><em>Curse of Dimensionality</em></strong>: Dalam analisis <em>clustering</em>, penggunaan terlalu banyak variabel dapat menyebabkan masalah yang dikenal sebagai “<em>curse of dimensionality</em>,” di mana jarak antar data menjadi terlalu serupa, sehingga sulit untuk menemukan klaster yang jelas. Menggunakan terlalu banyak variabel juga dapat menyebabkan model menjadi terlalu kompleks dan kurang <em>interpretable</em>.</li><li><strong>Relevansi dan Representasi</strong>: Ketiga variabel yang dipilih dianggap sudah cukup untuk menggambarkan karakteristik akses dan kualitas air bersih serta sanitasi di setiap provinsi. Variabel-variabel ini juga memiliki korelasi yang baik dengan tujuan analisis, yaitu mengidentifikasi kelompok-kelompok provinsi berdasarkan akses air bersih dan sanitasi.</li><li><strong>Konsistensi Satuan dan Skala</strong>: Hal penting lain yang perlu diperhatikan dalam pemilihan variabel adalah <strong>satuan dan skala</strong> dari setiap variabel. Dalam <em>clustering</em>, variabel dengan satuan yang berbeda bisa mempengaruhi hasil dan interpretasi model. Misalnya, nilai 1 pada persentase berbeda artinya dengan nilai 1 pada indeks. Oleh karena itu, idealnya semua variabel yang digunakan harus memiliki satuan yang sama untuk menjaga konsistensi dan akurasi hasil <em>clustering</em>.</li></ol><p>Dalam penelitian ini, kami memilih variabel yang semuanya menggunakan satuan <strong>persentase</strong>. Penggunaan satuan yang seragam ini menghindari kebutuhan untuk melakukan standarisasi atau skala ulang (<em>scaling</em>) pada data, yang bisa mengurangi interpretabilitas model jika dilakukan dengan tidak tepat. Karena semua variabel yang dipilih sudah memiliki skala yang sama, maka kami tidak perlu melakukan scaling tambahan pada data yang digunakan.</p><p>Pemilihan variabel yang cermat ini memastikan bahwa model <em>clustering </em>kami dapat memberikan hasil yang jelas, <em>interpretable</em>, dan relevan untuk tujuan penelitian, yaitu mengelompokkan provinsi-provinsi di Indonesia berdasarkan akses terhadap air bersih dan sanitasi yang layak.</p><p>Berikut adalah eksplorasi data yang digunakan pada Python:</p><pre>#kde plot<br>data_num.plot(kind=&#39;kde&#39;, sharex=False, sharey=False, figsize=(15,20), linewidth=8,fontsize=10)<br>plt.ylabel(&#39;Density&#39;, fontsize=15, fontweight=&#39;bold&#39;)<br>plt.xlabel(&#39;Nilai Persentase&#39;, fontsize=15, fontweight=&#39;bold&#39;)<br>plt.grid()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/856/1*cV48toknBbaJZ6dGiN0yig.png" /><figcaption>KDE plot untuk ketiga variabel <em>clustering</em></figcaption></figure><p>Sebelum memulai pemodelan, penting untuk melakukan eksplorasi data. Grafik KDE (<em>Kernel Density Estimation</em>) menunjukkan bahwa masing-masing variabel memiliki distribusi yang cenderung mengikuti pola lonceng (<strong><em>Gaussian Bell Curve)</em></strong>. Pola ini merupakan indikasi kuat bahwa penggunaan model <strong>Gaussian Mixture Models (GMM)</strong> untuk <em>clustering </em>adalah pilihan yang tepat.</p><h3>Analisis Menggunakan Gaussian Mixture Models (GMM)</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*JtNJ-GOLQDs6-ASDApzHWA.png" /><figcaption>Slide Power Point Penjelasan GMM saat Presentasi Final</figcaption></figure><p>Model <strong>Gaussian Mixture Models (GMM)</strong> mengasumsikan bahwa setiap klaster dalam data dapat direpresentasikan sebagai puncak dari suatu distribusi Gaussian (<em>bell curve</em>). Dalam konteks ini, GMM memungkinkan setiap titik data memiliki kemungkinan atau probabilitas untuk menjadi anggota dari beberapa klaster. Dari hasil eksplorasi data yang kami lakukan, terlihat bahwa distribusi data menunjukkan beberapa puncak Gaussian, yang mendukung penggunaan GMM sebagai metode <em>clustering </em>yang tepat untuk analisis ini.</p><p><strong>Kelebihan Gaussian Mixture Models (GMM):</strong></p><ol><li><strong>Estimasi Probabilistik:</strong> Salah satu keunggulan utama GMM adalah pendekatannya yang berbasis probabilitas. Setiap titik data tidak secara tegas ditetapkan pada satu klaster saja, melainkan diberikan probabilitas untuk menjadi anggota dari setiap klaster. Hal ini memungkinkan model menangkap ketidakpastian dalam penugasan klaster, terutama di daerah di mana klaster saling tumpang tindih.</li><li><strong><em>Robust </em>terhadap Data yang Tumpang Tindih:</strong> GMM sangat efektif untuk menangani data yang saling tumpang tindih karena pendekatan probabilistiknya. Tidak seperti metode <em>hard clustering</em> seperti K-Means yang menetapkan data ke satu klaster saja, GMM mempertimbangkan data yang berada di antara klaster dan memberikan probabilitas yang sesuai, sehingga lebih <em>robust </em>dalam kondisi data yang kompleks.</li></ol><p><strong>Parameter Utama dalam GMM:<br></strong>Dalam GMM, ada tiga parameter utama yang diestimasi untuk setiap klaster:</p><ul><li><strong>µ (Miu):</strong> Menunjukkan pusat atau mean dari klaster, yang merupakan lokasi rata-rata dari data dalam klaster tersebut.</li><li><strong>σ (Sigma):</strong> Menyatakan sebaran atau variansi dari klaster, yang menggambarkan penyebaran data di sekitar mean.</li><li><strong>π (Weight):</strong> Menunjukkan kontribusi atau bobot dari masing-masing distribusi Gaussian dalam model, yang mencerminkan proporsi data yang diwakili oleh klaster tersebut.</li></ul><p><strong>Proses Algoritma GMM:<br></strong>Algoritma GMM dimulai dengan secara acak memilih Gaussian (Miu, Sigma, Weight) kemudian masuk pada langkah <strong><em>EM-step</em></strong> yang diulang-ulang hingga konvergen:</p><ol><li><strong><em>Expectation </em>(E-step):</strong> Pada langkah ini, untuk setiap titik data, probabilitas bahwa titik data tersebut berasal dari setiap klaster dihitung berdasarkan parameter distribusi Gaussian saat ini (µ, σ, π).</li><li><strong><em>Maximization </em>(M-step):</strong> Langkah ini melibatkan pembaruan parameter distribusi Gaussian (µ, σ, π) dengan memaksimalkan probabilitas total seluruh data. Estimasi parameter baru dilakukan berdasarkan probabilitas yang dihitung pada langkah E-step.</li></ol><p>Langkah-langkah ini diulang hingga perubahan dalam parameter Gaussian menjadi sangat kecil, yang menandakan konvergensi algoritma. Proses ini memastikan bahwa model yang dihasilkan adalah representasi terbaik dari data yang diberikan.</p><p>Untuk penjelasan lebih mendalam tentang algoritma GMM dan perhitungan yang terlibat, saya merekomenasikan dapat merujuk ke video ini: <a href="https://www.youtube.com/watch?v=qMTuMa86NzU&amp;t=275s">Penjelasan Algoritma GMM</a>.</p><p><strong>Implementasi GMM dengan Python:<br></strong>Berikut adalah contoh implementasi GMM menggunakan Python:</p><pre># Inisialisasi model GMM dengan 3 klaster<br>gmm = GaussianMixture(n_components=3, random_state=99)<br>gmm.fit(data_num)<br># Simpan hasil clustering<br>clusters = gmm.predict(data_num)<br>print(&quot;Clusters:&quot;, clusters)<br># Parameter yang diestimasi<br>means = gmm.means_<br>print(&quot;Means:&quot;, means)<br>covariances = gmm.covariances_<br>print(&quot;Covariances:&quot;, covariances)<br>weights = gmm.weights_<br>print(&quot;Weights:&quot;, weights)<br>precisions = gmm.precisions_<br>print(&quot;Precisions:&quot;, precisions)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/731/1*ptKsQmzHSy0-gHfxEtpLSQ.png" /><figcaption>Output GMM</figcaption></figure><p>Dalam analisis ini, kami menggunakan <strong>jumlah klaster 3</strong>. Pemilihan jumlah klaster ini didasarkan pada tujuan utama dari <em>clustering</em>, yaitu untuk mengelompokkan 34 provinsi di Indonesia berdasarkan karakteristiknya terhadap akses air bersih dan sanitasi layak. Pemilihan tiga klaster juga didasarkan pada kebutuhan untuk membantu pemerintah memprioritaskan kebijakan pembangunan infrastruktur berdasarkan tingkat urgensi. Jumlah tiga kelompok ini sering digunakan untuk mengklasifikasikan prioritas dalam kebijakan publik.</p><p>Selain itu, ada berbagai metode lain untuk menentukan jumlah klaster yang optimal, seperti menggunakan metrik evaluasi klaster seperti <strong>Silhouette Score</strong>, <strong>Davis Bouldin Index</strong>, dan <strong>Calinski-Harabasz Index</strong>. Metrik-metrik ini mengukur kualitas <em>clustering </em>berdasarkan sebaran dan jarak antar data dalam klaster.</p><p><strong>Hasil C<em>lustering</em>:<br></strong>Dari hasil pemodelan, rata-rata indikator untuk setiap klaster adalah sebagai berikut:</p><ul><li><strong>Klaster 1:</strong> 92%, 83,5%, 83,7% (Daerah dengan rata-rata keseluruhan tertinggi, disebut daerah yang sudah <strong>baik</strong>)</li><li><strong>Klaster 2:</strong> 65,4%, 40,34%, 40,91% (Daerah dengan rata-rata keseluruhan paling rendah, disebut daerah yang <strong>sangat perlu perhatian</strong>)</li><li><strong>Klaster 3:</strong> 83,63%, 80,82%, 76% (Daerah dengan rata-rata keseluruhan yang berada di tengah, disebut <strong>daerah yang perlu perhatian</strong>)</li></ul><p>Selanjutnya akan dilakukan plot 3D untuk melihat seberapa baik klaster terbentuk pada sebaran data,</p><pre># Create a 3D plot<br>fig = plt.figure()<br>ax = fig.add_subplot(111, projection=&#39;3d&#39;)<br><br># Scatter plot in 3D<br>ax.scatter(data_num[&#39;Akses terhadap Sanitasi Layak&#39;], data_num[&#39;Sumber Air Minum Layak&#39;], data_num[&#39;Memiliki Fasilitas Cuci Tangan Dengan Sabun Dan Air&#39;], c=clusters, cmap=plt.cm.winter, alpha=0.6)<br><br># Labeling the axes<br>ax.set_xlabel(&#39;Akses terhadap Sanitasi Layak&#39;)<br>ax.set_ylabel(&#39;Sumber Air Minum Layak&#39;)<br>ax.set_zlabel(&#39;Fasilitas Cuci Tangan Dengan Sabun &amp; Air&#39;)<br><br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/438/1*W-Xq21mVN1-bVRWIoai4uQ.png" /><figcaption>Plot 3D untuk melihat kebaikan hasil <em>clustering </em>dari visualisasi sebaran data</figcaption></figure><p>Dengan memplot hasil <em>clustering </em>dalam tiga dimensi, terlihat bahwa data berhasil dibagi menjadi tiga kelompok dengan sangat baik. Satu klaster (biru) tampak sangat berbeda dan jauh dari dua klaster lainnya, dengan nilai pada ketiga sumbu yang rendah, sementara dua klaster lainnya lebih berdekatan dengan satu klaster memiliki nilai lebih rendah (hijau) dibandingkan klaster lainnya (ungu).</p><p><strong>Catatan:</strong> Plot 3 dimensi ini efektif dalam menggambarkan bagaimana klaster terpisah secara visual. Jika menggunakan lebih dari tiga variabel, teknik seperti<em> </em><strong><em>Principal Component Analysis</em> (PCA)</strong> dapat digunakan untuk mereduksi dimensi data menjadi tiga komponen utama yang dapat dipetakan. Namun, perlu dicatat bahwa interpretasi biasanya tidak langsung jika menggunakan PCA.</p><p>Selanjutnya, klaster ini dapat dihubungkan dengan provinsi yang bersesuaian untuk analisis lebih lanjut dan pengambilan keputusan kebijakan yang berbasis data.</p><pre># Merge the cluster with the original data<br>data[&#39;Cluster&#39;] = clusters<br><br># Print Provinces in Cluster 0<br>print(&#39;Cluster 0&#39;)<br>print(data[data[&#39;Cluster&#39;] == 0][&#39;Provinsi&#39;])<br><br># Print Provinces in Cluster 1<br>print(&#39;Cluster 1&#39;)<br>print(data[data[&#39;Cluster&#39;] == 1][&#39;Provinsi&#39;])<br><br># Print Provinces in Cluster 2<br>print(&#39;Cluster 2&#39;)<br>print(data[data[&#39;Cluster&#39;] == 2][&#39;Provinsi&#39;])</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/669/1*kBX-SinzTtaYqUrXRybBmw.png" /><figcaption>Hasil klaster yang disesuaikan dengan Provinsi</figcaption></figure><p>Demikian artikel mengenai analisis yang kami lakukan pada kejuaraan <strong>Statistika Ria dan Festival Sains Data (SATRIA DATA) 2024</strong>. Analisis ini menunjukkan bagaimana pendekatan statistik, khususnya teknik <em>clustering </em>dengan <strong>Gaussian Mixture Model (GMM)</strong>, dapat digunakan secara efektif untuk mengidentifikasi kelompok-kelompok provinsi di Indonesia berdasarkan karakteristik akses terhadap air bersih dan sanitasi yang layak.</p><p>Meskipun demikian, kami menyadari bahwa pemodelan ini masih memiliki ruang untuk dikembangkan lebih lanjut. Beberapa pengembangan yang bisa dilakukan antara lain:</p><ol><li><strong>Penggunaan Metode <em>Clustering</em> Lain:</strong> Meskipun GMM telah terbukti cukup baik dalam membentuk klaster, penggunaan metode <em>clustering </em>lain seperti<em> </em><strong><em>Hierarchical Clustering</em></strong> atau <strong>DBSCAN</strong> dapat diuji untuk melihat apakah hasilnya lebih baik atau memberikan perspektif yang berbeda.</li><li><strong>Validasi Model yang Lebih Lanjut:</strong> Menggunakan metrik evaluasi tambahan seperti <strong>Silhouette Score</strong>, <strong>Davis-Bouldin Index</strong>, atau <strong>Calinski-Harabasz Index</strong> dapat memberikan wawasan lebih lanjut tentang kualitas <em>clustering </em>yang dilakukan. Validasi model ini akan membantu dalam memastikan bahwa klaster yang dihasilkan tidak hanya secara matematis optimal tetapi juga memiliki makna interpretatif yang kuat</li></ol><p>Semoga artikel ini bermanfaat yaaa. Danke sudah membaca sampai sini!! Sampai jumpa di artikel selanjutnyaa!!</p><p>Berikut<strong> </strong><a href="https://github.com/nalenndra/SICUGM04"><strong>Repository Github</strong></a> yang dapat teman-teman akses, berisi syntax dan data dari analisis ini.</p><p>______________________________________________________________</p><p><em>Contact</em> and <em>Connect </em>with me!!!</p><ol><li><strong>Linkedin</strong>: <a href="https://www.linkedin.com/in/mahardinalendra/">https://www.linkedin.com/in/mahardinalendra/</a></li><li><strong>Email</strong>: mahardinalendra@gmail.com</li><li><strong>GitHub</strong>: <a href="https://github.com/nalenndra">https://github.com/nalenndra</a></li><li><strong>X/Twitter</strong> : <a href="https://x.com/mahardinalen">https://x.com/mahardinalen</a></li><li><strong>instagram </strong>: @mahardinalendra._</li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=914d36a663b5" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Analisis Data Time Series dengan metode Holt-Winters, Klasifikasi Pegels, dan Decision Tree…]]></title>
            <link>https://medium.com/@mahardinalendra/analisis-data-time-series-dengan-metode-holt-winters-klasifikasi-pegels-dan-decision-tree-88b48010b0fc?source=rss-49804189581e------2</link>
            <guid isPermaLink="false">https://medium.com/p/88b48010b0fc</guid>
            <category><![CDATA[regression]]></category>
            <category><![CDATA[forecasting]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[statistical-analysis]]></category>
            <category><![CDATA[time-series-forecasting]]></category>
            <dc:creator><![CDATA[Mahardi Nalendra Syafa]]></dc:creator>
            <pubDate>Mon, 05 Aug 2024 06:46:14 GMT</pubDate>
            <atom:updated>2024-08-05T06:54:47.067Z</atom:updated>
            <content:encoded><![CDATA[<h3>Analisis Data Time Series dengan metode Holt-Winters, Klasifikasi Pegels, dan Decision Tree Regression hanya dengan Numpy, Pandas, Seaborn, &amp; Matplotlib</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*45nAOGUJKF_yJF1klpIFgw.jpeg" /><figcaption>Gambar oleh Kireyonok_Yuliya di Freepik</figcaption></figure><p>Haloo teman-teman! Kenalin aku Mahardi Nalendra Syafa, di sini aku akan share hasil analisisku yang berhasil menang dalam lomba Python Based Data Analysis (PYSTA) yang diselenggarakan oleh Univsersitas Lambung Mangkurat di acara @eternal.ulm. Aturan main di kompetisi ini adalah hanya boleh menggunakan library Numpy, Panda, Matplotli, dan seaborn. Selain itu data yang digunakan juga dibatasi hanya bersumber dari BPS Kalimantan Selatan.<br>Alhamdulillah berhasil juara 1 dan dapet kategori Best Code Quality.</p><p>Data dan notebook bisa temen-temen akses di sini : <a href="https://github.com/nalenndra/rainfallPrediction">https://github.com/nalenndra/rainfallPrediction</a></p><p>Oke langsung saja!</p><p>Judul yang aku angkat di sini adalah</p><h3><strong>Pemodelan Prediksi Curah Hujan sebagai Strategi Penanggulangan Banjir Provinsi Kalimantan Selatan</strong></h3><h4>Latar Belakang</h4><p>Salah satu bencana alam yang menjadi masalah umum di masyarakat dan sulit diprediksi adalah banjir. Banjir memiliki dampak luas dan menyebabkan kerugian besar. Berdasarkan data BPS Provinsi Kalimantan Selatan pada publikasi <a href="https://kalsel.bps.go.id/publication/2022/05/17/7e3841a221d83f307a0340ea/statistik-potensi-desa-provinsi-kalimantan-selatan-2021.html">Statistik Potensi Desa Provinsi Kalimantan Selatan</a>(), sepanjang tahun 2020–2021, terdapat total 929 kejadian banjir. Banjir merupakan bencana dengan jumlah kejadian tertinggi dibandingkan dengan bencana alam lainnya, seperti tanah longsor, banjir bandang, dan gelombang pasang laut. Kabupaten/kota yang paling sering mengalami banjir adalah Banjar dengan total 199 kejadian, diikuti oleh Hulu Sungai Utara dengan 179 kejadian banjir.</p><p>Banjir tidak hanya menimbulkan kerugian materi, tetapi juga memiliki dampak signifikan terhadap aspek sosial dan budaya masyarakat. Dampak sosial dari banjir meliputi hilangnya tempat tinggal, terganggunya aktivitas sehari-hari, serta meningkatnya risiko penyakit akibat lingkungan yang tidak higienis. Selain itu, banjir dapat mempengaruhi hubungan sosial antar warga karena adanya evakuasi dan penanganan bencana yang sering kali memaksa penduduk untuk meninggalkan rumah mereka dan tinggal di tempat pengungsian sementara. Dari sisi budaya, banjir bisa mengancam kelestarian situs-situs budaya dan tradisi lokal yang mungkin rusak atau hilang akibat bencana tersebut. Ketergantungan masyarakat pada lahan pertanian dan sumber daya alam yang tergenang air juga dapat mengakibatkan perubahan dalam pola hidup masyarakat.</p><p>Banjir dapat disebabkan oleh berbagai faktor, di antaranya curah hujan yang tinggi dalam waktu singkat. Oleh karena itu, informasi tingkat curah hujan yang akurat adalah kunci untuk mengurangi dampak banjir. Dengan memahami perilaku curah hujan sedini mungkin, tindakan pencegahan yang tepat dapat diambil untuk melindungi masyarakat dan infrastruktur.(<a href="https://books.google.co.id/books?id=sbaoEAAAQBAJ&amp;printsec=frontcover#v=onepage&amp;q&amp;f=false">Miswar Tumpu, 2022</a>)</p><p>Penelitian ini bertujuan untuk mengembangkan model prediksi banjir berbasis data curah hujan yang dapat memberikan informasi berharga bagi pihak berkepentingan dalam pengambilan keputusan terkait mitigasi risiko banjir melalui pemodelan pola curah hujan di Kalimantan Selatan.</p><p>Pendekatan yang dapat diambil adalah dengan model klasik statistika dan metode terbaru yaitu machine learning. Metode klasik memiliki keunggulan dalam kemudahan interpretasi, namun hasilnya baru dapat digunakan apabila memenuhi asumsi-asumsi yang menyertainya. Sedangkan pendekatan machine learning mampu mengatasi masalah asumsi pada metode klasik, namun memiliki interpretasi yang lebih terbatas (<a href="https://www.mdpi.com/1099-4300/23/1/18">Pantelis Linardatos, 2021)</a>. Dalam penelitian ini, kedua pendekatan tersebut akan digunakan untuk memodelkan data curah hujan. Dengan pendekatan multidisiplin dan integrasi data hujan, diharapkan model ini dapat memberikan kontribusi yang signifikan dalam upaya mitigasi banjir di Kalimantan Selatan.</p><pre># Library<br>import pandas as pd<br>import numpy as np<br>import seaborn as sns<br>%matplotlib inline<br>import matplotlib.pyplot as plt<br><br># DATA STATISTIK DESA<br>data_Statistik_Desa = pd.read_csv(&#39;LMSC014PY_Statistik Potensi Desa 2021_Sosial Budaya.csv&#39;)<br><br># Assuming &#39;data_Statistik_Desa&#39; is your DataFrame<br>row_kalsel = data_Statistik_Desa[data_Statistik_Desa[&#39;Kabupaten/Kota&#39;] == &#39;Kalimantan Selatan&#39;]<br><br># Prepare data for the first plot<br>disasters = [&#39;Banjir&#39;, &#39;Tanah Longsor&#39;, &#39;Banjir Bandang&#39;, &#39;Gempa Bumi&#39;, &#39;Tsunami&#39;, &#39;Gelombang Pasang Laut&#39;]<br>counts = row_kalsel[disasters].values.flatten()<br>colors_disasters = plt.cm.viridis(np.linspace(0, 1, len(disasters)))<br><br># Prepare data for the second plot<br>data_Statistik_Desa.drop(data_Statistik_Desa.tail(1).index,inplace=True)<br>data_Statistik_Desa = data_Statistik_Desa.sort_values(by=&#39;Banjir&#39;, ascending=False)<br>districts = data_Statistik_Desa[&#39;Kabupaten/Kota&#39;]<br>flood_counts = data_Statistik_Desa[&#39;Banjir&#39;]<br>colors_districts = plt.cm.viridis(np.linspace(0, 1, len(districts)))<br><br># Create a figure to hold the subplots<br>plt.figure(figsize=(20, 8))<br><br># Plot 1: Disasters<br>plt.subplot(1, 2, 1)  # 1 row, 2 columns, subplot 1<br>bars = plt.bar(disasters, counts, color=colors_disasters)<br>for bar in bars:<br>    yval = bar.get_height()<br>    plt.text(bar.get_x() + bar.get_width()/2, yval + 0.5, yval, ha=&#39;center&#39;, va=&#39;bottom&#39;, fontsize=10, fontweight=&#39;bold&#39;)<br>plt.title(&#39;BANYAKNYA DESA/KELURAHAN YANG MENGALAMI BENCANA ALAM \n MENURUT JENIS BENCANA ALAM, 2020-2021&#39;, fontsize=15, fontweight=&#39;bold&#39;)<br>plt.xlabel(&#39;Jenis Bencana Alam&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.ylabel(&#39;Jumlah Kejadian&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.xticks(rotation=45)<br>plt.grid()<br><br># Plot 2: Flood occurrences by district<br>plt.subplot(1, 2, 2)  # 1 row, 2 columns, subplot 2<br>bars = plt.bar(districts, flood_counts, color=colors_districts)<br>for bar in bars:<br>    yval = bar.get_height()<br>    plt.text(bar.get_x() + bar.get_width()/2, yval + 1, yval, ha=&#39;center&#39;, va=&#39;bottom&#39;, fontsize=10, fontweight=&#39;bold&#39;)<br>plt.title(&#39;BANYAKNYA DESA/KELURAHAN YANG MENGALAMI BENCANA ALAM BANJIR \n MENURUT KABUPATEN/KOTA, 2020-2021&#39;, fontsize=15, fontweight=&#39;bold&#39;)<br>plt.xlabel(&#39;Kabupaten/Kota&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.ylabel(&#39;Jumlah Kejadian Banjir&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.xticks(rotation=45, ha=&quot;right&quot;)<br>plt.tight_layout()<br>plt.grid()<br><br># Show the figure with the subplots<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dfoc1XmOAxLikFclLExyZw.png" /><figcaption>Barplot Bencana alam di Kalimantan Selatan</figcaption></figure><h4>Tujuan Analisis</h4><ol><li>Mengidentifikasi dan memahami karakteristik banjir serta curah hujan di Provinsi Kalimantan Selatan.</li><li>Mengembangkan dan membandingkan berbagai model prediksi untuk menentukan model terbaik dalam memprediksi curah hujan sebagai strategi mitigasi banjir.</li><li>Memberikan rekomendasi berdasarkan hasil prediksi untuk mendukung pengambilan keputusan dalam upaya mitigasi banjir.</li></ol><h3>Analisis</h3><h4>Data</h4><p>Penelitian ini menggunakan data curah hujan dalam satuan milimeter (mm) untuk Provinsi Kalimantan Selatan, yang tersedia dari tahun 2003 hingga 2017. Data ini diperoleh dari Badan Pusat Statistik (BPS) Kalimantan Selatan dan dapat diakses melalui tautan berikut: <a href="https://kalsel.bps.go.id/subject/151/iklim.html#subjekViewTab3">BPS Kalimantan Selatan</a></p><p>Variabel dalam data ini meliputi:</p><ol><li><strong>Bulan</strong>: Keterangan bulan saat data curah hujan diambil (Januari-Desember).</li><li><strong>Tahun</strong>: Keterangan tahun saat data curah hujan diambil (2003–2017).</li><li><strong>Curah Hujan (mm)</strong>: Ukuran curah hujan di Provinsi Kalimantan Selatan dalam satuan milimeter (mm).</li></ol><pre># Membaca Data<br>data = pd.read_csv(&#39;LMSC014PY_Curah Hujan 2003_2017_Sosial Budaya.csv&#39;)<br>data.head()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/271/1*sZKp-L_YJRLtDkuEZaMeZQ.png" /><figcaption>5 data awal</figcaption></figure><pre>data_ts = data[[&#39;Curah_Hujan&#39;]]<br># Menambahkan Kolom Tanggal yang disesuaikan dengan data<br>data_ts[&#39;date&#39;] = pd.date_range(start=&#39;1/1/2003&#39;, periods=len(data_ts), freq=&#39;M&#39;)</pre><p>Menambahkan kolom date yang disesuaikan dengan pandas date agar dapat dibaca dan sesuai dengan tipe data dataframe pandas.</p><h4>Exploratory Data Analysis</h4><p><strong>Summary Data</strong></p><pre># Deskripsi Data<br>data_ts.describe()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/453/1*ijcgSZxyKOCS_2mNuuG-hA.png" /><figcaption>Deskriptif Data</figcaption></figure><p>Selama periode pengamatan dari tahun 2003 hingga 2017, data curah hujan di Provinsi Kalimantan Selatan menunjukkan variasi yang signifikan. Rata-rata curah hujan tercatat sebesar 231.32 mm, dengan rentang dari 0 mm hingga 1641.9 mm, yang mencerminkan variasi curah hujan yang luas. Pengamatan dilakukan pada 179 titik waktu yang berbeda, dengan nilai median curah hujan sebesar 223.70 mm. Distribusi waktu pengamatan tersebar dari awal tahun 2003 hingga akhir tahun 2017, dengan median tanggal pengamatan sekitar pertengahan tahun 2010. Standar deviasi curah hujan sebesar 179.69 mm menunjukkan adanya fluktuasi yang cukup besar dalam data curah hujan di wilayah ini, menandakan bahwa meskipun rata-rata curah hujan cukup tinggi, terdapat periode dengan curah hujan ekstrem yang sangat rendah maupun sangat tinggi.</p><pre>#Print data info<br>print(data_ts.info())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/424/1*Gyk2CMRKAr8ucauHPnFGCA.png" /><figcaption>Data info</figcaption></figure><p>Dari hasil pemeriksaan struktur DataFrame, dapat dilihat bahwa terdapat 180 baris data dengan 2 kolom, yaitu Curah_Hujan dan date. Tipe data pada kolom Curah_Hujan adalah float64, yang sesuai untuk merepresentasikan data curah hujan dalam bentuk numerik. Kolom date memiliki tipe data datetime64[ns], yang tepat untuk menyimpan informasi tanggal.</p><p>Pemeriksaan lebih lanjut menunjukkan bahwa kolom Curah_Hujan memiliki 179 nilai non-null dari total 180 entri, mengindikasikan adanya 1 nilai yang hilang (missing value) pada kolom tersebut. Kolom date tidak memiliki missing value dan lengkap dengan 180 entri.</p><pre>print(data_ts[data_ts.isnull().any(axis=1)])</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/264/1*j5T2PqF5G8-MWH1LDJpBHw.png" /><figcaption>Cek Data Hilang</figcaption></figure><p>Dari hasil pengecekan menggunakan kode di atas, ditemukan bahwa terdapat satu missing value pada data curah hujan (kolom Curah_Hujan). Berdasarkan hasil pengecekan, missing value ini berada pada tanggal 30 September 2015.</p><p><strong>Histogram curah hujan sepanjang Tahun</strong></p><pre># Histogram<br>plt.figure(figsize=(10, 5))<br>plt.hist(data_ts[&#39;Curah_Hujan&#39;], bins=30, color=&#39;lightblue&#39;)<br>plt.title(&#39;Histogram Curah Hujan Provinsi Kalimantan Selatan 2003-2019&#39;, fontsize=15, fontweight=&#39;bold&#39;)<br>plt.xlabel(&#39;Curah Hujan dalam mm&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.ylabel(&#39;Density&#39;, fontsize=12, fontweight=&#39;bold&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/909/1*rXqYK5jWW74H0l_mRSSWgQ.png" /><figcaption>Histogram Curah Hujan Kalimantan Selatan</figcaption></figure><p>Melalui histogram yang dibuat, terlihat bahwa sebagian besar curah hujan di Provinsi Kalimantan Selatan tersebar pada rentang 0–500 mm. Histogram menunjukkan bahwa sebagian besar data curah hujan berada dalam kategori menengah hingga tinggi, sesuai dengan<a href="https://kalteng.bmkg.go.id/analisis/?info=curah%20hujan%20bulanan&amp;&amp;kat=analisis"> klasifikasi curah hujan BMKG</a> :</p><ol><li><strong>Rendah (0–100 mm)</strong>: Curah hujan dalam rentang ini menunjukkan kondisi yang relatif kering dan kurang sering terjadi dibandingkan kategori lainnya.</li><li><strong>Menengah (100–300 mm)</strong>: Mayoritas data curah hujan berada dalam rentang ini, menunjukkan bahwa wilayah ini sering mengalami curah hujan yang cukup.</li><li><strong>Tinggi (300–500 mm)</strong>: Curah hujan dalam kategori ini juga cukup umum terjadi, menunjukkan periode dengan intensitas hujan yang signifikan.</li><li><strong>Sangat Tinggi (&gt;500 mm)</strong>: Data curah hujan dalam kategori ini lebih jarang terjadi, namun tetap ada, termasuk beberapa outlier ekstrem dengan curah hujan lebih dari 1500 mm.</li></ol><p>Terdapat indikasi adanya <em>outlier </em>dalam data curah hujan, yaitu nilai-nilai ekstrem yang melebihi 1500 mm.</p><p><strong>Plot Time Series</strong></p><pre># Plot Time Series Curah Hujan<br>plt.figure(figsize=(10,6))<br>plt.plot(data_ts[&#39;date&#39;], data_ts[&#39;Curah_Hujan&#39;])<br>plt.title(&#39;Curah Hujan Provinsi Kalimantan Selatan 2003-2017&#39;, fontsize=15, fontweight=&#39;bold&#39;)<br>plt.ylabel(&#39;Curah Hujan dalam mm&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.xlabel(&#39;Rentang Waktu&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.grid(True)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/923/1*mfXlZuN2KvNAwJHhIE84jA.png" /><figcaption>Plot time series</figcaption></figure><p>Berdasarkan plot time series yang menggambarkan curah hujan di Provinsi Kalimantan Selatan dari tahun 2003 hingga 2017, dapat ditinjau beberapa pola dan tren penting sebagai berikut:</p><ol><li><strong>Pola Musiman yang Konsisten</strong>: Sepanjang periode pengamatan, curah hujan menunjukkan pola musiman yang relatif konsisten. Fluktuasi curah hujan yang terjadi secara periodik mengindikasikan adanya pola yang berulang setiap tahunnya.</li><li><strong>Lonjakan pada Akhir Tahun 2007</strong>: Terlihat adanya lonjakan curah hujan yang mencolok pada akhir tahun 2007. Lonjakan ini menandakan adanya kejadian curah hujan ekstrem yang jauh lebih tinggi dibandingkan dengan periode lainnya dalam dataset. Ini menunjukkan adanya kemungkinan outlier yang signifikan, yang dapat disebabkan oleh fenomena cuaca ekstrem seperti badai, namun juga dapat terjadi karena kesalahan input data.</li><li><strong>Tidak Ada Efek Aditif yang Signifikan</strong>: Dari visualisasi data, tidak terlihat adanya efek aditif yang signifikan dalam pola curah hujan. Pola fluktuasi yang diamati lebih mencerminkan variasi musiman daripada tren jangka panjang yang terus meningkat atau menurun.</li></ol><p><strong>Boxplot Curah Hujan Tahunan</strong></p><pre># Boxplot Curah Hujan per Tahun Provinsi Kalimantan Selatan<br>plt.figure(figsize=(10, 6))<br>sns.boxplot(x=&#39;Tahun&#39;, y=&#39;Curah_Hujan&#39;, data=data)<br>plt.title(&#39;Boxplot Curah Hujan per Tahun Provinsi Kalimantan Selatan&#39;, fontsize=15, fontweight=&#39;bold&#39;)<br>plt.xlabel(&#39;Tahun&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.ylabel(&#39;Curah Hujan dalam mm&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.grid(True)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/860/1*_kxZLLO-qAl1goaXK47JSg.png" /><figcaption>Boxplot Curah Hujan Tahunan</figcaption></figure><p>Boxplot di atas menunjukkan sebaran data curah hujan per tahun di Provinsi Kalimantan Selatan memberikan gambaran yang jelas mengenai distribusi dan variasi curah hujan selama periode pengamatan dari tahun 2003 hingga 2017. Melalui visualisasi tersebut dapat digambarkan :</p><ol><li><strong>Sebaran Data yang Konsisten </strong>: Dari boxplot, dapat dilihat bahwa sebaran curah hujan tiap tahunnya memiliki kemiripan yang signifikan, menunjukkan pola distribusi yang relatif konsisten. Ini mengindikasikan bahwa meskipun terdapat fluktuasi dari tahun ke tahun, karakteristik umum curah hujan di wilayah ini tetap stabil.</li><li><strong>Outlier </strong>: Terdapat beberapa outlier dengan nilai curah hujan yang tidak biasa pada tahun 2003, 2007, 2008, dan 2011. Outlier ini menandakan kejadian curah hujan ekstrem yang tidak lazim dibandingkan dengan data lainnya dalam tahun-tahun tersebut. Outlier terbesar terjadi pada tahun 2007, dengan curah hujan yang melebihi 1500 mm</li><li><strong>Pola Umum </strong>: Secara keseluruhan, pola sebaran curah hujan menunjukkan bahwa median curah hujan tiap tahun berada dalam rentang yang serupa, dengan variasi data yang juga relatif serupa tiap tahunnya. Ini mengindikasikan bahwa wilayah ini memiliki musim hujan yang stabil dari tahun ke tahun.</li></ol><p><strong>Pra-Pemrosesan Data<br></strong>Tahap pra-pemrosesan data adalah langkah penting sebelum memulai pemodelan. Pada tahap ini, data yang telah dieksplorasi akan diperlakukan dengan berbagai metode untuk memastikan model belajar dengan data yang bersih, lengkap, dan relevan, sehingga menghasilkan prediksi yang akurat dan andal.</p><p><strong>Penanganan <em>Outlier<br></em></strong>Penanganan <em>outlier</em> merupakan langkah penting dalam pra-pemrosesan data untuk memastikan model belajar dari data yang bersih dan akurat. Outlier yang terdeteksi pada tahap eksplorasi data akan ditangani dengan asumsi bahwa outlier tersebut merupakan hasil dari kesalahan input data atau kejadian ekstrem yang tidak mencerminkan pola umum. <em>Outlier</em> akan diganti menggunakan nilai median dari tahun terjadinya <em>outlier</em> tersebut. Pemilihan nilai median sebagai pengganti didasarkan pada analisis eksplorasi data sebelumnya yang menunjukkan bahwa median lebih tahan terhadap pengaruh nilai ekstrem dibandingkan dengan rata-rata.</p><pre># Mendeteksi Pencilan (Outliers)<br>outliers = data_ts[data_ts[&#39;Curah_Hujan&#39;] &gt; 1500]<br>print(outliers)<br><br># mengganti index 58 dengan nilai median<br>median_curah_hujan_2007 = data_ts[data_ts[&#39;date&#39;].dt.year == 2007][&#39;Curah_Hujan&#39;].median()<br>data_ts.loc[58, &#39;Curah_Hujan&#39;] = median_curah_hujan_2007</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/241/1*RuZDcqTrEspyARw1Vjme1A.png" /><figcaption>Deteksi Outlier</figcaption></figure><p><strong>Penanganan <em>Missing Value<br></em></strong>Pada tahap eksplorasi data, baik melalui rangkuman data maupun plot time series, ditemukan adanya nilai yang hilang. Untuk memastikan data yang digunakan dalam pemodelan tetap akurat dan representatif, nilai yang hilang akan diimputasi dengan menggantinya menggunakan nilai median yang sesuai pada tahun yang sama.</p><p>Pemilihan nilai median sebagai pengganti didasarkan pada sifat median yang lebih tahan terhadap <em>*outlier*</em> dibandingkan rata-rata, sehingga memberikan nilai pengganti yang lebih representatif dari distribusi data asli.</p><pre># Menemukan data yang hilang<br>data_ts[data_ts[&#39;Curah_Hujan&#39;].isnull()]</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/261/1*jyutN_jfjQ2G3lECbW3YlQ.png" /><figcaption>Missing Value pada data</figcaption></figure><pre># Menghitung Median Curah Hujan Tahun 2007<br>median_curah_hujan_2015 = data_ts[data_ts[&#39;date&#39;].dt.year == 2015][&#39;Curah_Hujan&#39;].median()<br>print(median_curah_hujan_2015)<br><br># Mengisi data yang hilang dengan median pada index 152<br>data_ts.loc[152, &#39;Curah_Hujan&#39;] = median_curah_hujan_2015</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/59/1*BqWCJQLizRhBztOY5_6qEQ.png" /><figcaption>Median data curah hujan 2015</figcaption></figure><p><strong>Train-Test Split<br></strong>Dataset akan dibagi menjadi train dan test set, data dari tahun 2003 hingga 2016 sebagai data train, dan data dari tahun 2017 sebagai data test.</p><pre># Membuat data train dan test dengan <br>train = data_ts[data_ts[&#39;date&#39;].dt.year &lt; 2017]<br>test = data_ts[data_ts[&#39;date&#39;].dt.year &gt;= 2017]<br><br># date sebagai index<br>train = train.set_index(&#39;date&#39;)<br>test = test.set_index(&#39;date&#39;)</pre><pre># Plot Time Series Data Train dan Test<br>plt.figure(figsize=(10,6))<br>plt.plot(data_ts[&#39;date&#39;], data_ts[&#39;Curah_Hujan&#39;])<br>plt.plot(test.index, test[&#39;Curah_Hujan&#39;], color=&#39;red&#39;)<br>plt.legend([&#39;Data Train&#39;, &#39;Data Test&#39;])<br>plt.title(&#39;Plot data Train dan Test Curah Hujan Provinsi Kalimantan Selatan 2003-2017&#39;, fontsize=13, fontweight=&#39;bold&#39;)<br>plt.grid(True)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/833/1*zx3idGG5So8aOyuO7pJ3Ig.png" /><figcaption>Plot Pembagian Train dan Test</figcaption></figure><p>Selanjutnya kita akan masuk dalam tahapan pemodelan,</p><h4>Modelling</h4><p><strong>Uji Stasioneritas<br></strong>Data deret waktu yang stasioner adalah data yang memiliki nilai rata-rata yang konstan sepanjang waktu. Deret waktu yang stasioner biasanya menghasilkan kinerja model yang lebih baik karena keteguhan <em>robust</em> sifat statistik utamanya memastikan bahwa model dapat menangkap dinamika yang mendasarinya dengan lebih baik, sehingga menghasilkan prediksi yang lebih akurat.</p><p>Terdapat beberapa metode untuk menguji stasioneritas, di antaranya adalah <strong>uji akar</strong> <strong>unit</strong> <strong>(<em>Unit Root Test</em>) </strong>dengan <strong><em>Augmented Dickey-Fuller Test</em></strong> dan <strong>teknik grafik</strong> <a href="https://ejournal.unisba.ac.id/index.php/statistika/article/view/989">(Yanti, 2009)</a>. Dalam penelitian ini, digunakan teknik grafik dengan melihat karakteristik plot Autocorrelation Function (ACF).</p><p>Jika dari plot ACF terlihat bahwa nilai autokorelasi menurun secara lamban, maka dapat dikatakan data tersebut tidak stasioner. Sebaliknya, jika plot ACF menunjukkan penurunan autokorelasi secara cepat, maka data dapat dikatakan stasioner. Selain itu, dari plot ACF juga dapat ditinjau adanya efek musiman atau tidak. Efek musiman terlihat dari pola berulang dalam plot ACF.</p><p>Dengan menggunakan teknik grafik untuk uji stasioneritas, kita dapat dengan mudah mengidentifikasi apakah data deret waktu memiliki sifat stasioner atau tidak, serta mengidentifikasi adanya pola musiman yang dapat mempengaruhi model prediksi. Hal ini penting untuk memastikan bahwa model yang dibangun dapat memberikan prediksi yang lebih akurat dan andal.</p><pre># Plot ACF<br>def plot_acf(series, lags):<br>    acf_vals = [series.autocorr(lag) for lag in range(lags + 1)]<br>    plt.figure(figsize=(10, 5))<br>    sns.barplot(x=list(range(lags + 1)), y=acf_vals)<br>    plt.title(&#39;Autocorrelation Function (ACF)&#39;)<br>    plt.xlabel(&#39;Lags&#39;)<br>    plt.ylabel(&#39;Autocorrelation&#39;)<br>    plt.show()<br><br>plot_acf(train[&#39;Curah_Hujan&#39;], lags=36)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/858/1*VJEV6Q3udIcpdsGe3LrzOg.png" /><figcaption>Plot ACF</figcaption></figure><p>Berdasarkan plot ACF, terlihat bahwa data menunjukkan pola yang menurun secara cepat dan eksponensial, yang mengindikasikan bahwa data tersebut stasioner dalam rataannya. Penurunan yang cepat pada plot ACF menunjukkan bahwa korelasi antar pengamatan menurun dengan cepat, menunjukkan sifat stasioner dari data ini.</p><p>Selain itu, dari plot ACF juga terlihat adanya pola berulang yang menunjukkan adanya indikasi musiman dalam data. Pola musiman ini dapat dengan jelas terlihat dengan adanya 12 lag pada setiap musimnya dalam plot ACF di atas. Hal ini menandakan bahwa terdapat pengulangan pola korelasi setiap 12 periode, yang konsisten dengan adanya efek musiman dalam data curah hujan di Provinsi Kalimantan Selatan.</p><p><strong>Plot Time Series</strong></p><pre># Plot Time Series<br>plt.figure(figsize=(10,6))<br>plt.plot(train.index, train[&#39;Curah_Hujan&#39;])<br>plt.title(&#39;Curah Hujan&#39;)<br>plt.grid(True)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/831/1*8UdsHgVWWjFHxpVEvlrarw.png" /><figcaption>Plot Time Series</figcaption></figure><p>Dari plot data time series di atas, dapat dilihat bahwa data tidak memiliki trend dan terdapat pola musiman.</p><p><strong>Metriks Evaluas : RMSE<br></strong><em>Root mean square error</em> (<strong>RMSE</strong>) adalah deviasi standar residual, atau perbedaan rata-rata antara nilai yang diproyeksikan dan nilai aktual yang dihasilkan oleh model. Residual merupakan pemisahan antara titik data dan garis regresi.</p><p>Tingkat penyebaran residual ini diukur dengan RMSE, yang menunjukkan seberapa baik data aktual sesuai dengan prediksi model yang diberikan. Formula RMSE adalah :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/243/1*Ny-2vo67R8gfEYgOJCk3aA.png" /><figcaption>RMSE</figcaption></figure><p>RMSE digunakan untuk mencari model terbaik dengan kriteria nilai RMSE paling rendah.</p><pre>def hitung_rmse(actual, predicted):<br>    squared_diffs = (actual - predicted) ** 2<br>    <br>    mean_squared_diffs = np.mean(squared_diffs)<br>    <br>    root_mean_squared_error = np.sqrt(mean_squared_diffs)<br>    <br>    return root_mean_squared_error</pre><h4><strong>Klasifikasi Pegels</strong></h4><p>Pemulusan eksponensial dengan Klasifikasi Pegel’s dapat membantu menyelesaikan berbagai kemungkinan model yang akan ditemui ketika sedang melakukan peramalan. Metode ini memungkinan terdapat sembilan model peramalan dimana semuanya memiliki persamaan pemulusan eksponensial yang berbeda untuk setiap model. Pegels’s menciptakan pemulusan eksponensial dengan cara memisahkan antara aspek musiman dan aspek tren yang dapat dilihat pada gambar berikut:</p><p>Jika temen-temen tertarik lebih dalam, bisa melihat artikel ini (<a href="https://khofifah.medium.com/metode-peramalan-pemulusan-eksponensial-dengan-klasifikasi-pegels-f083385142b2">https://khofifah.medium.com/metode-peramalan-pemulusan-eksponensial-dengan-klasifikasi-pegels-f083385142b2</a>)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/828/0*JmrNnzQZRwBq-TP3" /><figcaption>Klasifikasi Pegels</figcaption></figure><p>Dari kesembilan model pemulusan eksponensial tersebut dapat diringkas dengan rumus:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/341/1*-dBXeOvJQfqONAad_Rv5Lg.png" /><figcaption>Rumus Klasifikasi Pegels</figcaption></figure><p>dimana P dan Q berubah-ubah menurut aspek musiman dan tren dari data yaitu sebagai berikut:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/828/0*XghUDzO1EJlbv2ID.png" /><figcaption>Persamaan Klasifikasi Pegels</figcaption></figure><p>dengan :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/673/1*EGoltfAqyLFZDwETcnP5xg.png" /></figure><p>Dalam perhitungannya, diperlukan inisiasi yang dirumuskan dengan:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/725/1*qbJXkO9pvoNrat8Q04mTDQ.png" /></figure><p>Rumus untuk membuat prediksi m periode ke muka F_{t+m} dengan menggunakan klasifikasi Pegels ditunjukkan pada tabel di bawah ini.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/828/0*HNYyN97qZLhHWMDN.png" /><figcaption>Persamaan Prediksi Klasifikasi Pegels</figcaption></figure><p><strong>Identifikasi dan pemodelan Model Klasifikasi Pegels<br></strong>Melalui hasil eksplorasi data dengan <em>plot acf</em> dan <em>plot time series </em>disimpulkan karakteristik yang cocok pada data adalah Tidak mmeiliki trend (<strong><em>No Trend Effect</em></strong>) dan efek aditif musiman <em>(</em><strong><em>Additive Seasonal Effect</em></strong><em>)</em>. Selanjutnya Pemodelan Klasifikasi pegels akan menyesuaikan karakteristik tersebut.</p><pre><br>def pegels_notren_additive_seasonal(data, L, alpha, delta):<br>    s_t = np.full(len(data), np.nan)  # Array kosong dengan panjang data<br>    c_t = np.full(len(data), np.nan)  # Array kosong dengan panjang data<br>    p = np.full(len(data), np.nan)     # Array kosong dengan panjang data<br>    q = np.full(len(data), np.nan)     # Array kosong dengan panjang data<br>    f_t = np.full(len(data), np.nan)   # Array kosong dengan panjang data<br>    error = np.full(len(data), np.nan) # Array kosong dengan panjang data<br>    m = 1  # Peramalan untuk 1 periode ke depan<br><br>    s_t[L-1] = np.mean(data[:L])  # Inisiasi s_t pada periode L (indeks L-1 karena indeks dimulai dari 0)<br>    c_t[:L] = data[:L] - s_t[L-1]  # Inisiasi c_t dari periode 1 sampai L<br>    p[L] = data[L] - c_t[L-L]  # Inisiasi p pada periode L+1 (indeks L karena indeks dimulai dari 0)<br>    q[L] = s_t[L-1]  # Inisiasi q pada periode L+1 (indeks L-1 karena indeks dimulai dari 0)<br>    s_t[L] = alpha * p[L] + (1 - alpha) * q[L]  # Nilai s_t pada periode L+1<br>    c_t[L] = delta * (data[L] - s_t[L]) + (1 - delta) * c_t[L-L]  # Nilai c_t pada periode L+1<br><br>    for i in range(L+1, len(data)):<br>        p[i] = data[i] - c_t[i-L]<br>        q[i] = s_t[i-1]<br>        s_t[i] = alpha * p[i] + (1 - alpha) * q[i]<br>        c_t[i] = delta * (data[i] - s_t[i]) + (1 - delta) * c_t[i-L]<br><br>    for i in range(L+1, len(data)-m+1):  #<br>        f_t[i+m-1] = s_t[i-1] + c_t[i-L]<br><br>    for i in range(L+1, len(data)):<br>        error[i] = (data[i] - f_t[i])**2<br><br>    df = pd.DataFrame({<br>        &#39;Data&#39;: np.concatenate((data, np.full(len(data) - len(data), np.nan))),<br>        &#39;St&#39;: np.concatenate((s_t, np.full(len(data) - len(s_t), np.nan))),<br>        &#39;Ct&#39;: np.concatenate((c_t, np.full(len(data) - len(c_t), np.nan))),<br>        &#39;P&#39;: np.concatenate((p, np.full(len(data) - len(p), np.nan))),<br>        &#39;Q&#39;: np.concatenate((q, np.full(len(data) - len(q), np.nan))),<br>        &#39;Forecast&#39;: np.concatenate((f_t, np.full(len(data) - len(f_t), np.nan))),<br>        &#39;Error_Squared&#39;: np.concatenate((error, np.full(len(data) - len(error), np.nan)))<br>    },index=data.index)<br><br>    return df</pre><pre># Menjalankan fungsi pegels_notren_additive_seasonal<br>result_df = pegels_notren_additive_seasonal(train[&#39;Curah_Hujan&#39;], L=12, alpha=0.2, delta=0.2)<br>print(result_df)<br><br># RMSE<br>rmse = np.sqrt(np.mean(result_df[&#39;Error_Squared&#39;].dropna()))<br>print(&#39;RMSE:&#39;, rmse)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/865/1*QFTDSLTjnmnS68nvlEt5LQ.png" /></figure><pre># Plot<br>real_data = result_df[&#39;Data&#39;].dropna()  <br>forecast = result_df[&#39;Forecast&#39;].dropna()<br><br>plt.figure(figsize=(10, 6))<br>plt.plot(real_data.index, real_data, label=&#39;Real Data&#39;, marker=&#39;o&#39;)<br>plt.plot(forecast.index, forecast, label=&#39;Fitted&#39;, linestyle=&#39;--&#39;, color=&#39;red&#39;)<br>plt.title(&#39;Data Asli vs Hasil Peramalan model klasifikasi pegels&#39;, fontsize=15, fontweight=&#39;bold&#39;)<br>plt.xlabel(&#39;Tanggal&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.ylabel(&#39;Curah Hujan dalam mm&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.legend()<br>plt.show()<br><br>print(&#39;RMSE:&#39;, rmse)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WwrTDsXH4L0KaPM-Tdp4gw.png" /></figure><p><strong>Mencari Parameter Terbaik Klasifikasi Pegels</strong></p><pre># Membuat kombinasi unik alpha dan beta<br>alpha_values = np.arange(0.1, 1, 0.1)<br>beta_values = np.arange(0.1, 1, 0.1)<br>alpha, beta = np.meshgrid(alpha_values, beta_values)<br>alpha = alpha.flatten()<br>beta = beta.flatten()<br><br>RMSE = []<br><br># Looping sebanyak kombinasi alpha dan beta<br>for i in range(len(alpha)):<br>    param = pegels_notren_additive_seasonal(train[&#39;Curah_Hujan&#39;], 12, alpha[i], beta[i])<br>    RMSE.append(np.sqrt(np.nanmean(param[&#39;Error_Squared&#39;])))<br><br>Tabel_RMSE_Pegels = pd.DataFrame({&#39;Alpha&#39;: alpha, &#39;Beta&#39;: beta, &#39;RMSE&#39;: RMSE})<br><br>print(Tabel_RMSE_Pegels.head())<br>print(Tabel_RMSE_Pegels.tail())<br><br># Mencari Parameter yang meminimumkan RMSE<br>Min_RMSE = Tabel_RMSE_Pegels.loc[Tabel_RMSE_Pegels[&#39;RMSE&#39;].idxmin()]<br><br>print(&quot;Parameter dengan nilai RMSE minimum:&quot;) <br>print(Min_RMSE)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/401/1*tWn1SvDC9ZWL0bVpd4L2hA.png" /><figcaption>Parameter terbaik yang meminimumkan RMSE Klasifikasi Pegels</figcaption></figure><p>Didapatkan parameter terbaik pada metode Klasifikasi Pegels adalah nilai <strong>Alpha</strong> sebesar <strong>0,1</strong> dan <strong>Beta</strong> sebesar <strong>0,4</strong> yang menghasilkan RMSE sebesar 115,16202.</p><pre># Model terbaik dan hasil peramalan<br>best = pegels_notren_additive_seasonal(train[&#39;Curah_Hujan&#39;], 12, 0.1, 0.4)<br>forecast = best[&#39;Forecast&#39;].dropna()<br>plt.figure(figsize=(10, 6))<br>plt.plot(forecast.index, forecast, label=&#39;Fitted&#39;, linestyle=&#39;--&#39;, color=&#39;red&#39;)<br>plt.plot(real_data.index, real_data, label=&#39;Real Data&#39;, marker=&#39;o&#39;)<br>plt.title(&#39;Data Asli vs Hasil Peramalan dengan Model Pegels Terbaik&#39;, fontsize=15, fontweight=&#39;bold&#39;)<br>plt.xlabel(&#39;Tanggal&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.ylabel(&#39;Curah Hujan dalam mm&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.legend()<br>plt.show()<br><br># RMSE<br>rmse_train_pegels = np.sqrt(np.mean(best[&#39;Error_Squared&#39;].dropna()))<br>print(&#39;RMSE:&#39;, rmse_train_pegels)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GYX45MDUid8IwQIw8p_alw.png" /><figcaption>Plot Klasifikasi Pegels dengan Parameter terbaik</figcaption></figure><p>Forecasting pada data test,</p><pre><br>def pegels_notren_additive_seasonal_predict(data, L, alpha, delta):<br>    s_t = np.full(len(data), np.nan)  # Array kosong dengan panjang data<br>    c_t = np.full(len(data), np.nan)  # Array kosong dengan panjang data<br>    p = np.full(len(data), np.nan)     # Array kosong dengan panjang data<br>    q = np.full(len(data), np.nan)     # Array kosong dengan panjang data<br>    f_t = np.full(len(data), np.nan)   # Array kosong dengan panjang data<br>    error = np.full(len(data), np.nan) # Array kosong dengan panjang data<br>    m = 12  # Peramalan untuk 1 periode ke depan<br><br>    s_t[L-1] = np.mean(data[:L])  # Inisiasi s_t pada periode L (indeks L-1 karena indeks dimulai dari 0)<br>    c_t[:L] = data[:L] - s_t[L-1]  # Inisiasi c_t dari periode 1 sampai L<br>    p[L] = data[L] - c_t[L-L]  # Inisiasi p pada periode L+1 (indeks L karena indeks dimulai dari 0)<br>    q[L] = s_t[L-1]  # Inisiasi q pada periode L+1 (indeks L-1 karena indeks dimulai dari 0)<br>    s_t[L] = alpha * p[L] + (1 - alpha) * q[L]  # Nilai s_t pada periode L+1<br>    c_t[L] = delta * (data[L] - s_t[L]) + (1 - delta) * c_t[L-L]  # Nilai c_t pada periode L+1<br><br>    for i in range(L+1, len(data)):<br>        p[i] = data[i] - c_t[i-L]<br>        q[i] = s_t[i-1]<br>        s_t[i] = alpha * p[i] + (1 - alpha) * q[i]<br>        c_t[i] = delta * (data[i] - s_t[i]) + (1 - delta) * c_t[i-L]<br><br>    for i in range(L+1, len(data)-m+1): <br>        f_t[i+m-1] = s_t[i-1] + c_t[i-L]<br><br>    for i in range(L+1, len(data)):<br>        error[i] = (data[i] - f_t[i])**2<br><br>    df = pd.DataFrame({<br>        &#39;Data&#39;: np.concatenate((data, np.full(len(data) - len(data), np.nan))),<br>        &#39;St&#39;: np.concatenate((s_t, np.full(len(data) - len(s_t), np.nan))),<br>        &#39;Ct&#39;: np.concatenate((c_t, np.full(len(data) - len(c_t), np.nan))),<br>        &#39;P&#39;: np.concatenate((p, np.full(len(data) - len(p), np.nan))),<br>        &#39;Q&#39;: np.concatenate((q, np.full(len(data) - len(q), np.nan))),<br>        &#39;Forecast&#39;: np.concatenate((f_t, np.full(len(data) - len(f_t), np.nan))),<br>        &#39;Error_Squared&#39;: np.concatenate((error, np.full(len(data) - len(error), np.nan)))<br>    })<br><br>    return df</pre><pre># Model terbaik dan hasil peramalan<br>best_predict = pegels_notren_additive_seasonal_predict(train[&#39;Curah_Hujan&#39;], 12, 0.1, 0.4)<br>best_predict_oov = best_predict[[&#39;Forecast&#39;]].tail(12).set_index(test.index)<br>best_predict_oov</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/223/1*l7Yplsz6RFqDwz0lOmPenw.png" /><figcaption>Hasil Prediksi data test</figcaption></figure><pre># Plot peramalan data test<br>plt.figure(figsize=(10, 6))<br>plt.plot(train.index,train, label=&#39;Actual Data train&#39;, marker=&#39;o&#39;, color=&#39;blue&#39;)  <br>plt.plot(test.index,test, label=&#39;Actual Data test&#39;, marker=&#39;o&#39;,color=&#39;green&#39;) <br>plt.plot(best_predict_oov.index, best_predict_oov, label=&#39;Forecasts Out of Value&#39;, linestyle=&#39;--&#39;, marker=&#39;x&#39;,color=&#39;red&#39;)<br>plt.plot(best.index, best[[&#39;Forecast&#39;]], label=&#39;Fitted Values (Forecasts)&#39;, linestyle=&#39;--&#39;, marker=&#39;x&#39;,color=&#39;orange&#39;) <br>plt.title(&#39;Peramalan data test dengan Metode Klasifikasi Pegels parameter terbaik&#39;, fontsize=15, fontweight=&#39;bold&#39;)<br>plt.xlabel(&#39;Waktu&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.ylabel(&#39;Curah Hujan dalam mm&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.legend()<br>plt.grid(True)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/896/1*0DH0OQ4Pn4NTvY3qyUZM1g.png" /></figure><pre>rmse_test_pegels = hitung_rmse(test[&#39;Curah_Hujan&#39;], best_predict_oov[&#39;Forecast&#39;])<br>print(&#39;RMSE Test:&#39;, rmse_test_pegels)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/323/1*BJMWSeZVFzBD_YWzdCqDbg.png" /></figure><p>Menggunakan model Klasifikasi pegels dengan parameter terbaik (alpha = 0.1, delta = 0.4), didapatkan RMSE pada data test yaitu sebesar 114,24. Pada grafik juga terlihat bahwa hasil peramalan cukup baik menangkap pola pada data <em>test</em>.</p><h4>Triple Exponential Smoothing (Holt Winter)</h4><p>Metode Winter, atau sering disebut sebagai metode Triple Exponential Smoothing, adalah sebuah pendekatan yang dikembangkan oleh R.W. Winter yang memperluas model peramalan eksponensial dengan memasukkan tiga komponen utama, yaitu <strong>stasioner, tren, dan musiman</strong>.</p><ol><li><strong>Pemulusan untuk Komponen Stasioner</strong>. Komponen stasioner dari sebuah seri waktu adalah bagian dari data yang tidak menunjukkan pola tren atau musiman yang konsisten. Dalam metode Winter, proses pemulusan untuk komponen stasioner dilakukan dengan menggunakan eksponensial smoothing untuk memberikan bobot yang lebih tinggi pada data yang lebih baru.</li><li><strong>Pemulusan untuk Komponen Tren</strong>. Komponen tren menggambarkan pola peningkatan atau penurunan secara keseluruhan dari waktu ke waktu. Metode Winter menggunakan eksponensial smoothing untuk meramalkan dan mengekstrapolasi tren di masa depan.</li><li><strong>Pemulusan untuk Komponen Musiman</strong>. Komponen musiman mengacu pada pola yang berulang secara periodik dalam data, seperti pola penjualan yang meningkat selama musim liburan atau musim tertentu dalam setahun. Metode Winter memasukkan faktor musiman ke dalam model dengan memperhitungkan pola musiman sebelumnya dan menyesuaikannya dengan data aktual.</li></ol><p>Metode Winter dapat disesuaikan dengan karakterteristik data time series Multiplikatif dan Aditif.</p><p>Pada penelitian ini akan dijelaskan spesifik Winter Aditif menyesuaikan kaakteristik data curah hujan Kalimantan Selatan.</p><p>Metode Winter Aditif cocok untuk melakukan peramalan data time series di mana <strong>amplitude (ketinggian)</strong> pola musimannya tidak bergantung pada rata-rata level atau tingkatan dari deret data (Montgomery, Johnson &amp; Gardiner, 1990, p146) sehingga bersifat konstan. Dengan kata lain, metode ini baik digunakan untuk data aditif.</p><p>Persamaan dasar metode Winter Aditif yaitu,</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/615/1*l1f84OtstR0LfQtSjmmd1w.png" /></figure><pre># Triple SES dengan parameter bebas<br>def triple_exponential_smoothing(data, seasonal_periods, alpha, beta, gamma):<br>    n = len(data)<br>    forecasts = np.zeros(n)<br>    level = data[0]<br>    trend = np.mean(np.diff(data[:seasonal_periods]))<br>    seasonal = data[:seasonal_periods] - level<br>    <br>    for i in range(n):<br>        if i &gt;= seasonal_periods:<br>            last_level, level = level, alpha*(data[i] - seasonal[i%seasonal_periods]) + (1-alpha)*(level + trend)<br>            trend = beta*(level - last_level) + (1-beta)*trend<br>            seasonal[i%seasonal_periods] = gamma*(data[i] - level) + (1-gamma)*seasonal[i%seasonal_periods]<br>        forecasts[i] = level + trend + seasonal[i%seasonal_periods]<br>    <br>    return forecasts<br><br>seasonal_periods = 12 <br>beta = 0.2<br>gamma = 0.2<br>alpha = 0.1<br><br>forecasts = triple_exponential_smoothing(train[&#39;Curah_Hujan&#39;], seasonal_periods, alpha, beta, gamma)<br><br>forecast_df = pd.DataFrame({<br>    &#39;Forecast&#39;: forecasts<br>}, index=train.index)  <br>print(forecast_df.head())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/247/1*ZtFtyS4TmjxMEbJ7-m2gaw.png" /><figcaption>Hasil Forecast dengan Triple SES</figcaption></figure><pre># Plot Data Asli vs Hasil Peramalan<br>plt.figure(figsize=(10, 6))<br>plt.plot(train.index,train, label=&#39;Data Asli&#39;, marker=&#39;o&#39;)<br>plt.plot(forecast_df.index,forecast_df, label=&#39;Fitted Values&#39;, linestyle=&#39;--&#39;, marker=&#39;x&#39;)<br>plt.title(&#39;Data Asli vs Hasil Peramalan dengan Model Triple Exponential Smoothing&#39;, fontsize=15, fontweight=&#39;bold&#39;)<br>plt.xlabel(&#39;Tanggal&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.ylabel(&#39;Curah Hujan dalam mm&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.legend()<br>plt.grid(True)<br>plt.show()<br><br>print(&#39;RMSE:&#39;, hitung_rmse(train[&#39;Curah_Hujan&#39;], forecast_df[&#39;Forecast&#39;]))</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*JfIAsEEvu0BZzZUL_zKtWQ.png" /><figcaption>Plot Triple SES</figcaption></figure><p>Mencari parameter terbaik pada Triple SES,</p><pre>def find_best_parameters(data, seasonal_periods):<br>    parameter_values = np.arange(0.1, 1.0, 0.1)<br>    <br>    best_rmse = float(&quot;inf&quot;)<br>    best_parameters = None<br>    <br>    for alpha in parameter_values:<br>        for beta in parameter_values:<br>            for gamma in parameter_values:<br>                forecasts = triple_exponential_smoothing(data, seasonal_periods, alpha, beta, gamma)<br><br>                current_rmse = hitung_rmse(data[seasonal_periods:], forecasts[seasonal_periods:])<br>                <br>                if current_rmse &lt; best_rmse:<br>                    best_rmse = current_rmse<br>                    best_parameters = (alpha, beta, gamma)<br>    <br>    return best_parameters, best_rmse<br><br>seasonal_periods = 12 <br>best_parameters, best_rmse = find_best_parameters(train[&#39;Curah_Hujan&#39;], seasonal_periods)<br><br>print(&quot;Best Parameters (alpha, beta, gamma):&quot;, best_parameters)<br>print(&quot;Best RMSE:&quot;, best_rmse)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/742/1*aEg3GK7FGHC3YTep-vU1rQ.png" /><figcaption>Parameter terbaik Triple SES</figcaption></figure><p>Didapatkan hasil pencarian parameter terbaik pada metode Triple SES dengan RMSE terkecil sebesar 11,266.</p><pre>forecasts = triple_exponential_smoothing(train[&#39;Curah_Hujan&#39;], seasonal_periods, 0.7000000000000001, 0.1, 0.9)<br>forecast_df = pd.DataFrame({&#39;Forecast&#39;: forecasts }, index=train.index)<br>forecast_df.head()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/242/1*3bcLCeMBrUAD-xcjUC5t5g.png" /></figure><pre># Plot<br>plt.figure(figsize=(10, 6))<br>plt.plot(train.index,train, label=&#39;Actual Data&#39;, marker=&#39;o&#39;)<br>plt.plot(forecast_df.index,forecast_df, label=&#39;Fitted Values (Forecasts)&#39;, linestyle=&#39;--&#39;, marker=&#39;x&#39;)<br>plt.title(&#39;Data Asli vs Hasil Peramalan dengan Model Terbaik Triple Exponential Smoothing&#39;, fontsize=15, fontweight=&#39;bold&#39;)<br>plt.xlabel(&#39;Waktu&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.ylabel(&#39;Curah Hujan dalam mm&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.legend()<br>plt.grid(True)<br>plt.show()<br><br><br>print(&#39;RMSE:&#39;, best_rmse)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HNzkrs2qaJehbvyiyAkiCQ.png" /><figcaption>Plot Parameter terbaik Triple SES (Holt Winter)</figcaption></figure><p>Dengan menggunakan metode Holt-Winters dan parameter terbaik (<strong>alpha, beta, gamma</strong>) yaitu <strong>(0.7000000000000001, 0.1, 0.9</strong>), didapatkan <strong>RMSE</strong> pada data train sebesar <strong>11.26</strong>. Hasil analisis eksplorasi menunjukkan bahwa nilai prediksi (fitted values) sangat baik dalam mengikuti pola yang ada pada data asli. Hal ini mengindikasikan bahwa model mampu mempelajari dan mereplikasi pola pada data train dengan akurasi yang tinggi.</p><p><strong>Forecasting Data Test</strong></p><pre>def triple_exponential_smoothing_forecast(data, seasonal_periods, alpha, beta, gamma, forecast_periods):<br>    n = len(data)<br>    forecasts = np.zeros(n + forecast_periods)<br>    level = data[0]<br>    trend = np.mean(np.diff(data[:seasonal_periods]))<br>    seasonal = [data[i] - level for i in range(seasonal_periods)]<br>    <br>    for i in range(n + forecast_periods):<br>        if i &lt; n:  # Fitting period<br>            last_level, level = level, alpha * (data[i] - seasonal[i % seasonal_periods]) + (1 - alpha) * (level + trend)<br>            trend = beta * (level - last_level) + (1 - beta) * trend<br>            seasonal[i % seasonal_periods] = gamma * (data[i] - level) + (1 - gamma) * seasonal[i % seasonal_periods]<br>            forecasts[i] = level + trend + seasonal[i % seasonal_periods]<br>        else:  # Forecasting period<br>            forecasts[i] = level + (i - n + 1) * trend + seasonal[i % seasonal_periods]<br>    <br>    return forecasts</pre><pre># Memembuat data baru dengan set index date<br>data_ts_index = data_ts.set_index(&#39;date&#39;)</pre><pre>forecasts = triple_exponential_smoothing_forecast(train[&#39;Curah_Hujan&#39;], 12,0.7000000000000001, 0.1, 0.9, 12)<br>forecast_df = pd.DataFrame({&#39;Forecast&#39;: forecasts}, index=data_ts_index.index)<br>forecast_oov = forecast_df.tail(12)<br>forecast_oov</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/257/1*PDCIwT69dfsFyPJpznDiwQ.png" /></figure><pre># Plot <br>plt.figure(figsize=(10, 6))<br>plt.plot(train.index,train, label=&#39;Actual Data train&#39;, marker=&#39;o&#39;, color=&#39;blue&#39;)  <br>plt.plot(test.index,test, label=&#39;Actual Data test&#39;, marker=&#39;o&#39;,color=&#39;green&#39;)  <br>plt.plot(forecast_df.index, forecast_df, label=&#39;Fitted Values (Forecasts)&#39;, linestyle=&#39;--&#39;, marker=&#39;x&#39;,color=&#39;orange&#39;)  <br>plt.plot(forecast_oov.index, forecast_oov, label=&#39;Forecast data test&#39;, linestyle=&#39;--&#39;, marker=&#39;x&#39;,color=&#39;red&#39;)  <br>plt.title(&#39;Triple Exponential Smoothing (Holt-Winters)&#39;, fontsize=15, fontweight=&#39;bold&#39;)<br>plt.xlabel(&#39;Waktu&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.ylabel(&#39;Curah Hujan dalam mm&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.legend()<br>plt.grid(True)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/851/1*nEkocPEEgk1Th6G7SqgF3w.png" /><figcaption>Plot Triple Exponential Smoothing Forecast</figcaption></figure><pre>rmse_test_TripleSES = hitung_rmse(test[&#39;Curah_Hujan&#39;], forecast_oov[&#39;Forecast&#39;])<br>print(&#39;RMSE Test:&#39;, rmse_test_TripleSES)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/314/1*k_zzmmTOY8Yt5yyMACM8yw.png" /><figcaption>RMSE terbaik Holt winter</figcaption></figure><p>Menggunakan metode Holt winter dengan parameter terbaik (<strong>alpha, beta, gamma</strong>) yaitu <strong>(0.7000000000000001, 0.1, 0.9</strong>) didapatkan nilai RMSE pada data test sebesar 130,19. Secara eksplorasi terlihat bahwa hasil peramalan pada data test cukup menangkap pola dari data tersebut.</p><h4>Decision Tree Regression</h4><p>Decision Tree adalah salah satu algoritma Machine Learning yang umum digunakan untuk memecahkan permasalahan regresi dan klasifikasi. Seperti namanya, algoritma ini menggunakan model keputusan seperti pohon untuk memprediksi nilai target (regresi) atau memprediksi kelas target (klasifikasi).</p><p>Proses pemisahan dimulai dari simpul akar (root node) dan diikuti oleh pohon bercabang yang akhirnya mengarah ke simpul daun (terminal node) yang berisi prediksi atau hasil akhir dari algoritma. Konstruksi pohon keputusan biasanya bekerja dari atas ke bawah, dengan memilih variabel pada setiap langkah yang paling baik dalam membagi himpunan item. Setiap sub-pohon dari model pohon keputusan dapat direpresentasikan sebagai pohon biner di mana sebuah simpul keputusan terbagi menjadi dua simpul berdasarkan kondisi.</p><p>Pohon keputusan di mana variabel target atau simpul akhir dapat mengambil nilai kontinu (biasanya bilangan real) disebut pohon regresi yang akan dibahas dalam pelajaran ini. Jika variabel target dapat mengambil sekumpulan nilai diskrit, pohon-pohon ini disebut pohon klasifikasi.</p><p>Dalam mengambil pemisah yang tepat, digunakan perhitungan Information Gain. Information gain merupakan jumlah rata-rata informasi yang dibutuhkan untuk mengidentifikasi label kelas dari sebuah tuple dalam D, juga dikenal sebagai entropi D. Informasi diukur dalam bit Diberikan sebuah distribusi probabilitas, informasi yang dibutuhkan untuk memprediksi suatu peristiwa adalah entropi distribusi tersebut. Entropi memberikan informasi yang dibutuhkan dalam bentuk bit. Informasi yang diharapkan yang dibutuhkan untuk mengklasifikasikan sebuah tuple dalam D adalah dihitung dengan:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/339/1*0mfbEI5z_h7XMQdJOuGlqQ.png" /></figure><p>di mana p_i adalah probabilitas tidak nol bahwa sebarang tuple dalam D termasuk dalam kelas C_i$dan diestimasi dengan |C_{i,D}|/ |D|</p><p>Pada kasus regresi menggunakan decision tree dalam analisis time series, penting untuk memilih variabel yang paling relevan untuk dimasukkan dalam model. Dalam konteks ini, variabel waktu yang dapat digunakan adalah indeks hari, bulan, tahun, dan sebagainya yang relevan dengan data curah hujan. Meskipun dapat dipertimbangkan untuk menggunakan lag dari variabel waktu ini sebagai fitur tambahan, namun karena telah terbukti melalui uji stasioneritas bahwa data sudah stasioner, penggunaan lag mungkin akan menjadi redundan dalam model.</p><p>Membuat fitur waktu berdasarkan date yang bersesuaian,</p><pre>def create_features(df):<br>    &quot;&quot;&quot;<br>    Create time series features based on time series index.<br>    &quot;&quot;&quot;<br>    df = df.copy()<br>    df[&#39;dayofweek&#39;] = df.index.dayofweek<br>    df[&#39;quarter&#39;] = df.index.quarter<br>    df[&#39;month&#39;] = df.index.month<br>    df[&#39;year&#39;] = df.index.year<br>    df[&#39;dayofyear&#39;] = df.index.dayofyear<br>    df[&#39;dayofmonth&#39;] = df.index.day<br>    df[&#39;weekofyear&#39;] = df.index.isocalendar().week<br>    return df</pre><pre>df_dt = create_features(data_ts_index)<br>df_dt.head()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/919/1*HuMoshK4STvk97Rxy8eGcg.png" /></figure><pre>df_dt.info()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/564/1*ognfO9YDvBR443x18d7O6w.png" /></figure><p>Membuat data X dan y sesuai dengan input decision tree regression,</p><pre>train_dt = df_dt[df_dt.index.year &lt; 2017]<br>test_dt = df_dt[df_dt.index.year &gt;= 2017]<br><br>train_dt_noindex = train_dt.reset_index(drop=True)<br>test_dt_noindex = test_dt.reset_index(drop=True)<br><br>X_train = train_dt_noindex.iloc[:, 1:].values<br>y_train = train_dt_noindex.iloc[:, 0].values.reshape(-1,1)<br><br>X_test = test_dt_noindex.iloc[:, 1:].values<br>y_test = test_dt_noindex.iloc[:, 0].values.reshape(-1,1)</pre><p>Selanjutnya akan dibuat algoritma Decision Tree Regression,</p><pre>class Node():<br>    def __init__(self, feature_index=None, threshold=None, left=None, right=None, var_red=None, value=None):<br>        <br>        # decision node<br>        self.feature_index = feature_index<br>        self.threshold = threshold<br>        self.left = left<br>        self.right = right<br>        self.var_red = var_red<br>        <br>        # leaf node<br>        self.value = value</pre><pre>class DecisionTreeRegressor():<br>    def __init__(self, min_samples_split=2, max_depth=2):<br>        <br>        # inisiasi root node<br>        self.root = None<br>        <br>        # kondisi berhenti<br>        self.min_samples_split = min_samples_split<br>        self.max_depth = max_depth<br>        <br>    def build_tree(self, dataset, curr_depth=0):<br>        <br>        X, Y = dataset[:,:-1], dataset[:,-1]<br>        num_samples, num_features = np.shape(X)<br>        best_split = {}<br>        # Lakukan pemisahan data jika kondisi berhenti belum tercapai<br>        if num_samples&gt;=self.min_samples_split and curr_depth&lt;=self.max_depth:<br>            # mendapatkan split terbaik<br>            best_split = self.get_best_split(dataset, num_samples, num_features)<br>            # Mengecek jika information gain &gt; 0<br>            if best_split[&quot;var_red&quot;]&gt;0:<br>                # recur left<br>                left_subtree = self.build_tree(best_split[&quot;dataset_left&quot;], curr_depth+1)<br>                # recur right<br>                right_subtree = self.build_tree(best_split[&quot;dataset_right&quot;], curr_depth+1)<br>                # return decision node<br>                return Node(best_split[&quot;feature_index&quot;], best_split[&quot;threshold&quot;], <br>                            left_subtree, right_subtree, best_split[&quot;var_red&quot;])<br>        <br>        leaf_value = self.calculate_leaf_value(Y)<br>        # return leaf node<br>        return Node(value=leaf_value)<br>    <br>    def get_best_split(self, dataset, num_samples, num_features):<br>        &#39;&#39;&#39; function to find the best split &#39;&#39;&#39;<br>        <br>        best_split = {}<br>        max_var_red = -float(&quot;inf&quot;)<br>        # loop pada setiap feature<br>        for feature_index in range(num_features):<br>            feature_values = dataset[:, feature_index]<br>            possible_thresholds = np.unique(feature_values)<br>            # loop pada setiap nilai feature yang ada di data<br>            for threshold in possible_thresholds:<br>                # Mendapatkan split data<br>                dataset_left, dataset_right = self.split(dataset, feature_index, threshold)<br>                # Mengecek jika data tidak kosong<br>                if len(dataset_left)&gt;0 and len(dataset_right)&gt;0:<br>                    y, left_y, right_y = dataset[:, -1], dataset_left[:, -1], dataset_right[:, -1]<br>                    # Menghitung variance reduction<br>                    curr_var_red = self.variance_reduction(y, left_y, right_y)<br>                    # Melakukan update jika variance reduction lebih besar<br>                    if curr_var_red&gt;max_var_red:<br>                        best_split[&quot;feature_index&quot;] = feature_index<br>                        best_split[&quot;threshold&quot;] = threshold<br>                        best_split[&quot;dataset_left&quot;] = dataset_left<br>                        best_split[&quot;dataset_right&quot;] = dataset_right<br>                        best_split[&quot;var_red&quot;] = curr_var_red<br>                        max_var_red = curr_var_red<br>                        <br>        # return best split<br>        return best_split<br>    <br>    def split(self, dataset, feature_index, threshold):<br>        &#39;&#39;&#39; function to split the data &#39;&#39;&#39;<br>        <br>        dataset_left = np.array([row for row in dataset if row[feature_index]&lt;=threshold])<br>        dataset_right = np.array([row for row in dataset if row[feature_index]&gt;threshold])<br>        return dataset_left, dataset_right<br>    <br>    def variance_reduction(self, parent, l_child, r_child):<br>        &#39;&#39;&#39; function to compute variance reduction &#39;&#39;&#39;<br>        <br>        weight_l = len(l_child) / len(parent)<br>        weight_r = len(r_child) / len(parent)<br>        reduction = np.var(parent) - (weight_l * np.var(l_child) + weight_r * np.var(r_child))<br>        return reduction<br>    <br>    def calculate_leaf_value(self, Y):<br>        &#39;&#39;&#39; function to compute leaf node &#39;&#39;&#39;<br>        <br>        val = np.mean(Y)<br>        return val<br>                <br>    def print_tree(self, tree=None, indent=&quot; &quot;):<br>        &#39;&#39;&#39; function to print the tree &#39;&#39;&#39;<br>        <br>        if not tree:<br>            tree = self.root<br><br>        if tree.value is not None:<br>            print(tree.value)<br><br>        else:<br>            print(&quot;X_&quot;+str(tree.feature_index), &quot;&lt;=&quot;, tree.threshold, &quot;?&quot;, tree.var_red)<br>            print(&quot;%sleft:&quot; % (indent), end=&quot;&quot;)<br>            self.print_tree(tree.left, indent + indent)<br>            print(&quot;%sright:&quot; % (indent), end=&quot;&quot;)<br>            self.print_tree(tree.right, indent + indent)<br>    <br>    def fit(self, X, Y):<br>        &#39;&#39;&#39; function to train the tree &#39;&#39;&#39;<br>        <br>        dataset = np.concatenate((X, Y), axis=1)<br>        self.root = self.build_tree(dataset)<br>        <br>    def make_prediction(self, x, tree):<br>        &#39;&#39;&#39; function to predict new dataset &#39;&#39;&#39;<br>        <br>        if tree.value!=None: return tree.value<br>        feature_val = x[tree.feature_index]<br>        if feature_val&lt;=tree.threshold:<br>            return self.make_prediction(x, tree.left)<br>        else:<br>            return self.make_prediction(x, tree.right)<br>    <br>    def predict(self, X):<br>        &#39;&#39;&#39; function to predict a single data point &#39;&#39;&#39;<br>        <br>        preditions = [self.make_prediction(x, self.root) for x in X]<br>        return preditions</pre><pre>regressor = DecisionTreeRegressor(min_samples_split=3, max_depth=3)<br>regressor.fit(X_train,y_train)<br>regressor.print_tree()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/517/1*YsU-ATv7ly3vMDjdTCRoFA.png" /><figcaption>Hasil fitting decision tree regression dengan parameter custom</figcaption></figure><pre>y_pred = regressor.predict(X_train)<br>rmse_DT =hitung_rmse(y_train,y_pred)<br>print(&quot;RMSE:&quot;,rmse_DT) </pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/281/1*mlgJj0OShAIpJHDwhjfhZw.png" /></figure><pre>df_DT_predict = pd.DataFrame({&#39;y_pred&#39;:y_pred,&#39;y_train&#39;:train_dt[&#39;Curah_Hujan&#39;]},index=train_dt.index)<br>df_DT_predict.head()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/298/1*szppcZ_XeNXsQriQ6rHKOw.png" /></figure><pre># Plot Data Asli vs Hasil Peramalan<br>plt.figure(figsize=(10, 6))<br>plt.plot(df_DT_predict.index,df_DT_predict[&#39;y_train&#39;], label=&#39;Actual Data train&#39;, marker=&#39;o&#39;, color=&#39;blue&#39;)  <br>plt.plot(df_DT_predict.index,df_DT_predict[&#39;y_pred&#39;], label=&#39;Fitted Values (Forecasts)&#39;, linestyle=&#39;--&#39;, marker=&#39;x&#39;,color=&#39;red&#39;) <br>plt.title(&#39;Data Asli vs Hasil Peramalan dengan Model Decision Tree Regressor&#39;, fontsize=15, fontweight=&#39;bold&#39;)<br>plt.xlabel(&#39;Waktu&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.ylabel(&#39;Curah Hujan dalam mm&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.legend()<br>plt.grid(True)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/864/1*KiruSoyTR6m1l7IvDNyX0w.png" /><figcaption>Plot Decision Tree Regression</figcaption></figure><p><strong>Grid Search<br></strong>Selanjutnya akan dicari hyperparameter terbaik pada decision tree dengan cara melakukan Grid Search. Rentang pencarian dapat disesuaikan sesuai dengan rentang yang ingin dicari. Dalam kasus ini hanya akan dicari hingga 10.</p><pre># Mendefinisikan parameter grid pencarian<br>param_grid = {<br>    &#39;min_samples_split&#39;: [2, 3, 4, 5,6,7,8,9,10],<br>    &#39;max_depth&#39;: [2, 3, 4, 5,6,7,8,9,10]<br>}<br><br>results = []<br><br># Grid search<br>for min_samples_split in param_grid[&#39;min_samples_split&#39;]:<br>    for max_depth in param_grid[&#39;max_depth&#39;]:<br><br>        regressor = DecisionTreeRegressor(min_samples_split=min_samples_split, max_depth=max_depth)<br>        <br>        regressor.fit(X_train, y_train)<br>        <br>        y_pred = regressor.predict(X_test)<br>        <br>        rmse = hitung_rmse(y_test, y_pred)<br>        <br>        results.append({<br>            &#39;min_samples_split&#39;: min_samples_split,<br>            &#39;max_depth&#39;: max_depth,<br>            &#39;rmse&#39;: rmse<br>        })<br><br>results_df = pd.DataFrame(results)<br><br># Parameter kombinasi terbaik<br>best_params = results_df.loc[results_df[&#39;rmse&#39;].idxmin()]<br><br># Plot<br>plt.figure(figsize=(10, 6))<br>sns.pointplot(data=results_df, x=&#39;max_depth&#39;, y=&#39;rmse&#39;, hue=&#39;min_samples_split&#39;, palette=&#39;viridis&#39;)<br>plt.title(&#39;Hasil Pencarian Parameter Terbaik dengan Grid Search&#39;, fontsize=15, fontweight=&#39;bold&#39;)<br>plt.xlabel(&#39;Max Depth&#39;)<br>plt.ylabel(&#39;Root Mean Squared Error&#39;)<br>plt.legend(title=&#39;Min Samples Split&#39;)<br>plt.show()<br><br># Print parameter terbaik<br>print(f&quot;Best Parameters: {best_params}&quot;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/850/1*wpaFvBiXQSOuMggth0_rtg.png" /><figcaption>Plot Root-Mean Squared Error</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/541/1*yZ7kABmH-1khbbT2VJ7T4g.png" /><figcaption>Hyperparameter terbaik DTR</figcaption></figure><p>Berdasarkan hasil grid search, didapatkan hyperparameter decision tree terbaik yang meminimumkan rmse adalah max_depth =6 dan min_sample_spli=9 dengan rmse sebesar 170,44.</p><pre>regressor = DecisionTreeRegressor(min_samples_split=9, max_depth=6)<br>regressor.fit(X_train,y_train)<br>regressor.print_tree()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*v59hEeGvZ6qiuCx8-LuxUw.png" /><figcaption>Gambar Skema DTR, gambar sengaja terpotong (terlalu panjang)</figcaption></figure><pre># Prediksi data train<br>y_pred = regressor.predict(X_train)<br>df_DT_train = pd.DataFrame({&#39;y_pred&#39;:y_pred,&#39;y_train&#39;:train_dt[&#39;Curah_Hujan&#39;]},index=train_dt.index)<br>df_DT_train</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/311/1*hDqzg2W4Py3dTfsofBRwSg.png" /></figure><pre># Plot Data Asli vs Hasil Peramalan<br>plt.figure(figsize=(10, 6))<br>plt.plot(df_DT_train.index,df_DT_train[&#39;y_train&#39;], label=&#39;Actual Data train&#39;, marker=&#39;o&#39;, color=&#39;blue&#39;)  <br>plt.plot(df_DT_train.index,df_DT_train[&#39;y_pred&#39;], label=&#39;Fitted Values (Forecasts)&#39;, linestyle=&#39;--&#39;, marker=&#39;x&#39;,color=&#39;red&#39;)<br>plt.title(&#39;Decision Tree Terbaik- Train Actual vs Fitted&#39;, fontsize=15, fontweight=&#39;bold&#39;)<br>plt.xlabel(&#39;Waktu&#39;,fontsize=12, fontweight=&#39;bold&#39;)<br>plt.ylabel(&#39;Curah Hujan dalam mm&#39;,fontsize=12, fontweight=&#39;bold&#39;)<br>plt.legend()<br>plt.grid(True)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/851/1*leDcHEazKMqBfO4FpogYnw.png" /><figcaption>Plot DTR Terbaik</figcaption></figure><p>Melalui plot di atas dapat ditinjau bahwa model decision tree dapat menangkap sebagian besar pola yang ada pada data train.</p><p><strong>Forecasting data test</strong></p><pre>y_pred = regressor.predict(X_test)<br>df_DT_predict_test = pd.DataFrame({&#39;y_pred&#39;:y_pred,&#39;y_test&#39;:test_dt[&#39;Curah_Hujan&#39;]},index=test_dt.index)<br>df_DT_predict_test</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/303/1*2e9rdPuVsbkCIpz03g4g0w.png" /></figure><pre># Plot Data Asli vs Hasil Peramalan<br>plt.figure(figsize=(10, 6))<br>plt.plot(df_DT_predict.index,df_DT_predict[&#39;y_train&#39;], label=&#39;Actual Data train&#39;, marker=&#39;o&#39;, color=&#39;blue&#39;)<br>plt.plot(test.index,test, label=&#39;Actual Data test&#39;, marker=&#39;o&#39;,color=&#39;green&#39;) <br>plt.plot(df_DT_predict.index,df_DT_predict[&#39;y_pred&#39;], label=&#39;Fitted Values (Forecasts)&#39;, linestyle=&#39;--&#39;, marker=&#39;x&#39;,color=&#39;orange&#39;)<br>plt.plot(df_DT_predict_test.index,df_DT_predict_test[&#39;y_pred&#39;], label=&#39;Test Forecasts&#39;, linestyle=&#39;--&#39;, marker=&#39;x&#39;,color=&#39;red&#39;)<br>plt.title(&#39;Peramalan data test Decision Tree Terbaik&#39;, fontsize=15, fontweight=&#39;bold&#39;)<br>plt.xlabel(&#39;Waktu&#39;,fontsize=12, fontweight=&#39;bold&#39;)<br>plt.ylabel(&#39;Curah Hujan dalam mm&#39;,fontsize=12, fontweight=&#39;bold&#39;)<br>plt.legend()<br>plt.grid(True)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/851/1*S00v4ByrsexyvRQHd9tcsA.png" /><figcaption>DTR pada data test</figcaption></figure><pre>rmse_DT_test = hitung_rmse(test[&#39;Curah_Hujan&#39;], df_DT_predict_test[&#39;y_pred&#39;])<br>print(&#39;RMSE Test:&#39;, rmse_DT_test)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/332/1*uwYIZRtVxc-tdr1IqL31Kg.png" /></figure><p>Melalui model decision tree dengan hyperparameter terbaik didapatkan RMSE pada data test sebesar 57, 97. Pada plot juga terlihat bahwa hasil peramalan dapat menangkap pola pada data.</p><p><strong>Metode terbaik train-test</strong></p><pre>df_RMSE = pd.DataFrame({&#39;Model&#39;: [&#39;Klasifikasi Pegels&#39;,&#39;Triple Exponential Smoothing (Holt-Winters)&#39;,&#39;Decision Tree Regressor&#39;],<br>                        &#39;RMSE Test&#39;: [rmse_test_pegels,rmse_test_TripleSES,rmse_DT_test]})<br>df_RMSE</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/532/1*PXdPXGymw9zR-vc29WETDw.png" /><figcaption>RMSE Test ketiga metode</figcaption></figure><p>Melalui ketiga pemodelan yaitu Klasifikasi Pegels, Holt-Winters, dan Decision Tree Regression didapatkan model terbaik dalam prediksi curah hujan di kalimantan selatan adalah Decision Tree dengan RMSE pada data test yang terkecil sebesar 57,97 di antara 2 model lain.</p><p><strong>Expanding Window Cross Validation<br></strong>Dalam membangun model, perlu dilakukan evaluasi kinerjanya. <em>Cross-Validation </em>adalah metode yang dapat membantu dalam hal ini. Sebagai contoh, teknik yang paling umum digunakan adalah <em>K-fold-Cross-Validation</em>, dataset akan dibagi ke dalam beberapa <em>folds</em> (lipatan), kemudian model akan dilatih pada semua <em>folds</em> kecuali satu dan menguji model pada fold yang tersisa. Langkah ini terus dilakukan hingga menguji model pada setiap <em>fold</em> dan metrik akhir akan menjadi rata-rata skor yang diperoleh di setiap <em>fold</em>. Hal ini memungkinkan untuk mencegah <em>overfitting</em>, dan mengevaluasi kinerja model dengan cara yang lebih kuat daripada <em>train-test</em> saja.</p><p>Dalam kasus <em>Time Series</em>, <em>Cross-Validation</em> perlu ada perhatian ekstra. Kita tidak dapat memilih sampel dengan bebas (acak) dan membaginya ke set tes atau set <em>training</em> karena tidak masuk akal untuk menggunakan nilai dari masa depan untuk meramalkan nilai di masa lalu. Dengan kata sederhana, kita ingin menghindari melihat ke masa depan ketika kita melatih model. Diperhatikan bahwa terdapat ketergantungan temporal antara pengamatan, dan hal tersebut harus dijaga selama pengujian.</p><p>Teknik yang dapat digunakan untuk melakukan <em>*Cross Validation*</em> pada data <em>*time series*</em> salah satunya adalah <em>*Expanding Window Cross Validation*</em>. Dimulai dengan sebagian data untuk <em>*training*</em>, ramalkan titik data berikutnya dan kemudian periksa keakuratan titik data yang diramalkan. Titik data yang diramalkan sama kemudian dimasukkan sebagai bagian dari kumpulan data training berikutnya dan titik data berikutnya diramalkan. Kelebihan dari teknik ini adalah memungkinkan <em>*split*</em> yang banyak dan menjamin tidak terjadinya data <em>*leakage*</em>.</p><p>Pada penelitian ini akan dilakukan <em>*Expanding Window CV*</em> dengan rentang untuk <em>*training — validation*</em> adalah data tahun 2003–2016. <em>*Split*</em> pertama dimulai dari tahun 2003–2011 dan tahun 2012 sebagai validasi, kemudian <em>*split*</em> kedua dimulai dari tahun 2003–2012 dan tahun 2013 sebagai validasi, dan begitu seterusnya hingga terakhir data tahun 2016 sebagai validasi dan 2003–2015 sebagai data <em>*training*</em>. Terbentuk total 5 split, kemudian akan dicari rata-rata RMSE untuk menentukan model yang terbaik.</p><p>Data tahun 2017 diperlakukan sebagai data tes yang independen dari data <em>*train*</em> dan validasi untuk pengujian model terbaik.</p><p>Diperhatikan bahwa model yang diujikan pada <em>*Expanding Window CV*</em> adalah model dengan parameter terbaik yang diperoleh pada data training sebelum dibagi dalam validasi.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*97Yf5dkDOKuTUUmjyyXTGA.png" /><figcaption>Expanding Window CV Ilustrasi</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/445/1*aRxEumxRQjO1Mvf5sHClvw.png" /><figcaption>Pembagian data pada Expanding Window CV</figcaption></figure><pre># Definisi tahun validasi<br>validation_years = [2012, 2013, 2014, 2015, 2016]<br><br>datasets = {}<br><br># Melakukan Looping untuk setiap tahun validasi<br>for i, validation_year in enumerate(validation_years, start=1):<br>    # Memisahkan data train dan validation berdasarkan tahun<br>    # Training set dari awal hingga tahun sebelum tahun validasi<br>    train_set = train[:f&#39;{validation_year-1}&#39;]<br>    # Validation set hanya tahun validasi<br>    validation_set = train[f&#39;{validation_year}-01-01&#39;:f&#39;{validation_year}-12-31&#39;]<br>    # Simpan di dictionary datasets<br>    datasets[f&#39;train_cv_{i}&#39;] = train_set<br>    datasets[f&#39;validation_cv_{i}&#39;] = validation_set<br># dictionary datasets berisi data train dan validation untuk setiap tahun validasi</pre><p>Se;anjutnya akan dihitung CV untuk masing-masing model,</p><p>CV Model Klasifikasi Pegels</p><pre># Expanding Window CV model Pegels<br>rmse_values = []<br><br># Looping untuk setiap fold<br>for i in range(1, 6):<br>    # Membuat prediksi menggunakan training set<br>    pegels_cv = pegels_notren_additive_seasonal_predict(datasets[f&#39;train_cv_{i}&#39;][&#39;Curah_Hujan&#39;], 12, 0.1, 0.4)<br>    prediction_cv = pegels_cv[[&#39;Forecast&#39;]].tail(12).set_index(datasets[f&#39;validation_cv_{i}&#39;].index)<br>    prediction_cv[&#39;validation&#39;] = datasets[f&#39;validation_cv_{i}&#39;][&#39;Curah_Hujan&#39;]<br>    <br>    # Hitung RMSE untuk fold saat ini<br>    rmse_cv = hitung_rmse(datasets[f&#39;validation_cv_{i}&#39;][&#39;Curah_Hujan&#39;], prediction_cv[&#39;Forecast&#39;])<br>    # Simpan RMSE ke list<br>    rmse_values.append(rmse_cv)<br><br># Membuat DataFrame RMSE<br>rmse_df_pegels = pd.DataFrame({&#39;CV&#39;: range(1, 6), &#39;RMSE&#39;: rmse_values})<br><br># Menambahkan rata-rata RMSE<br>rmse_df_pegels.loc[&#39;Average&#39;] = [&#39;Average&#39;, rmse_df_pegels[&#39;RMSE&#39;].mean()]<br><br># Print RMSE<br>print(rmse_df_pegels)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/331/1*Uk3olZ9QBySeOiuwOMrUmw.png" /><figcaption>CV Pegels</figcaption></figure><p>CV Model Holt-Winter</p><pre># Expanding Window CV model Triple Exponential Smoothing<br>rmse_values = []<br><br># Looping untuk setiap fold<br>for i in range(1, 6):<br>    # Membuat prediksi menggunakan training set<br>    triple_exp_cv = triple_exponential_smoothing_forecast(datasets[f&#39;train_cv_{i}&#39;][&#39;Curah_Hujan&#39;], 12,0.30000000000000004, 0.1, 0.9, 12)<br>    forecast_df = pd.DataFrame({&#39;Forecast&#39;: triple_exp_cv})<br>    prediction_cv =  forecast_df[[&#39;Forecast&#39;]].tail(12).set_index(datasets[f&#39;validation_cv_{i}&#39;].index)<br>    prediction_cv[&#39;validation&#39;] = datasets[f&#39;validation_cv_{i}&#39;][&#39;Curah_Hujan&#39;]<br>    <br>    # Hitung RMSE untuk fold saat ini<br>    rmse_cv = hitung_rmse(datasets[f&#39;validation_cv_{i}&#39;][&#39;Curah_Hujan&#39;], prediction_cv[&#39;Forecast&#39;])<br>    <br>    # Simpan RMSE ke list<br>    rmse_values.append(rmse_cv)<br><br># Membuat DataFrame RMSE<br>rmse_df_triple = pd.DataFrame({&#39;CV&#39;: range(1, 6), &#39;RMSE&#39;: rmse_values})<br><br># Menambahkan rata-rata RMSE<br>rmse_df_triple.loc[&#39;Average&#39;] = [&#39;Average&#39;, rmse_df_triple[&#39;RMSE&#39;].mean()]<br><br># Print RMSE<br>print(rmse_df_triple)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/335/1*95A1ouKOXzbvMemuDN49iQ.png" /><figcaption>CV model Holt-Winters</figcaption></figure><p>CV Model DTR,</p><pre># Expanding Window CV model Decision Tree Regressor<br># List untuk menyimpan RMSE<br>rmse_values = []<br><br># Looping untuk setiap fold<br>for i in range(1, 6):<br>    # Membuat fitur untuk training dan validation datasets<br>    df_dt_train = create_features(datasets[f&#39;train_cv_{i}&#39;])<br>    df_dt_validation = create_features(datasets[f&#39;validation_cv_{i}&#39;])<br>    <br>    # Reset index<br>    train_dt_noindex = df_dt_train.reset_index(drop=True)<br>    valid_dt_noindex = df_dt_validation.reset_index(drop=True)<br>    <br>    # Pisahkan fitur dan target<br>    X_train = train_dt_noindex.iloc[:, 1:].values<br>    y_train = train_dt_noindex.iloc[:, 0].values.reshape(-1,1)<br>    X_valid = valid_dt_noindex.iloc[:, 1:].values<br>    y_valid = valid_dt_noindex.iloc[:, 0].values.reshape(-1,1)<br>    <br>    # Training model Decision Tree<br>    regressor = DecisionTreeRegressor(min_samples_split=9, max_depth=6)<br>    regressor.fit(X_train, y_train)<br>    <br>    # Prediksi<br>    y_pred = regressor.predict(X_valid)<br>    df_DT_predict_valid = pd.DataFrame({&#39;y_pred&#39;: y_pred, &#39;y_test&#39;: valid_dt_noindex.iloc[:, 0].values}, index=df_dt_validation.index)<br>    <br>    # Hitung RMSE untuk fold saat ini<br>    rmse_cv = np.sqrt(hitung_rmse(df_DT_predict_valid[&#39;y_test&#39;], df_DT_predict_valid[&#39;y_pred&#39;]))<br>    <br>    # Simpan RMSE ke list<br>    rmse_values.append(rmse_cv)<br><br># Dataframe RMSE<br>rmse_df_DT = pd.DataFrame({&#39;CV&#39;: range(1, 6), &#39;RMSE&#39;: rmse_values})<br><br># Hitung rata-rata RMSE<br>rmse_df_DT.loc[&#39;Average&#39;] = [&#39;Average&#39;, rmse_df_DT[&#39;RMSE&#39;].mean()]<br><br># Print RMSE<br>print(rmse_df_DT)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/305/1*e0FF5o4heakwNXNaXJ-5NQ.png" /><figcaption>CV DTR</figcaption></figure><p>Model terbaik dengan CV,</p><pre># Gabungkan RMSE dari model-model<br>RMSE_cv = pd.concat([rmse_df_pegels, rmse_df_triple, rmse_df_DT], axis=1)<br># berikan nama kolom model<br>RMSE_cv.columns = [&#39;CV Pegels&#39;, &#39;RMSE Pegels&#39;, &#39;CV Triple&#39;, &#39;RMSE Triple&#39;, &#39;CV DT&#39;, &#39;RMSE DT&#39;]<br>RMSE_cv</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/740/1*Z2j6iX9HPDxQTtTmc6Y2PA.png" /><figcaption>CV model DTR</figcaption></figure><p>Hasil Expanding Window Cross Validation untuk metode Pegels, Triple Exponential Smoothing, dan Decision Tree Regression menunjukkan perbedaan performa masing-masing metode dalam hal akurasi dan kesalahan. Metode Pegels memiliki rata-rata CV sebesar 124.47 dan RMSE sebesar 124.47, menunjukkan performa yang bervariasi tetapi relatif stabil dalam memprediksi nilai dengan kesalahan yang sedang. Triple Exponential Smoothing menunjukkan performa yang lebih baik pada CV dengan rata-rata 206.89 dan RMSE yang lebih rendah pada 137.91, mengindikasikan akurasi yang cukup baik dalam menangani data dengan fluktuasi musiman dan tren. Sementara itu, Decision Tree Regression memiliki nilai CV dan RMSE rata-rata masing-masing sebesar 10.32 dan 10.32, menunjukkan kinerja yang lebih konsisten dan kesalahan yang lebih kecil dibandingkan metode lainnya, menunjukkan keunggulan dalam akurasi prediksi meskipun dengan variasi yang lebih rendah. Secara keseluruhan, Decision Tree Regression tampak sebagai metode yang paling stabil dan akurat di antara ketiga metode tersebut.</p><p><strong>Forecasting 1 Tahun ke depan (2018) dengan model terbaik<br></strong>Diperhatikan bahwa Decision Tree merupakan metode terbaik yang sama-sama didapatkan pada metode train-test split dan metode Expanding Window CV. Sehingga akan didapatkan hasil yang sama untuk prediksi data test curah hujan yaitu menghasilkan RMSE sebesar 57,97. Hal ini menunjukkan bahwa metode Decision tree adalah metode yang sangat baik dalam menggambarkan pola data curah hujan provinsi kalimantan selatan.</p><pre>Prediksi_2018 = pd.DataFrame({&#39;date&#39;: pd.date_range(start=&#39;2018-01-31&#39;,end=&#39;2018-12-31&#39;,freq=&#39;M&#39;),&#39;Curah_Hujan&#39;:np.nan})<br>Prediksi_2018</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/296/1*WxC_YXRKbPuZoN8HBsze-g.png" /></figure><pre># set date as index<br>Prediksi_2018 = Prediksi_2018.set_index(&#39;date&#39;)<br># Membuat fitur berdasarkan tanggal<br>Prediksi_2018 = create_features(Prediksi_2018)<br>Prediksi_2018</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/932/1*k24cPUyG5QOmH-f2sJFF1w.png" /></figure><pre># prediksi data 2018 dengan model terbaik<br>X_pred = Prediksi_2018.iloc[:, 1:].values<br>y_pred = regressor.predict(X_pred)<br># membuat kolom hasil peramalan<br>Prediksi_2018[&#39;Curah_Hujan&#39;] = y_pred<br>Prediksi_2018</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/915/1*-_CO-96Kzg5sSTwmXU16Og.png" /></figure><pre>Prediksi_2018[[&#39;Curah_Hujan&#39;]].describe()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/189/1*OswU9AGvbjMIjrUnHh976w.png" /></figure><p>Hasil peramalan curah hujan provinsi kalimantan selatan pada tahun 2018 menunjukkan bahwa rata-rata sebesar 221,19, apabila mengacu pada kategori BMKG maka tergolong curah hujan menengah.</p><p>Diperhatikan bahwa sepanjang tahun 2018 diprediksi curah hujan dengan nilai yang tertinggi ada pada bulan januari dengan curah hujan sebesar 447,33 mm jika. Selain itu pada bulan Agustus dan September dengan curah hujan sebesar 49,42 merupakan yang terendah.</p><pre># Plot hasil peramalan<br>plt.figure(figsize=(10, 6))<br>plt.plot(data_ts_index.index,data_ts_index[&#39;Curah_Hujan&#39;], label=&#39;Data Asli&#39;, marker=&#39;o&#39;)<br>plt.plot(Prediksi_2018.index,Prediksi_2018[&#39;Curah_Hujan&#39;], label=&#39;Hasil Peramalan&#39;, linestyle=&#39;--&#39;, marker=&#39;x&#39;)<br>plt.title(&#39;Hasil Peramalan Curah Hujan Tahun 2018&#39;, fontsize=15, fontweight=&#39;bold&#39;)<br>plt.xlabel(&#39;Tanggal&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.ylabel(&#39;Curah Hujan dalam mm&#39;, fontsize=12, fontweight=&#39;bold&#39;)<br>plt.legend()<br>plt.grid(True)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/851/1*b5cqukSg_y2Wly9Ir7K4Rg.png" /></figure><h4>Kesimpulan</h4><p>Banjir merupakan bencana alam yang sering terjadi di Kalimantan Selatan, menimbulkan kerugian materi serta dampak signifikan terhadap aspek sosial dan budaya masyarakat. Banjir sering kali dipicu oleh curah hujan tinggi dalam waktu singkat. Penelitian ini bertujuan mengembangkan model prediksi curah hujan dengan pendekatan statistik klasik, yaitu Klasifikasi Pegels dan Holt-Winters (Triple Exponential Smoothing), serta metode machine learning terbaru yaitu Decision Tree Regression. Root Mean Squared Error (RMSE) digunakan untuk mengevaluasi performa model, dengan model terbaik dipilih berdasarkan RMSE terkecil. Teknik Expanding Window Cross Validation diterapkan untuk memastikan model dapat menggambarkan pola hujan di Kalimantan Selatan, dengan membagi data menjadi lima set pelatihan dan melakukan prediksi pada setiap set.</p><p>Hasil penelitian menunjukkan bahwa metode machine learning Decision Tree Regression dengan parameter terbaik memiliki rata-rata RMSE terendah dibandingkan dua model lainnya. Pada data uji, RMSE sebesar 57,97 diperoleh, menunjukkan kemampuan eksploratif model dalam menggambarkan pola pada data latih dan uji dengan baik. Model ini dinilai layak sebagai acuan untuk prediksi curah hujan di Kalimantan Selatan. Selanjutnya, model Decision Tree Regression digunakan untuk memprediksi curah hujan pada tahun 2018, dengan hasil prediksi rata-rata sebesar 221,19 mm, curah hujan tertinggi pada bulan Januari sebesar 447,33 mm, dan terendah pada bulan Agustus dan September sebesar 49,42 mm.</p><p>Berdasarkan hasil ini, saran untuk pemerintah Kalimantan Selatan adalah bahwa dengan rata-rata curah hujan tahun 2018 sebesar 221,19 mm yang termasuk dalam kategori sedang menurut BMKG, kebijakan pembangunan infrastruktur yang memerlukan curah hujan sedang dapat dipertimbangkan. Namun, antisipasi diperlukan untuk bulan Januari yang memiliki curah hujan tertinggi, guna mengatasi potensi banjir. Keberhasilan model Decision Tree Regression dalam meramalkan curah hujan di Kalimantan Selatan menunjukkan potensinya sebagai salah satu alat dalam proses peramalan curah hujan di BMKG provinsi Kalimantan Selatan. Model ini dapat terus dikembangkan dengan menyesuaikan data-data terbaru yang ada.</p><p>Sekian hasil analisis ini, semoga bermanfaat!!<br>funfact ini artikel medium pertama ku hahaha, sangat seru menulis ini!! <br>Soon mungkin aku bakal nyempatin buat nulis hasil analisis yang menarik lainnya, so stay tune azaaa</p><p>Contact and Connect with me!!!</p><p>Linkedin: <a href="https://www.linkedin.com/in/mahardinalendra/">https://www.linkedin.com/in/mahardinalendra/</a></p><p>email: mahardinalendra@gmail.com</p><p>X/Twitter : <a href="https://x.com/mahardinalen">https://x.com/mahardinalen</a></p><p>instagram : @mahardinalendra._</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=88b48010b0fc" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>