<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Kuncahyo Setyo Nugroho on Medium]]></title>
        <description><![CDATA[Stories by Kuncahyo Setyo Nugroho on Medium]]></description>
        <link>https://medium.com/@ksnugroho?source=rss-7c427edb83f3------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*oAnZNb1w0f8vyp1Ws_5v1g.jpeg</url>
            <title>Stories by Kuncahyo Setyo Nugroho on Medium</title>
            <link>https://medium.com/@ksnugroho?source=rss-7c427edb83f3------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sat, 21 Nov 2026 06:19:12 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@ksnugroho/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Validasi Model Klasifikasi Machine Learning pada RapidMiner]]></title>
            <link>https://ksnugroho.medium.com/validasi-model-machine-learning-pada-rapidminer-50be0080df14?source=rss-7c427edb83f3------2</link>
            <guid isPermaLink="false">https://medium.com/p/50be0080df14</guid>
            <category><![CDATA[validation]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[rapidminer]]></category>
            <category><![CDATA[classification]]></category>
            <dc:creator><![CDATA[Kuncahyo Setyo Nugroho]]></dc:creator>
            <pubDate>Mon, 04 May 2020 19:41:27 GMT</pubDate>
            <atom:updated>2020-06-04T04:22:00.172Z</atom:updated>
            <content:encoded><![CDATA[<h4>Split Validation (Training Error &amp; Test Error) dan Cross Validation</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*O_lVK_9gITrDxHnqXkvUVg.jpeg" /><figcaption>Photo by <a href="https://unsplash.com/@cgower?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Christopher Gower</a> on <a href="https://unsplash.com/?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a> Edit by <a href="https://medium.com/@ksnugroho">Me</a></figcaption></figure><p>Pada artikel sebelumnya kita telah berhasil membuat model dari sebuah proses sederhana untuk melakukan klasifikasi terhadap dataset iris. Model tersebut memberikan hasil prediksi yang hampir benar semua. Pertanyaannya adalah: seberapa anda yakin model tersebut siap digunakan untuk produksi dan apakah model tersebut memberikan hasil prediksi yang akurat terhadap data di masa depan?</p><blockquote><strong>Baca </strong>: <a href="https://medium.com/@ksnugroho/menerapkan-model-machine-learning-pada-rapidminer-142259846e13">Tutorial 1 — Menerapkan Model Machine Learning pada RapidMiner</a>.</blockquote><p>Kita harus yakin bahwa model yang dibuat merupakan model terbaik yang akan memberikan hasil maksimal dan akurat. Oleh karena itu, kita perlu melakukan validasi terhadap model sebelum digunakan untuk produksi. Validasi model adalah mengukur kinerja model dengan menghitung segala bentuk tingkat kesalahan prediksi pada model. Lalu mengapa perlu mengetahui kinerja model tersebut? dengan mengetahui kinerja model dapat membantu kita untuk mengoptimalkan parameter pada model itu sendiri sehingga model jauh lebih akurat. Kita juga dapat memilih model dengan algoritma terbaik karena setiap algoritma memiliki karateristik yang berbeda. Dan yang terpenting adalah kita dapat mengetahui seberapa baik kinerja model tersebut sebelum digunakan dalam produksi.</p><p>Ada dua teknik validasi yang lumrah digunakan untuk memvalidasi model:</p><ol><li><em>Split validation</em>: melakukan validasi sederhana dengan membagi dataset secara acak menjadi dua data terpisah — data latih &amp; data uji.</li><li><em>Cross validation</em>: melakukan validasi berulang di mana dataset dibagi menjadi banyak subset (himpunan) data latih &amp; validasi. Setiap iterasi memvalidasi (menguji) satu subset data dengan subset yang tersisa sebagai data latih. Pada c<em>ross validation,</em> # subset data adalah jumlah iterasi.</li></ol><h3>1. Split Validation (Training Error &amp; Test Error)</h3><p>Salah satu cara mengetahui kinerja model adalah dengan mengukur akurasinya (meskipun akurasi bukan satu-satunya parameter yang digunakan untuk mengukur kinerja suatu model). Ada dua konsep pada <em>split validation</em>: <em>training error </em>dan <em>test error</em>.</p><ol><li><em>Training error </em>didapatkan dengan menghitung kesalahan klasifikasi model pada data yang sama dengan model yang dilatih.</li><li><em>Test error </em>didapatkan dengan menggunakan dua data yang sepenuhnya terpisah. Satu untuk melatih model (data latih) dan lainnya untuk menghitung kesalahan klasifikasi (data uji). Kedua dataset harus memiliki nilai label yang sama.</li></ol><h4>Traning Error</h4><p>Nilai <em>traning error </em>didapatkan dengan menggunakan data yang sama untuk melatih dan menguji model. Perhatikan proses pada Gambar 1.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*d6uXf-Mvj-2hGSNuYvDl3A.png" /><figcaption>Gambar 1. Proses mencari nilai <em>training error.</em></figcaption></figure><p>Pada praktik ini, kita menggunakan data sonar yang telah tersedia di <em>repository</em> RapidMiner. Operator <em>performance</em> digunakan untuk mengevaluasi kinerja model yang memberikan daftar nilai kriteria kinerja secara otomatis sesuai dengan tugas yang diberikan. Misalkan untuk klasifikasi, kriteria yang diberikan adalah <em>accuracy</em>, <em>precision</em> dan <em>recall.</em></p><blockquote><strong>Baca</strong> : <a href="https://medium.com/@ksnugroho/confusion-matrix-untuk-evaluasi-model-pada-unsupervised-machine-learning-bc4b1ae9ae3f">Confusion Matrix untuk Evaluasi Model pada Supervised Learning</a>.</blockquote><p>Jika proses dijalankan maka menghasilkan <em>performance metrics</em> seperti Gambar 2.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LYtsM5lLZWhc4cp_ur9nWQ.png" /><figcaption>Gambar 2. Performance metrics traning error.</figcaption></figure><p>Dari <em>confusion matrix </em>pada Gambar 2, nilai akurasi yang didapatkan sebesar 86.54%. Apakah model tersebut merupakan model yang terbaik karena memiliki akurasi tinggi ?</p><p>Diatas telah dijelaskan bahwa <em>training error </em>merupakan kesalahan klasifikasi yang didapatkan menggunakan data yang sama untuk melatih dan menguji model. Karena data yang digunakan sama, maka kemungkinan hasil prediksi “benar” yang diberikan model sangatlah besar. Oleh karena itu saya menyarankan anda untuk menggabaikan nilai <em>training error </em>meskipun memiliki akurasi yang tinggi karena selalu memberikan estimasi yang terlalu “optimis”. Sayangnya, banyak referensi yang memberikan nilai <em>training error </em>sebagai hasil akhirnya. Sebenarnya ini adalah praktik yang buruk dan harus dihindari.</p><p>Hal terbaik yang bisa dilakukan adalah memberikan estimasi seberapa baik kinerja model di masa depan. Jika dilakukan dengan cara yang benar, estimasi ini akan mendekati apa yang dapat dicapai tetapi tidak ada jaminan bahwa kinerja yang diperkirakan akan persis seperti yang diharapkan.</p><h4>Test error: data latih &amp; data uji</h4><p><em>Test error</em> adalah perkiraan yang jauh lebih baik tentang seberapa baik kinerja model untuk kasus-kasus baru dan tak terlihat di masa depan. Diatas telah disinggung untuk mendapatkan <em>test error</em> diperlukan dua data yang sepenuhnya terpisah yaitu data latih dan data uji. Kebanyakan dataset yang kita miliki belum memiliki data uji. Untuk mengatasi hal tersebut, pada RapidMiner telah disediakan operator s<em>plit data </em>yang dapat digunakan untuk membagi dataset menjadi partisi data latih dan data uji sesuai porsi yang ditentukan. Perhatikan proses pada Gambar 3.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1z7hY9oE_Ov63uaMOeMY2w.png" /><figcaption>Gambar 3. Proses membagi dataset menjadi data uji &amp; data latih.</figcaption></figure><p>Untuk membaginya anda harus menambahkan rasio pada paramater <em>partition. </em>Jumlah rasio dari semua partisi harus bernilai total 1.0 (satu). Karena kita ingin melatih model sebaik mungkin maka rasio partisi untuk data latih harus lebih besar dari rasio partisi data uji. Pada praktik ini saya membagi 80% dari dataset sebagai data latih dan sisanya 20% dari dataset sebagai data uji. Perhatikan gambar 4 dibawah ini.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/717/1*dnCj6BaA2yN1dZ9i0VGhEA.png" /><figcaption>Gambar 4. Rasio 0.8 untuk partisi data latih dan 0.2 untuk partisi data uji.</figcaption></figure><p>Sedangkan operator <em>store </em>pada Gambar 3 digunakan untuk menyimpan objek hasil partisi dari operator s<em>plit data</em> ke <em>repository </em>RapidMiner. Objek yang disimpan dapat digunakan untuk proses lain dengan menggunakan operator <em>retrieve</em>.</p><p>Gunakan data latih dan data uji yang telah disiapkan sebelumnya untuk mendapatkan nilai <em>test error</em>. Perhatikan proses pada Gambar 5.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nwRQC5y63Wa5fBHdQyj2hw.png" /><figcaption>Gambar 5. Proses mencari nilai <em>test error.</em></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MuVQn7E9v-xlvf5CBHbLCA.png" /><figcaption>Gambar 6. Performance metrics test error</figcaption></figure><p>Dari <em>confusion matrix</em> pada Gambar 6, nilai akurasi yang dihasilkan <em>test error </em>sebesar 56.29%. Jauh berbeda dengan nilai akurasi yang didapatkan <em>training error</em> pada gambar 2 sebesar 86.54%. Karena menggunakan data yang terpisah untuk melatih dan menguji model, bisa jadi data yang diuji tidak dilatih pada model sehingga menghasilkan banyak prediksi “salah”. Oleh karena itu, sangat penting untuk memahami perbedaan antara <em>training error</em> dan <em>test error</em>.</p><blockquote><strong>Baca</strong> : <a href="https://medium.com/@ksnugroho/confusion-matrix-untuk-evaluasi-model-pada-unsupervised-machine-learning-bc4b1ae9ae3f">Confusion Matrix untuk Evaluasi Model pada Supervised Learning</a>.</blockquote><p>Biasanya, model akan semakin baik jika menggunakan lebih banyak data latih. Hal ini akan mempengaruhi kita untuk menggunakan data sebanyak mungkin untuk melatih model. Pada saat yang sama, anda ingin menggunakan data sebanyak mungkin untuk menguji model sehingga mendapatkan kesalahan prediksi pada pengujian model yang jauh lebih baik. Lalu, apakah ada cara yang lebih baik untuk memvalidasi sebuah model ?</p><h3>2. Cross Validation</h3><p>Dari dua percobaan diatas kita setuju bahwa menggunakan data uji dari dataset untuk menghitung <em>test error</em> merupakan cara yang lebih baik untuk mendapatkan estimasi yang lebih handal pada akurasi model di masa mendatang. Menggunakan data uji juga pendekatan yang efisien untuk memvalidasi model. Tetapi pada praktiknya masih ada potensi masalah yang timbul: bagaimana mengetahui data uji tersebut tidak terlalu mudah untuk model? Bisa jadi sampel acak yang dipilih tidak begitu acak, terutama jika hanya memiliki dataset yang sedikit. Dalam kasus tersebut,<em> test error</em> yang dihasilkan mungkin kurang mewakili akurasi model.</p><p>Dari permasalahan tersebut, ide yang muncul adalah mengulangi <em>sampling</em> data uji beberapa kali dan menggunakan sampel yang berbeda untuk setiap kali pengujian. Misalnya dengan membuat 10 sampel data uji berbeda yang digunakan untuk mencari 10 kali nilai test error. Dengan cara ini dapat diketahui rata-rata nilai dari 10 <em>test error</em>. Prosedur ini merupakan cara standar untuk memvalidasi model tetapi memerlukan waktu yang lebih lama. Meskipun pada prinsipnya dengan mencari rata-rata nilai <em>test error</em> lebih dari satu kali pengujian lebih unggul daripada<em> test error</em> tunggal, tetapi cara ini masih juga memiliki satu kelemahan yaitu: beberapa baris data yang digunakan dalam beberapa sampel data uji mungkin belum digunakan untuk pengujian sama sekali. Sebagai akibatnya, kesalahan yang dibuat pada baris yang diulang memiliki dampak yang lebih tinggi pada kesalahan pengujian yang lain. Jadi apa yang sebaiknya dilakukan ?</p><p>Jawabannya: <em>k-fold cross validation</em>.</p><p><em>K-fold</em> merupakan salah satu metode <em>cross validation</em>. Konsep <em>k-fold cross validation</em> tidak hanya membuat beberapa sampel data uji berulang kali, tetapi membagi dataset menjadi bagian terpisah dengan ukuran yang sama. Model dilatih oleh subset data latih dan divalidasi oleh subset validasi (data uji) sebanyak <em>k</em>. Dengan <em>k-fold cross validation</em> dapat mengurangi waktu komputasi dengan tetap menjaga keakuratan estimasi model. Gambar 7 menunjukkan bagaimana prinsip <em>cross validation</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*cfTBakmfq7_5a8IMeW7YPw.png" /><figcaption>Gambar 7. Konsep cross validation.</figcaption></figure><p>Pada RapidMiner, operator<em> cross validation</em> adalah operator yang bersarang yang memiliki dua subproses: subproses <em>training</em> yang digunakan untuk melatih model dan subproses <em>testing </em>untuk pengujian sekaligus mengukur kinerja model. Perhatikan proses pada Gambar 8 dan Gambar 9.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/405/1*0sk4eqxDEPNfZXZXslvpeg.png" /><figcaption>Gambar 8. Proses cross validation.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3FInqcipeeiZrdeZ2iNTGg.png" /><figcaption>Gambar 9. Subproses pada operator cross validation.</figcaption></figure><p>Operator <em>cross validation </em>memiliki parameter yang dapat digunakan. <em>Number of folds</em> digunakan untuk memberikan nilai <em>k </em>(jumlah iterasi). <em>Sampling type </em>digunakan untuk memilih teknik <em>sampling</em> yang membagi dataset.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/293/1*ru1YrkMKCf3ZyOEJe66pmg.png" /><figcaption>Gambar 10. Parameter pada operator cross validation.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*F4-RW56E_CPUhPAB907QEA.png" /><figcaption>Gambar 11. Performance metrics dari 10 <em>fold</em> cross validation.</figcaption></figure><p>Dari <em>confusion matrix</em> pada Gambar 11, nilai akurasi yang dihasilkan dari 10 <em>fold cross validation</em> sebesar 80.71% dengan standar deviasi (+/-) sebesar 13.32%. Ketika mengukur kinerja model menggunakan <em>cross validation </em>maka akurasi yang dihasilkan memiliki standar deviasi atau simpangan baku yaitu ukuran penyebaran data yang menunjukan jarak rata-rata dari nilai tengah ke suatu titik nilai. Semakin besar simpangan baku yang dihasilkan, maka penyebaran dari nilai tengahnya juga besar, begitu pula sebaliknya. Tujuan simpangan baku adalah melihat jarak antara rata-rata akurasi dengan akurasi setiap percobaan (iterasi).</p><h3><strong>Penutup</strong></h3><p>Kita dapat menghitung seberapa baik kinerja model dengan membandingkan nilai prediksi dengan nilai sebenarnya untuk <em>y</em>. Validasi model adalah langkah “wajib” sebelum anda menerapakan model untuk produksi. Terlepas dari pembahasan pada artikel ini, untuk menghasilkan model yang optimal diperlukan juga <em>pre-processing</em>, <em>feature selection</em>, optimasi parameter pada model, dan fungsi lainnya.</p><p>Teruslah mencoba dan belajar, silahkan otak-atik parameter yang ada untuk menghasilkan kinerja yang berbeda. Pada artikel berikutnya saya akan membahas tentang teknik asosiasi pada data mining. See you ! 🙂</p><h3>Referensi</h3><ol><li>RapidMiner Documentation (<a href="https://docs.rapidminer.com/">https://docs.rapidminer.com</a>)</li><li>RapidMiner 9: Operator Reference Manual (<a href="https://docs.rapidminer.com/latest/studio/operators/rapidminer-studio-operator-reference.pdf">https://docs.rapidminer.com/latest/studio/operators/rapidminer-studio-operator-reference.pdf</a>)</li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=50be0080df14" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Menerapkan Model Klasifikasi Machine Learning pada RapidMiner]]></title>
            <link>https://ksnugroho.medium.com/menerapkan-model-machine-learning-pada-rapidminer-142259846e13?source=rss-7c427edb83f3------2</link>
            <guid isPermaLink="false">https://medium.com/p/142259846e13</guid>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[classification]]></category>
            <category><![CDATA[rapidminer]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Kuncahyo Setyo Nugroho]]></dc:creator>
            <pubDate>Fri, 07 Feb 2020 23:54:39 GMT</pubDate>
            <atom:updated>2020-06-04T04:21:24.979Z</atom:updated>
            <content:encoded><![CDATA[<h4>Untuk Klasifikasi Sederhana</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*c1icvf-5ZzYRf3Bgf-73qw.jpeg" /><figcaption>Photo by <a href="https://unsplash.com/@cgower?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Christopher Gower</a> on <a href="https://unsplash.com/?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a> Edit by <a href="https://medium.com/@ksnugroho">Me</a></figcaption></figure><p>Artikel ini saya mulai dengan mengenalkan RapidMiner terlebih dahulu. <em>So, what’s RapidMiner</em>? dikutip dari <em>official</em> <em>website</em>-nya<em>, </em>RapidMiner adalah …</p><blockquote>Data science platform that unites data prep, machine learning &amp; predictive model deployment. Depth for data scientists, simplified for everyone.</blockquote><p>Secara sederhana RapidMiner adalah sebuah aplikasi yang digunakan untuk mengolah data sehingga data tersebut dapat menjadi informasi yang berguna. Anda bisa <em>googling </em>untuk mengenal RapidMiner lebih jauh.</p><p>Saya berasumsi anda telah mengenal RapidMiner sebelumnya dan memahami <em>workspace</em> dari RapidMiner itu sendiri. Syukur apabila anda sudah mengerti beberapa fungsi operator yang ada. Jika anda baru mengetahui RapidMiner ketika membaca artikel ini, SELAMAT ! karena RapidMiner akan membuat hidup anda lebih mudah dan indah (dalam konteks belajar <em>machine learning</em>). Bagi anda yang pertama kali mencoba RapidMiner lihat video dibawah ini sebagai panduan untuk mengenal <em>workspace</em> RapidMiner.</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FGg01mmR3j-g%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DGg01mmR3j-g&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2FGg01mmR3j-g%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/afe159597b22b1500e9a57025d752129/href">https://medium.com/media/afe159597b22b1500e9a57025d752129/href</a></iframe><p>Mengapa RapidMiner? Beberapa kali saya telah mencari artikel maupun tutorial selain publikasi jurnal yang membahas tentang RapidMiner dan hasilnya sangat sedikit bacaan yang tersedia dalam bahasa Indonesia. Padahal RapidMiner merupakan aplikasi <em>powerfull</em> yang menyediakan “paket komplit” untuk analisa data, <em>preprocessing</em> hingga visualiasi data. Jadi, tujuan saya menulis artikel tentang RapidMiner adalah untuk memberikan edukasi, berbagi ilmu kepada anda dan untuk catatan pribadi tentunya. Artikel ini saya tunjukan bagi anda sebagai seorang pemula yang ingin belajar tentang <em>machine learning</em> dengan menggunakan aplikasi RapidMiner (anda dapat menggunakan python atau R jika ingin mendapatkan kompleksitas dalam<em> machine learning</em>). Oleh karena itu, saya berusaha untuk membuat setiap artikel tentang RapidMiner ditulis dengan bahasa yang sangat sederhana tanpa banyak menjelaskan secara teoritis maupun matematis. Sedangkan kajian teori yang berkaitan dan mendukung setiap proses akan saya tulis pada artikel terpisah.</p><p>Kita mulai dengan membuat proses yang mudah yaitu klasifikasi menggunakan dataset iris. Tujuan dari proses ini adalah dapat memprediksi kelas dari dataset iris yang diberikan.</p><h3>Basic “Classification” Process</h3><p>Secara keseluruhan proses yang dibuat seperti gambar dibawah ini. Sangat sederhana dan mudah karena hanya membutuhkan 4 operator.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XGftoEVRGLB0UkEJvVLkqQ.png" /><figcaption>Proses apply model untuk klasifikasi.</figcaption></figure><h4>1. Read Data</h4><p>Ada banyak cara untuk import data ke RapidMiner, salah satunya adalah menggunakan operator “<em>Read</em>”. RapidMiner mendukung banyak format seperti Ms. Excel, CSV, SPSS, Ms. Access dan lainya. Pada <em>repository</em> RapidMiner juga menyediakan beberapa sampel data yang siap digunakan.</p><p>Untuk artikel ini kita menggunakan dataset iris yang sudah tersedia di <em>repository</em> RapidMiner.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/316/1*GirI4KJsHQ0L1MOAHLQIow.gif" /><figcaption>Cari sampel data pada <em>repository, pilih Iris lalu drag &amp; drop ke workspace RapidMiner.</em></figcaption></figure><h4>2. Multiply</h4><p>Operator <em>multiply </em>digunakan untuk membuat salinan objek pada RapidMiner. Operator ini mengambil objek dari port <em>input </em>dan mengirimkan salinannya ke port<em> output</em>. Setiap port yang terhubung membuat salinan yang independen (tidak terikat). Jadi ketika mengubah satu salinan tidak berpengaruh pada salinan yang lainnya.</p><h4>3. Select Model: k-NN</h4><p>Operator k-NN menghasilkan model berdasarkan algoritma <em>k-Nearest Neighbor </em>yang dapat digunakan untuk klasifikasi maupun regresi. Algoritma k-NN didasarkan pada jarak tetangga terdekat sebagai nilai prediksi dari <em>instance</em> yang baru. Pada artikel ini nilai <em>k </em>ditentukan <em>k=3</em>. Anda bisa merubah nilai dari parameter <em>k </em>pada model k-NN di RapidMiner.</p><h4>4. Apply Model</h4><p>Operator <em>Apply Model</em> digunakan untuk menerapkan model yang telah dilatih sebelumnya menggunakan<em> </em>data <em>training </em>pada <em>unlabeled data </em>(data <em>testing</em>)<em>. </em>Tujuannya adalah untuk mendapatkan prediksi pada <em>unlabeled data </em>(data <em>testing</em>) yang belum memiliki label. Yang perlu diperhatikan adalah data <em>testing </em>harus memiliki urutan, jenis, maupun peran atribut yang sama dengan data <em>training.</em></p><h3>Hasil</h3><p>Jika proses dijalankan maka menghasilkan seperti gambar dibawah ini.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/807/1*LMrIvRK1ZGZu5sEvvq-S4g.png" /><figcaption>Contoh hasil prediksi dari proses yang dijalankan.</figcaption></figure><p>Kita telah berhasil melakukan prediksi terhadap kelas (label) pada dataset iris. Jika dilihat prediksi yang dilakukan hampir benar semua. Anda bisa mencoba menggunakan sampel data yang lain atau menggunakan dataset anda sendiri.</p><h3>Penutup</h3><p>Sangat mudah kan? Hanya <em>drag &amp; drop</em> operator ke <em>workspace </em>RapidMiner. Anda perlu memahami setiap fungsi operator beserta parameternya dan tentunya pemahaman tentang teori <em>machine learning</em> karena akan sangat membantu ketika anda mulai membangun proses anda sendiri sehingga menghasilkan model yang baik. Ingat, RapidMiner hanyalah sebuah aplikasi, jika ingin menguasi <em>machine learning</em> anda harus belajar tentang teorinya. Semakin banyak anda belajar dan mencoba, semakin cepat pula anda menguasinya 😎.</p><p>Nah, dari proses klasifikasi menggunakan model k-NN diatas, kita belum mengetahui tingkat akurasinya. Oleh karena itu, pada artikel berikutnya saya akan membahas bagaimana cara memvalidasi sebuah model pada RapidMiner agar kita bisa mengetahui seberapai baik proses (model) yang kita buat.</p><h3>Referensi</h3><ol><li>RapidMiner Documentation (<a href="https://docs.rapidminer.com/">https://docs.rapidminer.com</a>)</li><li>RapidMiner 9: Operator Reference Manual (<a href="https://docs.rapidminer.com/latest/studio/operators/rapidminer-studio-operator-reference.pdf">https://docs.rapidminer.com/latest/studio/operators/rapidminer-studio-operator-reference.pdf</a>)</li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=142259846e13" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Confusion Matrix untuk Evaluasi Model pada Supervised Learning]]></title>
            <link>https://ksnugroho.medium.com/confusion-matrix-untuk-evaluasi-model-pada-unsupervised-machine-learning-bc4b1ae9ae3f?source=rss-7c427edb83f3------2</link>
            <guid isPermaLink="false">https://medium.com/p/bc4b1ae9ae3f</guid>
            <category><![CDATA[unsupervised-learning]]></category>
            <category><![CDATA[confusion-matrix]]></category>
            <category><![CDATA[metrics]]></category>
            <category><![CDATA[classification]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Kuncahyo Setyo Nugroho]]></dc:creator>
            <pubDate>Wed, 13 Nov 2019 01:47:01 GMT</pubDate>
            <atom:updated>2020-06-04T04:20:51.530Z</atom:updated>
            <content:encoded><![CDATA[<h4>Contoh: Untuk Pemodelan Klasifikasi Biner</h4><p>Ketika berhadapan dengan permasalahan <em>machine learning</em> timbul banyak pertanyaan “bagaimana cara mendapatkan model yang paling baik?”. Oleh karena itu, mengukur kinerja suatu model yang telah kita buat merupakan langkah penting dalam <em>machine learning </em>sehingga dapat menjadi pertimbangan untuk memilih model “terbaik”. Salah satu teknik yang dapat digunakan untuk mengukur kinerja suatu model khusunya kasus klasifikasi (<em>supervised learning</em>) pada <em>machine learning</em> adalah <em>confusion matrix</em>.</p><p>Saya berharap tulisan ini dapat membantu anda untuk lebih memahami tentang <em>confusion matrix</em>. Selamat membaca 😀</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OYUC3cHTrwm-ajRETWCpJA.jpeg" /><figcaption>Photo by <a href="https://unsplash.com/@roman_lazygeek?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Roman Mager</a> on <a href="https://unsplash.com/?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a>.</figcaption></figure><h3>Apa itu confusion matrix dan mengapa kita memerlukan itu ?</h3><p><em>Confusion matrix</em> juga sering disebut <em>error matrix. </em>Pada dasarnya <em>confusion matrix</em> memberikan informasi perbandingan hasil klasifikasi yang dilakukan oleh sistem (model) dengan hasil klasifikasi sebenarnya. <em>Confusion matrix</em> berbentuk tabel matriks yang menggambarkan kinerja model klasifikasi pada serangkaian data uji yang nilai sebenarnya diketahui. Gambar dibawah ini merupakan <em>confusion matrix</em> dengan 4 kombinasi nilai prediksi dan nilai aktual yang berbeda. Perhatikan gambar dibawah ini:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/852/1*IzN36IDL95ASZcV7g_KRUg.jpeg" /><figcaption>Confusion Matrix</figcaption></figure><p>Terdapat 4 istilah sebagai representasi hasil proses klasifikasi pada <em>confusion matrix</em>. Keempat istilah tersebut adalah <em>True Positive</em> (TP), <em>True Negative</em> (TN), <em>False Positive</em> (FP) dan <em>False Negative</em> (FN). Agar lebih mudah memahaminya, saya menggunakan contoh kasus sederhana untuk memprediksi seorang pasien menderita kanker atau tidak.</p><ul><li><strong><em>True Positive </em>(TP)</strong><br>Merupakan data positif yang diprediksi benar. Contohnya, pasien menderita kanker (<em>class</em> 1) dan dari model yang dibuat memprediksi pasien tersebut menderita kanker (<em>class</em> 1).</li><li><strong><em>True Negative</em> (TN)<br></strong>Merupakan data negatif yang diprediksi benar. Contohnya, pasien tidak menderita kanker (<em>class</em> 2) dan dari model yang dibuat memprediksi pasien tersebut tidak menderita kanker (<em>class</em> 2).</li><li><strong><em>False Postive</em> (FP) — Type I Error<br></strong>Merupakan data negatif namun diprediksi sebagai data positif. Contohnya, pasien tidak menderita kanker (<em>class</em> 2) tetapi dari model yang telah memprediksi pasien tersebut menderita kanker (<em>class </em>1).</li><li><strong><em>False Negative </em>(FN)</strong> — <strong>Type II Error</strong><br>Merupakan data positif namun diprediksi sebagai data negatif. Contohnya, pasien menderita kanker (<em>class </em>1) tetapi dari model yang dibuat memprediksi pasien tersebut tidak menderita kanker (<em>class </em>2).</li></ul><p>Pada beberapa kasus “Type II Error” lebih berbahaya, kita dapat menghubungkan pernyataan itu dengan contoh prediksi kanker diatas. Jika pasien tidak menderita kanker tetapi diprediksi menderita kanker (FP), maka pada diagnosa selanjutnya pasien tersebut dapat mengetahui keadaan sebenarnya bahwa pasien tersebut benar tidak menderita kanker. Tetapi jika ada pasien yang sebenarnya menderita kanker tetapi diprediksi tidak menderita kanker (FN), maka pasien tersebut akan mengetahui keadaan sebenarnya dengan sangat terlambat dan pasien tersebut tidak segera mengambil tindakan pencegahan medis untuk kanker itu. Sehingga dapat menyebabkan kondisi pasien yang semakin memburuk setiap harinya bahkan kematian. Jadi dapat dikatakan bahwa “Type II Error” lebih berbahaya.</p><p>Ada cara yang lebih mudah untuk mengingatnya, yaitu:</p><ul><li>Jika diawali dengan <strong><em>True</em></strong><em> </em>maka prediksinya adalah benar, entah diprediksi terjadi atau tidak terjadi.</li><li>Jika diawali dengan <strong><em>False</em></strong> maka prediksinya adalah salah.</li><li>Positif dan negatif merupakan hasil prediksi dari model.</li></ul><p>Tentunya kita ingin model yang telah kita buat memberikan 0 <em>false positive</em> dan 0 <em>false negative. </em>Tetapi pada prakteknya hal tersebut tidak akan pernah terjadi karena model mana pun tidak akan memberikan keakuratan 100%. Jika model anda memberikan nilai 100% maka ada masalah pada model yang anda buat atau data yang anda gunakan.</p><h4>Mengapa kita memerlukan confusion matrix ?</h4><p>Seperti yang telah dijelaskan diatas, <em>confusion matrix</em> akan memberi tahu seberapa baik model yang kita buat. Secara khusus<em> confusion matrix</em> juga memberikan informasi tentang TP, FP, TN, dan FN. Hal ini sangat berguna karena hasil dari klasifikasi umumnya tidak dapat diekspresikan dengan baik dalam satu angka saja.</p><p>Dengan contoh yang sama untuk memprediksi kanker, anda akan mencoba memprediksi siapa yang akan mati karena kanker tahun ini berdasarkan perilaku seperti merokok dari seluruh populasi. Pada tahun tertentu, hanya 1% populasi yang mati karena kanker. Algoritma klasifikasi naif hanya akan memprediksi tidak ada yang mati karena kanker. Dengan <em>confusion matrix</em> memungkinkan kita untuk melihat dengan cepat, dari siapa yang akan diprediksi mati, berapa banyak yang mati dan yang tidak.</p><p>Berikut adalah beberapa manfaat dari <em>confusion matrix</em>:</p><ol><li>Menunjukkan bagaimana model ketika membuat prediksi.</li><li>Tidak hanya memberi informasi tentang kesalahan yang dibuat oleh model tetapi juga jenis kesalahan yang dibuat.</li><li>Setiap kolom dari <em>confusion matrix </em>merepresentasikan <em>instance</em> dari kelas prediksi.</li><li>Setiap baris dari <em>confusion matrix</em> mewakili <em>instance</em> dari kelas aktual.</li></ol><h4>Contoh confusion matrix pada klasifikasi biner</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/350/1*2Avm5ipqqdO_rcu5Jr4v5w.jpeg" /><figcaption>Klasifikasi biner akan menghasilkan ouput dengan dua kelas (0 / 1) untuk data input yang diberikan.</figcaption></figure><p><em>Confusion matrix dapat </em>digunakan untuk mengukur performa dalam permasalahan klasifikasi biner maupun permasalahan klasifikasi <em>multiclass</em>. Klasifikasi biner hanya menghasilkan dua <em>ouput</em> kelas (label), seperti “Ya” atau “Tidak”, “0” atau “1” untuk setiap data <em>input</em> yang diberikan. Kelas utama biasanya dinotasikan sebagai data positif dan yang lainnya sebagai data negatif.</p><p>Sebagai contoh, sebuah model akan dilatih untuk memprediksi apakah seorang pasien sedang menderita kanker atau tidak. Dengan asumsi terdapat 20 pasien dengan 9 pasien positif kanker dan 11 pasien negatif kanker, maka contoh c<em>onfusion matrix</em> yang dihasilkan model seperti dibawah ini :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/852/1*wYRHvV99pf4iu3-BnKQomA.jpeg" /><figcaption>Contoh confusion matrix untuk klasifikasi biner</figcaption></figure><p>Jika dilihat dari<em> confusion matrix</em> diatas dari 9 pasien positif kanker, model memprediksi ada 3 pasien yang diprediksi negatif kanker (FN), dan dari 11 pasien negatif kanker, model memprediksi ada 2 pasien yang diprediksi positif kanker (FP). Prediksi yang benar terletak pada tabel diagonal (garis bawah merah), sehingga secara visual sangat mudah untuk melihat kesalahan prediksi karena kesalahan prediksi berada di luar tabel diagonal <em>confusion matrix</em>.</p><h3>Bagaimana mengukur performance metrics dari confusion matrix ?</h3><p>Kita dapat menggunakan c<em>onfusion matrix</em> untuk menghitung berbagai <em>performance metrics</em> untuk mengukur kinerja model yang telah dibuat. Pada bagian ini mari kita pahami beberapa <em>performance metrics</em> populer yang umum dan sering digunakan: <em>accuracy</em>, <em>precission</em>, dan <em>recall</em>.</p><h4>Accuracy</h4><p><em>Accuracy</em> menggambarkan seberapa akurat model dapat mengklasifikasikan dengan benar. Maka, <em>accuracy</em> merupakan rasio prediksi benar (positif dan negatif) dengan keseluruhan data. Dengan kata lain, <em>accuracy</em> merupakan tingkat kedekatan nilai prediksi dengan nilai aktual (sebenarnya). Nilai <em>accuracy </em>dapat diperoleh dengan persamaan (1).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/852/1*H8s_KlCNkXV5oHm2IJAwbg.jpeg" /><figcaption>Confusion matrix yang menggambarkan nilai accuracy.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/368/1*Y1WWhTFtl3cHLjTHmvnvWA.png" /><figcaption>Persamaan nilai accuracy.</figcaption></figure><p>Dari contoh <em>confusion matrix</em> klasifikasi biner diatas maka dengan menghitung nilai <em>accuracy</em> dapat menjawab pertanyaan “Berapa persen pasien yang benar diprediksi menderita kanker maupun yang tidak menderita kanker dari kesuluruhan pasien?”</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/592/1*aS_02tSHOWe3XEEn_TmRtQ.jpeg" /><figcaption>Menghitung nilai accuracy dari contoh confusion matrix klasifikasi biner.</figcaption></figure><h4><strong>Precision </strong>(Positive Predictive Value)</h4><p><em>Precision</em> menggambarkan tingkat keakuratan antara data yang diminta dengan hasil prediksi yang diberikan oleh model. Maka, <em>precision </em>merupakan rasio prediksi benar positif dibandingkan dengan keseluruhan hasil yang diprediksi positf. Dari semua kelas positif yang telah di prediksi dengan benar, berapa banyak data yang benar-benar positif. Nilai <em>precision </em>dapat diperoleh dengan persamaan (2).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/852/1*LD3RIHGIOeyF-nNfU9COWg.jpeg" /><figcaption>Confusion matrix yang menggambarkan nilai precison.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/368/1*5OXTw-kZdBwyiPv4n_FGuQ.jpeg" /><figcaption>Persamaan nilai precision.</figcaption></figure><p>Dari contoh <em>confusion matrix</em> klasifikasi biner diatas maka dengan menghitung nilai <em>precision</em> dapat menjawab pertanyaan “Berapa persen pasien yang benar menderita kanker dari keseluruhan pasien yang diprediksi menderita kanker?”</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/592/1*esiInqjoZGZ5fUxJ_ey3JQ.jpeg" /><figcaption>Menghitung nilai precision dari contoh confusion matrix klasifikasi biner.</figcaption></figure><h4>Recall atau Sensitivity (True Positive Rate)</h4><p><em>Recall</em> menggambarkan keberhasilan model dalam menemukan kembali sebuah informasi. Maka, <em>recall</em> merupakan rasio prediksi benar positif dibandingkan dengan keseluruhan data yang benar positif. Nilai <em>recall </em>dapat diperoleh dengan persamaan (3).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/852/1*PZewcVPq72s_GEwr0RHFIQ.jpeg" /><figcaption>Confusion matrix yang menggambarkan nilai recall.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/368/1*Z5_hI-iOweeUtUfT6FimIg.jpeg" /><figcaption>Persamaan nilai recall.</figcaption></figure><p>Dari contoh <em>confusion matrix</em> klasifikasi biner diatas maka dengan menghitung nilai <em>recall</em> dapat menjawab pertanyaan “Berapa persen pasien yang diprediksi kanker dibandingkan keseluruhan pasien yang sebenarnya menderita kanker”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/592/1*W_xPwYqrMqiF3zggAFiaDA.jpeg" /><figcaption>Menghitung nilai recall dari contoh confusion matrix klasifikasi biner.</figcaption></figure><h3>Confusion Matrix pada Python</h3><p>Pada bagian ini saya akan memberikan contoh bagaimana cara membuat model sederhana untuk prediksi dan menampilkan <em>confusion matrix</em>nya<em> </em>untuk menghitung beberapa <em>performance metrics</em> pada python. Kita membutuhkan library <strong>scikit-learn </strong>untuk menghasilkan <em>confusion matrix</em>, jadi pastikan anda telah menginstallnya terlebih dahulu. Fungsi confusion_matrix()akan menghitung <em>confusion matrix </em>pada model dan mengembalikan hasilnya dalam bentuk <em>array</em>.</p><h4>Dataset yang Digunakan</h4><p>Saya menggunakan dataset diagnosa kanker payudara dari <a href="https://www.kaggle.com/uciml/breast-cancer-wisconsin-data">kaggle</a> untuk melakukan prediksi penderita kanker. Disarankan anda untuk mengunduh dataset dan mengikuti langkah yang ada pada tulisan ini.</p><pre><strong>import</strong> pandas <strong>as</strong> pd<br><strong>import</strong> numpy <strong>as</strong> np</pre><pre><em># membaca dataset</em> <br><strong>data</strong> = pd.read_csv(&quot;data/breast-cancer-wisconsin-data.csv&quot;)</pre><pre><em># mengahapus kolom yang tidak digunakan</em><br><strong>data</strong>.drop([&quot;Unnamed: 32&quot;,&quot;id&quot;], axis=1, inplace=True)</pre><pre><em># merubah label M(ganas) = 1 dan B(jinak) = 0</em><br><strong>data</strong>.diagnosis = [1 if each == &quot;M&quot; else 0 for each in <strong>data</strong>.diagnosis]</pre><pre><strong>data</strong>.head(3) # <em>menampilkan sample data</em></pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/508/1*JXFrv3p_Mee4_aW8mlogBg.png" /><figcaption>Contoh dataset (menggunakan Pandas.head)</figcaption></figure><h4>Membagi Dataset dan Membuat Model Prediksi</h4><p>Dataset dibagi ke dalam data latih dan data uji, data latih digunakan untuk melatih model yang telah dibuat sedangkan evaluasinya akan dilakukan pada data uji.</p><pre><strong>from</strong> sklearn.model_selection <strong>import</strong> train_test_split</pre><pre><strong>x_train</strong>, <strong>x_test</strong>, <strong>y_train</strong>, <strong>y_test</strong> = train_test_split(x, y, test_size=0.25, random_state=42)</pre><p>Selanjutnya, kita akan membuat model sederhana menggunakan <em>Decision Tree </em>untuk melakukan prediksi.</p><pre><strong>from</strong> sklearn.tree <strong>import</strong> DecisionTreeClassifier</pre><pre><strong>model</strong> = DecisionTreeClassifier()<br>model.fit(<strong>x_train</strong>, <strong>y_train</strong>)<br><strong>y_pred</strong> = model.predict(<strong>x_test</strong>) # prediksi</pre><h4>Evaluasi Model menggunakan Confusion Matrix</h4><p>Kita akan menggunakan <em>confusion matrix</em> untuk mengevaluasi model yang sudah kita buat sebelumnya.</p><pre><strong>from</strong> sklearn.metrics <strong>import</strong> confusion_matrix<br>confusion_matrix(<strong>y_test</strong>, <strong>y_pred</strong>) </pre><pre># ouput<br># array([[95,  3],<br>#       [ 2, 43]])</pre><p>Kita dapat memvisualisasikan <em>confusion matrix</em> tersebut untuk memudahkan dalam mengevaluasi.</p><pre><strong>import</strong> seaborn <strong>as</strong> sns<br><strong>import</strong> matplotlib.pyplot <strong>as</strong> plt</pre><pre><strong>f</strong>, <strong>ax</strong> = plt.subplots(figsize=(8,5))<br><strong>sns</strong>.heatmap(confusion_matrix(<strong>y_test</strong>, <strong>y_pred</strong>), annot=True, fmt=&quot;.0f&quot;, ax=ax)<br><strong>plt</strong>.xlabel(&quot;y_head&quot;)<br><strong>plt</strong>.ylabel(&quot;y_true&quot;)<br><strong>plt</strong>.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/406/1*FhPAlOicPig44hhwd2YoXA.png" /><figcaption>Visualisasi dari confusion matrix.</figcaption></figure><h4>Seberapa baik model kita ?</h4><p>Seperti yang sudah saya jelaskan diatas, dengan <em>confusion matrix</em> kita dapat mengetahui keakuratan dari model yang kita buat dengan <em>performance metrics</em> seperti: <em>accuracy</em>, <em>recall</em>, dan <em>precision</em>.</p><pre><strong>from</strong> sklearn.metrics <strong>import</strong> cclassification_report<br>print (classification_report(<strong>y_test</strong>, <strong>y_pred</strong>))</pre><pre># ouput<br>#              precision    recall  f1-score   support</pre><pre>           0       0.98      0.97      0.97        98<br>           1       0.93      0.96      0.95        45</pre><pre>    accuracy                           0.97       143<br>   macro avg       0.96      0.96      0.96       143<br>weighted avg       0.97      0.97      0.97       143</pre><h3>Penutup dan saran belajar lanjutan</h3><p>Tulisan ini hanya menjabarkan teori secara umum serta praktek ringkas untuk <em>confusion matrix</em>. Oleh karena itu, ada beberapa saran belajar lanjutan agar anda lebih memahami tentang <em>confusion matrix</em>, antara lain: bagaimana menghitung <em>confusion matrix</em> pada permasalahan klasifikasi <em>multiclass </em>dan tentunya yang lebih penting adalah bagaimana cara memilih <em>performance metric</em> yang tepat untuk kasus anda sehingga anda dapat menjawab pertanyaan “bagaimana cara mendapatkan model yang paling baik?”.</p><p>Pada tulisan berikutnya saya akan membahas lebih dalam tentang <em>confusion matrix</em> dengan mengukur <em>performance metrics </em>lainnya. Selamat ‘pusing’ dengan <em>confusion matrix </em>😀</p><h3>Referensi</h3><ol><li><a href="http://ai.stanford.edu/~ronnyk/glossary.html">Kohavi, Ron and Foster Provost, eds. 1998. “Glossary of Terms.” Special Issue on Applications of Machine Learning and the Knowledge Discovery Process, Machine Learning, vol. 30, pp. 271–274, Kluwer Academic Publishers.</a></li><li><a href="https://towardsdatascience.com/understanding-confusion-matrix-a9ad42dcfd62">Narkhede, Sarang. 2018. “Understanding Confusion Matrix.” Towards Data Science, via Medium.</a></li><li><a href="https://machinelearningmastery.com/confusion-matrix-machine-learning/">Brownlee, Jason. 2016. “What is a Confusion Matrix in Machine Learning.” Machine Learning Mastery.</a></li><li>Scikit-Learn Confusion Matrix (<a href="https://scikit-learn.org/stable/modules/generated/sklearn.metrics.confusion_matrix.html">https://scikit-learn.org/stable/modules/generated/sklearn.metrics.confusion_matrix.html</a>)</li><li>Scikit-Learn Classification Report (<a href="https://scikit-learn.org/stable/modules/generated/sklearn.metrics.classification_report.html">https://scikit-learn.org/stable/modules/generated/sklearn.metrics.classification_report.html</a>)</li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=bc4b1ae9ae3f" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Dasar Text Preprocessing dengan Python]]></title>
            <link>https://ksnugroho.medium.com/dasar-text-preprocessing-dengan-python-a4fa52608ffe?source=rss-7c427edb83f3------2</link>
            <guid isPermaLink="false">https://medium.com/p/a4fa52608ffe</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[text-mining]]></category>
            <category><![CDATA[text-preprocessing]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Kuncahyo Setyo Nugroho]]></dc:creator>
            <pubDate>Tue, 18 Jun 2019 04:52:32 GMT</pubDate>
            <atom:updated>2020-06-04T04:20:15.186Z</atom:updated>
            <content:encoded><![CDATA[<h4>Prosedur, Library, dan Contoh</h4><p>Pada tulisan ini saya akan mengulas dengan sederhana langkah-langkah dasar dan praktis dalam tahapan <em>text preprocessing </em>menggunakan bahasa python beserta <em>library</em> yang digunakan.</p><h3>Pengantar Singkat : Text Preprocessing</h3><p>Pada <em>natural language processing</em> (NLP), informasi yang akan digali berisi data-data yang strukturnya “sembarang” atau tidak terstruktur. Oleh karena itu, diperlukan proses pengubahan bentuk menjadi data yang terstruktur untuk kebutuhan lebih lanjut (<em>sentiment analysis</em>, <em>topic modelling</em>, dll).</p><blockquote>Text data needs to be cleaned and encoded to numerical values before giving them to machine learning models, this process of cleaning and encoding is called as <strong>text preprocessing.</strong></blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*86uNQZ5d-HqaawLXMscx4A.jpeg" /><figcaption>Photo by <a href="https://unsplash.com/@edhoradic?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Edho Pratama</a> on <a href="https://unsplash.com/?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a></figcaption></figure><h3>Persiapan : Library yang dibutuhkan</h3><p>Salah satu keunggulan python adalah mendukung banyak <em>open-source library</em>. Ada banyak<em> library</em> python yang dapat digunakan untuk melakukan dan mengimplementasikan masalah dalam NLP.</p><h4>Natural Language Toolkit (NLTK)</h4><p><em>Natural Language Toolkit</em> atau disingkat NLTK, adalah <em>libray </em>python untuk bekerja dengan permodelan teks. NLTK menyediakan alat yang baik mempersiapkan teks sebelum digunakan pada <em>machine learning</em> atau algoritma <em>deep learnin</em>g. Cara termudah untuk menginstall NLTK adalah menggunakan “pip” pada <em>command line</em>/<em>terminal</em>.</p><pre>pip install nltk</pre><p>Langkah pertama yang perlu anda lakukan setelah menginstall NLTK adalah mengunduh paket NLTK.</p><pre>import nltk<br>nltk.download()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/835/1*HqTc4T5fX7iOKuLM0IzsLw.png" /><figcaption>NLTK</figcaption></figure><p>Dokumentasi lengkap dari NLTK dapat anda baca <a href="https://www.nltk.org/">disini</a>.</p><h4>Python Sastrawi (Stemming Bahasa Indonesia)</h4><p>Python Sastrawi adalah pengembangan dari proyek <a href="https://github.com/sastrawi/sastrawi">PHP Sastrawi</a>. Python Sastrawi merupakan library sederhana yang dapat mengubah kata berimbuhan bahasa Indonesia menjadi bentuk dasarnya. Sastrawi juga dapat diinstal melalui “pip”.</p><pre>pip install Sastrawi</pre><p>Penggunaan Python Sastrawi sangat sederhana seperti baris kode dibawah ini :</p><pre># import StemmerFactory class<br><strong>from</strong> Sastrawi.Stemmer.StemmerFactory <strong>import</strong> StemmerFactory</pre><pre># create stemmer<br><strong>factory</strong> = StemmerFactory()<br><strong>stemmer</strong> = factory.create_stemmer()</pre><pre># stemming process<br><strong>sentence</strong> = &#39;Perekonomian Indonesia sedang dalam pertumbuhan yang membanggakan&#39;</pre><pre><strong>output</strong>   = stemmer.stem(<strong>sentence</strong>)</pre><pre>print(<strong>output</strong>)<br># ekonomi indonesia sedang dalam tumbuh yang bangga</pre><pre>print(stemmer.stem(&#39;Mereka meniru-nirukannya&#39;))<br># mereka tiru</pre><p>Dokumentasi lengkap dari Python Sastrawi dapat anda baca <a href="https://github.com/har07/PySastrawi">disini</a>.</p><h3>1. Case folding</h3><p><em>Case folding </em>adalah salah satu bentuk <em>text preprocessing</em> yang paling sederhana dan efektif meskipun sering diabaikan. Tujuan dari <em>case folding </em>untuk mengubah semua huruf dalam dokumen menjadi huruf kecil. Hanya huruf ‘a’ sampai ‘z’ yang diterima. Karakter selain huruf dihilangkan dan dianggap <em>delimiter</em>. Pada tahap ini tidak menggunakan <em>external library</em> apapun, kita bisa memanfaatkan modul yang tersedia di python.</p><p>Ada beberapa cara yang dapat digunakan dalam tahap <em>case folding</em>, anda dapat menggunakan beberapa atau menggunakan semuanya, tergantung pada tugas yang diberikan.</p><h4>Mengubah text menjadi lowercase</h4><p>Salah satu contoh pentingnya penggunaan <em>lower case</em> adalah untuk mesin pencarian. Bayangkan anda sedang mencari dokumen yang mengandung “indonesia” namun tidak ada hasil yang muncul karena “indonesia” di indeks sebagai “INDONESIA”. Siapa yang harus kita salahkan? U.I. <em>designer</em> yang mengatur <em>user interface</em> atau <em>developer</em> yang mengatur sistem dalam indeks pencarian?</p><p>Contoh dibawah menunjukan bagaimana python mengubah teks menjadi <em>lowercase </em>:</p><pre><strong>kalimat</strong> = &quot;Berikut ini adalah 5 negara dengan pendidikan terbaik di dunia adalah Korea Selatan, Jepang, Singapura, Hong Kong, dan Finlandia.&quot;</pre><pre><strong>lower_case</strong> = kalimat.lower()<br>print(<strong>lower_case</strong>)</pre><pre># output<br># berikut ini adalah 5 negara dengan pendidikan terbaik di dunia adalah korea selatan, jepang, singapura, hong kong, dan finlandia.</pre><h4>Menghapus angka</h4><p>Hapuslah angka jika tidak relevan dengan apa yang akan anda analisa, contohnya seperti nomor rumah, nomor telepon, dll. <em>Regular expression</em> (<em>regex</em>) dapat digunakan untuk menghapus karakter angka. Python memiliki modulre untuk melakukan hal – hal yang berkaitan dengan <em>regex</em>.</p><p>Contoh dibawah menunjukan bagaimana python menghapus angka dalam sebuah kalimat :</p><pre><strong>import</strong> re # impor modul regular expression</pre><pre><strong>kalimat</strong> = &quot;Berikut ini adalah 5 negara dengan pendidikan terbaik di dunia adalah Korea Selatan, Jepang, Singapura, Hong Kong, dan Finlandia.&quot;<br><strong>hasil</strong> = re.sub(r&quot;\d+&quot;, &quot;&quot;, kalimat)<br>print(<strong>hasil</strong>)</pre><pre># ouput<br># Berikut ini adalah negara dengan pendidikan terbaik di dunia adalah Korea Selatan, Jepang, Singapura, Hong Kong, dan Finlandia.</pre><h4>Menghapus tanda baca</h4><p>Sama halnya dengan angka, tanda baca dalam kalimat tidak memiliki pengaruh pada <em>text preprocessing</em>. Menghapus tanda baca seperti [!”#$%&amp;’()*+,-./:;&lt;=&gt;?@[\]^_`{|}~] dapat dilakukan di pyhton seperti dibawah ini :</p><pre><strong>kalimat</strong> = &quot;Ini &amp;adalah [contoh] kalimat? {dengan} tanda. baca?!!&quot;<br><strong>hasil</strong> = kalimat.translate(str.maketrans(&quot;&quot;,&quot;&quot;,string.punctuation))<br>print(<strong>hasil</strong>)</pre><pre># output<br># Ini adalah contoh kalimat dengan tanda baca</pre><h4>Menghapus whitepace (karakter kosong)</h4><p>Untuk menghapus spasi di awal dan akhir, anda dapat menggunakan fungsi strip()pada pyhton. Perhatikan kode dibawah ini :</p><pre><strong>kalimat</strong> = &quot; \t ini kalimat contoh\t &quot;<br><strong>hasil</strong> = kalimat.strip()<br>print(<strong>hasil</strong>)</pre><pre># output<br># ini kalimat contoh</pre><h3>2. Tokenizing</h3><p><em>Tokenizing </em>adalah proses pemisahan teks menjadi potongan-potongan yang disebut sebagai token untuk kemudian di analisa. Kata, angka, simbol, tanda baca dan entitas penting lainnya dapat dianggap sebagai token. Didalam NLP, token diartikan sebagai “kata” meskipun <em>tokenize</em> juga dapat dilakukan pada paragraf maupun kalimat.</p><p>Fungsi split()pada pyhton dapat digunakan untuk memisahkan teks. Perhatikan contoh dibawah ini :</p><pre><strong>kalimat</strong> = &quot;rumah idaman adalah rumah yang bersih&quot;<br><strong>pisah</strong> = kalimat.split()<br>print(<strong>pisah</strong>)</pre><pre># output<br># [&#39;rumah&#39;, &#39;idaman&#39;, &#39;adalah&#39;, &#39;rumah&#39;, &#39;yang&#39;, &#39;bersih&#39;]</pre><p>Sayangnya, tahap <em>tokenizing</em> tidak sesederhana itu. Dari <em>output</em> kode diatas kita akan mengolah kata “rumah” dan “rumah” sebagai 2 entitas yang berbeda. Permasalahan ini tentunya akan mempengaruhi hasil dari analisa teks itu sendiri.</p><p>Untuk mengatasi masalah ini kita dapat menggunakan modul dari NLTK yang sudah diinstal sebelumnya.</p><h4>Tokenizing kata</h4><p>Sebuah kalimat atau data dapat dipisah menjadi kata-kata dengan kelas word_tokenize() pada modul NLTK.</p><pre># impor word_tokenize dari modul nltk<br><strong>from</strong> nltk.tokenize <strong>import</strong> word_tokenize <br> <br><strong>kalimat</strong> = &quot;Andi kerap melakukan transaksi rutin secara daring atau online.&quot;<br> <br><strong>tokens</strong> = nltk.tokenize.word_tokenize(<strong>kalimat</strong>)<br>print(<strong>tokens</strong>)</pre><pre># ouput <br># [&#39;Andi&#39;, &#39;kerap&#39;, &#39;melakukan&#39;, &#39;transaksi&#39;, &#39;rutin&#39;, &#39;secara&#39;, &#39;daring&#39;, &#39;atau&#39;, &#39;online&#39;, &#39;.&#39;]</pre><p>Dari <em>output </em>kode diatas terdapat kemunculan tanda baca titik(.) dan koma (,) serta token “Andi” yang masih menggunakan huruf besar pada awal kata. Hal tersebut nantinya dapat menggangu proses perhitungan dalam penerapan algoritma. Jadi, sebaiknya teks telah melewati tahap <em>case folding </em>sebelum di <em>tokenize </em>agar menghasilkan hasil yang lebih konsisten.</p><p>Kita dapat menambahkan fungsi <em>case folding </em>untuk menghilangkan tanda baca dan mengubah <em>teks</em> ke dalam bentuk <em>lowercase</em>.</p><pre><strong>kalimat</strong> = kalimat.translate(str.maketrans(&#39;&#39;,&#39;&#39;,string.punctuation)).lower()</pre><pre># output<br># [&#39;andi&#39;, &#39;kerap&#39;, &#39;melakukan&#39;, &#39;transaksi&#39;, &#39;rutin&#39;, &#39;secara&#39;, &#39;daring&#39;, &#39;atau&#39;, &#39;online&#39;]</pre><p>Kita juga bisa mendapatkan informasi frekuensi kemunculan setiap token dengan kelas FreqDist() yang sudah tersedia pada modul NLTK.</p><pre><strong>from</strong> nltk.tokenize <strong>import</strong> word_tokenize<br><strong>from</strong> nltk.probability <strong>import</strong> FreqDist</pre><pre><strong>kalimat</strong> = &quot;Andi kerap melakukan transaksi rutin secara daring atau online. Menurut Andi belanja online lebih praktis &amp; murah.&quot;<br><strong>kalimat</strong> = kalimat.translate(str.maketrans(&#39;&#39;,&#39;&#39;,string.punctuation)).lower()<br> <br><strong>tokens</strong> = nltk.tokenize.word_tokenize(<strong>kalimat</strong>)<br><strong>kemunculan</strong> = nltk.FreqDist(<strong>tokens</strong>)<br>print(<strong>kemunculan</strong>.most_common())</pre><pre># output<br># [(&#39;andi&#39;, 2), (&#39;online&#39;, 2), (&#39;kerap&#39;, 1), (&#39;melakukan&#39;, 1), (&#39;transaksi&#39;, 1), (&#39;rutin&#39;, 1), (&#39;secara&#39;, 1), (&#39;daring&#39;, 1), (&#39;atau&#39;, 1), (&#39;menurut&#39;, 1), (&#39;belanja&#39;, 1), (&#39;lebih&#39;, 1), (&#39;praktis&#39;, 1), (&#39;murah&#39;, 1)]</pre><p>Untuk menggambarkan ke dalam bentuk grafik, kita perlu menginstall library Matplotlib.</p><pre><strong>import</strong> matplotlib.pyplot <strong>as</strong> plt</pre><pre><strong>kemunculan</strong>.plot(30,cumulative=False)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/405/1*rohVFL9wTIOTkwnsSKrX1A.png" /><figcaption>Grafik frekuensi kemunculan kata pada dokumen</figcaption></figure><h4>Tokenizing kalimat</h4><p>Prinsip yang sama dapat diterapkan untuk memisahkan kalimat pada paragraf. Anda dapat menggunkan kelas sent_tokenize() pada modul NLTK. Saya telah menambahkan kalimat pada contoh seperti dibawah ini :</p><pre># impor sent_tokenize dari modul nltk<br><strong>from</strong> nltk.tokenize <strong>import</strong> sent_tokenize</pre><pre><strong>kalimat</strong> = &quot;Andi kerap melakukan transaksi rutin secara daring atau online. Menurut Andi belanja online lebih praktis &amp; murah.&quot;<br> <br><strong>tokens</strong> = nltk.tokenize.sent_tokenize(<strong>kalimat</strong>)<br>print(<strong>tokens</strong>)</pre><pre># ouput<br># [&#39;Andi kerap melakukan transaksi rutin secara daring atau online.&#39;, &#39;Menurut Andi belanja online lebih praktis &amp; murah.&#39;]</pre><h3>3. Filtering (Stopword Removal)</h3><p><em>Filtering</em> adalah tahap mengambil kata-kata penting dari hasil token dengan menggunakan algoritma <em>stoplist </em>(membuang kata kurang penting) atau <em>wordlist</em> (menyimpan kata penting).</p><p><em>Stopword</em> adalah kata umum yang biasanya muncul dalam jumlah besar dan dianggap tidak memiliki makna. Contoh <em>stopword</em> dalam bahasa Indonesia adalah “yang”, “dan”, “di”, “dari”, dll. Makna di balik penggunaan<em> stopword </em>yaitu dengan menghapus kata-kata yang memiliki informasi rendah dari sebuah teks, kita dapat fokus pada kata-kata penting sebagai gantinya.</p><p>Contoh penggunaan <em>filtering</em> dapat kita temukan pada konteks mesin pencarian. Jika permintaan pencarian anda adalah “apa itu pengertian manajemen?” tentunya anda ingin sistem pencarian fokus pada memunculkan dokumen dengan topik tentang “pengertian manajemen” di atas dokumen dengan topik “apa itu”. Hal ini dapat dilakukan dengan mencegah kata dari daftar <em>stopword</em> dianalisa.</p><h4>Filtering dengan NLTK</h4><pre><strong>from</strong> nltk.tokenize <strong>import</strong> sent_tokenize, word_tokenize<br><strong>from </strong>nltk.corpus <strong>import</strong> stopwords<br> <br><strong>kalimat</strong> = &quot;Andi kerap melakukan transaksi rutin secara daring atau online. Menurut Andi belanja online lebih praktis &amp; murah.&quot;<br><strong>kalimat</strong> = kalimat.translate(str.maketrans(&#39;&#39;,&#39;&#39;,string.punctuation)).lower()<br> <br><strong>tokens</strong> = word_tokenize(<strong>kalimat</strong>)<br><strong>listStopword</strong> =  set(stopwords.words(&#39;<strong>indonesian</strong>&#39;))<br> <br><strong>removed</strong> = []<br>for t in tokens:<br>    if t not in listStopword:<br>        removed.append(t)<br> <br>print(<strong>removed</strong>)</pre><pre># ouput<br># [&#39;andi&#39;, &#39;kerap&#39;, &#39;transaksi&#39;, &#39;rutin&#39;, &#39;daring&#39;, &#39;online&#39;, &#39;andi&#39;, &#39;belanja&#39;, &#39;online&#39;, &#39;praktis&#39;, &#39;murah&#39;]</pre><h4>Filtering dengan sastrawi</h4><p>Selain untuk <em>stemming, </em>library Sastrawi juga mendukung proses <em>filtering</em>. Kita dapat menggunakan stopWordRemoverFactory dari modul sastrawi.</p><p>Untuk melihat daftar <em>stopword</em> yang telah didefinisikan dalam library Sastrawi dapat menggunakan kode berikut :</p><pre><strong>from</strong> Sastrawi.StopWordRemover.StopWordRemoverFactory <strong>import</strong> StopWordRemoverFactory</pre><pre><strong>factory</strong> = StopWordRemoverFactory()<br><strong>stopwords</strong> = factory.get_stop_words()<br>print(<strong>stopwords</strong>)</pre><p>Kode diatas akan menampikan <em>stopword </em>yang tersedia di library Sastrawi. Prosos <em>filtering</em> pada Sastrawi dapat dilihat pada baris kode dibawah :</p><pre><strong>from</strong> Sastrawi.StopWordRemover.StopWordRemoverFactory <strong>import</strong> StopWordRemoverFactory<br><strong>from</strong> nltk.tokenize <strong>import</strong> word_tokenize</pre><pre><strong>factory</strong> = StopWordRemoverFactory()<br><strong>stopword</strong> = factory.create_stop_word_remover()</pre><pre><strong>kalimat</strong> = &quot;Andi kerap melakukan transaksi rutin secara daring atau online. Menurut Andi belanja online lebih praktis &amp; murah.&quot;<br><strong>kalimat</strong> = kalimat.translate(str.maketrans(&#39;&#39;,&#39;&#39;,string.punctuation)).lower()</pre><pre><strong>stop</strong> = stopword.remove(<strong>kalimat</strong>)<br><strong>tokens</strong> = nltk.tokenize.word_tokenize(<strong>stop</strong>)<br>print(<strong>tokens</strong>)</pre><pre># output<br># [&#39;andi&#39;, &#39;kerap&#39;, &#39;transaksi&#39;, &#39;rutin&#39;, &#39;daring&#39;, &#39;online&#39;, &#39;andi&#39;, &#39;belanja&#39;, &#39;online&#39;, &#39;praktis&#39;, &#39;murah&#39;]</pre><p>Kita dapat menambah atau mengurangi kata pada daftar <em>stopword</em> sesuai dengan kebutuhan analisa. Pada dasarnya daftar <em>stopword </em>pada library Sastrawi tersimpan di dalam list yang anda lihat <a href="https://github.com/har07/PySastrawi/blob/0ab8ce2a994679af63880f3bdd1bb23570ffc010/src/Sastrawi/StopWordRemover/StopWordRemoverFactory.py#L14">disini</a>. Jadi sebenarnya kita tinggal mengubah daftar pada list tersebut. Tetapi hal tersebut bisa menjadi permasalahan apabila pada suatu kasus kita diharuskan menambahkan <em>stopword</em> secara dinamis.</p><p>Library Sastrawi dapat mengatasi permasalahan tersebut, perhatikan kode dibawah ini :</p><pre><strong>from</strong> Sastrawi.StopWordRemover.StopWordRemoverFactory <strong>import</strong> StopWordRemoverFactory, StopWordRemover, ArrayDictionary<br><strong>from</strong> nltk.tokenize <strong>import</strong> word_tokenize <br> <br><br><strong>stop_factory</strong> = StopWordRemoverFactory().get_stop_words() #load defaul stopword<br><strong>more_stopword</strong> = [&#39;daring&#39;, &#39;online&#39;] #menambahkan stopword</pre><pre><strong>kalimat</strong> = &quot;Andi kerap melakukan transaksi rutin secara daring atau online. Menurut Andi belanja online lebih praktis &amp; murah.&quot;<br><strong>kalimat</strong> = kalimat.translate(str.maketrans(&#39;&#39;,&#39;&#39;,string.punctuation)).lower()</pre><pre><strong>data</strong> = stop_factory + more_stopword #menggabungkan stopword<br> <br><strong>dictionary</strong> = ArrayDictionary(<strong>data</strong>)<br><strong>str</strong> = StopWordRemover(<strong>dictionary</strong>)<br><strong>tokens</strong> = nltk.tokenize.word_tokenize(str.remove(<strong>kalimat</strong>))<br> <br>print(<strong>tokens</strong>)</pre><pre># output<br># [&#39;andi&#39;, &#39;kerap&#39;, &#39;transaksi&#39;, &#39;rutin&#39;, &#39;andi&#39;, &#39;belanja&#39;, &#39;praktis&#39;, &#39;murah&#39;]</pre><p>Menurut <a href="https://medium.com/u/f8556bb2f8ea">Jim Geovedi</a> pada artikelnya menjelaskan bahwa penyesuaian daftar <em>stopwords </em>perlu dilakukan setiap pertama kali melakukan proyek analisa. Memang bukan sesuatu yang melelahkan, tapi jika tidak dilakukan maka ini akan dapat mengakibatkan salah interpretasi terhadap data.</p><h3>4. Stemming</h3><p><em>Stemming</em> adalah proses menghilangkan <a href="https://m.belajarbahasa.id/artikel/dokumen/273-mengenal-infleksi-dan-derivasi-di-dalam-bahasa-2016-12-28-03-02">infleksi</a> kata ke bentuk dasarnya, namun bentuk dasar tersebut tidak berarti sama dengan akar kata (<em>root word</em>). Misalnya kata “mendengarkan”, “dengarkan”, “didengarkan” akan ditransformasi menjadi kata “dengar”.</p><p>Idenya adalah ketika anda mencari dokumen “cara membuka lemari”, anda juga ingin melihat dokumen yang menyebutkan “cara terbuka lemari” atau “cara dibuka lemari” meskipun terdengar tidak enak. Tentunya anda ingin mencocokan semua variasi kata untuk memunculkan dokumen yang paling relevan.</p><h4>Stemming dengan NLTK (bahasa inggris)</h4><p>Ada banyak algoritma yang digunakan untuk <em>stemming</em>. Salah satu algoritma yang tertua dan paling populer adalah <a href="https://tartarus.org/martin/PorterStemmer/">algoritma Porter</a>. Algoritma ini tersedia dalam modul NLTK melalui kelasPorterStemmer().</p><pre><strong>from</strong> nltk.stem <strong>import</strong> PorterStemmer <br>   <br><strong>ps</strong> = PorterStemmer() <br>  <br><strong>kata</strong> = [&quot;program&quot;, &quot;programs&quot;, &quot;programer&quot;, &quot;programing&quot;, &quot;programers&quot;] <br>  <br>for <strong>k</strong> in <strong>kata</strong>: <br>    print(<strong>k</strong>, &quot; : &quot;, ps.stem(<strong>k</strong>))</pre><pre># ouput<br># program  :  program<br>programs  :  program<br>programer  :  program<br>programing  :  program<br>programers  :  program</pre><p>Selain Porter, NLTK juga mendukung algoritma <a href="http://www.comp.lancs.ac.uk/computing/research/stemming/Links/paice.htm">Lancester</a>, <a href="https://wordnet.princeton.edu/">WordNet Lemmatizer</a>, dan <a href="http://snowball.tartarus.org/">SnowBall</a>. Sayangnya proses <em>stemming</em> Bahasa Indonesia pada modul NLTK belum didukung.</p><h4>Stemming bahasa indonesia menggunakan Python Sastrawi</h4><p>Proses <em>stemming</em> antara satu bahasa dengan bahasa yang lain tentu berbeda. Contohnya pada teks berbahasa inggris, proses yang diperlukan hanya proses menghilangkan <a href="https://id.wikipedia.org/wiki/Akhiran">sufiks</a>. Sedangkan pada teks berbahasa Indonesia semua kata imbuhan baik itu sufiks dan <a href="https://id.wikipedia.org/wiki/Awalan">prefiks</a> juga dihilangkan.</p><p>Untuk melakukan <em>stemming</em> bahasa Indonesia kita dapat menggunakan library Python Sastrawi yang sudah kita siapkan di awal. <em>Library</em> Sastrawi menerapkan <a href="https://dl.acm.org/citation.cfm?id=1316459">Algoritma Nazief dan Adriani</a> dalam melakukan <em>stemming</em> bahasa Indonesia.</p><pre><strong>from</strong> Sastrawi.Stemmer.StemmerFactory <strong>import</strong> StemmerFactory</pre><pre><strong>factory</strong> = StemmerFactory()<br><strong>stemmer</strong> = factory.create_stemmer()<br> <br><strong>kalimat</strong> = &quot;Andi kerap melakukan transaksi rutin secara daring atau online. Menurut Andi belanja online lebih praktis &amp; murah.&quot;</pre><pre><strong>hasil</strong> = stemmer.stem(<strong>kalimat</strong>)</pre><pre>print(<strong>hasil</strong>)</pre><pre># ouput<br># andi kerap laku transaksi rutin cara daring atau online turut andi belanja online lebih praktis murah</pre><h3>Apakah kita memerlukan semua tahapan pada text preprocessing<em>?</em></h3><p>Tidak ada aturan pasti yang membahas setiap tahapan pada <em>text preprocessing</em>. Tentu saja untuk memastikan hasil yang lebih baik dan konsisten semua tahapan harus dilakukan. Untuk memberi gambaran tentang apa yang minimal seharusnya dilakukan, saya telah menguraikan tahapan menjadi <strong>harus dilakukan</strong>, <strong>sebaiknya dilakukan</strong>, dan<strong> tergantung tugas</strong>. Perlu diingat, <em>less is more</em>, anda ingin menjaga pendekatan dengan seindah mungkin. Semakin banyak fitur atau tahapan yang anda tambahkan, semakin banyak pula lapisan yang anda harus kupas.</p><ul><li><strong>Harus dilakukan </strong>meliputi <em>case folding</em> (dapat tergantung tugas dalam beberapa kasus)</li><li><strong>Sebaiknya dilakukan </strong>meliputi normalisasi sederhana — misalnya menstandarkan kata yang hampir sama</li><li><strong>Tergantung tugas </strong>meliputi normalisasi tingkat lanjut — misalnya mengatasi kata yang tidak biasa, s<em>topword removal </em>dan <em>stemming</em></li></ul><p>Jadi, untuk mengatasi tugas apapun minimal anda harus melakukan <em>case folding</em>. Selanjutnya dapat ditambahkan beberapa normalisasi dasar untuk mendapatkan hasil yang lebih konsisten dan secara bertahap menambahkan tahapan yang lainnya sesuai yang anda inginkan.</p><h3>Penutup</h3><p>Dalam tulisan ini kita telah mengetahui langkah dasar dan praktis pada <em>text preprocessing </em>beserta <em>library</em> yang digunakan dalam python. Selanjutnya hasil dari <em>text preprocessing</em> dapat digunakan untuk analisa NLP yang lebih rumit, contohnya <em>machine translation</em>. Tidak semua kasus membutuhkan level <em>preprocessing</em> yang sama. Dalam beberapa kasus anda bisa menggunakan salah satu tahap dari <em>preprocessing </em>paling sederhana yaitu <em>case folding</em>. Namun semua tahap akan dibutuhkan apabila anda mempunyai <em>dataset</em> dengan level <em>noise</em> sangat tinggi.</p><p>Masih ada teknik yang bisa dilakukan pada <em>text preprocessing</em>, tetapi sesuai kata pengantar diatas, tulisan ini hanya mengulas langkah dasar dan praktis dalam <em>text preprocessing</em>.<br>Selamat mencoba dan bersenang-senang dengan NLP :)</p><blockquote><strong>Baris kode diatas dapat anda temukan di github saya. </strong><a href="https://github.com/ksnugroho/basic-text-preprocessing">https://github.com/ksnugroho/basic-text-preprocessing</a></blockquote><h3>Referensi</h3><ol><li>Adriani, M., Asian, J., Nazief, B., Tahaghoghi, S. M. M., &amp; Williams, H. E. (2007). Stemming Indonesian. ACM Transactions on Asian Language Information Processing, 6(4), 1–33.</li><li>Tala, Fadillah Z.(1999). <em>A Study of Stemming Effect on Information Retrieval in </em>Bahasa Indonesia.</li><li>Geovedi, Jim.(2014).Karena Data Gak Mungkin Bohong dan karena Bisa Diolah Sesuai Pesanan (<a href="https://medium.com/curahan-rekanalar/karena-data-gak-mungkin-bohong-a17ff90cef87">https://medium.com/curahan-rekanalar/karena-data-gak-mungkin-bohong-a17ff90cef87</a>).</li><li>Python Sastrawi (<a href="https://github.com/har07/PySastrawi">https://github.com/har07/PySastrawi</a>).</li><li>Natural Language Toolkit -NLTK (<a href="https://www.nltk.org/">https://www.nltk.org</a>).</li><li>Matplotlib (<a href="https://matplotlib.org/">https://matplotlib.org</a>).</li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a4fa52608ffe" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>