<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Wildanmaulana on Medium]]></title>
        <description><![CDATA[Stories by Wildanmaulana on Medium]]></description>
        <link>https://medium.com/@wildanmaulana95914?source=rss-386b7eae6048------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*0nW4OLJiI5uq4cw39FWZUA.png</url>
            <title>Stories by Wildanmaulana on Medium</title>
            <link>https://medium.com/@wildanmaulana95914?source=rss-386b7eae6048------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 06:09:30 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@wildanmaulana95914/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[ANALISIS PROTOKOL DAN ALUR LAYER OSI PADA AKSES WEBSITE CMS BERBASIS DOCKER MELALUI CLOUDFLARE…]]></title>
            <link>https://medium.com/@wildanmaulana95914/analisis-protokol-dan-alur-layer-osi-pada-akses-website-cms-berbasis-docker-melalui-cloudflare-ab814d119a08?source=rss-386b7eae6048------2</link>
            <guid isPermaLink="false">https://medium.com/p/ab814d119a08</guid>
            <dc:creator><![CDATA[Wildanmaulana]]></dc:creator>
            <pubDate>Mon, 16 Nov 2026 07:55:54 GMT</pubDate>
            <atom:updated>2026-11-16T07:55:54.099Z</atom:updated>
            <content:encoded><![CDATA[<h3><strong>ANALISIS PROTOKOL DAN ALUR LAYER OSI PADA AKSES WEBSITE CMS BERBASIS DOCKER MELALUI CLOUDFLARE TUNNEL</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/735/0*BtZgNFImLuP7136N.jpg" /></figure><p>Halo guys, disini saya dan sobat hitam saya admint M atau <a href="https://medium.com/u/63188470f38a">MarcelloKP</a> akan menganalisa alur protokol OSI layer pada website CMS berbasis docker melalui cloudflare tunnel. Mari kita bahas.</p><p><strong>1. Studi Kasus</strong></p><p>Studi kasus yang digunakan adalah proses mengakses website CMS yang di-hosting secara mandiri pada home server menggunakan Docker dan Cloudflare Tunnel. Home server menggunakan sistem operasi Ubuntu Server yang menjalankan beberapa container Docker, di antaranya Nginx sebagai reverse proxy dan aplikasi Laravel sebagai backend website.</p><p>Aktivitas yang dianalisis adalah ketika pengguna membuka domain website CMS melalui browser dari jaringan internet. Permintaan pengguna akan diterima oleh jaringan Cloudflare melalui koneksi HTTPS, kemudian diteruskan melalui Cloudflare Tunnel yang telah terhubung dengan layanan cloudflared pada home server. Selanjutnya, permintaan diteruskan ke Nginx untuk diarahkan menuju container aplikasi Laravel. Setelah diproses, aplikasi mengirimkan respons kembali melalui jalur komunikasi yang sama hingga diterima oleh browser pengguna. Penggunaan Cloudflare Tunnel memungkinkan website diakses dari internet tanpa harus membuka port inbound secara langsung pada router rumah.</p><p><strong>2. Service Name and Transport Protocol Port Number</strong></p><p>Dalam proses akses website CMS tersebut terdapat beberapa layanan dan protokol jaringan yang terlibat. Tabel berikut menunjukkan protokol dan port yang relevan pada arsitektur tersebut.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/680/1*TZNLcl9bpJosfErI9oofCw.png" /></figure><p>Port 443 digunakan untuk komunikasi HTTPS antara browser dan Cloudflare. Sementara itu, Cloudflare Tunnel menggunakan UDP port 7844 apabila menggunakan QUIC atau TCP port 7844 apabila menggunakan HTTP/2. Koneksi internal antara Nginx dan aplikasi juga bergantung pada konfigurasi jaringan serta port yang ditentukan dalam Docker Compose.</p><p><strong>3. Alur Kerja Tiap Layer OSI (Top-Down)</strong></p><p><strong>Layer 7 — Application</strong></p><p>Pada layer ini, pengguna mengakses website melalui browser dengan memasukkan domain. Browser mengirimkan HTTP request menggunakan HTTPS kepada server Cloudflare. Permintaan tersebut berisi informasi seperti metode HTTP, URL, header, dan data yang diminta. Cloudflare kemudian meneruskan permintaan melalui koneksi Tunnel menuju layanan pada home server.</p><p><strong>Layer 6 — Presentation</strong></p><p>Layer ini berkaitan dengan representasi dan keamanan data. Komunikasi HTTPS menggunakan TLS untuk mengenkripsi data sehingga informasi yang dikirimkan tidak mudah dibaca oleh pihak lain. Data akan dienkripsi sebelum dikirimkan dan didekripsi oleh pihak yang memiliki kewenangan untuk memprosesnya. Pada Cloudflare Tunnel juga terdapat koneksi terenkripsi antara cloudflared dan jaringan Cloudflare.</p><p><strong>Layer 5 — Session</strong></p><p>Layer ini berhubungan dengan pembentukan, pemeliharaan, dan pengakhiran sesi komunikasi. Dalam studi kasus ini, koneksi browser dengan Cloudflare dan koneksi cloudflared dengan Cloudflare merupakan dua sesi komunikasi yang berbeda. Cloudflare Tunnel mempertahankan koneksi dari home server menuju jaringan Cloudflare agar permintaan pengguna dapat diteruskan.</p><p><strong>Layer 4 — Transport</strong></p><p>Pada layer ini, data dikirimkan menggunakan protokol transport TCP atau UDP. Koneksi HTTPS dari browser dapat menggunakan TCP port 443, sedangkan HTTP/3 menggunakan QUIC di atas UDP port 443. Sementara itu, Cloudflare Tunnel menggunakan QUIC melalui UDP port 7844 atau HTTP/2 melalui TCP port 7844. Protokol transport bertugas mengatur pengiriman data sesuai karakteristik masing-masing protokol.</p><p><strong>Layer 3 — Network</strong></p><p>Layer ini bertanggung jawab terhadap pengalamatan IP dan proses routing paket. Ketika pengguna mengakses website, paket data dikirimkan melalui jaringan internet menuju infrastruktur Cloudflare. Selanjutnya, komunikasi antara Cloudflare dan home server dilakukan melalui koneksi Tunnel yang telah dibangun oleh cloudflared. Pada sisi server, paket diteruskan melalui jaringan yang tersedia menuju container tujuan.</p><p><strong>Layer 2 — Data Link</strong></p><p>Pada layer ini, komunikasi berlangsung melalui pengiriman frame menggunakan alamat MAC. Di sisi home server, Docker menggunakan virtual Ethernet dan bridge network untuk menghubungkan container seperti Nginx dan Laravel. Dengan demikian, komunikasi antarkontainer dapat berlangsung melalui jaringan virtual tanpa harus melewati jaringan fisik secara langsung.</p><p><strong>Layer 1 — Physical</strong></p><p>Layer ini merupakan media fisik yang digunakan untuk mengirimkan bit data. Pada sisi pengguna, media yang digunakan dapat berupa kabel Ethernet atau jaringan Wi-Fi. Sementara pada home server, data dikirimkan melalui perangkat jaringan seperti Network Interface Card (NIC), kabel LAN, dan router yang menghubungkan server dengan internet.</p><p><strong>4. Bukti Observasi Aplikasi dan Pengecekan</strong></p><p><strong>A. Melihat container Docker</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Mzt_VfImLxPmJUTGb_NmDA.png" /></figure><pre>sudo docker ps</pre><p>Perintah ini digunakan untuk melihat container yang sedang berjalan, seperti Nginx, aplikasi Laravel, dan Cloudflare Tunnel apabila container tersebut digunakan.</p><p><strong>B. Melihat jaringan Docker</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/463/1*vuP0OOpDRvlC-f_UPG5gJA.png" /></figure><pre>sudo docker network ls</pre><p>Perintah ini digunakan untuk mengetahui jaringan virtual yang menghubungkan container.</p><p><strong>C. Melihat koneksi jaringan</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/465/1*pyGFD0BpwEEa2_-5H9v89Q.png" /></figure><pre>sudo ss -tulnp\nsudo ss -tunap</pre><p>Perintah tersebut digunakan untuk mengamati port yang sedang digunakan serta koneksi TCP dan UDP pada server.</p><p><strong>D. Memeriksa resolusi domain dan respons website dari komputer klien</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QuGDNnmKbAwOrMiBsTpi0Q.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/585/1*-ZEMnwhUNbs0VenT86xW_Q.png" /></figure><p><strong>5. Kesimpulan</strong></p><p>Berdasarkan analisis yang telah dilakukan, proses mengakses website CMS melalui Docker dan Cloudflare Tunnel melibatkan komunikasi jaringan yang bekerja pada tujuh layer OSI. Setiap layer memiliki fungsi masing-masing, mulai dari pemrosesan HTTP request, enkripsi data menggunakan TLS, pengiriman melalui TCP atau UDP, pengalamatan IP, hingga transmisi data melalui media fisik. Penggunaan Docker mempermudah pengelolaan aplikasi melalui container dan jaringan virtual, sedangkan Cloudflare Tunnel memungkinkan website pada home server diakses melalui internet tanpa harus membuka port inbound secara langsung. Dengan demikian, teknologi tersebut menunjukkan bagaimana berbagai protokol jaringan bekerja sama dalam menyediakan layanan website modern.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ab814d119a08" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[JARKOM DHCP Mikrotik]]></title>
            <link>https://medium.com/@wildanmaulana95914/jarkom-dhcp-mikrotik-a38ede66017e?source=rss-386b7eae6048------2</link>
            <guid isPermaLink="false">https://medium.com/p/a38ede66017e</guid>
            <dc:creator><![CDATA[Wildanmaulana]]></dc:creator>
            <pubDate>Mon, 16 Nov 2026 01:51:33 GMT</pubDate>
            <atom:updated>2026-11-16T01:51:33.106Z</atom:updated>
            <content:encoded><![CDATA[<p>halo gengs kembali lagi di matkul jaringan komputer, bersama kami admint M dan mas wil kali ini kita akan membahas dhcp pada mikrotik, gimana sistem dan cara kerjanya ?, langsung saja rek.</p><h4>Dasar Teori</h4><ol><li>Pengertian</li></ol><p>Dynamic Host Configuration Protocol (DHCP) adalah salah satu protokol untuk mengautomasi proses pemberian alamat IP dan parameter jaringan lainya kepada klien dalam suatu jaringan. DHCP bekerja berdasarkan model client-server, di mana DHCP Server bertugas memberikan konfigurasi jaringan kepada DHCP Client yang memintanya</p><p>Dengan adanya DHCP, admin jaringan tak perlu lagi mengatur alamat IP secara manual. Hal ini sangat bermanfaat pada jaringan dengan jumlah host yang banyak seperti di lab, kantor, sekolah, bahkan perusahaan</p><p>2. Fungsi Utama DHCP</p><ul><li>Otomatisasi Alokasi IP Address</li><li>Menghindari Konflik IP Address (nggak mungkin ada ip yang sama)</li><li>Manajemen Terpusat (admin bisa mudah mengubah atau memperbarui konfigurasi jaringan dari satu titik)</li><li>Efisiensi dan Skalabilitas (mampu meerubah jumlah perangkat dalam jaringan tanpa konfigurasi manual satu-satu)</li></ul><p>C. Arsitektur</p><p>DHCP memakai arsitektur client-server yang terdiri atas dua komponen utama:</p><ul><li>DHCP Server : Perangkat atau sistem (mikrotik, windows server, atau linux) yang menyediakan layanan DHCP untuk membagi IP ke client</li><li>DHCP Client : Perangkat pengguna yang meminta alamat ip dari DHCP Server agar dapat berkomunikasi dalam jaringan</li></ul><p>D. Komponen Konfigurasi DHCP</p><p>Berikut ini komponen utama dalam mengatur DHCP</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/677/1*ipgbEIBdUR3uwgYEsAf0nQ.png" /></figure><p>E. Proses kerja DHCP</p><ol><li>Discover =&gt; DHCP Client mengirim pesan DHCP Discover untuk mencari DHCP Server yang tersedia dalam jaringan yang sifatnya broadcast.</li><li>Offer =&gt; DHCP Server yang menerima pesan discover akan membalas dengan DHCP offer, yaitu tawaran IP Address beserta parameter jaringan</li><li>Request =&gt; Klien menerima tawaran dari server dan mengiri pesan DHCP Request untuk memilih ip yang dimau dari salah satu server yang merespon</li><li>Acknowledge =&gt; DHCP server mengirim DHCP Acknowledgement sebeagai tanda bahwa IP Address telah resmi diberikan dan bisa digunakan client</li></ol><p>F. Konsep Lease Time (Waktu Peminjaman IP)</p><p>Lease time adalah jangka waktu peminjaman IP Address kepada klien dari server. Misalkan durasinya mau habis klien akan mengirim perpanjangan, jika tidak memperbarui lease maka IP dikembalikan ke server</p><p>G. DHCP Server pada Mikrotik</p><p>Berikut adalah beberapa komponen penting DHCP di mikrotik :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/682/1*EUG4zaGtUcxY6IcdvTknWQ.png" /></figure><ul><li>Langkah Praktikum</li></ul><ol><li>Menghubungkan Mikrotik</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/1*9XdKIGpzzZsxp87RAjkXtg.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/1*yjx82xzZdyGwacGZwJ6kew.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/1*fNIfc_8V2FqmWm74GtG2Cw.jpeg" /></figure><p>Keterangan :</p><ul><li>Ether1 : Interface Mikrotik Menerima IP dari ISP (DHCP Client)</li><li>Ether2 : Interface Mikrotik memberikan IP ke PC (DHCP Server)</li><li>PC : sebagai DHCP Client yang menerima IP address otomatis</li></ul><p>Jadi untuk port ether 1 dihubungkan ke LAN yang nanti akan berperan sebagai Server, kemudian untuk port ether 2 dihubungkan ke PC yang akan berperan sebagai client</p><p>2. Konfigurasi DHCP Client</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/826/1*pYBve0iBDn2dzyIbbW76OQ.png" /></figure><p>Buka menu IP -&gt; DHCP Client -&gt; klik tombol add di pojok kiri atas tab</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/837/1*ET922S7Yb_VUHM_3_67OAw.png" /></figure><p>Pada kolom Interface pilih port ether yang terhubung ke ISP (harusnya ke 1), pastikan opsi Use Peer DNS dan Use Peer NTP tercentang. Klk apply lalu ok</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/835/1*8Xz3t_xsB4zEWgC9ZUBPKw.png" /></figure><p>Nah kalau terhubung akan muncul status bertuliskan bound</p><p>3. Konfigurasi DHCP Server</p><p>Langkah ini akan membuat Mikrotik mendistribusikan IP otomatis ke perangkat klien</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/833/1*Jb9mmWm6c3I4swKfeAZzuQ.png" /></figure><p>Buka menu IP -&gt; Addresses -&gt; new</p><p>isi parameternya :</p><ul><li>Address : 192.168.50.1/24</li><li>Interface : Ether 2</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/748/1*Jw1TyeYAOwZb-R8UUsXEYQ.png" /></figure><p>Klik apply lalu ok.</p><p>Kemudian untuk membuat DHCP Server nya, buka menu IP -&gt; DHCP Server -&gt; DHCP Setup</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/837/1*XjzhEHE3CNtDnLLN2t4Sxw.png" /></figure><p>Pilih interface nya di ether2, klik next dan masukan konfigurasi sesuai gambar dibawah</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/837/1*cZh0p5aqshwtEHKjdN7ISw.png" /></figure><p>selanjutnya tinggal masukin gateway dhcp networknya.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/833/1*f3YHHk_p-nM9MmYCLXLKZg.png" /></figure><p>jika udah tinggal setting DNS serversnya, disini untuk DNS serversnya 8.8.8.8 dan 8.8.4.4</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/828/1*debmUtqMGKt9Fi0OYTTuPQ.png" /></figure><p>bisa dilihat dari tabelnya bahwa dhcp 1 yang terhubung ke eternet2 sudah masuk ke dhcp server.</p><p>4. Konfigurasi DHCP Client pada PC/Laptop</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/653/1*O0xQZEgdUI1_cDRpy11WlA.png" /></figure><p>pertama buka control panel lalu masuk ke bagian network &amp; internet, lalu masuk ke network connections. Jika udah klik kanan yang eternet1 atau yang aktif lalu masuk ke properties</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/836/1*XePKDsKqz6UdXAPf36huGg.png" /></figure><p>kalo udah masuk properties cari bagian internet protocol version 4 atau yang TCP/IPv4, lalu buat settingannya menjadi obtain an ip adress automaticly. Biar aman ubah ke use the folowoing ip adress dulu lalu ubah lagi ke obtain an ip adress automaticly</p><p>5. Pengujian</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/647/1*Wl1Vv2atDl2cwgONhQW2qQ.png" /></figure><p>sebelumnya tes dengan menjalankan ipconfig untuk mengetahui ip adress dan juga default gatewaynya, lalu setelah itu tes dengan ping client ke mikrotik</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/672/1*2jFR2vGozWIvDOm9WT99Sg.png" /></figure><p>dan yap ketika dites dengan menjalankan ping, dapat berjalan tanpa adanya error.</p><p>Keismpulan</p><p>Dari praktikum yang telah dilakukan, dapat disimpulkan bahwa DHCP pada MikroTik memudahkan proses pembagian IP Address secara otomatis kepada perangkat yang terhubung ke jaringan tanpa harus melakukan konfigurasi secara manual. Dengan mengatur DHCP Client pada Ether1 dan DHCP Server pada Ether2, MikroTik dapat menerima IP dari jaringan ISP sekaligus membagikan IP kepada PC sebagai client. Berdasarkan hasil pengujian menggunakan ipconfig dan ping, PC berhasil mendapatkan IP Address beserta gateway secara otomatis dan dapat terhubung dengan MikroTik tanpa adanya error. Jadi, DHCP sangat membantu dalam pengelolaan jaringan agar lebih praktis, efisien, dan meminimalisir terjadinya konflik IP Address.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a38ede66017e" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[10_Big Data : Pemrosesan Data Streaming dengan Spark Structured Streaming]]></title>
            <link>https://medium.com/@wildanmaulana95914/10-big-data-pemrosesan-data-streaming-dengan-spark-structured-streaming-f38863567aec?source=rss-386b7eae6048------2</link>
            <guid isPermaLink="false">https://medium.com/p/f38863567aec</guid>
            <dc:creator><![CDATA[Wildanmaulana]]></dc:creator>
            <pubDate>Mon, 09 Nov 2026 13:22:51 GMT</pubDate>
            <atom:updated>2026-11-09T13:22:51.241Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Gy_S8VTiZApw9kS_jkwlMg.png" /></figure><p>Saya Wildan Maulana Habibi, salah satu mahasiswa Teknologi Informasi dari Universitas Tidar. Di pertemuan yang ke-10 dimata kuliah praktikum Big Data, saya akan melakukan dokumentasi dan eksplorasi mengenai Pemrosesan Data Streaming dengan Spark Structured Streaming yang sudah saya lakukan. Sebelum masuk ke penjelasannya, saya akan sedikit memberikan tujuan dan penjelasan mengenai materi yang akan saya praktikkan.</p><h3>Alat dan bahan yang digunakan</h3><ol><li>Laptop</li><li>ubuntu 24</li><li>anaconda versi 26</li><li>jupyter versi terbaru ( 7.xx)</li><li>Java (OpenJDK 11)</li><li>Apache Hadoop 3.4.3</li><li>Apache Spark 3.5.9</li></ol><h3>Apa perbedaan Batch dan Streaming?</h3><p>Pemrosesan batch berfokus pada sekumpulan data statis yang sudah tersimpan secara lengkap sebelum mulai diproses, sedangkan pemrosesan streaming menangani data yang terus mengalir tanpa henti dan diproses secara inkremental sesegera mungkin setelah data tersebut tiba.</p><ul><li><strong>Sifat Data:</strong> Data pada pemrosesan batch bersifat statis dan sudah lengkap tersimpan, sementara data pada pemrosesan streaming terus mengalir dan bertambah.</li><li><strong>Waktu Pemrosesan:</strong> Pemrosesan batch biasanya dilakukan secara terjadwal (misalnya setiap malam), sedangkan pemrosesan streaming dilakukan near real-time atau sesegera mungkin saat data masuk.</li><li><strong>Contoh Penggunaan:</strong> Pendekatan batch umumnya digunakan untuk keperluan seperti laporan penjualan bulanan, sedangkan pendekatan streaming diaplikasikan pada kasus yang membutuhkan respons cepat seperti deteksi transaksi mencurigakan (fraud) secara langsung, data sensor IoT, transaksi e-commerce, maupun log aktivitas pengguna aplikasi.</li></ul><h3>Praktikum</h3><h4>1. Menyiapkan SparkSession &amp; Folder Simulasi</h4><pre>from pyspark.sql import SparkSession<br>from pyspark.sql.types import StructType, StructField, StringType, IntegerType, TimestampType<br>from pyspark.sql.functions import window, sum as spark_sum, count, avg, col<br>import os<br>import shutil<br>import time<br>import pandas as pd<br><br>spark = SparkSession.builder \<br>    .appName(&quot;Pertemuan10-StructuredStreaming&quot;) \<br>    .master(&quot;local[*]&quot;) \<br>    .getOrCreate()<br>spark.sparkContext.setLogLevel(&quot;ERROR&quot;)<br><br># Mengurangi jumlah partisi shuffle default (200) agar pemrosesan pada VM/laptop kita lebih cepat<br># -- semakin kecil dataset (seperti simulasi kita), semakin tidak perlu partisi sebanyak itu<br>spark.conf.set(&quot;spark.sql.shuffle.partitions&quot;, &quot;4&quot;)<br><br>print(&quot;SparkSession siap. Versi Spark:&quot;, spark.version)</pre><p>Langkah pertama yang saya lakukan yaitu menyiapkan SparkSession dan juga melakukan import package yang dibutuhkan seperti os, shutil, time, pandas, dan function-function dari pyspark.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/336/1*TPP2LO8A5UU7zPDbfVRn0A.png" /></figure><p>jika sparksession jalan maka hasilnya akan seperti gambar diatas.</p><pre># Menyiapkan folder kosong yang akan berperan sebagai &quot;sumber data streaming&quot;<br>folder_stream = &quot;simulasi_stream_transaksi&quot;<br>folder_checkpoint = &quot;checkpoint_pertemuan10&quot;<br><br>shutil.rmtree(folder_stream, ignore_errors=True)<br>shutil.rmtree(folder_checkpoint, ignore_errors=True)<br>os.makedirs(folder_stream, exist_ok=True)<br><br>print(f&quot;Folder simulasi streaming &#39;{folder_stream}&#39; siap (kosong).&quot;)</pre><p>Lalu kalo udah import, saya membuat folder bernama “simulasi_stream_transaksi” dan “checkpoint_pertemuan10”, untuk mmebuat folder tersebut menggunakan perintah dari shutil yang tadi udah di import diatas, oh iya fungsi shutil yang tadi diimport yaitu untuk melakukan oprasi file seperti menambahkan, mengahapus, mengcopy dan sebagainya. Selain itu ada perintah os yang berfungsi untuk semacam perantara untuk berkomnikasi antara kode python dengan sistem operasi.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/555/1*TWkz5u1ma7bdN9L7StF8HQ.png" /></figure><p>jika sudah ditambahkan atau sudah berhasil maka akan seperti gambar diatas.</p><pre>skema_transaksi = StructType([<br>    StructField(&quot;trx_id&quot;, StringType(), True),<br>    StructField(&quot;kota&quot;, StringType(), True),<br>    StructField(&quot;kategori&quot;, StringType(), True),<br>    StructField(&quot;pendapatan&quot;, IntegerType(), True),<br>])<br><br>print(&quot;Skema berhasil didefinisikan:&quot;)<br>print(skema_transaksi)</pre><p>Selanjutnya membuat skema, fungsinya seperti membuat sebuah kolom yang nantinya bakal diisi sama data-data. nah disini ada 4 skema yang didefinisikan, ada trx_id, kota, kategori, sama pendapatan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WjXBgtC6Ruet4M5cUjVJHw.png" /></figure><p>kalo udah bakal seperti gambar diatas, skema berhasil dibuat dan menampilkan isi skema_transaksi.</p><h4>2. Membuat Streaming Query</h4><pre>df_stream = spark.readStream \<br>    .format(&quot;csv&quot;) \<br>    .schema(skema_transaksi) \<br>    .option(&quot;header&quot;, True) \<br>    .load(folder_stream)<br><br>print(&quot;Streaming DataFrame berhasil didefinisikan (belum berjalan — baru &#39;rencana&#39;).&quot;)<br>print(&quot;df_stream.isStreaming:&quot;, df_stream.isStreaming)</pre><p>Lanjut buat streming quernya, disini menggunakan perintah readstream dengan format csv dengan menggunakan schema yang udah dibuat tadi yaitu skema transaksi, dengan tambahan option header true.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/639/1*L2vSoUmRm4c6TNtX21KnWQ.png" /></figure><p>jika query berhasil maka akan muncul seperti gambar diatas yaitu df_stream.isStreaming akan berisi True.</p><pre>agregasi_stream = df_stream.groupBy(&quot;kota&quot;).agg(<br>    spark_sum(&quot;pendapatan&quot;).alias(&quot;total_pendapatan&quot;),<br>    count(&quot;trx_id&quot;).alias(&quot;jumlah_transaksi&quot;)<br>)<br><br>print(&quot;Transformasi berhasil didefinisikan.&quot;)</pre><p>Selanjutnya membuat agresi untuk menampilkan total pendapatan disetiap kota dengan perintah sum dan juga menampilkan jumlah transaksi disetiap kotanya, dengan menghitung trx id. fungsi alias disini yaitu untuk merubah nama kolom.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/349/1*tsdvPC81ut44DjOvlrNWwg.png" /></figure><p>ketika dijalankan akan seperti gambar diatas.</p><pre>query = agregasi_stream.writeStream \<br>    .outputMode(&quot;complete&quot;) \<br>    .format(&quot;memory&quot;) \<br>    .queryName(&quot;hasil_agregasi&quot;) \<br>    .start()<br><br>print(&quot;Streaming query dimulai! Status:&quot;, query.status)</pre><p>Lanjut buat variabel query yang berisikan writestream dari agresi_stream yang udah dibuat diatas, disini nama query namenya yaitu hasil_agresi, yang nantinya bisa dipanggil.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ipBqEQn7n3Nl4KhXuW_2ew.png" /></figure><p>maka hasil ketika dijalankan seperti gambar diatas.</p><h4>3. Menmabahkan Data Baru</h4><pre>pd.DataFrame({<br>    &quot;trx_id&quot;: [&quot;T1&quot;, &quot;T2&quot;, &quot;T3&quot;],<br>    &quot;kota&quot;: [&quot;Magelang&quot;, &quot;Solo&quot;, &quot;Magelang&quot;],<br>    &quot;kategori&quot;: [&quot;Elektronik&quot;, &quot;Fashion&quot;, &quot;Makanan&quot;],<br>    &quot;pendapatan&quot;: [150000, 200000, 75000],<br>}).to_csv(f&quot;{folder_stream}/batch_1.csv&quot;, index=False)<br><br>print(&quot;Batch 1 dikirim. Menunggu Spark memproses...&quot;)<br>time.sleep(6)  <br>spark.sql(&quot;SELECT * FROM hasil_agregasi ORDER BY total_pendapatan DESC&quot;).show()</pre><p>setelah tadi udah bikin querynya, sekarang menambahkan datanya, disini tiap kolom yang udah dibuat tadi dibaerikan data, ada 3 data yang ditambahkan yaitu T1 — T2. setelah itu ada query yang tadi dibuat dipanggil disini yaitu hasil_agregasi</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/373/1*bhkUhJkcP5jC2GfIY_kPbQ.png" /></figure><p>hasilnya seperti gambar diatas, hasil_agregasi berhasil muncul.</p><pre>pd.DataFrame({<br>    &quot;trx_id&quot;: [&quot;T4&quot;, &quot;T5&quot;],<br>    &quot;kota&quot;: [&quot;Magelang&quot;, &quot;Yogyakarta&quot;],<br>    &quot;kategori&quot;: [&quot;Fashion&quot;, &quot;Elektronik&quot;],<br>    &quot;pendapatan&quot;: [300000, 500000],<br>}).to_csv(f&quot;{folder_stream}/batch_2.csv&quot;, index=False)<br><br>print(&quot;Batch 2 dikirim. Menunggu Spark memproses...&quot;)<br>time.sleep(6)<br><br>spark.sql(&quot;SELECT * FROM hasil_agregasi ORDER BY total_pendapatan DESC&quot;).show()</pre><p>lanjut menambahkan data yang ke dua, sama seperti yang penambhana data diatas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/380/1*ncdvSdway-p2KAtyNsqy2Q.png" /></figure><p>dapat dilihat yang solo seperti hasil diatas, dan yang megelang dan yogyakarta berhasil nambah. bisa dilihat perbandinggannya dengan penambahan data yang pertama.</p><h4>4. Menghentikan Streaming Query</h4><pre>query.stop()<br>print(&quot;Streaming query dihentikan. Status aktif:&quot;, query.isActive)</pre><p>fungsi query.stop berfungsi untuk menghentikan query yang udah dibuat tadi.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/403/1*HtExxmDfRSf-prjDFKWPjw.png" /></figure><p>maka hasilnya seperti gambar diatas.</p><h4>5. Agregasi Berbasis Window Waktu</h4><pre>skema_dengan_waktu = StructType([<br>    StructField(&quot;trx_id&quot;, StringType(), True),<br>    StructField(&quot;kota&quot;, StringType(), True),<br>    StructField(&quot;pendapatan&quot;, IntegerType(), True),<br>    StructField(&quot;waktu_transaksi&quot;, TimestampType(), True),<br>])<br><br>folder_stream2 = &quot;simulasi_stream_waktu&quot;<br>shutil.rmtree(folder_stream2, ignore_errors=True)<br>os.makedirs(folder_stream2, exist_ok=True)<br><br>df_stream2 = spark.readStream \<br>    .format(&quot;csv&quot;) \<br>    .schema(skema_dengan_waktu) \<br>    .option(&quot;header&quot;, True) \<br>    .load(folder_stream2)<br><br>agregasi_window = df_stream2.groupBy(<br>    window(col(&quot;waktu_transaksi&quot;), &quot;1 minute&quot;)<br>).agg(<br>    spark_sum(&quot;pendapatan&quot;).alias(&quot;total_pendapatan&quot;),<br>    count(&quot;trx_id&quot;).alias(&quot;jumlah_transaksi&quot;)<br>)<br><br>query2 = agregasi_window.writeStream \<br>    .outputMode(&quot;complete&quot;) \<br>    .format(&quot;memory&quot;) \<br>    .queryName(&quot;hasil_window&quot;) \<br>    .start()<br><br>print(&quot;Streaming query window waktu dimulai.&quot;)</pre><p>Selanjutnya ada agresi dengan window waktu, fungsinya yaitu untuk melihat dalam rentan waktu yang ditentukan ada berapa transaksi yang terjadi, pada tes yang saya jalankan yaitu menggunakan waktu satu menit.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/324/1*FXATKebEnbDcLfru0iDukQ.png" /></figure><p>ketika dijalankan akan seperti gambar diatas.</p><pre>from datetime import datetime<br><br># Mengirim data dengan timestamp saat ini<br>waktu_sekarang = datetime.now()<br>pd.DataFrame({<br>    &quot;trx_id&quot;: [&quot;W1&quot;, &quot;W2&quot;],<br>    &quot;kota&quot;: [&quot;Semarang&quot;, &quot;Solo&quot;],<br>    &quot;pendapatan&quot;: [120000, 180000],<br>    &quot;waktu_transaksi&quot;: [waktu_sekarang.strftime(&quot;%Y-%m-%d %H:%M:%S&quot;)] * 2,<br>}).to_csv(f&quot;{folder_stream2}/batch_w1.csv&quot;, index=False)<br><br>time.sleep(6)<br>spark.sql(&quot;SELECT window.start, window.end, total_pendapatan, jumlah_transaksi FROM hasil_window&quot;).show(truncate=False)</pre><p>untuk menjalankannya perlu import datetime terlebih dahulu, jika sudah buat data baru menggunakan dataframe dengan set waktu now atau sekarang yang udah dideklarasikan diatas. jika sudah buat query untuk menampilkannya.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/617/1*-GHnjcDNoIhAsTDIaqy8Dg.png" /></figure><p>jika sudah hasilnya akan seperti gambar diatas, pada waktu satu menit ada 2 data yang ditambahkan, sama seperti data yang ditambahkan menggunakan dataframe.</p><pre>query2.stop()<br>spark.stop()<br>print(&quot;Seluruh streaming query dihentikan, SparkSession ditutup.&quot;)</pre><p>jika udah tinggal matikan query dan sparknya.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/465/1*UgT4fx8-L8N1DJRlLWnbhQ.png" /></figure><h3>Latihan Mandiri</h3><h4>1. Menjalankan ulang cell SparkSession</h4><pre>spark = SparkSession.builder.appName(&quot;Latihan10&quot;).master(&quot;local[*]&quot;).getOrCreate()<br>spark.sparkContext.setLogLevel(&quot;ERROR&quot;)<br>spark.conf.set(&quot;spark.sql.shuffle.partitions&quot;, &quot;4&quot;)<br><br>folder_latihan = &quot;latihan10_stream&quot;<br>shutil.rmtree(folder_latihan, ignore_errors=True)<br>os.makedirs(folder_latihan, exist_ok=True)<br><br>skema_latihan = StructType([<br>    StructField(&quot;trx_id&quot;, StringType(), True),<br>    StructField(&quot;kategori&quot;, StringType(), True),<br>    StructField(&quot;pendapatan&quot;, IntegerType(), True),<br>])<br>print(&quot;Siap untuk latihan. Folder:&quot;, folder_latihan)</pre><p>dilatihan mandiri ini, yang pertama dilakukan yaitu membuat cell sparksession baru dengan nama latihan10, setelah itu buat skema untuk latihan yang berisikan trx_id,kategori,dan pendapatan. jika sudah tinggal jalankan.</p><h4>2. <strong>Soal 1</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MP1OD_sdiVGQ4EaRg52FWw.png" /></figure><p>Disoal pertama ini saya disuruh untuk mendefinisikan readStream dari folder folder_latihan dengan skema_latihan, serta membuat agresi groupBy untuk menghitung rata-rata pendapatan dan menjalankan querynya.</p><pre>df_stream_latihan = spark.readStream \<br>    .format(&quot;csv&quot;) \<br>    .schema(skema_latihan) \<br>    .option(&quot;header&quot;, True) \<br>    .load(folder_latihan)<br><br>print(&quot;df_stream.isStreaming:&quot;, df_stream_latihan.isStreaming)<br><br>agregasi_stream_latihan = df_stream_latihan.groupBy(&quot;kategori&quot;).agg(<br>    avg(&quot;pendapatan&quot;).alias(&quot;rata-rata_pendapatan&quot;)<br>)<br><br>print(&quot;\nTransformasi berhasil didefinisikan.&quot;)<br><br>query_latihan = agregasi_stream_latihan.writeStream \<br>    .outputMode(&quot;complete&quot;) \<br>    .format(&quot;memory&quot;) \<br>    .queryName(&quot;latihan_agg&quot;) \<br>    .start()<br><br>print(&quot;\nStreaming query dimulai! Status:&quot;, query_latihan.status)</pre><p>pertama saya mendefinisikan readstreamnya dahulu, lalu baur buat agregasi buat menghitung rata-rata pendapatan dengan perintah avg. Setelah itu baru buat querynya dengan menggunakan weite stream dengan mamnggil agregasi yang udah dibuat sebelumnya, setelah itu kasih nama dengan latihan_agg untuk dipanggil dibawah.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/852/1*FVJfM-SAn-gbgbo-kzjKNA.png" /></figure><p>maka hasilnya seperti gambar diatas.</p><pre>query_latihan.stop()</pre><p>oh iya tambahan nih, misal ada typo di querynya seperti nama quernya, nah ketika mau ganti querynya harus distop dulu, kalo ga distop nanti bakal error.</p><h4>3. Soal 2</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*y2WLt0uCI-us1oPjUvBaEQ.png" /></figure><p>disoal kedua ini tinggal nambahin datanya ke dalam folder latihan10_stream yang udah dibuat, dan menampilkan tabel latihan_agg yang udah dibuat diatas.</p><pre>pd.DataFrame({<br>    &quot;trx_id&quot;: [&quot;L1&quot;, &quot;L2&quot;, &quot;L3&quot;],<br>    &quot;kategori&quot;: [&quot;Elektronik&quot;, &quot;Fashion&quot;, &quot;Makanan&quot;],<br>    &quot;pendapatan&quot;: [150000, 200000, 75000],<br>}).to_csv(f&quot;{folder_latihan}/batch_latihan1.csv&quot;, index=False)<br><br>print(&quot;Batch 1 dikirim ke folder &#39;latihan10_stream&#39;. Menunggu Spark memproses...&quot;)<br><br>time.sleep(6)<br><br>spark.sql(&quot;SELECT * FROM latihan_agg&quot;).show()</pre><p>disini saya menambahkan 3 data lalu saya memanggil query yang udah dibuat tadi.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/603/1*lUdOnzkE5Q4Sa7e9cIihJA.png" /></figure><p>maka hasilnya seperti gambar diatas, rata-rata pendapatan dari tiap kategori akan muncul.</p><h4>4. Soal 3</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8FILP8K5vBAJOCw1mMo4Uw.png" /></figure><p>disoal ketiga saya menambhakan data ke dua dan menampilkan gabungan antara data batch 1 dan 2</p><pre>pd.DataFrame({<br>    &quot;trx_id&quot;: [&quot;L4&quot;, &quot;L5&quot;],<br>    &quot;kategori&quot;: [&quot;Elektronik&quot;, &quot;Fashion&quot;],<br>    &quot;pendapatan&quot;: [20000, 400000],<br>}).to_csv(f&quot;{folder_latihan}/batch_latihan2.csv&quot;, index=False)<br><br>print(&quot;Batch 2 dikirim ke folder &#39;latihan10_stream&#39;. Menunggu Spark memproses...&quot;)<br><br>time.sleep(6)<br><br>spark.sql(&quot;SELECT * FROM latihan_agg&quot;).show()</pre><p>didata batch ke dua saya menambhkan data pada kategori elektonik dan fashion saja untuk makanan tida saya tambahkan, lalu tinggal menampilkan query latihan_agg dengan bantuan spark sql.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/613/1*0CheL0lcAPjiSSx7ypx9Rw.png" /></figure><p>dapat dilihat data batch 1 dan 2 sudah tergabung, bisa dilihat dari perbandingan yang makanan tidak tambah karena emang tidak saya tambahkan, dan yang berubah yang elektronik dan fasion yang emang ditamabhkan di data batch ke dua.</p><h4>5. soal 4</h4><pre>query_latihan.stop()<br>spark.stop()<br>print(&quot;Streaming query dihentikan, SparkSession ditutup.&quot;)</pre><p>jika sudah selesai semua langkah terkahir yaitu tinggal matikan query latihan dan sparknya.</p><h4>6. Refleksi diri</h4><blockquote><em>Spark Structured Streaming mewajibkan pendefinisian skema secara eksplisit menggunakan StructType karena data streaming sifatnya terus mengalir dan belum semuanya tersedia pada satu waktu. Berbeda dengan pemrosesan batch di mana Spark dapat menunggu seluruh data selesai dibaca untuk menebak tipe datanya secara otomatis (inferSchema=True), pada streaming hal tersebut tidak mungkin dilakukan karena datanya memang belum lengkap. Oleh karena itu, skema harus ditentukan dengan jelas di awal sebelum pemrosesan dimulai.</em></blockquote><h3>Tugas Mandiri</h3><h4>1. Menyiapkan SparkSession</h4><pre>from pyspark.sql import SparkSession<br>from pyspark.sql.types import StructType, StructField, StringType, IntegerType, TimestampType<br>from pyspark.sql.functions import window, sum as spark_sum, count, avg, col<br>import os<br>import shutil<br>import time<br>import pandas as pd<br>from datetime import datetime, timedelta<br><br>spark = SparkSession.builder \<br>    .appName(&quot;TugasPertemuan10&quot;) \<br>    .master(&quot;local[*]&quot;) \<br>    .getOrCreate()<br>spark.sparkContext.setLogLevel(&quot;ERROR&quot;)<br><br>spark.conf.set(&quot;spark.sql.shuffle.partitions&quot;, &quot;4&quot;)<br><br>print(&quot;SparkSession siap. Versi Spark:&quot;, spark.version)</pre><p>Pertama yang saya lakukan yaitu mengimport package-package yang dibutuhkan, setelah itu menyiapkan sparksessionnya.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/343/1*eDuTXtcPgvwrmyIW6z_BkQ.png" /></figure><h4>2. Menyiapkan Streaming Source</h4><pre>folder_tugas = &quot;tugas10_stream&quot;<br>shutil.rmtree(folder_tugas, ignore_errors=True)<br>os.makedirs(folder_tugas, exist_ok=True)<br><br>skema_tugas = StructType([<br>    StructField(&quot;pesanan_id&quot;, StringType(), True),<br>    StructField(&quot;nama_cabang&quot;, StringType(), True),<br>    StructField(&quot;nama_menu&quot;, StringType(), True),<br>    StructField(&quot;qty&quot;, IntegerType(), True),<br>    StructField(&quot;harga_satuan&quot;, IntegerType(), True),<br>    StructField(&quot;waktu_pesan&quot;, TimestampType(), True)<br>])<br><br>df_stream = spark.readStream \<br>    .format(&quot;csv&quot;) \<br>    .schema(skema_tugas) \<br>    .option(&quot;header&quot;, True) \<br>    .load(folder_tugas)<br><br>print(&quot;Folder:&quot;, folder_tugas, &quot;siap.&quot;)<br>print(&quot;df_stream.isStreaming:&quot;, df_stream.isStreaming)</pre><p>setelah itu saya menyiapkan streaming sourcenya, dengan mmebuat variabel untuk menyimpan folder tugas dan membuat folder tugas dengan menggunakan shutil. Jika sudah buat skema nya yang berisikan pesanan_id, nama_cabang, nama_menu, qty, harga_satuan, dan waktu_pesan. Jika udah buat skemanya lalu saya buat streamnya dengan menggunakan readstream dengan memanggil skema tugas yang udah dibuat lalu ditaruh di folder tugas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/238/1*nt6-bsQP2tSbfYzfZMXI_A.png" /></figure><h4>3. <strong>Agregasi per Cabang</strong></h4><pre>df_stream_dengan_harga = df_stream.withColumn(&quot;total_harga&quot;, col(&quot;qty&quot;) * col(&quot;harga_satuan&quot;))<br><br>agregasi_cabang = df_stream_dengan_harga.groupBy(&quot;nama_cabang&quot;).agg(<br>    spark_sum(&quot;total_harga&quot;).alias(&quot;total_pendapatan&quot;),<br>    count(&quot;pesanan_id&quot;).alias(&quot;jumlah_pesanan&quot;)<br>)<br><br>query_cabang = agregasi_cabang.writeStream \<br>    .outputMode(&quot;complete&quot;) \<br>    .format(&quot;memory&quot;) \<br>    .queryName(&quot;agregasi_cabang&quot;) \<br>    .start()<br><br>print(&quot;Streaming query &#39;agregasi_cabang&#39; dimulai! Status:&quot;, query_cabang.status)</pre><p>setelah itu saya buat agregasi total harga disetiap cabangnya, pertama saya buat dulu dengan menggunakan perintah withcolumn dengan mankalikan qty dengan harga satuannya, jika udah baru bikin agregasinya dnegan gropBy dengan menggunakan perintah cum dan count, untuk yang sum diambil dari total harga dan dirubah menjadi total pesanan,lalu untuk yang count diambil dari pesanan id yang dibuah menjadi jumlah pesanan. Lalu saya buat querynya dengan memberi nama agregasi_cabang.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/848/1*Xsd5hxMoPK-s1zPyTRN3Sg.png" /></figure><h4>4. <strong>Agregasi Berbasis Window Waktu</strong></h4><pre>df_stream2 = spark.readStream \<br>    .format(&quot;csv&quot;) \<br>    .schema(skema_tugas) \<br>    .option(&quot;header&quot;, True) \<br>    .load(folder_tugas)<br><br>df_stream2_dengan_harga = df_stream2.withColumn(&quot;total_harga&quot;, col(&quot;qty&quot;) * col(&quot;harga_satuan&quot;))<br><br>agregasi_waktu = df_stream2_dengan_harga.groupBy(<br>    window(col(&quot;waktu_pesan&quot;), &quot;2 minutes&quot;)<br>).agg(<br>    spark_sum(&quot;total_harga&quot;).alias(&quot;total_pendapatan&quot;)<br>)<br><br>query_waktu = agregasi_waktu.writeStream \<br>    .outputMode(&quot;complete&quot;) \<br>    .format(&quot;memory&quot;) \<br>    .queryName(&quot;agregasi_waktu&quot;) \<br>    .start()<br><br>print(&quot;Streaming query &#39;agregasi_waktu&#39; dimulai! Status:&quot;, query_waktu.status)</pre><p>setelah itu aku juga buat agregasi berbasis waktu, pertama membuat stream yang kedua, yang mengambil skema dari skema tugas dan dari folder tugas, setelah itu baru buat variabel buat nyimpan nilai total harga. Jika udah baru buat agregasi waktunya, disini untuk waktunya pakai dua menit. Jika udah buat querynya, untuk nama querynya agregasi_waktu.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/857/1*AmaBPLApk_vbY4jkzhiM3Q.png" /></figure><h4>5. <strong>Menguji dengan Data Simulasi</strong></h4><pre>waktu_sekarang = datetime.now()<br><br># BATCH 1<br>print(&quot;Mengirim Batch 1...&quot;)<br>pd.DataFrame({<br>    &quot;pesanan_id&quot;: [&quot;P01&quot;, &quot;P02&quot;],<br>    &quot;nama_cabang&quot;: [&quot;Cabang Magelang&quot;, &quot;Cabang Jogja&quot;],<br>    &quot;nama_menu&quot;: [&quot;Kopi Susu&quot;, &quot;Americano&quot;],<br>    &quot;qty&quot;: [2, 1],<br>    &quot;harga_satuan&quot;: [20000, 15000],<br>    &quot;waktu_pesan&quot;: [waktu_sekarang.strftime(&quot;%Y-%m-%d %H:%M:%S&quot;)] * 2<br>}).to_csv(&quot;tugas10_stream/batch_tugas_1.csv&quot;, index=False)<br><br>time.sleep(7) <br>print(&quot;Hasil Agregasi Cabang setelah Batch 1:&quot;)<br>spark.sql(&quot;SELECT * FROM agregasi_cabang ORDER BY total_pendapatan DESC&quot;).show()<br><br><br># BATCH 2<br>print(&quot;Mengirim Batch 2...&quot;)<br>pd.DataFrame({<br>    &quot;pesanan_id&quot;: [&quot;P03&quot;, &quot;P04&quot;],<br>    &quot;nama_cabang&quot;: [&quot;Cabang Magelang&quot;, &quot;Cabang Semarang&quot;],<br>    &quot;nama_menu&quot;: [&quot;Latte&quot;, &quot;Espresso&quot;],<br>    &quot;qty&quot;: [1, 3],<br>    &quot;harga_satuan&quot;: [25000, 10000],<br>    &quot;waktu_pesan&quot;: [(waktu_sekarang + timedelta(minutes=1)).strftime(&quot;%Y-%m-%d %H:%M:%S&quot;)] * 2<br>}).to_csv(&quot;tugas10_stream/batch_tugas_2.csv&quot;, index=False)<br><br>time.sleep(7)<br>print(&quot;Hasil Agregasi Cabang setelah Batch 2:&quot;)<br>spark.sql(&quot;SELECT * FROM agregasi_cabang ORDER BY total_pendapatan DESC&quot;).show()<br><br><br># BATCH 3<br>print(&quot;Mengirim Batch 3...&quot;)<br>pd.DataFrame({<br>    &quot;pesanan_id&quot;: [&quot;P05&quot;, &quot;P06&quot;],<br>    &quot;nama_cabang&quot;: [&quot;Cabang Jogja&quot;, &quot;Cabang Semarang&quot;],<br>    &quot;nama_menu&quot;: [&quot;Matcha&quot;, &quot;Kopi Susu&quot;],<br>    &quot;qty&quot;: [2, 2],<br>    &quot;harga_satuan&quot;: [25000, 20000],<br>    &quot;waktu_pesan&quot;: [(waktu_sekarang + timedelta(minutes=2)).strftime(&quot;%Y-%m-%d %H:%M:%S&quot;)] * 2<br>}).to_csv(&quot;tugas10_stream/batch_tugas_3.csv&quot;, index=False)<br><br>time.sleep(7)<br>print(&quot;Hasil Agregasi Cabang setelah Batch 3:&quot;)<br>spark.sql(&quot;SELECT * FROM agregasi_cabang ORDER BY total_pendapatan DESC&quot;).show()</pre><p>Selanjutnya tinggal masukin datanya aja, disini ada 3 batch data yang ditambahkan. Pertama ada data P01 dan P02 yang berisikan data dari cabang magelang dan jogja, kemudian di batch ke dua ada data P03 dan P04 yang bersikan data dari magelang dan semarang, Setelah itu di batch ke tiga ada data P05 dan P06 yang berisikan cabang dari jogja dan semarang. bisa dilihat datanya berhasil ditambahkan digambar dibawah ini.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/466/1*LzyFTQ7vqmrN9XEgmnRhuw.png" /></figure><p>Bisa dilihat datanya sudah berhasil tambah dan bisa tumpang tindih satu sama lain walaupun beda batch, bias dilihat di jumlah pesanan dan total pendapatan, di batch pertama magelang hanya ada 1 pesanan dan dibatch kedua ada 2 pesanan tidak ada pesanan maka tetap 1, kemudian di batch ke 3 baru ada pesana maka langsung bertambah.</p><h4>5. <strong>Sink Berbasis Berkas</strong></h4><pre>query3 = df_stream.writeStream \<br>    .format(&quot;parquet&quot;) \<br>    .option(&quot;path&quot;, &quot;tugas10_output&quot;) \<br>    .option(&quot;checkpointLocation&quot;, &quot;tugas10_checkpoint&quot;) \<br>    .outputMode(&quot;append&quot;) \<br>    .start()<br><br>print(&quot;Streaming query ke Parquet dimulai! Status:&quot;, query3.status)<br><br>waktu_sekarang = datetime.now()<br>print(&quot;Mengirim Batch 4...&quot;)<br>pd.DataFrame({<br>    &quot;pesanan_id&quot;: [&quot;P07&quot;, &quot;P08&quot;],<br>    &quot;nama_cabang&quot;: [&quot;Cabang Magelang&quot;, &quot;Cabang Jogja&quot;],<br>    &quot;nama_menu&quot;: [&quot;Roti Bakar&quot;, &quot;Kopi Hitam&quot;],<br>    &quot;qty&quot;: [1, 2],<br>    &quot;harga_satuan&quot;: [15000, 10000],<br>    &quot;waktu_pesan&quot;: [waktu_sekarang.strftime(&quot;%Y-%m-%d %H:%M:%S&quot;)] * 2<br>}).to_csv(&quot;tugas10_stream/batch_tugas_4.csv&quot;, index=False)<br><br>time.sleep(10)<br><br>print(&quot;Isi direktori tugas10_output:&quot;)<br>!ls tugas10_output<br><br>print(&quot;\nMembaca kembali data dari Parquet:&quot;)<br>df_parquet = spark.read.parquet(&quot;tugas10_output&quot;)<br>df_parquet.show()</pre><p>Selanjutnya saya membuat query ketiga untuk menyimpan data mentahnya langsung ke dalam bentuk file Parquet. Pertama saya atur writeStream dengan format parquet, lalu saya tentukan tempat penyimpanannya di folder &quot;ugas10_output dan membuat lokasi checkpoint di tugas10_checkpoint. Untuk mode outputnya saya pakai append agar datanya cuma ditambahkan ke bawah tanpa merubah atau menghapus data yang sudah ada, lalu tinggal distart. Setelah itu, saya kirimkan data simulasi baru untuk Batch 4 yang berisi pesanan P07 dan P08 dari cabang Magelang dan Jogja. Jika datanya udah dikirim, saya kasih jeda waktu 10 detik agar Spark punya waktu buat nulis filenya ke penyimpanan. Terakhir, saya mengecek isi folder tugas10_output menggunakan perintah ls untuk memastikan filenya beneran tersimpan, baru setelah itu saya coba baca kembali file Parquet tersebut sebagai DataFrame biasa menggunakan perintah spark.read.parquet dan nampilin hasilnya pakai show().</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/848/1*fS250wPERQ8cSyyhrWh9Rg.png" /></figure><h4>6. Stop Query dan Spark</h4><pre>query_cabang.stop()<br>query_waktu.stop()<br>query3.stop()<br>spark.stop()<br>print(&quot;Streaming query dihentikan, SparkSession ditutup.&quot;)</pre><p>langkah terkahir tinggal mematikan semua query yang udah dibuat dan sparknya.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/411/1*aSs7m1R6B4B5_OY6_Vjq6w.png" /></figure><h3>Kesimpulan</h3><p>Kesimpulannya, pada tugas mandiri kali ini saya belajar membangun sistem pemrosesan streaming dengan Spark, mulai dari menyiapkan SparkSession, membuat skema, hingga menentukan folder sebagai sumber datanya. Setelah itu, saya membuat dua jenis agregasi untuk menghitung total pendapatan secara langsung, yaitu agregasi per cabang dan agregasi berbasis waktu, yang hasilnya saya simpan sementara di memori. Jika udah, saya tinggal melakukan pengujian dengan mengirimkan beberapa batch data simulasi secara bertahap untuk melihat bagaimana datanya bisa otomatis bertambah dan terakumulasi satu sama lain. Saya juga mencoba menyimpan data mentahnya langsung ke dalam bentuk file Parquet secara append. Terakhir, jika semua pengujian sudah selesai dan berhasil ditampilkan, saya tinggal menghentikan semua proses query dan menutup sesi Spark-nya agar aman dan tidak memakan memori komputer.</p><h3>Link GitHub</h3><p><a href="https://github.com/maulzz/BigData/tree/main/pertemuan10">https://github.com/maulzz/BigData/tree/main/pertemuan10</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f38863567aec" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[10_PBO: Interface]]></title>
            <link>https://medium.com/@wildanmaulana95914/10-pbo-interface-b9848a1eb7ae?source=rss-386b7eae6048------2</link>
            <guid isPermaLink="false">https://medium.com/p/b9848a1eb7ae</guid>
            <dc:creator><![CDATA[Wildanmaulana]]></dc:creator>
            <pubDate>Wed, 04 Nov 2026 12:34:41 GMT</pubDate>
            <atom:updated>2026-11-04T12:34:41.506Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*mHK32rmZwfej449MhCgxvA.png" /></figure><p>Saya Wildan Maulana Habibi, salah satu mahasiswa Teknologi Informasi dari Universitas Tidar. Di pertemuan yang ke-10 dimata kuliah praktikum PBO, saya akan mejelaskan mengenai<strong> interface </strong>di Java yang telah saya pelajari di prakrikum hari ini. Sebelum masuk ke pengerjaan penugasan, saya akan sedikit memberikan penjelasan mengenai apa itu<strong> interface.</strong></p><h3>Apa Itu Interface?</h3><p>Interface merupakan sebuah metode tanpa implementasi, di mana secara default semua metodenya bersifat public dan abstract, serta variabel di dalamnya bersifat public, static, dan final. Sebuah kelas yang mengimplementasikan interface bertanggung jawab penuh untuk menyusun logika pada setiap metode tersebut; namun, jika kelas memilih untuk tidak mengimplementasikan semua metode, maka kelas tersebut harus dideklarasikan sebagai kelas abstrak. Berbeda dengan kelas biasa, interface mendukung pewarisan berganda (multiple inheritance), yang memungkinkan sebuah kelas mengimplementasikan lebih dari satu interface sekaligus untuk menggabungkan berbagai fungsi tanpa terikat pewarisan tunggal. Tujuan utama dari penggunaan interface adalah untuk menyusun kontrak implementasi yang memastikan berbagai kelas memiliki kumpulan metode dengan nama dan signatur yang sama, sehingga mendukung pola desain yang konsisten, fleksibilitas, serta skalabilitas karena kelas-kelas tersebut dapat digunakan secara interchangeable dalam sebuah sistem yang kompleks.</p><h3>Praktikum</h3><pre>public interface OperasiHitung {<br>    int hitung(int a, int b);<br>}</pre><p>Pertama asya buat interface operasiHitung yang berisikan method hitung yang didalamnya dapat menyimpan variabel a dan b.</p><pre>public class Penjumlahan implements OperasiHitung{<br>    @Override<br>    public int hitung(int a, int b) {<br>        return a + b;<br>    }<br>}</pre><p>Setelah itu saya membuat class penjumlahan yang mengimplementasikan interfce operasi hitung, disini ada saya melakukan override pada method hitung yang udah dibuat sebelumnya, disini untuk penjumlahan isi method hitung diberikan sebuah operasi aritmatika, yaitu a + b.</p><pre>public class Pengurangan implements OperasiHitung {<br>    @Override<br>    public int hitung(int a, int b) {<br>        return a - b;<br>    }<br>}</pre><p>setelah itu ada class pengurangan, sama seperti class penjumlahan tetapi bedanya ada dioperasinya. yaitu diganti dengan -</p><pre>public class Pertemuan10 {<br><br>    public static void main(String[] args) {<br>        OperasiHitung penjumlahan = new Penjumlahan();<br>        System.out.println(&quot;Penjumlahan : &quot; + penjumlahan.hitung(10, 1));<br>        <br>        OperasiHitung pengurangan = new Pengurangan();<br>        System.out.println(&quot;Penjumlahan : &quot; + pengurangan.hitung(10, 7));<br>    }<br>}</pre><p>diclass main saya membuat object bernama penjumlahan dan pengurangan, setelah itu tinggal panggil method hitungnya dan isikan angka yang ingin dihitung</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/219/1*nmjGtPaQVA99viDg-Rg25Q.png" /></figure><p>hasilnya seperti gambar diatas.</p><h3>Tugas</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/975/1*MwW1u_L2SHfAQMbkHJwuIA.png" /></figure><p>buat tugasnya saya disuruh untuk membuat sistem pembayaran yaitu dengan membuat fitur hitung pajak. langsung saja kita kerjakan.</p><pre>public interface HitungPajak {<br>    double hitungPajak(double harga, int pajak);<br>}</pre><p>Pertama saya buat class interface HitungPajak dengan isi method hitungPajak, untuk method ini saya pakai double karena harga menggunakan double.</p><pre>public class Makanan implements HitungPajak{<br>    @Override<br>    public double hitungPajak(double harga, int pajak){<br>        return harga * (pajak/100.0);<br>    }<br>}</pre><p>setelah itu saya buat class makanan, dimana saya menambahkan operasi aritmatika dimana harga akan dikalikan dengan pajak, oh iya buat pajaknya karena pakai int (belum persen) saya bagi dengan 100 agar bisa menjadi persen.</p><pre>public class Elektronik implements HitungPajak{<br>    @Override<br>    public double hitungPajak(double harga, int pajak){<br>        return harga * (pajak/100.0);<br>    }<br>}</pre><p>buat yang elektronik sama seperti yang makanan.</p><pre>public class Pertemuan10 {<br><br>    public static void main(String[] args) {<br>        <br>        <br>        int pajakMakanan = 5;<br>        int pajakElektronik = 10;<br>        Makanan naspad = new Makanan();<br>        Elektronik laptop = new Elektronik();<br>        double hargaNaspad = 20000;<br>        double hargaLaptop = 30000000;<br>       <br>        System.out.println(&quot;Harga Nasi Padang : Rp &quot; + hargaNaspad);<br>        System.out.println(&quot;Pajak Nasi Padang  : Rp &quot; + naspad.hitungPajak(hargaNaspad, pajakMakanan));<br>        <br>        System.out.println(&quot;Harga Laptop : Rp &quot; + hargaLaptop);<br>        System.out.println(&quot;Pajak Laptop  : Rp &quot; + laptop.hitungPajak(hargaLaptop, pajakElektronik));<br>        <br>        <br>    }<br>}</pre><p>didalam class main saya menambahkan atribut pajak makanan dan elektonik dengan isi 5 dan 10 sesuai ketentuan soal, yang nantinya akan dibagi 100 agar menjadi desimal atau persen. Setelah itu saya tambahkan atribut untuk harga naspad dan laptop. Saya juga menambahkan object naspad dan laptop yang memanggil class makanan dan elektronik. Jika sudah tinggal saya panggil penggunakan perintah println.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/456/1*gQNrGrYC38xN3wduVoGuzg.png" /></figure><p>hasilnya seperti gambar diatas.</p><h3>Kesimpulan</h3><p>Kesimpulannya, pada praktikum kali ini saya belajar bahwa interface sangat berguna sebagai cetak biru atau kontrak dasar yang bisa diimplementasikan ke dalam berbagai class. Melalui latihan OperasiHitung dan tugas HitungPajak, saya jadi paham kalau satu method kosong di dalam interface bisa kita <em>override</em> isinya dengan operasi atau logika yang berbeda-beda di setiap class, seperti membedakan rumus aritmatika atau persentase pajaknya. Terakhir, kita tinggal membuat <em>object</em> dari masing-masing class tersebut di dalam class main dan memasukkan nilai yang dibutuhkan agar program dapat berjalan dan menampilkan hasil perhitungan yang sesuai.</p><h3>Link GitHub</h3><p><a href="https://github.com/maulzz/PBO-JAVA/tree/main/pertemuan10">https://github.com/maulzz/PBO-JAVA/tree/main/pertemuan10</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b9848a1eb7ae" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[9_Big Data : Basis Data NoSQL : MongoDB & Integrasi dengan PySpark]]></title>
            <link>https://medium.com/@wildanmaulana95914/9-big-data-basis-data-nosql-mongodb-integrasi-dengan-pyspark-f4e224ec6d90?source=rss-386b7eae6048------2</link>
            <guid isPermaLink="false">https://medium.com/p/f4e224ec6d90</guid>
            <dc:creator><![CDATA[Wildanmaulana]]></dc:creator>
            <pubDate>Fri, 30 Oct 2026 06:22:38 GMT</pubDate>
            <atom:updated>2026-10-30T06:22:38.201Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wl6G0Eq5tu9gMJ7XgifBAw.png" /></figure><p>Saya Wildan Maulana Habibi, salah satu mahasiswa Teknologi Informasi dari Universitas Tidar. Di pertemuan yang ke-9 dimata kuliah praktikum Big Data, saya akan melakukan dokumentasi dan eksplorasi mengenai basis data NoSQL yaitu mongodb yang diintegrasikan dengan PySpark yang sudah saya lakukan. Sebelum masuk ke penjelasannya, saya akan sedikit memberikan tujuan dan penjelasan mengenai materi yang akan saya praktikkan.</p><h3>Alat dan bahan yang digunakan</h3><ol><li>Laptop</li><li>ubuntu 24</li><li>anaconda versi 26</li><li>jupyter versi terbaru ( 7.xx)</li><li>Java (OpenJDK 11)</li><li>Apache Hadoop 3.4.3</li><li>Apache Spark 3.5.9</li><li>mongod versi 7.0.43</li><li>mongosh versi 2.11.1</li></ol><h3>Apa sih MongoDB itu?</h3><p>Pasti temen-temen sudah belajar beberapa database, seperti mariaDB. Sekarang saya bakal jelasin secara singkat apa sih itu mongoDB, secara singkatnya mongoDB adalah jenis database noSQL(Not Only SQL) yang berarti db ini tidak harus menggunakan SQL, berbeda dengan mariaDB yang harus pakai SQL. DB ini menyimpan datanya dalam bentuk dokumen JS object notation atau sering kita denger JSON. Nah DB ini dibuat untuk mengatasi masalah oleh db relasional tradisional, seperti skalabilitas horizontal, fleksibilitas schema, dan kinerja yang lebih baik untuk aplikasi dengan volume data yang besar dan kompleks.</p><h3>Emang kelebihannya apa?</h3><p>Jadi MongoDB punya bebrapa belebihan diataranya seperti:</p><ul><li><strong>Performanya yang Cepet<br></strong>Nah, MongoDB ini punya performa yang cepet buat memproses data, hal ini karena indexing dan query yang efisien. Temen-temen bisa ngelakuin indexing dengan banyak cara, seperti single field, composite field, text, sampai data geo-spatial.</li><li><strong>Sangat Fleksibel dan Scalable<br></strong>Karena struktur datanya berbasis dokumen, db ini memberikan fleksibilitas yang tinggi.Kita bisa nyimpen dokumen dengan isi yang beda-beda untuk tiap dokumennya. DB ini juga gampang banget discale secara horizontal dengan membagi data ke beberapa server buat ngelola dataset yang ukurannya besar.</li><li><strong>Pilihan Bahasa Pemrogramannya Bervariasi<br></strong>Temen-temen nggak usah khawatir soal bahasa, karena db ini ramah untuk berbagai bahasa pemrograman. Mulai dari C, C++, Java, Node.js, PHP, Perl, Python, Ruby, C# dan .NET, sampai Mongoid pun bisa dipakai!.</li></ul><h3>Bedanya dengan DB lain apa sih?</h3><p>Biar gampang ngebayanginnya, saya bakal bandingin MongoDB sama dua database lain yang udah pernah dipelajari sama satu yang sering digunakan juga, yaitu <strong>MariaDB/MySQL</strong> dan <strong>Redis</strong></p><p>Biar singkat, saya udah bikin tabel dan bisa dilihat dibwah ini:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*q9R1D1-mzkrgC5EM.png" /></figure><p>Kalau data temen-temen masih rapi, jelas, dan saling berhubungan satu sama lain, mending pakai SQL kayak <strong>MariaDB</strong>. Tapi, kalau datanya itu beragam, sering berubah-ubah isinya, dan jumlahnya raksasa solusinya pake <strong>MongoDB.</strong></p><h3>Lalu fungsinya untuk apa?</h3><p>Secara singkat, fungsi utama MongoDB adalah untuk menyimpan dan mengelola data pada aplikasi yang butuh kecepatan tinggi, ukuran data besar, dan struktur yang dinamis . Biasanya, db ini sering banget dipakai buat :</p><ul><li><strong>Backend Aplikasi Web &amp; Mobile</strong><br>Karena format datanya berbentuk JSON, db ini gampang banget diintegrasikan sama framework web atau mobile. Pengalaman yang pernah saya coba yaitu dengan mengintegrasikan antara Laravel, NextJs, dan Flutter dimana dari DB mengirimkan data dengan format JSON lalu masuk ke Laravel, setelah itu baru data di distribusikan ke NextJS(web) dan Flutter(Mobile App) menggunakan REST API via JSON.</li><li><strong>Sistem Analitik &amp; Big Data<br></strong>Karena performanya dan kemudahan pada penambahan kapasitasnya, MongoDB jadi pilihan buat nampung data analitik, log event, atau aktivitas real-time yang jumlahnya jutaan data per detik.</li></ul><h3>Instalasi MongoDB</h3><p>Karena sebelumnya saya sudah pernah install mongo db jadi saya menggunakan revernsi install dari writeup medium yang pernah saya buat, reverensinya dibawah ini</p><p><a href="https://medium.com/@wildanmaulana95914/instalasi-konfigurasi-mongodb-dilinux-ubuntu-b8222736781b?sharedUserId=wildanmaulana95914">https://medium.com/@wildanmaulana95914/instalasi-konfigurasi-mongodb-dilinux-ubuntu-b8222736781b?sharedUserId=wildanmaulana95914</a></p><h4>1. Update Package List</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*ayRAR0qsKs4AJG-n.png" /></figure><p>Pertama yang saya lakukan adalah melakukan update package list di linuxku dengan menjalankan perintah sudo apt-get update pada terminal.</p><h4>2. Install MongoDB</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*BGefcgc8Lb9XRu42.png" /></figure><p>Selanjutnya untuk instalasi aku langsung lewat dari terminal dengan langsung mengambil repository dari mongoDBnya, dengan menjalankan perintah dokumnetasi-dokumentasi dibawah ini.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*ePe4ZqQv4sUpMVc7.png" /></figure><p>disini tinggal tunggui aja sampe downloadnya kelar.</p><h4>3. Cek Versi mongod dan mongosh</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/702/1*647EY2kkH_cd6PnqClkxuw.png" /></figure><p>untuk mengetahui apakah mongodb sudah terinstall atau belum dapat menjalankan perintah pengecekan versi dari mongod dan juga mongosh. Untuk mongod sendiri berperan sebagai database servernya, sedangkan mongosh berperan sebagai database client.</p><h4>4. Cek status mongod</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/877/1*1_wXPZYakGZwVQ07o-Foyg.png" /></figure><p>Setelah terintall cek apakah mongod sudah aktif atau belum dengan menjalankan perintah sudo systemctl status mongod. Jika status mongod sudah hijau atau active, berarti mongod sudah dapat dijalankan dan ketika menjalankan mongosh bisa masuk tanpa error.</p><h4>5. Jalankan mongosh</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1023/1*GWbxUDeMeM6fx-0TEsY1Dw.png" /></figure><p>biasa dilihat pas aku jalankan mongosh dapat masuk.</p><h3>Operasi dasar mongoSh</h3><h4>1. Membuat Satu Dokumen Produk</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1mVc_zL2X9SM35rIVTtCZQ.png" /></figure><p>Sebelum membuat produk saya mmebuat database terlebih daulu bernama praktikum_bigdata, setelah itu baru saya membuat satu dokumen ke produk dan menambahkan isinya berupa RTX 5090 dengan kategori elektronik serta harga dan stok.</p><h4>2. menampilkan dokumen</h4><p>Untuk menampilkan dokumen ada dua cara yaitu dengan peintah db.produk.find() dan db.produk.find().pretty(), bedanya sendiri pas saya coba tidak terlalu berpengaruh, mungkin karna dijalankan diterminal.</p><p><strong>A. Dengan peintah</strong> db.produk.find()</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/530/1*1UT_gFsCxJPhEg_bRQsc1Q.png" /></figure><p>Saya menambahkan 2 data lagi, pada data ketiga saya menambahkan kolom baru bernama seri. Ketika saya mennambahkan kolom baru didata yang berbeda, pada data sebelumnya tidak terpengaruh sama sekali.</p><p><strong>B. Dengan peintah</strong> db.produk.find().pretty()</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/530/1*MjnrGmTZp62O-ahl4PTUBA.png" /></figure><p>Sama seperti yang saya bilang diatas, pas saya coba diterminal tidak ada bedanya.</p><p><strong>C. Dengan peintah</strong> db.produk.find(ObjectId())</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/797/1*1LcBC7aSiHWlNi9MR7qnaQ.png" /></figure><p>Disini saya iseng buat nambahin ObjectId() didalam find, dan ternyata bisa. Sepertinya digunakan untuk mencari data spesifik dengan menggunakan ObjectId sebagai Key.</p><h4>3. Keluar dari mongosh</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/798/1*kXqUXkztiuXPQmfFk7ft_Q.png" /></figure><p>Buat keluar dari mongosh cukup gampang, dengan menggunakan peintah exit saja.</p><h3>Install pymongo dienv bigdata</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ySqk7RjN61jbufgwGfaZ4g.png" /></figure><p>untuk install pymongo dapat menjalankan perintan pip insatall pymongo tunggu hingga instalasi selesai.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/819/1*U0qfj-SgCZwNqyUbpuxwPA.png" /></figure><p>Jika udah selesai install dapat melakukan validasi dengan mengecek apakah sudah bener terinsatall di env bigdata atau belum, dengan menjelankan perintah untuk cek versi dari pymongo</p><h3>Melanjutkan di Jupyter Notebook</h3><h4>1. Koneksi mongodb dari python</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/695/1*Ucyi7XJSKaK7XxuiNYtzew.png" /></figure><p>pertama saya import mongoclient terlebih dahulu, setelah itu ada variabel client yang berisikan lokasi dari mongodcnya. Lalu ada variabel db ang berfungsi untuk memanggil nama databasenya, variabel koleksi produk berfungsi untuk memanggil dokumen yang ada didatabase yaitu produk.</p><p>lalu untuk mengetesnya dengan client.list_database_names() dapat dilihat database yang ada di mongodbku dapat muncul, berarti koneksi antara mongodb dan python berhasil</p><h4>2. CRUD dengan pyMongo</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*T_TiTj7_M8IuAWObRkCg1A.png" /></figure><p>Selanjutnya saya mencoba CRUD yaitu dengan melakukan delete dari semua data yang ada didalam dokumen dengan menjalankan perintah koleksi_produk.delete_many({}) , setelah itu saya menambahkan satu data baru dengan perintah insert_one selain aku juga menambahkan beberapa data secara langsung dengan perintah insert_many</p><p>dipaling bawah ada perintah untuk menampilkan ada berapa data dalam dokumen tersebut, dengan menjalankan perintah .count_documents({})</p><h4>3. Menampilkan Dokumen</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/833/1*kaoPGTXV14wBS13LdnkLew.png" /></figure><p>Untuk menampilkan data didalam dokumen ada beberapa cara, cara yang saya coba tiga yaitu menampilkan hanya 1 produk saja, seluruh produk berdaasrkan kategori, serta produk dengan aturan tertentu.</p><p>untuk yang satu produk menggunakan perintah find_one. dimana yang dicari yang kategorinya laptop, untuk pemilihannya yaitu produk yang paling atas atau dengan metode kursor. lalu ada seluruh produk dengan kategori laptop saja, dan dibawahnya ada yang dnegan aturan dimana produk yang ditampilkan yang kategorinya laptop tetapi dengan harga diatas 20 juta saja. untuk yang dnegan aturan mencarinya menggunakan perulangan for semua ya. Bisa lihat untuk hasilnya laptop yang dibawah 20 juta tidak ditampilkan</p><h4>4. Memperbarui Dokumen</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/847/1*mqgUH4O48QC5erRtz60fIg.png" /></figure><p>untuk update satu data bisa pakai perinta update_one dan untuk update banyak bisa pakai update_many . Bisa dilihat saya update harga macbook air m2, dan juga update untuk stoknya, oh iya untuk mengurangi seperti stok bisa pakai perintah $inc</p><h4>5. Menghapus Dokumen</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/948/1*I3feZlm_JkRoyBOIMRv_1w.png" /></figure><p>untuk menghapus sendiri bisa pakai perintah delete_one</p><h4>6. Integrasi MongoDB ke spark dataframe</h4><p>Lanjut saya melakukan integrasi mongodb ke spark dataframe</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/838/1*Bm_hiJaVsNNfM8TKcxdx6w.png" /></figure><p>pertama inport sparksessionnya dan juga function avg adn cound, serta ada pandas yang perlu ditambahkan</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/811/1*dVgVtQGKt1TOEEROEHd9GQ.png" /></figure><p>kalau udah bisa buat variabel dokumen_mongo yang berisikan list dari koleksi_produk , lalu ubah dokumen_mongo menjadi dataframe dengan bantuan pandas. Jika sudah tinggal diprint dengan perintah printSchema() lalu ditampilakan dengan perintah show()</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/708/1*WES1M0YuiUSsGr9E-mfoDA.png" /></figure><p>Dapat dilihat hasilnya berupa dataframe</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/450/1*LnHKqzef_RJJoyT_YWq3mw.png" /></figure><p>Lalu dari kedua ketegri tersebut bisa dihitung rata-rata harganya dan juga jumlah produknya.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/269/1*I7Zipzrod8mXmOqjUmutVQ.png" /></figure><p>Jika sudah selesai sparksessionnya tinggal distop saja.</p><h3>Latihan Mandiri</h3><h4>1. Menambahkan 5 dokumen baru</h4><pre>koleksi_produk.insert_many([<br>    {&quot;nama_produk&quot;: &quot;AOC 24G2SP 24 Inch 165Hz&quot;, &quot;kategori&quot;: &quot;Monitor&quot;, &quot;harga&quot;: 2100000, &quot;stok&quot;: 10, &quot;tags&quot;: [&quot;IPS&quot;, &quot;Gaming&quot;, &quot;165Hz&quot;]},<br>    {&quot;nama_produk&quot;: &quot;Keychron K2 V2 Wireless&quot;, &quot;kategori&quot;: &quot;Peripheral&quot;, &quot;harga&quot;: 1350000, &quot;stok&quot;: 18, &quot;tags&quot;: [&quot;Mechanical&quot;, &quot;Keyboard&quot;, &quot;Wireless&quot;]},<br>    {&quot;nama_produk&quot;: &quot;Logitech G Pro X Superlight&quot;, &quot;kategori&quot;: &quot;Aksesoris&quot;, &quot;harga&quot;: 1900000, &quot;stok&quot;: 14, &quot;tags&quot;: [&quot;Mouse&quot;, &quot;Gaming&quot;, &quot;Wireless&quot;]},<br>    {&quot;nama_produk&quot;: &quot;MikroTik hEX S RouterBoard&quot;, &quot;kategori&quot;: &quot;Jaringan&quot;, &quot;harga&quot;: 950000, &quot;stok&quot;: 20, &quot;tags&quot;: [&quot;Router&quot;, &quot;Gigabit&quot;, &quot;Networking&quot;]},<br>    {&quot;nama_produk&quot;: &quot;Sony WH-1000XM5&quot;, &quot;kategori&quot;: &quot;Audio&quot;, &quot;harga&quot;: 5200000, &quot;stok&quot;: 7, &quot;tags&quot;: [&quot;Headphone&quot;, &quot;ANC&quot;, &quot;Wireless&quot;]}<br>])<br><br>print(&quot;Data Berhasil Ditambahkan&quot;)<br>for p in koleksi_produk.find({}, {&quot;_id&quot;: 0, &quot;nama_produk&quot;: 1, &quot;harga&quot;: 1, &quot;stok&quot;: 1}):<br>    print(f&quot;  - {p[&#39;nama_produk&#39;]}: harga=Rp{p[&#39;harga&#39;]:,}, stok={p[&#39;stok&#39;]}&quot;)</pre><p>disini saya menambahkan menggunakan perintah insert_many, untuk produknya sendiri masih diproduk elektronik tetapi ketgorinya beda-beda. Setelah diinsert saya menampilkan data dengan menggunakan perulangan for.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/572/1*FdbxYeXjjucoDxXSyapyxg.png" /></figure><p>Hasilnya seperti gambar diatas, seluruh produk ditampilkan dengan list.</p><h4>2. Mencari produk dengan harga dibawah 5 juta</h4><pre>print(&quot;Produk dengan harga &lt; 5000000(5 Juta)&quot;)<br>for p in koleksi_produk.find({&quot;harga&quot;: {&quot;$lt&quot;: 5000000}}):<br>    print(f&quot; - {p[&#39;nama_produk&#39;]} =&gt; Rp.{p[&#39;harga&#39;]:}&quot;)</pre><p>Sebetulnya disoal harganya dibawah 20.000 tetapi karena produk saya elektronik dan harganya tidak ada yang dibawah 20.000, maka saya set dibawah 5 juta.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/452/1*f4VnNCtBMCATEwj8Sr5IBQ.png" /></figure><p>Dapat dilihat hasilnya produk yang dibawah 5 juta akan ditampilkan.</p><h4>3. Menambahkan kolom diskon</h4><pre>koleksi_produk.update_many(<br>    {},<br>    {&quot;$inc&quot;: {&quot;diskon&quot;: 0}}<br>)<br><br>print(&quot;Data Berhasil DiUpdate&quot;)<br>for p in koleksi_produk.find({}, {&quot;_id&quot;: 0, &quot;nama_produk&quot;: 1, &quot;harga&quot;: 1, &quot;stok&quot;: 1, &quot;diskon&quot;: 1}):<br>    print(f&quot;  - {p[&#39;nama_produk&#39;]}: harga=Rp{p[&#39;harga&#39;]:,}, stok={p[&#39;stok&#39;]}, diskon={p[&#39;diskon&#39;]}&quot;)</pre><p>Disini untuk meambahkan kolom diskon bisa dengan perintah update many, kenapa hanya {} karena agar perintah dijalankan disemua dokumen. Lalu dibawahnya ditambahkan kolom diskon dengan perintan $inc. Jika sudah dibawahnya saya menmabhakan perulangan untuk menampilkan datanya.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/644/1*ts1P6SdGsvkTNEtN8CenGw.png" /></figure><p>Dapat dilihat hasilnya sekarang kolom diskon dapat muncul.</p><h4>4. Refleksi diri</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/693/1*6GGrW8yaJH0Xl5YEeVv3XA.png" /></figure><blockquote>Menurut saya contoh skenario nyata yang dapat dipakai yaitu untuk mencatat data kesehatan yang berbeda-beda, semisal pasien jantung memiliki data EKG, sedangkan pasien mata ada hasil tes buta warna. Dengan konsep flexible schema, kita dapat menyimpan seluruh data medis pasien dengan struktur yang berbeda dalam satu koleksi tanpa harus merubah struktur database.</blockquote><h3>Tugas Mandiri</h3><h4>1. Membuat Catalog</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/839/1*NSrcd77t58r6sul4AJoD9g.png" /></figure><p>Pertama saya setup dengan mengimport mongocllient, sparksession dan functionsnya seta pandas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/911/1*L5SGVI1R9XE9c7if8OnqXA.png" /></figure><p>saya menambahkan 15 data menu yang terdiri dari makanan dan minuman, dengan emnggunakan perintah insert many.</p><h4>2. Kueri Bertingkat</h4><pre>print(&quot;Kopi dengan tingkat kepahitan diatas 3: &quot;)<br>for k in koleksi_menu.find({&quot;tingkat_kepahitan&quot;: {&quot;$gt&quot;: 3}}):<br>    print(f&quot;  - {k[&#39;nama_menu&#39;]} | Tingkat Kepahitan {k[&#39;tingkat_kepahitan&#39;]}&quot;)<br><br>queryharga = {<br>    &quot;harga&quot;: {&quot;$gte&quot;: 15000, &quot;$lte&quot;: 30000}<br>}<br><br>hargaantara = list(koleksi_menu.find(queryharga))<br><br>print(&quot;\nSeluruh menu dengan harga diantara 15k-30k:&quot;)<br>for m in koleksi_menu.find(queryharga):<br>    print(f&quot;  - {m[&#39;nama_menu&#39;]} | dengan harga Rp.{m[&#39;harga&#39;]}&quot;)<br><br><br>querypedas = {<br>    &quot;pedas_level&quot;: {&quot;$exists&quot;: False}<br>}<br><br>print(&quot;\nmenu yang tidak memiliki field pedas&quot;)<br>for p in koleksi_menu.find(querypedas):<br>    print(f&quot;  - {p[&#39;nama_menu&#39;]} | Kategori {p[&#39;kategori&#39;]}&quot;)</pre><p>untuk kopi dengan tingkat kepahitan diatas 3 saya menggabungkan for dengan querinya, sedangkan untuk seluruh menu dengan harga diantara 15k-30k dan menu yang tidak memiliki field pedas, saya memisahkan querynya dengan membuat variabel sendiri.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/438/1*c2wic9hUgwk6QJWA2oPrRQ.png" /></figure><h4>3. Update Data</h4><pre>koleksi_menu.update_many(<br>    {},<br>    {&quot;$set&quot;: {&quot;status&quot;: &quot;Tersedia&quot;}}<br>)<br><br>print(&quot;Data Berhasil DiUpdate&quot;)<br>for p in koleksi_menu.find({}, {&quot;_id&quot;: 0, &quot;nama_menu&quot;: 1, &quot;status&quot; : 1}):<br>    print(f&quot;  - {p[&#39;nama_menu&#39;]}: {p[&#39;status&#39;]}&quot;)<br><br>koleksi_menu.update_many(<br>    {&quot;nama_menu&quot;: {&quot;$in&quot;: [&quot;Mocha Latte&quot;, &quot;Cappuccino&quot;]}},<br>    {&quot;$set&quot;: {&quot;status&quot;: &quot;Habis&quot;}}<br>)<br><br>print(&quot;\nData Berhasil DiUpdate&quot;)<br>for p in koleksi_menu.find({}, {&quot;_id&quot;: 0, &quot;nama_menu&quot;: 1, &quot;status&quot; : 1}):<br>    print(f&quot;  - {p[&#39;nama_menu&#39;]}: {p[&#39;status&#39;]}&quot;)</pre><p>untuk update data semua saya menggunakan update_many dengan menambahkan kolom status dengan isi Tersedia, dengan menggunakan $set. Lalu saya menambahkan perulangan untuk menampilkan hasilnya. untuk update kedua saya melakukan update kepada menu Mocha Latte dan Cappuccino dengan merubah isi status mereka menjadi habis. Setelah itu saya menggunakan perulangan untuk menampilkan isi datanya.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/435/1*H3gq6cCI4ZqYtcsm5ZaLrw.png" /></figure><h4>4. Integrasi ke Spark</h4><pre>dokumen_mongo = list(koleksi_menu.find({}))<br><br>df_pandas = pd.DataFrame(dokumen_mongo)<br><br>df_pandas[&quot;_id&quot;] = df_pandas[&quot;_id&quot;].astype(str)<br><br>df_spark_menu = spark.createDataFrame(df_pandas)<br>df_spark_menu.printSchema()<br>df_spark_menu.show()<br><br>df_spark_menu.groupBy(&quot;kategori&quot;).agg(<br>    avg(&quot;harga&quot;).alias(&quot;rata_rata_harga&quot;),<br>    count(&quot;nama_menu&quot;).alias(&quot;jumlah_produk&quot;)<br>).show()</pre><p>untuk integrasi ke spark, pertama data diubah ke dalam list setelah itu variabel dokumen_mongo yang berisikan data list diubah ke dalam bentuk dataframe dengan bantuan pandas, jika sudah data diubah ke dalam spark menjadi dataframe , lalu di tampilkan dengan perintah show. untuk mencari rata-rata harga perketegori menggunakan groupby agg, lalu ditampilkan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/922/1*rL1WSVeXaI57WQISPrlVwQ.png" /></figure><h4>5. Kesimpulan</h4><p>Keismpulannya menurut saya, no SQL sangat fleksibel digunakan, walaupun datanya kosong tidak akan menimbulkan error, selain itu juga sangat fleksibel ketika data yang disimpan berbeda-beda isinya walaupun masih dalam satu data. Tantangan yang saya temuin yaitu di konfigurasi mongo db dilaptop saya, entah kenapa pas saya jalankan mongodbnya udah jalan tapi harus ada konfigurasi ulang di bagian autentifikasinya agar bisa malakukan CRUD. Untuk dari segi ekslpolrasi sendiri cukup fun karena langsung menggunakan data dan bisa eksperimen. Kalau untuk konfersi dari data mongodb ke spark tidak ada masalah sih, langsung jalan saja pas saya coba tanpa ada error.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f4e224ec6d90" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[9_PBO: Abstraksi dan Kelas Abstrak]]></title>
            <link>https://medium.com/@wildanmaulana95914/6-pbo-abstraksi-dan-kelas-abstrak-e3477bc1e385?source=rss-386b7eae6048------2</link>
            <guid isPermaLink="false">https://medium.com/p/e3477bc1e385</guid>
            <dc:creator><![CDATA[Wildanmaulana]]></dc:creator>
            <pubDate>Wed, 28 Oct 2026 09:20:56 GMT</pubDate>
            <atom:updated>2026-10-28T09:21:12.943Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*v5hwVmaxGJmJxhDJKrbUxQ.png" /></figure><p>Saya Wildan Maulana Habibi, salah satu mahasiswa Teknologi Informasi dari Universitas Tidar. Di pertemuan yang ke-9 dimata kuliah praktikum PBO, saya akan mejelaskan mengenai<strong> Abstraksi </strong>dan<strong> Kelas Abstrak</strong> di Java yang telah saya pelajari di prakrikum hari ini. Sebelum masuk ke pengerjaan penugasan, saya akan sedikit memberikan penjelasan mengenai apa itu<strong> Abstraksi </strong>dan<strong> Kelas Abstrak.</strong></p><h3>Apa Itu Abstraksi ?</h3><p>Abstraksi adalah salah satu bentuk utama dalam Pemrograman Berorientasi Objek. Tujuannya untuk menyembunyikan detail implementasi dan menampilkan hanya fungsionalitas penting dari suatu objek. Abstraksi membantu dalam memecah sistem yang kompleks menjadi bagian-bagian yang lebih sederhana.</p><p>Contoh konsep abstraksi: Misalnya, pada objek kendaraan, kita hanya perlu tahubahwa kendaraan tersebut bisa berjalan, tetapi kita tidak perlu tahu bagaimana mesin internalnya bekerja.</p><h3>Apa Itu Kelas Abstrak ?</h3><p>Kelas abstrak adalah kelas yang tidak dapat diinstansiasi langsung. Kelas ini digunakan sebagai cetak biru bagi kelas lain yang mewarisinya. Kelas abstrak bisa memiliki metode abstrak (metode tanpa implementasi) dan metode biasa (metode dengan implementasi).<br>Karakteristik Kelas Abstrak:</p><ul><li>Tidak dapat dibuat objeknya secara langsung.</li><li>Bisa memiliki metode abstrak dan metode dengan implementasi.</li><li>Subclass yang mengimplementasikan kelas abstrak wajib mengimplementasikan semua metode abstrak yang ada.</li></ul><h3>Praktikum</h3><p>Pada praktkum kali ini saya membuat sebuah class kendaraan. Berikut langkah pengerjaannya</p><h4>1. Buat class kendaraan beserta turunanya</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/526/1*YAlnCavd3RI539I0E91ocA.png" /></figure><p>jadi saya membuat class Kendaraan yang didalmnya ada dua method yang pertama adalah berjalan yang berfungsi sebagai abstaract, lalu ada method info yang berfungsi untuk menampilkan indormasi.</p><p>Lalu saya membuat class turunanya yaitu mobil dan sepeda, untuk class mobil sendiri melakukan override pada method berjalan dan juga info, sedangkan untuk sepeda hanya berjalan saja.</p><h4>2. Main</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/490/1*zldMjoW4I3sfqvflNQVB3g.png" /></figure><p>untuk bagian main saya membuat 2 object yaitu mobil dan sepeda, dimana mobil dan sepeda dapat memanggil method berjalan dan info.</p><h4>3. Hasil</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/242/1*Ydpl80dEgHnHJv95rzWO1w.png" /></figure><p>Untuk hasilnya seperti gambar diatas, karena tadi untuk mobil ditambahkan agar melakukan override method info, maka hasilnya untuk object mobil isi dari method infonya yaitu “ini adalah mobil”, sedangkan untuk sepeda hanya “Ini adalah kendaraan.”</p><h3>Tugas</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/860/1*6Bq7VKGceGJPaCNji-dh6Q.png" /></figure><p>Pada pertemuan 9 ini tugas yang saya dapatkan yaitu saya disuruh untuk membuat class hewan dengan method kelas abstrak suara, beserta turunananya. Langsung aja kita kerjakan</p><h4>1. Buat class Hewan beserta turunanya</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/561/1*ShKvrwPSsa-Pq53mx2Bdug.png" /></figure><p>jadi saya membuat class Hewan yang didalmnya ada dua method yang pertama adalah Suara yang berfungsi sebagai abstaract, lalu ada method info yang berfungsi untuk menampilkan indormasi bahwa hewan ini dapat bersuara.</p><p>Lalu saya membuat class turunanya yaitu kucing dan hewan, sama seperti soal class turunan ini mengimplementasikan method suara sesuai dengan saura hewan tersebut</p><h4>2. Main</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/569/1*LDoLJjkqlF-b_iRT0SQGCQ.png" /></figure><p>untuk bagian main saya membuat 2 object yaitu kucing dan anjing, dimana kucing dan anjing dapat memanggil method suara dan info.</p><h4>3.Hasil</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/265/1*PjB-xTzmXDtDdT5zKe2t_w.png" /></figure><p>untuk hasilnya seperti gambar diatas, kucing dan anjing dapat mengeluarkan suara yang berbeda.</p><h3>Kesimpulan</h3><p>abstraksi dan kelas abstrak dapat diterapkan untuk menyederhanakan sistem dengan menyembunyikan implementasi internal serta menggunakan kelas abstrak sebagai blueprint utama. Pada kelas Kendaraan dan Hewan beserta kelas turunannya, setiap objek bisa mengimplementasikan serta melakukan <em>override</em> pada metode abstrak seperti berjalan dan suara sesuai karakteristiknya masing-masing,.</p><h3>Link GitHub</h3><p><a href="https://github.com/maulzz/PBO-JAVA/tree/main/Pertemuan9/src/main/java/com/mycompany/pertemuan9">Link</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e3477bc1e385" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[9_JARKOM: VLAN]]></title>
            <link>https://medium.com/@wildanmaulana95914/9-jarkom-vlan-8a91e44691a6?source=rss-386b7eae6048------2</link>
            <guid isPermaLink="false">https://medium.com/p/8a91e44691a6</guid>
            <dc:creator><![CDATA[Wildanmaulana]]></dc:creator>
            <pubDate>Tue, 27 Oct 2026 03:33:44 GMT</pubDate>
            <atom:updated>2026-10-27T03:33:44.429Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*l2KuC2WpPpLvYZ0jGtqQLQ.png" /></figure><p>Saya Wildan Maulana Habibi, salah satu mahasiswa Teknologi Informasi dari Universitas Tidar. Di pertemuan yang ke-9 dimata kuliah praktikum Jaringan Komputer, saya akan membuat laporan mengenai <strong>VLAN</strong> yang sudah saya pelajarai menggunakan aplikasi cisco packet tracer. Sebelum masuk ke laporannya.</p><h3>ALAT dan BAHAN</h3><ol><li>Laptop dan Komputer</li><li>Cisco Packet Tracer</li></ol><h3>DASAR TEORI</h3><h4>A. Pengertian VLAN</h4><p>merupakan sebuah model jaringan yang tidak dibatasi oleh lokasi fisik layaknya LAN tradisional. Hal ini memungkinkan suatu jaringan dikonfigurasi secara virtual tanpa harus menyesuaikan dengan penempatan fisik perangkat. Pengaturan ini menjadikan pengelolaan jaringan lebih fleksibel, sehingga pembuatan segmen khusus berdasarkan departemen atau organisasi dapat dilakukan tanpa bergantung pada letak workstation.</p><h4>B. Fungsi penggunaan VLAN</h4><ul><li><strong>Security</strong>: Meningkatkan keamanan data pada masing-masing divisi melalui pemisahan segmen jaringan secara logika serta pembatasan lalu lintas data.</li><li><strong>Cost reduction</strong>: Menghemat biaya dengan mengefisienkan bandwidth dan menekan biaya upgrade perluasan jaringan.</li><li><strong>Higher performance</strong>: Membagi jaringan layer 2 ke dalam kelompok <em>broadcast domain</em> yang lebih kecil guna mengurangi lalu lintas paket data yang tidak diperlukan.</li><li><strong>Broadcast storm mitigation</strong>: Meminimalkan jumlah perangkat yang memicu <em>broadcast storm</em> berkat adanya batasan pada <em>broadcast domain</em>.</li><li><strong>Improved IT staff efficiency</strong>: Mempermudah proses manajemen jaringan dengan mengelompokkan pengguna bersumber daya sama ke dalam segmen yang sama.</li><li><strong>Simpler project or application management</strong>: Menyatukan peralatan dan pengguna jaringan untuk mendukung penanganan kendala yang diakibatkan oleh kondisi geografis.</li></ul><h4>C. Cara kerja VLAN</h4><p>Cara kerja VLAN bergantung pada metode klasifikasinya, seperti penggunaan <em>port</em> atau <em>MAC address</em>. Segala informasi mengenai pengalamatan atau penandaan (<em>tagging</em>) VLAN akan disimpan di dalam sebuah tabel atau <em>database</em>. Perangkat yang bertanggung jawab untuk menyimpan informasi, mengatur konfigurasi, serta menentukan arah penerusan data adalah <em>switch</em> atau <em>bridge</em> yang <em>manageable</em> (dapat diatur). Sementara itu, untuk menghubungkan dan meneruskan jalur komunikasi antar VLAN yang berbeda, dibutuhkan sebuah <em>router</em> (perangkat <em>layer</em> 3).</p><h4>D. Tipe — tipe VLAN</h4><ul><li><strong>Berdasarkan Port</strong>: Keanggotaan VLAN diatur berdasarkan <em>port</em> <em>switch</em> atau <em>bridge</em> yang digunakan. Kelemahannya, administrator jaringan harus mengatur konfigurasi ulang secara manual jika pengguna berpindah lokasi <em>port</em>.</li><li><strong>Berdasarkan MAC Address</strong>: Pengelompokan ini didasarkan pada <em>MAC address</em> kartu jaringan (NIC) dari perangkat setiap pengguna. Kelebihannya adalah pengguna akan tetap terkonfigurasi ke VLAN yang sama meskipun berpindah-pindah, namun kekurangannya adalah pendaftaran <em>MAC address</em> secara manual dinilai tidak efisien untuk jaringan berskala besar.</li><li><strong>Berdasarkan Tipe Protokol</strong>: Penentuan keanggotaan VLAN dilakukan menurut jenis protokol komunikasi yang digunakan, misalnya pengelompokan khusus untuk IP atau IPX.</li><li><strong>Berdasarkan Alamat Subnet IP</strong>: Memanfaatkan <em>subnet</em> IP address dari jaringan untuk memetakan anggota VLAN tanpa memengaruhi fungsionalitas <em>router</em> atau <em>routing</em>. Pengguna diuntungkan karena tidak perlu mengubah alamat IP ketika berpindah, meski proses penerusan paketnya berjalan sedikit lebih lambat jika dibandingkan dengan <em>MAC address</em>.</li><li><strong>Berdasarkan Aplikasi atau Kombinasi</strong>: Keanggotaan VLAN ditentukan melalui spesifikasi aplikasi yang dijalankan (contohnya akses FTP khusus untuk VLAN 1 dan Telnet untuk VLAN 2), atau melalui perpaduan dari seluruh metode klasifikasi di atas.</li></ul><h3>Praktikum</h3><h4>1. Setup Desain topologi</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/575/1*2Wq2_PTiPhTnHEEvTM2GqA.png" /></figure><p>Hal pertama yang dilakukan yaitu membuat design topologinya, disini saya menggunakan 1 buah swicth dengan 4 pc sebagai end device serta kabel stright sebagai penghubung.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/1*bbffIA9DqgxBe09sD_gl1w.png" /></figure><h4>2. Konfigurasi Switch</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/287/1*KUd8bt2YX8GPErVjSZepGg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/311/1*K9MfeVJUqwRob3MPSqcDgA.png" /></figure><p>Kalau udah sekarang lanjut konfigurasi pada switch, disini saya membuat 2 buah vlan yaitu vlan10 dan vlan20</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/346/1*x1uSjYMQ1UdKT4sKFeaRKQ.png" /></figure><p>jika udah dibuat, maka tinggal masukin port mana yang masuk ke vlan tersebut, disini untuk port 1 dan 2 saya masukan ke vlan10 dan port 3 dan 4 saya masukan ke vlan 20</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/577/1*hINFywxYi__Ezyp5Hw61BQ.png" /></figure><p>maka hasilnya ketika dicek akan seperti gambar diatas, dimana vlan10 dan vlan20 sudah terbaca dan termasuk portsnya</p><h4>3. Konfigurasi PC</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3J_1Wsz_qa5RXOUzdJnL1w.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HJfchydoYnVFPNCvSKMSIw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fjSKgZr75ebIyMBB0Ee6gw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zJJTd9xU-QzWJrgfdmaY4w.png" /></figure><p>sekarang saya memberikan alamat ip pada tiap-tiap pcya, untuk ip simpel saja saya berikan ip 192.168.22.1 sampai 192.168.22.4.</p><h4>4. Uji Coba</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/416/1*P95XcNyifr4j9vsskFW4Eg.png" /></figure><p>dapat dilihat ketika pc0 diping ke pc1 dapat berhasil karena mereka dalam satu vlan yang sama, ketika pc0 diping ke pc2 atau pc3 maka hasilnya failed karena mereka beda vlan.</p><h3>Kesimpulan</h3><p>Kesimpulannya adalah VLAN efektif untuk memisahkan jaringan meskipun semuanya harus terhubung ke satu switch fisik. Walaupun keempat PC tersebut diberi alamat IP yang masih dalam satu network (192.168.22.1 sampai 192.168.22.4), pembagian port ke dalam dua VLAN yang berbeda (VLAN 10 dan VLAN 20) berhasil mengisolasi lalu lintas datanya. Hal ini dibuktikan langsung lewat hasil uji coba ping, di mana koneksi hanya berhasil saat ngeping antar PC di VLAN yang sama (seperti PC0 ke PC1), dan langsung failed saat mencoba terhubung ke PC di beda VLAN (seperti PC0 ke PC2 atau PC3).</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=8a91e44691a6" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[7_Big Data : Studi Kasus Terintegrasi: BigData End-To-End]]></title>
            <link>https://medium.com/@wildanmaulana95914/7-big-data-studi-kasus-terintegrasi-bigdata-end-to-end-9c62c1df7903?source=rss-386b7eae6048------2</link>
            <guid isPermaLink="false">https://medium.com/p/9c62c1df7903</guid>
            <dc:creator><![CDATA[Wildanmaulana]]></dc:creator>
            <pubDate>Sat, 10 Oct 2026 04:10:24 GMT</pubDate>
            <atom:updated>2026-10-10T04:24:14.197Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*k2Gnpi_tuobR_WnWX-T0eg.png" /></figure><p>Saya Wildan Maulana Habibi, salah satu mahasiswa Teknologi Informasi dari Universitas Tidar. Di pertemuan yang ke-7 dimata kuliah praktikum Big Data, saya akan melakukan dokumentasi pengerjaan yang sudah saya lakukan mengenai Studi Kasus Terintegrasi: BigData End-To-End. Sebelum masuk ke penjelasannya, saya akan sedikit memberikan tujuan dan penjelasan mengenai materi yang akan saya praktikkan.</p><h3>Alat dan bahan yang digunakan</h3><ol><li>Laptop</li><li>ubuntu 24</li><li>anaconda versi 26</li><li>jupyter versi terbaru ( 7.xx)</li><li>Java (OpenJDK 11)</li><li>Apache Hadoop 3.4.3</li><li>Apache Spark 3.5.9</li></ol><h3>PRAKTIKUM</h3><h4>A. Studi Kasus Laporan Kerja Triwulan</h4><ol><li><strong>Import Spark Session</strong></li></ol><pre>from pyspark.sql import SparkSession<br>from pyspark.sql.functions import col, sum as spark_sum, avg, count, row_number, when<br>from pyspark.sql.window import Window<br>import numpy as np<br>import pandas as pd<br>import json<br><br>spark = SparkSession.builder \<br>    .appName(&quot;Pertemuan7-StudiKasusTerintegrasi&quot;) \<br>    .master(&quot;local[*]&quot;) \<br>    .getOrCreate()<br>spark.sparkContext.setLogLevel(&quot;ERROR&quot;)<br><br>print(&quot;SparkSession siap. Versi Spark:&quot;, spark.version)</pre><p>pertama saya mengimpor sparksession beserta fungsi-fungsi yang akan dipakai seperti sum, avg, count, row_number, dan window. setelah itu saya membuat sparksession baru dan menampilkan versi spark untuk memastikan spark sudah berjalan dengan baik.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/328/1*pvo7wGYz6eg16OnWMVdYhQ.png" /></figure><p><strong>2. Membuat data</strong></p><pre>np.random.seed(77)<br><br>toko_list = [&quot;Toko Magelang&quot;, &quot;Toko Yogyakarta&quot;, &quot;Toko Semarang&quot;, &quot;Toko Solo&quot;]<br>data_toko = [<br>    {&quot;toko_id&quot;: i + 1, &quot;nama_toko&quot;: t, &quot;kota&quot;: t.split()[1], &quot;manager&quot;: np.random.choice([&quot;Rani&quot;, &quot;Joko&quot;, &quot;Sari&quot;, &quot;Bayu&quot;])}<br>    for i, t in enumerate(toko_list)<br>]<br>with open(&quot;data_toko.json&quot;, &quot;w&quot;) as f:<br>    for t in data_toko:<br>        f.write(json.dumps(t) + &quot;\n&quot;)<br><br># SUMBER 2: Data produk (CSV) — tabel referensi kecil<br>data_produk = [<br>    {&quot;product_id&quot;: i, &quot;nama_produk&quot;: f&quot;Produk-{i}&quot;,<br>     &quot;kategori&quot;: np.random.choice([&quot;Elektronik&quot;, &quot;Fashion&quot;, &quot;Makanan&quot;]),<br>     &quot;harga&quot;: int(np.random.choice([50000, 100000, 200000]))}<br>    for i in range(1, 21)<br>]<br>pd.DataFrame(data_produk).to_csv(&quot;data_produk.csv&quot;, index=False)<br><br>n = 5000<br>data_transaksi = pd.DataFrame({<br>    &quot;trx_id&quot;: [f&quot;T{i}&quot; for i in range(n)],<br>    &quot;toko_id&quot;: np.random.randint(1, 5, size=n),<br>    &quot;product_id&quot;: np.random.randint(1, 21, size=n),<br>    &quot;qty&quot;: np.random.randint(1, 6, size=n),<br>})<br>data_transaksi.to_csv(&quot;data_transaksi_triwulan.csv&quot;, index=False)<br><br>print(&quot;Ketiga sumber data berhasil dibuat:&quot;)<br>print(f&quot;- data_toko.json              : {len(data_toko)} baris&quot;)<br>print(f&quot;- data_produk.csv             : {len(data_produk)} baris&quot;)<br>print(f&quot;- data_transaksi_triwulan.csv : {len(data_transaksi)} baris&quot;)</pre><p>disini saya membuat tiga sumber data menggunakan numpy dan pandas. data toko berisi 4 toko yang disimpan dalam format json lines, data produk berisi 20 produk dalam format csv, dan data transaksi berisi 5.000 baris yang juga disimpan dalam format csv</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/359/1*HiOmAGVL7eULT___0PJLNQ.png" /></figure><h4>3. Unggah ke HDFS</h4><pre>!hdfs dfs -mkdir -p /user/maulzz/pertemuan7/raw<br>!hdfs dfs -put -f data_transaksi_triwulan.csv /user/maulzz/pertemuan7/raw/<br>!hdfs dfs -put -f data_toko.json /user/maulzz/pertemuan7/raw/<br>!hdfs dfs -put -f data_produk.csv /user/maulzz/pertemuan7/raw/<br>!hdfs dfs -ls /user/maulzz/pertemuan7/raw</pre><p>selanjutnya saya membuat folder raw di HDFS menggunakan perintah mkdir, lalu mengunggah ketiga file tersebut menggunakan perintah put. terakhir saya menampilkan isi foldernya dengan perintah ls untuk memastikan ketiga file sudah berhasil terunggah.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/939/1*c_-UQaAsvyDx4rnTaB-yvw.png" /></figure><p><strong>4. Membaca hasil dari HDFS</strong></p><pre>df_transaksi = spark.read.csv(<br>    &quot;hdfs://localhost:9000/user/maulzz/pertemuan7/raw/data_transaksi_triwulan.csv&quot;,<br>    header=True, inferSchema=True<br>)<br>df_toko = spark.read.json(&quot;hdfs://localhost:9000/user/maulzz/pertemuan7/raw/data_toko.json&quot;)<br>df_produk = spark.read.csv(<br>    &quot;hdfs://localhost:9000/user/maulzz/pertemuan7/raw/data_produk.csv&quot;,<br>    header=True, inferSchema=True<br>)<br><br>print(&quot;Transaksi:&quot;, df_transaksi.count(), &quot;| Toko:&quot;, df_toko.count(), &quot;| Produk:&quot;, df_produk.count())</pre><p>setelah data berada di HDFS, saya membaca kembali ketiga file tersebut ke dalam dataframe spark. file csv dibaca menggunakan spark.read.csv dan file json menggunakan spark.read.json, lalu saya menampilkan jumlah baris masing-masing untuk memastikan datanya terbaca dengan lengkap.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/365/1*XNbV1VHA74hnrU9oLDb1pQ.png" /></figure><p><strong>5. Join data</strong></p><pre>df_gabungan = df_transaksi.join(df_toko, on=&quot;toko_id&quot;, how=&quot;inner&quot;) \<br>                           .join(df_produk, on=&quot;product_id&quot;, how=&quot;inner&quot;)<br><br>df_gabungan = df_gabungan.withColumn(&quot;total_penjualan&quot;, col(&quot;qty&quot;) * col(&quot;harga&quot;))<br>df_gabungan.show(5)</pre><p>pada tahap ini saya menggabungkan data transaksi dengan data toko berdasarkan toko_id, lalu dengan data produk berdasarkan product_id menggunakan inner join. setelah itu saya menambahkan kolom total_penjualan yang didapat dari hasil perkalian qty dengan harga.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/903/1*_7uwaGnzwbzhQs8HSd1bRQ.png" /></figure><p><strong>6. RIngkasan data TOP 3 produk terlaris di toko</strong></p><pre>ringkasan_produk_toko = df_gabungan.groupBy(&quot;nama_toko&quot;, &quot;nama_produk&quot;).agg(<br>    spark_sum(&quot;total_penjualan&quot;).alias(&quot;total_penjualan&quot;)<br>)<br><br>window_toko = Window.partitionBy(&quot;nama_toko&quot;).orderBy(col(&quot;total_penjualan&quot;).desc())<br>top3_produk = ringkasan_produk_toko.withColumn(&quot;peringkat&quot;, row_number().over(window_toko)) \<br>                                    .filter(col(&quot;peringkat&quot;) &lt;= 3)<br><br>top3_produk.orderBy(&quot;nama_toko&quot;, &quot;peringkat&quot;).show(20)</pre><p>disini saya mencari 3 produk dengan penjualan tertinggi di setiap toko. pertama saya meringkas total penjualan per toko dan produk menggunakan groupBy, lalu membuat window yang dipartisi berdasarkan toko dan diurutkan dari penjualan terbesar. setelah itu saya memberikan peringkat menggunakan row_number dan memfilter hanya peringkat 1 sampai 3.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/442/1*KdvA7Kd_uQ9NREfDFyPkMg.png" /></figure><p><strong>7. Spark SQL</strong></p><pre>df_gabungan.createOrReplaceTempView(&quot;gabungan&quot;)<br><br>kontribusi_manager = spark.sql(&#39;&#39;&#39;<br>    SELECT kota, manager, SUM(total_penjualan) AS total_penjualan<br>    FROM gabungan<br>    GROUP BY kota, manager<br>    ORDER BY total_penjualan DESC<br>&#39;&#39;&#39;)<br>kontribusi_manager.show()</pre><p>selanjutnya saya mendaftarkan dataframe gabungan menjadi tabel sementara bernama gabungan, lalu menjalankan query sql untuk menghitung total penjualan dari setiap manager di masing-masing kota. hasilnya diurutkan dari total penjualan yang paling besar.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/312/1*cDnaP60Ppp9SmDa0_7anSA.png" /></figure><p><strong>8. Menyimpan laporan akhir ke HDFS</strong></p><pre>!hdfs dfs -mkdir -p /user/mahasiswa/pertemuan7/processed<br><br>path = &quot;hdfs://localhost:9000/user/maulzz/pertemuan7/processed/laporan_triwulan&quot;<br><br>df_gabungan.write.mode(&quot;overwrite&quot;).partitionBy(&quot;kategori&quot;).parquet(path)<br><br>print(&quot;Laporan berhasil disimpan ke HDFS dalam format Parquet, terpartisi per kategori produk.&quot;)<br>!hdfs dfs -ls /user/maulzz/pertemuan7/processed/laporan_triwulan</pre><p>setelah semua proses transform selesai, saya menyimpan dataframe gabungan ke HDFS dalam format parquet yang dipartisi berdasarkan kolom kategori. hasilnya spark otomatis membuat folder terpisah untuk setiap kategori yaitu Elektronik, Fashion, dan Makanan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*w2FGRDJCQA9UqzS_K5bvMg.png" /></figure><p><strong>9. Menampilkan ringkasan</strong></p><pre>df_final = spark.read.parquet(path)<br><br>ringkasan_eksekutif = df_final.groupBy(&quot;nama_toko&quot;, &quot;kota&quot;, &quot;manager&quot;).agg(<br>    spark_sum(&quot;total_penjualan&quot;).alias(&quot;total_penjualan_triwulan&quot;),<br>    count(&quot;trx_id&quot;).alias(&quot;jumlah_transaksi&quot;),<br>    avg(&quot;total_penjualan&quot;).alias(&quot;rata_rata_nilai_transaksi&quot;)<br>).orderBy(col(&quot;total_penjualan_triwulan&quot;).desc())<br><br>ringkasan_eksekutif.show()</pre><p>terakhir saya membaca kembali data parquet yang sudah tersimpan di HDFS, lalu membuat ringkasan eksekutif berisi total penjualan, jumlah transaksi, dan rata-rata nilai transaksi dari setiap toko. ringkasan ini sekaligus menjadi bukti bahwa data yang disimpan sudah siap dipakai untuk analisis.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/840/1*Tu05u3AhBHl8CLYM885bEQ.png" /></figure><h4>B. Latihan Mandiri</h4><p><strong>1.Menyiapkan SparkSession</strong></p><pre>from pyspark.sql import SparkSession<br>from pyspark.sql.functions import col, sum as spark_sum, avg, count, row_number, when, desc<br>from pyspark.sql.window import Window<br>import numpy as np<br>import pandas as pd<br>import json<br><br>spark = SparkSession.builder \<br>    .appName(&quot;Pertemuan7-StudiKasusTerintegrasi&quot;) \<br>    .master(&quot;local[*]&quot;) \<br>    .getOrCreate()<br>spark.sparkContext.setLogLevel(&quot;ERROR&quot;)<br><br>print(&quot;SparkSession siap. Versi Spark:&quot;, spark.version)</pre><p>pertama saya menyiapkan ulang sparksession beserta library yang dibutuhkan. disini saya juga menambahkan fungsi desc untuk mempermudah pengurutan data dari yang terbesar.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/323/1*B3sYA7nFaCvNwCIy59g8HA.png" /></figure><p><strong>2. Memanggil data yang sudah dibuat sebelumnya</strong></p><pre>spark = SparkSession.builder.appName(&quot;Latihan7&quot;).master(&quot;local[*]&quot;).getOrCreate()<br>spark.sparkContext.setLogLevel(&quot;ERROR&quot;)<br><br>df_transaksi = spark.read.csv(&quot;hdfs://localhost:9000/user/maulzz/pertemuan7/raw/data_transaksi_triwulan.csv&quot;, header=True, inferSchema=True)<br>df_toko = spark.read.json(&quot;hdfs://localhost:9000/user/maulzz/pertemuan7/raw/data_toko.json&quot;)<br>df_produk = spark.read.csv(&quot;hdfs://localhost:9000/user/maulzz/pertemuan7/raw/data_produk.csv&quot;, header=True, inferSchema=True)<br>df_gabungan = df_transaksi.join(df_toko, on=&quot;toko_id&quot;).join(df_produk, on=&quot;product_id&quot;)<br>df_gabungan = df_gabungan.withColumn(&quot;total_penjualan&quot;, col(&quot;qty&quot;) * col(&quot;harga&quot;))<br>print(&quot;Siap untuk latihan. Total baris:&quot;, df_gabungan.count())</pre><p>selanjutnya saya membaca kembali ketiga data dari folder raw di HDFS, lalu menggabungkannya dan menambahkan kolom total_penjualan seperti pada studi kasus. dengan begitu saya tidak perlu membuat ulang datasetnya dari awal.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/342/1*_kxVDkmH1M2X8oCi1baRmQ.png" /></figure><p><strong>3. Spark SQL (Kategori dengan qty tertinggi)</strong></p><pre>df_gabungan.createOrReplaceTempView(&quot;tabel_gabungan&quot;)<br><br>kueri_soal1 = &quot;&quot;&quot;<br>SELECT <br>    kategori, <br>    SUM(qty) AS total_qty<br>FROM tabel_gabungan<br>GROUP BY kategori<br>ORDER BY total_qty DESC<br>&quot;&quot;&quot;<br><br>print(&quot;--- Soal 1: Kategori Produk dengan Total Qty Tertinggi ---&quot;)<br>spark.sql(kueri_soal1).show()</pre><p>pada soal pertama saya menggunakan spark sql untuk mencari kategori produk dengan total qty tertinggi. saya menjumlahkan kolom qty menggunakan sum, mengelompokkannya berdasarkan kategori, lalu mengurutkannya dari yang terbesar.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/470/1*Y4slWUxTITiFe7Pl6G8DMA.png" /></figure><p><strong>4. Window Function (Toko penjualan tertinggi per kategori)</strong></p><pre>df_agregasi_toko = df_gabungan.groupBy(&quot;kategori&quot;, &quot;nama_toko&quot;) \<br>    .agg(spark_sum(&quot;total_penjualan&quot;).alias(&quot;total_penjualan_toko&quot;))<br><br>window_kategori = Window.partitionBy(&quot;kategori&quot;).orderBy(desc(&quot;total_penjualan_toko&quot;))<br><br>df_top1_toko = df_agregasi_toko.withColumn(&quot;urut&quot;, row_number().over(window_kategori)) \<br>    .filter(col(&quot;urut&quot;) == 1) \<br>    .select(&quot;kategori&quot;, &quot;nama_toko&quot;, &quot;total_penjualan_toko&quot;)<br><br>print(&quot;--- Soal 2: Toko Penjualan Tertinggi per Kategori ---&quot;)<br>df_top1_toko.show()</pre><p>pada soal kedua saya mencari toko dengan penjualan tertinggi di setiap kategori. saya meringkas total penjualan per kategori dan toko, memberi nomor urut menggunakan row_number di dalam partisi kategori, lalu mengambil data yang urutannya 1 saja.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/487/1*lBMXgf71Uy_mzJ-N3M9MTQ.png" /></figure><p><strong>5. Menyimpan Ringkasan Eksekutif (Parquet Tanpa Partisi)</strong></p><pre>ringkasan_eksekutif = df_gabungan.groupBy(&quot;nama_toko&quot;, &quot;kota&quot;, &quot;manager&quot;).agg(<br>    spark_sum(&quot;total_penjualan&quot;).alias(&quot;total_penjualan_triwulan&quot;),<br>    count(&quot;trx_id&quot;).alias(&quot;jumlah_transaksi&quot;),<br>    avg(&quot;total_penjualan&quot;).alias(&quot;rata_rata_nilai_transaksi&quot;)<br>)<br><br>path_simpan = &quot;hdfs://localhost:9000/user/maulzz/latihan7/ringkasan_eksekutif&quot;<br><br>ringkasan_eksekutif.write \<br>    .mode(&quot;overwrite&quot;) \<br>    .parquet(path_simpan)<br><br>print(f&quot;--- Soal 3: Data berhasil disimpan ke {path_simpan} ---&quot;)</pre><p>pada soal ketiga saya membuat ringkasan eksekutif per toko, lalu menyimpannya ke HDFS dalam format parquet tanpa partisi. karena datanya hanya berisi 4 baris, partisi tidak diperlukan karena justru hanya akan menghasilkan banyak folder kecil.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/752/1*McS5oBH7XLqlrSU2AozWvw.png" /></figure><p><strong>6. Refleksi</strong></p><p>terakhir untuk soal nomor empat, saya diminta menuliskan refleksi singkat mengenai bagaimana HDFS, spark, dan parquet saling bekerja sama dalam satu alur pengolahan data.</p><blockquote><em>HDFS, Spark, dan format Parquet membentuk alur data yang efisien untuk memproses dataset yang besar. HDFS bertindak sebagai </em><strong>distributed storage</strong><em> atau singkatnya untuk menampung data mentah dalam jumlah besar di berbagai node server. Selanjutnya, Apache Spark berfungsi sebagai </em><strong>in-memory processing</strong><em>, mengambil data dari HDFS ke dalam RAM untuk dijalankan (seperti join atau window function). Setelah pemrosesan selesai, hasilnya akan disimpan kembali ke HDFS menggunakan format Parquet , sehingga hasil akhirnya akan sangat ringan.</em></blockquote><h4>C. Tugas Mandiri</h4><p>pada bagian tugas mandiri ini, skenarionya saya diminta untuk membuat laporan penjualan dari jaringan kedai Kopi Nusantara yang memiliki 3 cabang. pengerjaannya mengikuti alur extract, transform, dan load seperti pada studi kasus sebelumnya.</p><ol><li><strong>Menyiapkan SparkSession</strong></li></ol><pre>from pyspark.sql import SparkSession<br>from pyspark.sql.functions import col, sum as spark_sum, avg, count, row_number, when, desc<br>from pyspark.sql.window import Window<br>import numpy as np<br>import pandas as pd<br>import json<br><br>spark = SparkSession.builder \<br>    .appName(&quot;Pertemuan7-StudiKasusTerintegrasi&quot;) \<br>    .master(&quot;local[*]&quot;) \<br>    .getOrCreate()<br>spark.sparkContext.setLogLevel(&quot;ERROR&quot;)<br><br>print(&quot;SparkSession siap. Versi Spark:&quot;, spark.version)</pre><p>langkah awal yang saya lakukan adalah menyiapkan sparksession beserta library yang akan digunakan selama pengerjaan tugas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/314/1*oy1jhNaNTL_ebvoN-PTrxQ.png" /></figure><p><strong>2. Menyiapkan Dataset</strong></p><pre>import numpy as np<br>import pandas as pd<br>import json<br><br>np.random.seed(123)<br><br>cabang_list = [&quot;Kopi Nusantara Magelang&quot;, &quot;Kopi Nusantara Yogyakarta&quot;, &quot;Kopi Nusantara Semarang&quot;]<br>data_cabang = [<br>    {&quot;cabang_id&quot;: i + 1, &quot;nama_cabang&quot;: c, &quot;kota&quot;: c.split()[-1],<br>     &quot;kepala_barista&quot;: np.random.choice([&quot;Wulan&quot;, &quot;Reza&quot;, &quot;Nadia&quot;])}<br>    for i, c in enumerate(cabang_list)<br>]<br>with open(&quot;tugas7_cabang.json&quot;, &quot;w&quot;) as f:<br>    for c in data_cabang:<br>        f.write(json.dumps(c) + &quot;\n&quot;)<br><br>menu_list = [<br>    {&quot;menu_id&quot;: i, &quot;nama_menu&quot;: f&quot;Menu-{i}&quot;,<br>     &quot;kategori_menu&quot;: np.random.choice([&quot;Kopi&quot;, &quot;Non-Kopi&quot;, &quot;Makanan Ringan&quot;]),<br>     &quot;harga&quot;: int(np.random.choice([18000, 22000, 25000, 30000, 35000]))}<br>    for i in range(1, 16)<br>]<br>pd.DataFrame(menu_list).to_csv(&quot;tugas7_menu.csv&quot;, index=False)<br><br>n = 4000<br>data_transaksi_tugas7 = pd.DataFrame({<br>    &quot;trx_id&quot;: [f&quot;KN{i}&quot; for i in range(n)],<br>    &quot;cabang_id&quot;: np.random.randint(1, 4, size=n),<br>    &quot;menu_id&quot;: np.random.randint(1, 16, size=n),<br>    &quot;qty&quot;: np.random.randint(1, 5, size=n),<br>})<br>data_transaksi_tugas7.to_csv(&quot;tugas7_transaksi.csv&quot;, index=False)<br><br>!hdfs dfs -mkdir -p /user/maulzz/tugas7/raw<br>!hdfs dfs -put -f tugas7_transaksi.csv /user/maulzz/tugas7/raw/<br>!hdfs dfs -put -f tugas7_cabang.json /user/maulzz/tugas7/raw/<br>!hdfs dfs -put -f tugas7_menu.csv /user/maulzz/tugas7/raw/<br><br>print(&quot;Ketiga sumber data siap &amp; data transaksi sudah diunggah ke HDFS.&quot;)<br>print(f&quot;- Cabang: {len(data_cabang)} | Menu: {len(menu_list)} | Transaksi: {n}&quot;)</pre><p>disini saya membuat tiga sumber data menggunakan numpy dan pandas, yaitu data 3 cabang dalam format json lines, data 15 menu dalam format csv, dan data 4.000 7_Big Data : Studi Kasus Terintegrasi — Wildan Maulana Habibi 8 transaksi dalam format csv. setelah itu ketiga file tersebut saya unggah ke folder raw di HDFS.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/522/1*uP-RKD6Nv_23RLZRFaSoQQ.png" /></figure><p><strong>3. Extract</strong></p><pre>df_transaksi = spark.read.csv(&quot;hdfs://localhost:9000/user/maulzz/tugas7/raw/tugas7_transaksi.csv&quot;, header=True, inferSchema=True)<br>df_cabang = spark.read.json(&quot;hdfs://localhost:9000/user/maulzz/tugas7/raw/tugas7_cabang.json&quot;)<br>df_menu = spark.read.csv(&quot;hdfs://localhost:9000/user/maulzz/tugas7/raw/tugas7_menu.csv&quot;, header=True, inferSchema=True)<br><br>print(&quot;--- A. Extract Berhasil ---&quot;)</pre><p>pada tahap extract saya membaca ketiga file dari HDFS ke dalam tiga dataframe yang berbeda. data transaksi dan menu dibaca menggunakan spark.read.csv, sedangkan data cabang dibaca menggunakan spark.read.json</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/263/1*zYibshnEN7Z7Fxuxh8lL0w.png" /></figure><p><strong>4. TRANSFORM — Join &amp; Kolom Turunan</strong></p><pre>df_gabungan = df_transaksi.join(df_cabang, on=&quot;cabang_id&quot;, how=&quot;inner&quot;) \<br>    .join(df_menu, on=&quot;menu_id&quot;, how=&quot;inner&quot;)<br><br>df_gabungan = df_gabungan.withColumn(&quot;total_penjualan&quot;, col(&quot;qty&quot;) * col(&quot;harga&quot;))<br><br>print(&quot;\n--- B. Hasil Join dan Kolom Turunan (5 Baris Pertama) ---&quot;)<br>df_gabungan.show(5)</pre><p>selanjutnya saya menggabungkan data transaksi dengan data cabang berdasarkan cabang_id dan data menu berdasarkan menu_id menggunakan inner join, karena setiap transaksi pasti memiliki cabang dan menu yang valid. setelah itu saya menambahkan kolom total_penjualan dari hasil perkalian qty dengan harga.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1012/1*56m_3eoRjeY-VjA9-pOtaw.png" /></figure><p><strong>5. TRANSFORM — Window Function</strong></p><pre>df_menu_cabang = df_gabungan.groupBy(&quot;nama_cabang&quot;, &quot;nama_menu&quot;) \<br>    .agg(spark_sum(&quot;total_penjualan&quot;).alias(&quot;penjualan_menu&quot;))<br><br>window_cabang = Window.partitionBy(&quot;nama_cabang&quot;).orderBy(desc(&quot;penjualan_menu&quot;))<br><br>df_top2_menu = df_menu_cabang.withColumn(&quot;peringkat&quot;, row_number().over(window_cabang)) \<br>    .filter(col(&quot;peringkat&quot;) &lt;= 2)<br><br>print(&quot;\n--- C. Top-2 Menu Terlaris per Cabang ---&quot;)<br>df_top2_menu.show()</pre><p>disini saya mencari 2 menu terlaris di setiap cabang. saya meringkas penjualan per cabang dan menu, membuat window yang dipartisi berdasarkan cabang dan diurutkan dari penjualan terbesar, lalu memfilter hanya menu yang mendapat peringkat 1 dan 2.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/484/1*hUgwEzYcRuXnylh7LVMsrA.png" /></figure><p><strong>6. TRANSFORM — Spark SQL</strong></p><pre>df_gabungan.createOrReplaceTempView(&quot;tabel_kopi&quot;)<br><br>kueri_barista = &quot;&quot;&quot;<br>SELECT <br>    kepala_barista, <br>    SUM(total_penjualan) AS total_pendapatan<br>FROM tabel_kopi<br>GROUP BY kepala_barista<br>ORDER BY total_pendapatan DESC<br>&quot;&quot;&quot;<br><br>print(&quot;\n--- D. Total Penjualan per Kepala Barista (Spark SQL) ---&quot;)<br>spark.sql(kueri_barista).show()</pre><p>lanjut saya menggunakan spark sql untuk menghitung total pendapatan dari setiap kepala barista. dataframe gabungan saya daftarkan terlebih dahulu menjadi tabel sementara bernama tabel_kopi, lalu datanya dikelompokkan berdasarkan kepala barista dan diurutkan dari pendapatan terbesar.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/517/1*2OWvY69H8QRG3FoHvUz_hw.png" /></figure><p><strong>7. LOAD</strong></p><pre>path_simpan_tugas = &quot;hdfs://localhost:9000/user/maulzz/tugas7/processed/laporan&quot;<br><br>df_gabungan.write \<br>    .mode(&quot;overwrite&quot;) \<br>    .partitionBy(&quot;kategori_menu&quot;) \<br>    .parquet(path_simpan_tugas)<br><br>df_verifikasi = spark.read.parquet(path_simpan_tugas)<br>jumlah_sebelum = df_gabungan.count()<br>jumlah_sesudah = df_verifikasi.count()<br><br>print(f&quot;\n--- E. Verifikasi Load HDFS ---&quot;)<br>print(f&quot;Jumlah baris sebelum disimpan: {jumlah_sebelum}&quot;)<br>print(f&quot;Jumlah baris tersimpan: {jumlah_sesudah}&quot;)<br>if jumlah_sebelum == jumlah_sesudah:<br>    print(&quot;Status: Berhasil (Tidak ada data hilang)&quot;)</pre><p>pada tahap load saya menyimpan hasil gabungan ke HDFS dalam format parquet yang dipartisi berdasarkan kategori_menu. untuk memverifikasinya, saya membaca kembali data tersebut dan membandingkan jumlah barisnya dengan data sebelum disimpan. karena jumlahnya sama, artinya tidak ada data yang hilang saat proses penyimpanan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/503/1*fgrcYczRNiwNEl4KyQOgow.png" /></figure><p><strong>8. Ringkasan Eksekutif</strong></p><pre>from pyspark.sql.functions import count, avg<br><br>ringkasan_tugas = df_gabungan.groupBy(&quot;nama_cabang&quot;, &quot;kota&quot;, &quot;kepala_barista&quot;).agg(<br>    spark_sum(&quot;total_penjualan&quot;).alias(&quot;total_penjualan&quot;),<br>    count(&quot;trx_id&quot;).alias(&quot;jumlah_transaksi&quot;),<br>    avg(&quot;total_penjualan&quot;).alias(&quot;rata_rata_nilai_transaksi&quot;)<br>).orderBy(desc(&quot;total_penjualan&quot;))<br><br>print(&quot;\n--- F. Ringkasan Eksekutif ---&quot;)<br>ringkasan_tugas.show()</pre><p>terakhir saya membuat ringkasan eksekutif berisi total penjualan, jumlah transaksi, dan rata-rata nilai transaksi dari setiap cabang beserta kepala baristanya. hasilnya diurutkan dari cabang dengan total penjualan tertinggi.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/882/1*iZWzpmkR-xKimLI-KjVVpg.png" /></figure><h4>9. Rekomendasi</h4><p>berdasarkan hasil ringkasan eksekutif dan data menu terlaris, berikut rekomendasi yang saya berikan untuk pihak manajemen.</p><blockquote><em>Berdasarkan Ringkasan Eksekutif, kinerja penjualan antar cabang bervariasi. Cabang teratas menunjukkan kinerja operasional terbaik karena kepala barista efektif dalam menjaga tingginya jumlah transaksi dan rata-rata nilai penjualan.</em></blockquote><blockquote><em>Sebaliknya, cabang dengan performa terendah perlu dievaluasi. Solusi untuk meningkatkan pendapatan cabang ini adalah membuat promo menggunakan data Top-2 Menu Terlaris. Strateginya bisa menggunakan sistem bundling, yaitu menggabungkan menu kopi best seller dengan makanan ringan bermargin tinggi. Fokus pada menu yang sudah terbukti laku di pasar lokal, fokus ini bisa lebih efektif untuk mendatangkan pelanggan baru dan menaikkan profit cabang.</em></blockquote><h3>Kesimpulan</h3><p>Dari praktikum pertemuan ke-7 ini, saya berhasil menggabungkan seluruh materi dari pertemuan sebelumnya ke dalam satu alur pengolahan data end-to-end. Data mentah disimpan di HDFS, diolah menggunakan spark melalui join, window function, dan spark sql, lalu hasilnya disimpan kembali ke HDFS dalam format parquet yang terpartisi. Alur ini membuat data lebih efisien untuk disimpan dan siap dipakai untuk analisis lebih lanjut.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9c62c1df7903" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[6_JARKOM: Latihan Responsi]]></title>
            <link>https://medium.com/@wildanmaulana95914/6-jarkom-latihan-responsi-532f2cb7f9ff?source=rss-386b7eae6048------2</link>
            <guid isPermaLink="false">https://medium.com/p/532f2cb7f9ff</guid>
            <dc:creator><![CDATA[Wildanmaulana]]></dc:creator>
            <pubDate>Sun, 04 Oct 2026 13:02:18 GMT</pubDate>
            <atom:updated>2026-10-04T13:02:18.330Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lj2-QPeWPLzNMZrijLVIbQ.png" /></figure><p>Saya Wildan Maulana Habibi, salah satu mahasiswa Teknologi Informasi dari Universitas Tidar. Di pertemuan yang ke-6 dimata kuliah praktikum Jaringan Komputer, saya akan membuat laporan mengenai <strong>latihan responsi</strong> yang sudah saya kerjakan menggunakan aplikasi cisco packet tracer. Sebelum masuk ke laporannya.</p><h3>ALAT dan BAHAN</h3><ol><li>Laptop dan Komputer</li><li>Cisco Packet Tracer</li></ol><h3>Praktikum</h3><h4>1. Menyiapkan Desain jaringan Lokal</h4><p>Pertama saya menyiapkan jaringan lokal terlebih dahulu, yang akan saya bagi menjadi 2 yaitu wired dan wireless, dapat dilihat pada gambar dibawah ini.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/562/1*KwDquYR6LxA_Xb0wrOB1-g.png" /></figure><h4>2. Menyiapkan Desain jaringan Internet</h4><p>setelah itu saya menyiapkan untuk jaringan internetnya, dimana ada server dan satu buah router ispnya, yang nanti akan dihubungkan ke router utama.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/233/1*p86W6drrSMJKgab1HVeIxw.png" /></figure><h4>3. Menghubungkan Perangkat</h4><p>kalo udah tinggal fihubungkan saja, untuk server ke router isp pakai kabel cross, router isp ke utama pakai derial dce, dan yang lain pake kabel straight.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Xoc5mXtzZLTNDDqWS6Oosg.png" /></figure><h4>4. Konfigurasi</h4><p><strong>A. Internet (Server)</strong></p><p>pertama yang saya lakukan yaitu konfigruasi diservernya. berikut adalah dokumentasi dan penjelsannya</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/859/1*U1fmIw1o3p5lfcWTaU0P8w.png" /></figure><p>untuk default gateway disini saya berikan 8.8.8.1, kenapa ga pake 192.168 bang? karena pada soal server merupakan publik jadi saya berikan IP address 8.8.8, karena jika 192.168 bisanya dipake untuk IP private</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/859/1*kI0W0aheDxL4rIVoy2pT6Q.png" /></figure><p>untuk start ip address sendiri aku set di 8.8.8.8.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/859/1*bgbZRjPzlPOv2SMHapw-LA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/859/1*vmUEiDK1xnZHNWlg-jYSyw.png" /></figure><p>Setelah itu tinggal konfigurasi dibagian router server atau router ISPnya, dimana ip addressnya diisikan dari default gateway milik server yaitu 8.8.8.1.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/544/1*MmQ0qfDSvApqWbUjcgt7qQ.png" /></figure><p>maka saat diuji menggunakan pesan, statusnya akan successful atau berhasil.</p><p><strong>B. LAN</strong></p><p>lanjut disini aku konfigurasi pada lannya, sebelum itu aku bakal mengubungkan router isp dengan router utama.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/859/1*76EHez3ONi6nEBbNXl19tg.png" /></figure><p>untuk router isp disini saya set untuk serialnya dengan 10.10.10.2 sedangkan untuk yang router utama saya berikan 10.10.10.1</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/859/1*bOMJGeRkwUBkJIooJNS2SA.png" /></figure><p>selanjutnya agar kedua router dapat berkomunikasi, ada sedikit perintah pada cli router utama dengan menjalankan perintah 0.0.0.0 0.0.0.0 ip adress router isp atau seperti gambar dibawah ini</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/551/1*V1U3dSpza8PUuWGRXHqnFA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/591/1*SF98lXETGtc-jT6Ow4bZAw.png" /></figure><p>nah kalo udah bakal bisa terhubung, antara router utama dengan server (bergitu juga sebaliknya)</p><p>Lanjut disini saya melakukan konfigurasi pada address pc dan juga laptop pada wired, dimana saat ini saya masih mencoba memakai metode static.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/850/1*MpKsvF-Ug3Re-OU6kIrsFA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/850/1*gBPe1Tj0YHKvtWALDjH0Mg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/850/1*mv6hcCv780m2_h22DHHywg.png" /></figure><p>disini untuk ipnya saya urutkuan dari 10–12.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/294/1*vTIAhbbdGH6FrpEs7PYYYw.png" /></figure><p>dapat dilihat hasilnya semua device dapat terhubung satu sama lain dan juga dapat terhubung dengan server publik.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/956/1*bNSITapwpA1iJNUMgB7nOA.png" /></figure><p>untuk gambaran bentuknya seperti gambar diatas yaa.</p><p>Lanjut disini aku ganti yang tadinya masih static aku ganti pake metode dhcp. disini saya menambahkan satu buah server dhcp yang saya hubungkan ke swicth. dimana untuk ip dari server dhcp saya berikan ip 192.168.1.10 (untuk end divace saya geser mulai dari 11), serta untuk gateway saya samakan dengan ip router utama.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/868/1*5-W9kURQ8O3S6MLj6JT6Bw.png" /></figure><p>selanjutnya disini untuk dns server saya berikan ip dari server publik yaitu 8.8.8.8</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/868/1*ogfVbpx94E2mSsesBhObqA.png" /></figure><p>lanjut tinggal ubah aja untuk pc dan laptop yang sebelumnya amsih static ubah menjadi DHCP.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/868/1*0RvigzIURfYKH1sX5aH5wQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*22nsKEdbITjJs4PAzeVilw.png" /></figure><p>disini saya juga menmabahkan printer untuk end devicenya, untuk konfigurasi tinggal ganti le dhcp aja.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/291/1*tu4hF5sD6Y8xnoLd-u1JGw.png" /></figure><p>gambar diatas merupakan pengujian ulang yang aku lakukan, dimana end device dapat terhubung ke server publik.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/814/1*lgJYzznbAa7OeZ3p8CyN3g.png" /></figure><p>gambar diatas merupakan gambaran dari server public dan jaringan local yang wired (kabel)</p><p><strong>C. wireless</strong></p><p>Lanjut disini aku akan konfigurasi di wirelessnya. pertama aku ubah dulu settingan di router wirelessnya, dimana untuk settingan saya pakai DHCP dengan ip adrees 192.168.2.1 (saya ganti 2 karena agar beda dengan router utama)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/981/1*mtWBn27NDyxEzFIUj57CGA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/981/1*_mGXlIB3DZOn9QVleQh27A.png" /></figure><p>disini untuk SSID saya berikan nama maulzz</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/981/1*BVjF2LAVxytlU5DZIcSKdg.png" /></figure><p>untuk security saya pakai WPA1 Personal dengan password 2wsx1qaz</p><p>Kalo udah tinggal hubungkan perangkat, perangkat prtama yang saya sambungkan yaitu laptop dengan masuk ke pc wireless dan sambungkan ke jaringannya.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/583/1*EmLhoSV-Ze6evgFVa0STzQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/858/1*laVyvwkGhig0uZUtWegwmg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/852/1*PcHwAcjD4sWpIF0IIFX1lg.png" /></figure><p>Lanjut tinggal tab dengan smartpone, disini caranya sama yaitu masukan nama SSID yaitu maulzz dan masukan PSK Pass Phrese yaitu 2wsx1qaz.</p><p>Pas aku coba dapat berhasil semua dengan gambar dibawah ini</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/294/1*0IoXCL4o2z14JaJpTycJSg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nGWqo5FFYbknYH3cmdbIpg.png" /></figure><p>gambar diatas merupakan gambaran dari jaringan yang udah aku buat.</p><h3>Hasil Akhir</h3><p>Hasil akhirnya yaitu gambar dibawah ini.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bvc9xSoHr4CPd9KXRfJnRw.png" /></figure><h3>Kesimpulan</h3><p>Jadi kesimpulannya gini, saya ngerjain dari yang server publik dulu, saya konfigurasi dan tes, kalo udah jalan baru saya lanjut ke local wired dan saya hubungkan ke server public. saya tes juga apakah sudah dapat tersambung ke sever publik, kalo udah aman saya lanjut untuk membuat yang wireless dan saya konfigurasi juga, disini ntah kenapa saat dari wireless saya tes ke wired dan ke server public bisa terkirim tetapi saat sebaliknya, accses nya ditolak. Kalo kata gemini karena emang WRT300 hanya bisa mengirimkan kalo menerima maka akan tertolak otomatis oleh firewallnya (intinya gitu). jadi overall bisa terhubung semuanya.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=532f2cb7f9ff" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[6_Big Data : Format BigData (parquet & JSON) And Pipeline ETL]]></title>
            <link>https://medium.com/@wildanmaulana95914/6-big-data-format-bigdata-parquet-json-and-pipeline-etl-415af460cfc0?source=rss-386b7eae6048------2</link>
            <guid isPermaLink="false">https://medium.com/p/415af460cfc0</guid>
            <dc:creator><![CDATA[Wildanmaulana]]></dc:creator>
            <pubDate>Wed, 30 Sep 2026 12:01:12 GMT</pubDate>
            <atom:updated>2026-09-30T12:01:12.666Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LIoun1o3zCFn0DoIu4lr3g.png" /></figure><p>Saya Wildan Maulana Habibi, salah satu mahasiswa Teknologi Informasi dari Universitas Tidar. Di pertemuan yang ke-6 dimata kuliah praktikum Big Data, saya akan melakukan dokumentasi dan eksplorasi mengenai Format BigData (parquet &amp; JSON) dan Pipeline ETL yang sudah saya lakukan. Sebelum masuk ke penjelasannya, saya akan sedikit memberikan tujuan dan penjelasan mengenai materi yang akan saya praktikkan.</p><h3>Alat dan bahan yang digunakan</h3><ol><li>Laptop</li><li>ubuntu 24</li><li>anaconda versi 26</li><li>jupyter versi terbaru ( 7.xx)</li><li>Java (OpenJDK 11)</li><li>Apache Hadoop 3.4.3</li><li>Apache Spark 3.5.9</li></ol><h3>Apa Itu Parquet dan Apa Bedanya Dengan CSV?</h3><p>Parquet adalah sebuah format penyimpanan data berbentuk columnar storage<em> </em>yang menjadi standar di ekosistem Big Data. Berbeda dengan file seperti CSV yang menyimpan data per baris, Parquet menyimpan datanya per kolom. Keunggulannya adalah ukuran file Parquet menjadi lebih kecil karena datanya terkompresi. Selain itu, jika hanya butuh menganalisis beberapa kolom tertentu saja, sistem bisa langsung mengambil kolom tersebut tanpa harus membaca keseluruhan baris. Berikut merupakan tabel perbandingannya:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sy7gdknk3FSknAr_VQQZ4g.png" /></figure><h3>Tujuan Praktikum</h3><p>tujuan dari praktikum kali ini adalah:</p><ul><li>menjelaskan mengapa format parquet lebih efisien dibandingkan csv untuk kebutuhan big data.</li><li>membaca dan menulis data dalam format parquet dan json menggunakan pyspark.</li><li>menerapkan partitioning saat menulis data untuk mengoptimalkan proses kueri ke depannya.</li><li>membangun pipeline etl (extract, transform, load) sederhana dari beberapa sumber data hingga datanya tersimpan dan siap dipakai di hdfs.</li></ul><h3>PRAKTIKUM</h3><p>Pada praktikum ini saya akan membandingkan antara parquet dengan CSV secara langsung.</p><h4>1. Membuat Dataset</h4><p>Pertama yang saya lakukan adalah membuat datasetnya terlebih dahulu, untuk datanya saya masukan cukup besar karena untuk melihat perbandingannya lebih jelas. Sebelum itu saya juga harus memasukan spark dan juga library pendukung seperti numpy dan pandas dengan menjalankan kode dibawah ini</p><pre>from pyspark.sql import SparkSession<br>from pyspark.sql.functions import col, sum as spark_sum, avg, count<br>import numpy as np<br>import pandas as pd<br>import os<br><br>spark = SparkSession.builder \<br>    .appName(&quot;Pertemuan6-ParquetETL&quot;) \<br>    .master(&quot;local[*]&quot;) \<br>    .getOrCreate()<br>spark.sparkContext.setLogLevel(&quot;ERROR&quot;)<br><br>print(&quot;SparkSession siap. Versi Spark:&quot;, spark.version)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/786/1*TY3_6Y9lycYtV0dhLc4Jog.png" /></figure><p>untuk membuat dataset dapat menjalankan kode dibawah ini yaa</p><pre>np.random.seed(11)<br>n = 20000<br>data_besar = {<br>    &quot;order_id&quot;: [f&quot;O{i}&quot; for i in range(n)],<br>    &quot;customer_id&quot;: np.random.randint(1, 21, size=n),<br>    &quot;kategori&quot;: np.random.choice([&quot;Elektronik&quot;, &quot;Fashion&quot;, &quot;Makanan&quot;, &quot;Rumah Tangga&quot;, &quot;Kesehatan&quot;], size=n),<br>    &quot;kota&quot;: np.random.choice([&quot;Magelang&quot;, &quot;Semarang&quot;, &quot;Solo&quot;, &quot;Yogyakarta&quot;, &quot;Purworejo&quot;], size=n),<br>    &quot;metode_pembayaran&quot;: np.random.choice([&quot;Transfer Bank&quot;, &quot;E-Wallet&quot;, &quot;COD&quot;, &quot;Kartu Kredit&quot;], size=n),<br>    &quot;pendapatan&quot;: np.random.randint(50000, 500000, size=n),<br>}<br>pd.DataFrame(data_besar).to_csv(&quot;data_transaksi_besar.csv&quot;, index=False)<br><br>csv_size = os.path.getsize(&quot;data_transaksi_besar.csv&quot;)<br>print(f&quot;Ukuran CSV: {csv_size:,} bytes ({csv_size/1024:.1f} KB) untuk {n:,} baris&quot;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/912/1*awExDv6TsPf4HPKWCDFLDA.png" /></figure><p>disini library numpy dan pandas berfungsi untuk mengenerate data transaksi secara acak. Data tersebut kemudian langsung disimpan ke dalam format CSV dengan nama data_transaksi_besar.csv, lalu mengecek dan menampilkan ukuran asli file tersebut menggunakan fungsi os.path.getsize untuk nantinya dibandingkan dengan format Parquet.</p><h4>2. Membandingkan ukuran data parquet dengan CSV</h4><p>selanjutnya saya membandingkan ukuran data antara parquet dengan csv.</p><pre># Membaca CSV, lalu menuliskannya ulang sebagai Parquet<br>df_besar = spark.read.csv(&quot;data_transaksi_besar.csv&quot;, header=True, inferSchema=True)<br>df_besar.write.mode(&quot;overwrite&quot;).parquet(&quot;data_transaksi_besar_parquet&quot;)<br><br># Menghitung total ukuran seluruh berkas .parquet yang dihasilkan<br>parquet_size = sum(<br>    os.path.getsize(os.path.join(dp, f))<br>    for dp, dn, fn in os.walk(&quot;data_transaksi_besar_parquet&quot;)<br>    for f in fn if f.endswith(&quot;.parquet&quot;)<br>)<br><br>print(f&quot;Ukuran CSV      : {csv_size:,} bytes ({csv_size/1024:.1f} KB)&quot;)<br>print(f&quot;Ukuran Parquet  : {parquet_size:,} bytes ({parquet_size/1024:.1f} KB)&quot;)<br>print(f&quot;Parquet {(1 - parquet_size/csv_size)*100:.1f}% lebih kecil dibanding CSV&quot;)</pre><p>pada code di atas file CSV tersebut menggunakan spark, lalu ditulis kembali menjadi format parquet dengan perintah write.parquet. setelah itu dihitung total ukuran file parquet yang dihasilkan dan dibandingkan dengan ukuran csv awal.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/356/1*1AiduXfPfEh_upbSWU9WpA.png" /></figure><p>bisa dilihat hasilnya kalau ukuran file parquet menjadi jauh lebih kecil, dengan 77.4% lebih kecil daripada file CSV.</p><h4>3. Membaca isi data dengan parquet</h4><p>selanjutnya saya mencoba untuk membaca isi data yang sudah diubah menjadi format parquet . Dengan cara menjalankan code dibawah ini</p><pre>df_dari_parquet = spark.read.parquet(&quot;data_transaksi_besar_parquet&quot;)<br>df_dari_parquet.printSchema()<br>df_dari_parquet.show(5)</pre><p>saya menggunakan fungsi spark.read.parquet untuk memanggil datanya secara langsung. setelah itu saya mencetak struktur datanya menggunakan printSchema. Terakhir, saya menampilkan lima baris teratasnya saja dengan menambahkan perintah .show(5)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/652/1*xpaEOFHvTIjw5NfbVno86g.png" /></figure><p>Dapat dilihat untuk hasilnya yang muncul hanya id nomor 00–04 atau 5 data saja</p><h4>4. Partitioning saat menulis data</h4><p>selanjutnya saya mencoba menyimpan data menggunakan teknik partisi berdasarkan kolom tertentu. fungsi utamanya adalah untuk memecah data yang sangat besar menjadi sub-folder terpisah secara otomatis berdasarkan nilai unik di dalam kolom tersebut.</p><pre># Menulis ulang dengan partisi berdasarkan kolom &#39;kota&#39;<br>df_besar.write.mode(&quot;overwrite&quot;).partitionBy(&quot;kota&quot;).parquet(&quot;data_transaksi_partisi_kota&quot;)<br><br># Melihat struktur folder yang dihasilkan<br>!ls data_transaksi_partisi_kota</pre><p>saya menyimpan data parquet tersebut dengan menambahkan perintah partisi berdasarkan kolom kota.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/777/1*suWA7wCfBH1gXXIEhT9y8g.png" /></figure><p>hasilnya bisa dilihat kalau spark secara otomatis membuatkan folder-folder baru secara terpisah untuk setiap kotanya, seperti kota=Magelang, kota=Purworejo, kota=Semarang, kota=Solo, dan kota=Yogyakarta. nantinya kalau saya memfilter data transaksi khusus dari kota magelang, spark hanya akan membuka folder kota=Magelang tersebut dan mengskip folder kota lainnya</p><h4>5. Membaca data JSON</h4><p>lanjut saya menggunakan data dengan format JSON. sebelum data dibaca, saya membuat data pelanggan terlebih dahulu dan menyimpannya ke dalam format json lines.</p><pre>import json<br><br># Membuat data pelanggan sebagai JSON Lines (satu objek JSON per baris)<br>np.random.seed(21)<br>pelanggan = [<br>    {<br>        &quot;customer_id&quot;: i,<br>        &quot;nama&quot;: f&quot;Pelanggan{i}&quot;,<br>        &quot;membership&quot;: np.random.choice([&quot;Silver&quot;, &quot;Gold&quot;, &quot;Platinum&quot;]),<br>        &quot;kota_domisili&quot;: np.random.choice([&quot;Magelang&quot;, &quot;Semarang&quot;, &quot;Solo&quot;, &quot;Yogyakarta&quot;, &quot;Purworejo&quot;])<br>    }<br>    for i in range(1, 21)<br>]<br><br>with open(&quot;data_pelanggan.json&quot;, &quot;w&quot;) as f:<br>    for p in pelanggan:<br>        f.write(json.dumps(p) + &quot;\n&quot;)<br><br>print(&quot;Berkas data_pelanggan.json berhasil dibuat (format JSON Lines).&quot;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/835/1*vAS-u0hR9qzDSnj0QY0EnA.png" /></figure><p>setelah file JSON berhasil dibuat, langkah selanjutnya adalah membaca datanya menggunakan dataframe api dari pyspark.</p><pre># Membaca JSON menggunakan Spark — Spark otomatis mendeteksi struktur/skema JSON<br>df_pelanggan = spark.read.json(&quot;data_pelanggan.json&quot;)<br>df_pelanggan.printSchema()<br>df_pelanggan.show()</pre><p>untuk membaca filenya menggunakan perintah spark.read.json, setelah itu saya mencetak struktur datanya menggunakan printSchema. Terakhir, saya menampilkan semua baris data.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/515/1*VgqOj9dzmoziFgz7HJHM6w.png" /></figure><p>Dapat dilihat untuk hasilnya data akan muncul semua karena saya tidak memberikan limit.</p><h4>6. Membuat Pipilene ELT Sederhana</h4><p>ELT ( extract, transfrom, dan load) merupakan pola paling fundamental didalam bigdata.</p><p><strong>Tahap 1: Extract<br></strong>untuk tahap pertama yaitu extract, tugasnya yaitu mengambil dan memuat data dari sumber aslinya yang biasanya terdiri dari banyak format berbeda.</p><pre># EXTRACT — membaca dari berbagai sumber<br>df_transaksi_etl = spark.read.csv(&quot;data_transaksi_besar.csv&quot;, header=True, inferSchema=True)<br>df_pelanggan_etl = spark.read.json(&quot;data_pelanggan.json&quot;)<br><br>print(&quot;Data transaksi:&quot;, df_transaksi_etl.count(), &quot;baris&quot;)<br>print(&quot;Data pelanggan:&quot;, df_pelanggan_etl.count(), &quot;baris&quot;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/755/1*s_oE0IcCVWnjhzf3vT6a-A.png" /></figure><p>pada kode di atas saya melakukan extract dengan cara membaca data transaksi yang berformat csv dan data pelanggan yang berformat json ke dalam dua dataframe yang berbeda agar keduanya siap untuk diolah ke tahap selanjutnya</p><p><strong>Tahap 2: Transform</strong> <br>langkah selanjutnya yaitu transform. pada tahap ini data yang sudah di-extract akan dibersihkan, digabungkan, dan ditambahkan informasinya agar lebih lengkap.</p><pre>from pyspark.sql.functions import when<br><br># TRANSFORM — menggabungkan, membersihkan, dan memperkaya data<br>df_etl = df_transaksi_etl.join(df_pelanggan_etl, on=&quot;customer_id&quot;, how=&quot;left&quot;)<br><br># Menambahkan kolom turunan: kategori nilai transaksi<br>df_etl = df_etl.withColumn(<br>    &quot;segmen_transaksi&quot;,<br>    when(col(&quot;pendapatan&quot;) &gt;= 300000, &quot;Tinggi&quot;)<br>    .when(col(&quot;pendapatan&quot;) &gt;= 150000, &quot;Sedang&quot;)<br>    .otherwise(&quot;Rendah&quot;)<br>)<br><br># Memastikan tidak ada data pelanggan yang gagal ter-join<br>jumlah_tanpa_pelanggan = df_etl.filter(col(&quot;nama&quot;).isNull()).count()<br>print(f&quot;Transaksi tanpa data pelanggan yang cocok: {jumlah_tanpa_pelanggan}&quot;)<br><br>df_etl.select(&quot;order_id&quot;, &quot;nama&quot;, &quot;membership&quot;, &quot;kategori&quot;, &quot;pendapatan&quot;, &quot;segmen_transaksi&quot;).show(5)</pre><p>pertama saya menggabungkan tabel transaksi dengan tabel pelanggan menggunakan metode left join. Setelah itu saya menambahkan satu kolom turunan baru bernama segmen_transaksi menggunakan fungsi when untuk mengelompokkan transaksi tersebut ke dalam kelompok tinggi, sedang, atau rendah berdasarkan pendapatannya. Setelah itu saya menampilkan lima baris hasilnya.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/640/1*5-VeLAx6_icJKEQiMwS4kw.png" /></figure><p>Dapat dilihat untuk hasilnya, segmen transaksi terbagi menjadi 3 yaitu rendah, sedang dan tinggi.</p><p><strong>Tahap 3: Load</strong> <br>terakhir adalah tahap <em>load</em>, yaitu proses menyimpan hasil akhir pengolahan datanya ke tempat penyimpanan tujuan agar siap digunakan untuk analisis lebih lanjut oleh tim lain.</p><pre># LOAD — menyimpan hasil akhir ke HDFS dalam format Parquet, terpartisi berdasarkan kategori<br>!hdfs dfs -mkdir -p /user/mahasiswa/etl_output<br><br>df_etl.write.mode(&quot;overwrite&quot;).partitionBy(&quot;kategori&quot;).parquet(<br>    &quot;hdfs://localhost:9000/user/mahasiswa/etl_output/transaksi_enriched&quot;<br>)<br><br>print(&quot;Pipeline ETL selesai — hasil tersimpan di HDFS.&quot;)<br>!hdfs dfs -ls /user/mahasiswa/etl_output/transaksi_enriched<br><br># Verifikasi hasil akhir dengan membaca kembali dari HDFS<br>df_final = spark.read.parquet(&quot;hdfs://localhost:9000/user/mahasiswa/etl_output/transaksi_enriched&quot;)<br>print(&quot;Jumlah baris hasil akhir:&quot;, df_final.count())<br><br>df_final.groupBy(&quot;segmen_transaksi&quot;).agg(<br>    count(&quot;order_id&quot;).alias(&quot;jumlah_transaksi&quot;),<br>    avg(&quot;pendapatan&quot;).alias(&quot;rata_rata_pendapatan&quot;)<br>).orderBy(&quot;segmen_transaksi&quot;).show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*twqSQxtAYLY0W3b6sTMKnw.png" /></figure><p>pertama saya membuat folder terlebih dahulu lalu menyimpan dataframe tersebut langsung ke HDFS. Untuk format penyimpanannya saya menggunakan parquet agar penyimpanannya lebih efisien dan kuerinya nanti lebih cepat. sebagai pembuktian, saya melakukan verifikasi dengan cara membaca kembali data yang sudah tersimpan di HDFS tersebut lalu membuat agregasi ringkasan cepat.</p><h4>7. Menutup SparkSession</h4><p>terakhir yang selalu saya lakukan adalah menutup sesi spark yang sedang berjalan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/330/1*FX81wp0Fx1S6VPlHsNYjYA.png" /></figure><h3>Latihan Mandiri</h3><p>sebelum mengerjakan soal latihan mandiri, pertama yang saya lakukan adalah menjalankan ulang proses pembuatan sparksession, lalu membaca kembali data transaksi yang berformat csv dan data pelanggan yang berformat json.</p><pre># Persiapan ulang untuk latihan<br>spark = SparkSession.builder.appName(&quot;Latihan6&quot;).master(&quot;local[*]&quot;).getOrCreate()<br>spark.sparkContext.setLogLevel(&quot;ERROR&quot;)</pre><pre>df_transaksi_etl = spark.read.csv(&quot;data_transaksi_besar.csv&quot;, header=True, inferSchema=True)<br>df_pelanggan_etl = spark.read.json(&quot;data_pelanggan.json&quot;)<br>print(&quot;Siap untuk latihan.&quot;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/779/1*7bdzQwrOjUDUJ_c5L2DV-Q.png" /></figure><p>karena sparksession sebelumnya sudah saya tutup, saya membuat sparksession baru dengan nama Latihan6, lalu memuat kembali kedua data tersebut ke dalam dataframe agar siap dipakai untuk mengerjakan soal.</p><h4>Jawaban Soal 1</h4><p>pada soal pertama saya diminta untuk membaca kembali data parquet yang sudah dibuat sebelumnya menggunakan spark.read.parquet, lalu menampilkan skemanya dan membandingkannya dengan skema hasil inferSchema pada csv.</p><pre>df_parquet_latihan = spark.read.parquet(&quot;data_transaksi_besar_parquet&quot;)<br>print(&quot;Skema dari Parquet:&quot;)<br>df_parquet_latihan.printSchema()<br>print(&quot;Skema dari CSV (inferSchema=True):&quot;)<br>df_transaksi_etl.printSchema()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qI2dlhynSlNxbAt4T-7V5A.png" /></figure><p>hasilnya tipe data dari kedua skema tersebut sama persis. kolom order_id, kategori, kota, dan metode_pembayaran bertipe string, sedangkan customer_id dan pendapatan bertipe integer. perbedaannya ada di cara spark mendapatkan skema tersebut. pada csv, spark harus membaca dan menebak ulang tipe datanya setiap kali file dibaca menggunakan inferSchema. sedangkan pada parquet, skema sudah tersimpan di dalam file itu sendiri, jadi spark langsung tahu tipe datanya tanpa perlu menebak lagi.</p><h4>Jawaban Soal 2</h4><p>lanjut ke soal kedua, saya diminta untuk menggabungkan data transaksi dengan data pelanggan, lalu menampilkan jumlah transaksi untuk masing-masing jenis membership yaitu silver, gold, dan platinum.</p><pre>df_gabung_latihan = df_transaksi_etl.join(df_pelanggan_etl, on=&quot;customer_id&quot;, how=&quot;left&quot;)<br>df_gabung_latihan.groupBy(&quot;membership&quot;) \<br>    .agg(count(&quot;order_id&quot;).alias(&quot;jumlah_transaksi&quot;)) \<br>    .orderBy(col(&quot;jumlah_transaksi&quot;).desc()) \<br>    .show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/767/1*0wmJjjLqYvsMVfY4kfzwBg.png" /></figure><p>pertama saya menggabungkan kedua tabel berdasarkan kolom customer_id menggunakan left join. setelah itu saya mengelompokkan datanya berdasarkan kolom membership dan menghitung jumlah transaksinya menggunakan fungsi count. hasilnya membership silver memiliki transaksi terbanyak yaitu 8.994 transaksi, disusul gold dengan 6.990 transaksi, dan platinum dengan 4.016 transaksi. tetapi hal ini bukan berarti pelanggan silver lebih rajin belanja. jumlah pelanggan silver memang paling banyak, yaitu 9 dari 20 pelanggan, sedangkan gold 7 pelanggan dan platinum hanya 4 pelanggan. jadi wajar kalau total transaksinya juga paling besar.</p><h4>Jawaban Soal 3</h4><p>pada soal ketiga saya diminta untuk menyimpan hasil gabungan dari soal kedua (sebelum dilakukan groupBy) ke dalam format parquet yang dipartisi berdasarkan kolom membership, lalu menampilkan struktur foldernya.</p><pre>df_gabung_latihan.write.mode(&quot;overwrite&quot;) \<br>    .partitionBy(&quot;membership&quot;) \<br>    .parquet(&quot;data_transaksi_partisi_membership&quot;)<br><br>!ls data_transaksi_partisi_membership</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/765/1*zrnkfT2BNdcprZNkeZ4-PQ.png" /></figure><p>saya menyimpan dataframe hasil join tersebut dengan menambahkan perintah partitionBy pada kolom membership. hasilnya spark otomatis membuat tiga folder terpisah yaitu membership=Gold, membership=Platinum, dan membership=Silver, ditambah file _SUCCESS sebagai penanda bahwa proses penulisan berhasil.</p><h4>Jawaban Soal 4</h4><p>terakhir untuk soal nomor empat, saya diminta menuliskan refleksi singkat mengenai mengapa partitioning berdasarkan kolom kota cocok untuk skenario ini, namun menjadi pilihan buruk jika diterapkan pada kolom order_id.</p><blockquote><em>Menurut saya partitioning berdasarkan kolom kota cocok karena kolom tersebut hanya memiliki 5 nilai unik, sehingga 20.000 data terbagi menjadi 5 folder yang masing-masing berisi sekitar 4.000 baris, dan analisis per kota juga sering dilakukan sehingga spark cukup membuka satu folder saja. Sebaliknya, kolom order_id nilainya selalu unik di setiap baris, sehingga spark akan membuat 20.000 folder yang masing-masing hanya berisi satu baris data. Hal ini justru membuat proses baca tulis menjadi sangat lambat dan membebani HDFS karena harus mencatat metadata dari ribuan file kecil.</em></blockquote><h3>Tugas Mandiri</h3><p>pada bagian tugas mandiri ini, skenarionya saya diminta oleh tim data engineering sebuah platform e-commerce untuk membangun pipeline ETL produksi pertama. pipeline ini harus menggabungkan tiga sumber data sekaligus dengan format yang berbeda-beda, yaitu data transaksi berformat csv, data produk berformat json, dan data ulasan pelanggan berformat csv.</p><h4>Menyiapkan Dataset</h4><p>langkah awal sebelum masuk ke pengerjaan inti adalah menyiapkan ketiga datasetnya terlebih dahulu dengan menjalankan perintah di bawah ini.</p><pre>import numpy as np<br>import pandas as pd<br>import json</pre><pre>np.random.seed(33)<br># Sumber 1: Transaksi (CSV) - 5000 baris<br>n_trx = 5000<br>kategori_list = [&quot;Elektronik&quot;, &quot;Fashion&quot;, &quot;Makanan&quot;, &quot;Rumah Tangga&quot;, &quot;Kesehatan&quot;]<br>df_trx_tugas6 = pd.DataFrame({<br>    &quot;order_id&quot;: [f&quot;TX{i}&quot; for i in range(n_trx)],<br>    &quot;product_id&quot;: np.random.randint(1, 31, size=n_trx),<br>    &quot;unit_terjual&quot;: np.random.randint(1, 8, size=n_trx),<br>    &quot;tanggal&quot;: np.random.choice(pd.date_range(&quot;2026-10-01&quot;,&quot;2026-10-31&quot;), size=n_trx).astype(str),<br>})<br>df_trx_tugas6.to_csv(&quot;tugas6_transaksi.csv&quot;, index=False)<br># Sumber 2: Data produk (JSON Lines) - 30 produk<br>produk = [<br>    {&quot;product_id&quot;: i, &quot;nama_produk&quot;: f&quot;Produk-{i}&quot;, &quot;kategori&quot;: np.random.choice(kategori_list),<br>     &quot;harga&quot;: int(np.random.choice([25000,50000,75000,100000,150000,250000]))}<br>    for i in range(1, 31)<br>]<br>with open(&quot;tugas6_produk.json&quot;, &quot;w&quot;) as f:<br>    for p in produk:<br>        f.write(json.dumps(p) + &quot;\n&quot;)<br># Sumber 3: Data ulasan (CSV) - tidak semua transaksi memiliki ulasan<br>n_review = 3500<br>df_review = pd.DataFrame({<br>    &quot;order_id&quot;: np.random.choice(df_trx_tugas6[&quot;order_id&quot;], size=n_review, replace=False),<br>    &quot;rating&quot;: np.random.randint(1, 6, size=n_review),<br>})<br>df_review.to_csv(&quot;tugas6_ulasan.csv&quot;, index=False)<br>print(f&quot;Tiga sumber data berhasil dibuat:&quot;)<br>print(f&quot;- tugas6_transaksi.csv : {len(df_trx_tugas6)} baris&quot;)<br>print(f&quot;- tugas6_produk.json   : {len(produk)} baris&quot;)<br>print(f&quot;- tugas6_ulasan.csv    : {len(df_review)} baris (tidak seluruh transaksi memiliki ulasan)&quot;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/876/1*v-f7G9bFhD3h6d79KAR3Jw.png" /></figure><p>jadi saya membuat tiga buah sumber data menggunakan library numpy dan pandas. data pertama berisi 5.000 transaksi yang disimpan dalam format csv, data kedua berisi 30 produk yang disimpan dalam format json lines, dan data ketiga berisi 3.500 ulasan yang disimpan dalam format csv. karena jumlah ulasan lebih sedikit dari jumlah transaksi, artinya ada 1.500 transaksi yang tidak memiliki ulasan, sama seperti kondisi nyata di mana tidak semua pembeli memberikan ulasan.</p><h4>A. Extract</h4><p>pada bagian A saya diminta untuk membaca ketiga sumber data tersebut menjadi tiga spark dataframe yang terpisah, lalu menampilkan jumlah baris dan skema dari masing-masing dataframe.</p><pre>from pyspark.sql import SparkSession<br>from pyspark.sql.functions import col, count, sum as spark_sum<br><br>spark = SparkSession.builder.appName(&quot;Tugas6-ETL&quot;).master(&quot;local[*]&quot;).getOrCreate()<br>spark.sparkContext.setLogLevel(&quot;ERROR&quot;)<br># EXTRACT - membaca tiga sumber data dengan format berbeda<br>df_trx = spark.read.csv(&quot;tugas6_transaksi.csv&quot;, header=True, inferSchema=True)<br>df_produk = spark.read.json(&quot;tugas6_produk.json&quot;)<br>df_ulasan = spark.read.csv(&quot;tugas6_ulasan.csv&quot;, header=True, inferSchema=True)<br>for nama, df in [(&quot;Transaksi&quot;, df_trx), (&quot;Produk&quot;, df_produk), (&quot;Ulasan&quot;, df_ulasan)]:<br>    print(f&quot;Data {nama}: {df.count()} baris&quot;)<br>    df.printSchema()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/685/1*lFrtj96psPn3LAc4Nfk3uA.png" /></figure><p>pertama saya membuat sparksession baru, lalu membaca data transaksi dan ulasan menggunakan spark.read.csv serta data produk menggunakan spark.read.json. agar kodenya lebih ringkas, saya menggunakan perulangan for untuk menampilkan jumlah baris dan skema ketiga dataframe tersebut. hasilnya data transaksi berjumlah 5.000 baris, data produk 30 baris, dan data ulasan 3.500 baris. pada data produk, spark otomatis mendeteksi kolom product_id dan harga sebagai tipe long karena berasal dari json.</p><h4>B. Transform — Penggabungan</h4><p>selanjutnya untuk bagian B, saya diminta untuk menggabungkan ketiga dataframe menjadi satu, lalu menambahkan kolom total_pendapatan dari hasil perkalian unit terjual dengan harga.</p><pre># TRANSFORM - menggabungkan ketiga sumber data<br>df_gabung = df_trx.join(df_produk, on=&quot;product_id&quot;, how=&quot;inner&quot;) \<br>                  .join(df_ulasan, on=&quot;order_id&quot;, how=&quot;left&quot;)<br><br># Menambahkan kolom total_pendapatan<br>df_gabung = df_gabung.withColumn(&quot;total_pendapatan&quot;, col(&quot;unit_terjual&quot;) * col(&quot;harga&quot;))<br>print(&quot;Jumlah baris setelah join:&quot;, df_gabung.count())<br>df_gabung.select(&quot;order_id&quot;, &quot;nama_produk&quot;, &quot;kategori&quot;, &quot;unit_terjual&quot;,<br>                 &quot;harga&quot;, &quot;total_pendapatan&quot;, &quot;rating&quot;).show(5)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/642/1*WxDqkt_hBDQvRtmy3iTo3Q.png" /></figure><p>untuk menggabungkan data transaksi dengan data produk saya menggunakan inner join berdasarkan kolom product_id, karena setiap transaksi pasti memiliki produk yang valid sehingga tidak ada data yang hilang. sedangkan untuk menggabungkan dengan data ulasan saya menggunakan left join berdasarkan kolom order_id, karena tidak semua transaksi memiliki ulasan. jika saya menggunakan inner join, 1.500 transaksi yang tidak memiliki ulasan akan ikut terbuang. hasilnya jumlah baris tetap 5.000, yang membuktikan tidak ada transaksi yang hilang ataupun terduplikasi setelah proses join. transaksi yang tidak memiliki ulasan akan bernilai null pada kolom rating.</p><h4>C. Transform — Penanganan Data Kosong &amp; Pengayaan</h4><p>lanjut ke bagian C, saya diminta untuk menambahkan kolom ada_ulasan yang bernilai true atau false, lalu mengisi nilai null pada kolom rating dengan angka 0.</p><pre># Membuat kolom ada_ulasan SEBELUM nilai null diisi<br>df_gabung = df_gabung.withColumn(&quot;ada_ulasan&quot;, col(&quot;rating&quot;).isNotNull())<br># Mengisi rating yang kosong dengan angka 0<br>df_bersih = df_gabung.na.fill({&quot;rating&quot;: 0})<br>df_bersih.groupBy(&quot;ada_ulasan&quot;).count().show()<br>print(&quot;Sisa nilai null pada kolom rating:&quot;, df_bersih.filter(col(&quot;rating&quot;).isNull()).count())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/349/1*HWKWSS48feWbZPzeB4NwUQ.png" /></figure><p>pertama saya membuat kolom ada_ulasan menggunakan fungsi isNotNull, jadi setiap baris otomatis bernilai true jika rating-nya ada dan false jika rating-nya kosong, tanpa perlu diisi secara manual satu per satu. langkah ini harus dilakukan sebelum na.fill, karena kalau null sudah diganti menjadi 0 terlebih dahulu, spark tidak bisa lagi membedakan mana transaksi yang tidak memiliki ulasan. setelah itu saya mengisi nilai null pada kolom rating dengan angka 0 menggunakan fungsi na.fill. hasilnya terdapat 3.500 transaksi dengan ulasan dan 1.500 transaksi tanpa ulasan, serta tidak ada lagi nilai null pada kolom rating.</p><p>alasan saya memilih angka 0 adalah karena rating yang valid hanya berada di rentang 1 sampai 5, sehingga angka 0 tidak akan tertukar dengan rating asli dari pelanggan dan bisa langsung dibaca sebagai “belum ada ulasan”. jika saya mengisinya dengan rata-rata rating, misalnya 3, data tersebut akan terlihat seolah-olah pelanggan benar-benar memberi nilai 3. meskipun begitu, angka 0 ini tidak boleh ikut dihitung ketika ingin mencari rata-rata rating, jadi datanya perlu difilter terlebih dahulu dengan ada_ulasan = true.</p><h4>D. Load</h4><p>selanjutnya untuk bagian D, saya diminta untuk menyimpan hasil akhir ke dalam HDFS dengan format parquet yang dipartisi berdasarkan kolom kategori, lalu memverifikasinya.</p><pre># LOAD - menyimpan hasil akhir ke HDFS<br>!hdfs dfs -mkdir -p /user/mahasiswa/tugas6<br><br>df_bersih.write.mode(&quot;overwrite&quot;).partitionBy(&quot;kategori&quot;).parquet(<br>    &quot;hdfs://localhost:9000/user/mahasiswa/tugas6/hasil_etl&quot;<br>)<br>print(&quot;Pipeline ETL selesai - hasil tersimpan di HDFS.&quot;)<br># Verifikasi struktur folder di HDFS<br>!hdfs dfs -ls -R /user/mahasiswa/tugas6/hasil_etl<br># Membaca kembali untuk memastikan data tersimpan utuh<br>df_hasil = spark.read.parquet(&quot;hdfs://localhost:9000/user/mahasiswa/tugas6/hasil_etl&quot;)<br>print(&quot;Jumlah baris di HDFS:&quot;, df_hasil.count())</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ohdvsqlkmiOImfhoJsJrRA.png" /></figure><p>pertama saya membuat folder tugas6 di dalam HDFS, lalu menyimpan dataframe hasil transform dalam format parquet yang dipartisi berdasarkan kolom kategori. untuk memverifikasinya saya menggunakan perintah hdfs dfs -ls -R yang menampilkan seluruh isi folder beserta subfoldernya. hasilnya terdapat lima folder partisi yaitu kategori=Elektronik, kategori=Fashion, kategori=Kesehatan, kategori=Makanan, dan kategori=Rumah Tangga, yang masing-masing berisi file parquet. terakhir saya membaca kembali datanya dari HDFS, dan jumlah barisnya tetap 5.000, sama dengan jumlah data sebelum disimpan. ini membuktikan bahwa data tersimpan dengan utuh.</p><h4>E. Insight Akhir</h4><p>terakhir untuk bagian E, saya diminta untuk mencari kategori produk mana yang memiliki persentase transaksi dengan ulasan paling rendah. disini saya memilih menggunakan spark sql.</p><pre>df_hasil.createOrReplaceTempView(&quot;hasil_etl&quot;)<br>hasil_e = spark.sql(&#39;&#39;&#39;<br>    SELECT kategori,<br>           COUNT(*) AS jumlah_transaksi,<br>           SUM(CASE WHEN ada_ulasan THEN 1 ELSE 0 END) AS transaksi_dengan_ulasan,<br>           ROUND(SUM(CASE WHEN ada_ulasan THEN 1 ELSE 0 END) * 100.0 / COUNT(*), 2) AS persen_ulasan<br>    FROM hasil_etl<br>    GROUP BY kategori<br>    ORDER BY persen_ulasan ASC<br>&#39;&#39;&#39;)<br>hasil_e.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/574/1*PbG9Aebe8odws-RNuz-qwQ.png" /></figure><p>pertama saya mendaftarkan dataframe hasil ETL menjadi tabel sementara bernama hasil_etl. setelah itu saya menghitung jumlah seluruh transaksi dan jumlah transaksi yang memiliki ulasan menggunakan case when, lalu membaginya untuk mendapatkan persentasenya. terakhir hasilnya saya urutkan dari persentase yang paling rendah.</p><p>hasilnya kategori makanan memiliki persentase ulasan paling rendah, yaitu 68,84% (369 dari 536 transaksi). posisi berikutnya ditempati kesehatan dengan 68,89%, fashion 70,14%, rumah tangga 70,55%, dan elektronik dengan persentase tertinggi yaitu 70,66%.</p><blockquote><em>Hal ini penting diketahui oleh tim marketing karena ulasan berfungsi sebagai bukti sosial yang membantu calon pembeli lain dalam mengambil keputusan, dan kategori makanan juga merupakan kategori dengan jumlah transaksi paling sedikit. Tim marketing bisa mencoba memberikan insentif kecil seperti voucher atau poin setelah pembeli memberikan ulasan untuk kategori makanan. Namun perlu dicatat bahwa selisih antar kategori sangat tipis, yaitu kurang dari 2%, dan makanan hanya unggul 0,05% dari kesehatan, sehingga perbedaan ini sebaiknya dipantau dengan data beberapa bulan ke depan sebelum dijadikan dasar keputusan anggaran.</em></blockquote><h3>Kesimpulan</h3><p>Dari praktikum pertemuan ke-6 ini, saya membuktikan secara langsung bahwa format parquet jauh lebih efisien dibandingkan csv. Dengan data yang sama, ukuran file parquet 77,4% lebih kecil karena datanya disimpan per kolom dan terkompresi otomatis. Selain itu, skema pada parquet sudah tersimpan di dalam file sehingga tidak perlu ditebak ulang setiap kali dibaca. Saya juga mempelajari teknik partitioning yang membuat spark cukup membuka folder yang dibutuhkan saja, namun teknik ini hanya efektif jika kolom yang dipilih memiliki sedikit nilai unik dan sering dipakai untuk filter.</p><p>Pada bagian tugas mandiri, saya berhasil membangun pipeline ETL lengkap yang menggabungkan tiga sumber data dengan format berbeda. Hal yang paling penting yang saya pelajari adalah pemilihan jenis join dan urutan langkah transformasi sangat berpengaruh terhadap hasil akhir. Left join menjaga agar transaksi tanpa ulasan tidak terbuang, dan kolom ada_ulasan harus dibuat sebelum nilai null diisi agar informasinya tidak hilang. Hasil akhirnya tersimpan utuh di HDFS dalam format parquet yang terpartisi dan siap dipakai untuk analisis lebih lanjut.</p><h3>Link GitHub</h3><p><a href="https://github.com/maulzz/BigData/tree/main/pertemuan6">https://github.com/maulzz/BigData/tree/main/pertemuan6</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=415af460cfc0" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>