<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Zuyina M. Irkham on Medium]]></title>
        <description><![CDATA[Stories by Zuyina M. Irkham on Medium]]></description>
        <link>https://medium.com/@irhamzuyina?source=rss-fa2236c19721------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*O3TyodOfpvcoIy0f</url>
            <title>Stories by Zuyina M. Irkham on Medium</title>
            <link>https://medium.com/@irhamzuyina?source=rss-fa2236c19721------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 15:27:33 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@irhamzuyina/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Belajar Machine Learning Skala Besar Menggunakan Spark MLlib]]></title>
            <link>https://medium.com/@irhamzuyina/belajar-machine-learning-skala-besar-menggunakan-spark-mllib-493b9dfe54ac?source=rss-fa2236c19721------2</link>
            <guid isPermaLink="false">https://medium.com/p/493b9dfe54ac</guid>
            <dc:creator><![CDATA[Zuyina M. Irkham]]></dc:creator>
            <pubDate>Wed, 18 Nov 2026 21:26:26 GMT</pubDate>
            <atom:updated>2026-11-18T21:26:26.661Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/571/1*gqzLEw91_QHDqqjvAYT1ZA.jpeg" /></figure><h3>1.Pendahuluan</h3><p>Di era digital saat ini, volume data yang dihasilkan oleh berbagai industri tumbuh dengan sangat cepat sehingga membutuhkan teknologi komputasi terdistribusi yang mampu memproses informasi dalam skala besar secara cepat dan efisien. Apache Spark hadir sebagai salah satu kerangka kerja paling populer untuk mengatasi tantangan tersebut, dilengkapi dengan pustaka Machine Learning (MLlib) yang memungkinkan pengembang maupun praktisi data membangun model prediktif yang handal. Melalui pemahaman yang baik tentang bagaimana menyiapkan data mentah menjadi fitur yang bermakna serta menerapkan teknik pemodelan yang tepat seperti regresi, organisasi dapat memanfaatkan wawasan berbasis data secara optimal untuk mendukung proses pengambilan keputusan yang lebih akurat.</p><h3>2.Dasar Teori</h3><h4>2.1 Big Data dan Machine Learning</h4><p>Big Data merupakan kumpulan data dengan ukuran dan kompleksitas yang besar sehingga membutuhkan teknologi khusus untuk menyimpan, mengelola, dan menganalisisnya. Salah satu pemanfaatan Big Data adalah dalam bidang Machine Learning, yaitu teknologi yang memungkinkan komputer mempelajari pola dari data untuk menghasilkan prediksi atau keputusan. Dalam pengolahan data berukuran besar, Machine Learning membutuhkan teknologi yang mampu melakukan komputasi secara efisien dan terdistribusi agar proses pelatihan model dapat berjalan dengan baik.</p><h4>2.2 Apache Spark dan Spark MLlib</h4><p>Apache Spark merupakan framework komputasi terdistribusi yang digunakan untuk mengolah data dalam jumlah besar secara cepat dan efisien. Spark memiliki komponen Machine Learning Library (MLlib) yang menyediakan berbagai algoritma untuk membangun dan melatih model Machine Learning. PySpark MLlib memungkinkan pengguna menjalankan algoritma Machine Learning menggunakan bahasa Python dengan memanfaatkan Spark DataFrame. Dengan demikian, proses pengolahan dan pelatihan model dapat dilakukan pada dataset berukuran besar melalui sistem komputasi terdistribusi.</p><h4>2.3 Feature Engineering</h4><p>Feature engineering merupakan proses mempersiapkan dan mengubah data mentah menjadi fitur yang dapat digunakan oleh algoritma Machine Learning. Tahapan ini bertujuan agar data memiliki format yang sesuai sehingga model dapat mempelajari pola dengan lebih baik. Dalam Spark MLlib, feature engineering dapat dilakukan dengan mengubah data kategorikal menjadi numerik dan menggabungkan berbagai fitur menjadi satu kolom vektor. Pada kasus prediksi penjualan, fitur yang digunakan dapat berupa jumlah barang terjual, harga satuan, kategori produk, kota, dan rating.</p><h4>2.4 StringIndexer</h4><p>StringIndexer merupakan salah satu fitur dalam Spark MLlib yang digunakan untuk mengubah data kategorikal berbentuk teks menjadi indeks numerik. Proses ini diperlukan karena algoritma Machine Learning membutuhkan data dalam bentuk numerik agar dapat melakukan perhitungan. Setiap kategori akan diberikan nilai indeks berdasarkan frekuensi kemunculannya. Contohnya, kategori produk seperti Elektronik, Fashion, dan Makanan akan diubah menjadi angka tertentu sehingga dapat digunakan sebagai fitur dalam proses pelatihan model.</p><h4>2.5 VectorAssembler</h4><p>VectorAssembler merupakan transformer dalam Spark MLlib yang berfungsi menggabungkan beberapa kolom fitur menjadi satu kolom bertipe Vector. Penggabungan ini diperlukan karena sebagian besar algoritma Machine Learning pada Spark MLlib menggunakan satu kolom bernama features sebagai masukan model. Kolom yang digabungkan dapat berupa data numerik maupun hasil transformasi data kategorikal. Dengan menggunakan VectorAssembler, seluruh atribut yang dibutuhkan dapat disatukan dalam satu representasi fitur untuk proses pelatihan model.</p><h4>2.6 Regresi Linear (Linear Regression)</h4><p>Regresi linear merupakan metode Machine Learning yang digunakan untuk memprediksi nilai numerik berdasarkan hubungan antara variabel bebas (fitur) dan variabel terikat (target). Metode ini bekerja dengan membentuk hubungan linear antara fitur-fitur masukan dan nilai yang ingin diprediksi. Dalam Spark MLlib, algoritma LinearRegression digunakan untuk membangun model prediksi berdasarkan data training. Pada skenario penjualan, regresi linear dapat digunakan untuk memperkirakan total pendapatan transaksi berdasarkan jumlah barang, harga satuan, kategori produk, kota, dan rating.</p><h4>2.7 Training Data dan Testing Data</h4><p>Training data merupakan sekumpulan data yang digunakan untuk melatih model Machine Learning agar dapat mempelajari pola dan hubungan antarvariabel. Sementara itu, testing data merupakan data terpisah yang digunakan untuk menguji kemampuan model dalam memprediksi data yang belum pernah digunakan selama proses pelatihan. Pembagian data menjadi training dan testing bertujuan untuk mengetahui kemampuan model dalam melakukan generalisasi, bukan hanya menghafal pola dari data pelatihan. Dalam Spark, pembagian tersebut dapat dilakukan menggunakan fungsi randomSplit() dengan menentukan proporsi data dan nilai seed agar hasil pembagian dapat direproduksi.</p><h4>2.8 Evaluasi Model Regresi</h4><p>Evaluasi model merupakan proses untuk mengukur kemampuan model Machine Learning dalam menghasilkan prediksi yang mendekati nilai sebenarnya. Pada Spark MLlib, evaluasi model regresi dapat dilakukan menggunakan RegressionEvaluator. Dua metrik yang digunakan dalam modul ini adalah Root Mean Squared Error (RMSE) dan R-squared (R²). RMSE digunakan untuk mengukur rata-rata kesalahan prediksi dalam satuan yang sama dengan nilai target, sehingga semakin kecil nilainya semakin baik. Sementara itu, R² digunakan untuk mengetahui seberapa besar variasi data target dapat dijelaskan oleh model. Nilai R² yang semakin mendekati 1 menunjukkan kemampuan model dalam menjelaskan data semakin baik.</p><h4>2.9 Prediksi Menggunakan Model Machine Learning</h4><p>Prediksi merupakan proses menggunakan model yang telah dilatih untuk memperkirakan nilai berdasarkan data baru. Dalam Spark MLlib, model yang sudah dilatih menggunakan fungsi fit() dapat digunakan untuk menghasilkan prediksi melalui fungsi transform(). Data baru harus memiliki struktur fitur yang sama dengan data saat pelatihan, termasuk proses transformasi kategorikal menggunakan model StringIndexer yang telah di-fit sebelumnya dan penggabungan fitur menggunakan VectorAssembler. Pada penerapan prediksi penjualan, model dapat digunakan untuk memperkirakan total penjualan berdasarkan skenario pesanan baru.</p><h3>3.Praktikum</h3><h4>3.1 Persiapan SparkSession</h4><p>Pada langkah pertama praktikum ini adalah membuat SparkSession sebagai gerbang utama atau gerbang awal dalam pemrosesan data untuk menghubungkan program Python dengan Apache Spark</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jzDncNdH8wl2YlO8QZaVBQ.png" /></figure><h4>3.2 Membuat dataset</h4><p>Dataset merupakan kumpulan data yang digunakan sebagai bahan untuk melakukan proses analisis dan pelatihan Machine Learning. Pada praktikum ini, dataset dibuat secara simulasi menggunakan library NumPy dan pandas dengan skenario transaksi penjualan produk.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4DZ1MZRWFubSPGVnc8OIQQ.png" /></figure><p>Terbentuk dataset Spark DataFrame dengan 2.000 baris yang memiliki enam kolom, yaitu unit_terjual, harga_satuan, kategori, kota, rating, dan pendapatan.</p><h4>3.3 Feature Engineering Menggunakan StringIndexer</h4><p>Feature Engineering merupakan proses mengubah dan mempersiapkan data mentah menjadi fitur yang dapat digunakan oleh algoritma Machine Learning. Salah satu tahapannya adalah mengubah data kategorikal berbentuk teks menjadi angka menggunakan StringIndexer yang memberikan indeks numerik terhadap setiap kategori berdasarkan frekuensi kemunculannya.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PN9aTW4WAuDQYYQ_7i8N4w.png" /></figure><p>Penjelasan kode :</p><ul><li>from pyspark.ml.feature import StringIndexer digunakan untuk mengimpor fungsi StringIndexer dari Spark MLlib.</li><li>StringIndexer(inputCol=”kategori”, outputCol=”kategori_idx”) digunakan untuk mengubah kolom kategori menjadi kolom numerik bernama kategori_idx.</li><li>StringIndexer(inputCol=”kota”, outputCol=”kota_idx”) digunakan untuk mengubah kolom kota menjadi kolom numerik bernama kota_idx.</li><li>indexer_kategori.fit(df) digunakan untuk mempelajari kategori unik dan menentukan indeks numerik berdasarkan frekuensi kemunculannya.</li><li>.transform(df) digunakan untuk menerapkan hasil pembelajaran StringIndexer pada dataset.</li><li>indexer_kota.fit(df_indexed) digunakan untuk mempelajari kategori unik pada kolom kota.</li><li>.transform(df_indexed) digunakan untuk menghasilkan kolom indeks kota pada dataset.</li><li>.select() digunakan untuk memilih kolom yang ingin ditampilkan.</li><li>.show(8) digunakan untuk menampilkan delapan baris hasil transformasi.</li></ul><p>Hasilnya kolom kategori dan kota yang sebelumnya berbentuk teks berubah menjadi kolom numerik kategori_idx dan kota_idx. Nilai indeks diberikan berdasarkan urutan frekuensi kategori dalam dataset.</p><h4>3.4 Feature Engineering Menggunakan VectorAssembler</h4><p>VectorAssembler merupakan transformer pada Spark MLlib yang digunakan untuk menggabungkan beberapa kolom fitur menjadi satu kolom bertipe Vector agar sesuai dengan format input yang dibutuhkan Spark MLlib.. Kolom tersebut biasanya diberi nama features dan menjadi masukan bagi algoritma Machine Learning.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xIcqiWPXG0OqVJujeaSuSg.png" /></figure><p>Penjelasan kode :</p><ul><li>from pyspark.ml.feature import VectorAssembler digunakan untuk mengimpor VectorAssembler.</li><li>VectorAssembler() digunakan untuk membuat objek penggabung fitur.</li><li>inputCols menentukan lima kolom yang akan digunakan sebagai fitur, yaitu jumlah barang terjual, harga satuan, indeks kategori, indeks kota, dan rating.</li><li>outputCol=”features” menentukan nama kolom baru yang akan menampung gabungan seluruh fitur.</li><li>assembler.transform(df_indexed) digunakan untuk menerapkan proses penggabungan fitur pada dataset.</li><li>df_final merupakan Spark DataFrame hasil transformasi yang sudah memiliki kolom features.</li><li>.select(“features”, “pendapatan”) digunakan untuk memilih kolom fitur dan target pendapatan.</li><li>.show(5, truncate=False) digunakan untuk menampilkan lima baris hasil tanpa memotong isi kolom.</li></ul><p>Hasilnya terbentuk kolom features yang berisi gabungan lima fitur dalam satu representasi vektor. Kolom pendapatan tetap digunakan sebagai nilai target yang akan diprediksi oleh model.</p><h4>3.5 Membagi Dataset Menjadi Training dan Testing</h4><p>Training data merupakan data yang digunakan untuk melatih model Machine Learning agar dapat mempelajari pola hubungan antarvariabel. Testing data merupakan data yang digunakan untuk menguji kemampuan model dalam memprediksi data yang tidak digunakan selama proses pelatihan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QXZWaZz9Lc_gGadn7v5dUw.png" /></figure><p>Penjelasan kode :</p><ul><li>df_final.randomSplit([0.8, 0.2], seed=42) digunakan untuk membagi dataset secara acak menjadi dua bagian.</li><li>Angka 0.8 menunjukkan proporsi 80% data untuk training.</li><li>Angka 0.2 menunjukkan proporsi 20% data untuk testing.</li><li>seed=42 digunakan agar pembagian data tetap konsisten ketika program dijalankan kembali.</li><li>train.count() digunakan untuk menghitung jumlah data pelatihan.</li><li>test.count() digunakan untuk menghitung jumlah data pengujian.</li><li>print() digunakan untuk menampilkan jumlah masing-masing data.</li></ul><p>Maka Dataset sebanyak 2.000 baris terbagi menjadi data training sekitar 80% dan data testing sekitar 20%. Jumlah pastinya dapat sedikit berbeda karena proses pembagian dilakukan secara acak.</p><h4>3.6 Melatih Model Regresi Linear</h4><p>Regresi Linear merupakan algoritma Machine Learning yang digunakan untuk memprediksi nilai numerik berdasarkan hubungan antara variabel input dan variabel target. Model ini mempelajari hubungan linear antara fitur-fitur yang digunakan dengan nilai yang ingin diprediksi.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5aU7YuAIsK3AaV8S26DVnQ.png" /></figure><p>Penjelasan kode :</p><ul><li>from pyspark.ml.regression import LinearRegression digunakan untuk mengimpor algoritma regresi linear dari Spark MLlib.</li><li>LinearRegression() digunakan untuk membuat objek model regresi linear.</li><li>featuresCol=”features” menentukan kolom yang berisi seluruh fitur input model.</li><li>labelCol=”pendapatan” menentukan kolom target yang akan diprediksi.</li><li>lr.fit(train) digunakan untuk melatih model menggunakan data training sehingga model dapat mempelajari pola hubungan antara fitur dan pendapatan.</li><li>model.coefficients digunakan untuk menampilkan koefisien setiap fitur yang menunjukkan arah dan besarnya hubungan fitur dengan hasil prediksi.</li><li>model.intercept digunakan untuk menampilkan nilai konstanta dalam persamaan regresi.</li></ul><h4>3.7 Membuat Prediksi</h4><p>Prediksi merupakan proses menggunakan model Machine Learning yang telah dilatih untuk memperkirakan nilai target berdasarkan data input. Hasil prediksi kemudian dapat dibandingkan dengan nilai sebenarnya untuk mengetahui kemampuan model.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*f47vh-xZ7dMUy1jUakB9rA.png" /></figure><p>Penjelasan kode :</p><ul><li>model.transform(test) digunakan untuk menerapkan model regresi linear pada data testing.</li><li>Hasilnya disimpan dalam variabel predictions.</li><li>Kolom unit_terjual, harga_satuan, kategori, dan kota digunakan untuk menampilkan informasi transaksi.</li><li>Kolom pendapatan menunjukkan nilai pendapatan sebenarnya.</li><li>Kolom prediction menunjukkan hasil prediksi yang dihasilkan model.</li><li>.show(10) digunakan untuk menampilkan sepuluh baris hasil prediksi.</li></ul><h4>3.8 Evaluasi Model Regresi</h4><p>Evaluasi model merupakan proses mengukur tingkat kemampuan model Machine Learning dalam menghasilkan prediksi. Pada regresi linear, evaluasi dapat dilakukan menggunakan metrik Root Mean Squared Error (RMSE) dan R-squared (R²).</p><p>RMSE digunakan untuk mengukur besarnya kesalahan prediksi dalam satuan yang sama dengan nilai target. Semakin kecil nilai RMSE, semakin baik hasil prediksi model.</p><p>R² digunakan untuk mengukur proporsi variasi nilai target yang dapat dijelaskan oleh model. Semakin mendekati angka 1, semakin baik kemampuan model dalam menjelaskan variasi data.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*N_iZFFd8ycrSK0R5UPyW2Q.png" /></figure><p>Penjelasan kode :</p><ul><li>RegressionEvaluator() pertama digunakan untuk membuat evaluator dengan metrik RMSE.</li><li>labelCol=”pendapatan” menentukan kolom nilai sebenarnya.</li><li>predictionCol=”prediction” menentukan kolom hasil prediksi.</li><li>metricName=”rmse” menentukan jenis evaluasi yang digunakan, yaitu Root Mean Squared Error.</li><li>evaluator_rmse.evaluate(predictions) digunakan untuk menghitung nilai RMSE berdasarkan hasil prediksi.</li><li>RegressionEvaluator() kedua digunakan untuk membuat evaluator dengan metrik R².</li><li>metricName=”r2&quot; menentukan bahwa evaluasi menggunakan koefisien determinasi.</li><li>evaluator_r2.evaluate(predictions) digunakan untuk menghitung nilai R².</li><li>print() digunakan untuk menampilkan hasil evaluasi.</li><li>Format :,.0f digunakan untuk menampilkan nilai RMSE dengan pemisah ribuan tanpa angka desimal.</li><li>Format :.4f digunakan untuk menampilkan nilai R² dengan empat angka di belakang koma.</li><li>r2*100 digunakan untuk mengubah nilai R² menjadi bentuk persentase.</li></ul><p>Hasilnya RMSE menunjukkan besarnya kesalahan prediksi dalam satuan pendapatan, sedangkan R² menunjukkan seberapa besar variasi pendapatan dapat dijelaskan oleh model. Pada dataset simulasi ini, nilai R² di atas 0,8 menunjukkan bahwa model cukup baik dalam menangkap pola data yang telah dibuat.</p><h4>3.9 Menutup SparkSession</h4><p>Proses mengakhiri sesi Apache Spark setelah seluruh aktivitas pengolahan data selesai dilakukan.Untuk membebaskan sumber daya komputer yang digunakan oleh Spark serta mengakhiri proses komputasi yang sedang berjalan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8c1d1G-adlW6n1XuR0ZzWQ.png" /></figure><h4>4. Latihan Mandiri</h4><p><strong>Persiapan Ulang Dataset</strong></p><p>Sebelum mengerjakan latihan mandiri, SparkSession dan dataset perlu disiapkan kembali untuk menjalankan pemrosesan data menggunakan Apache Spark, dan data yang akan digunakan dalam percobaan Machine Learning.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/899/1*A2OpvFd1TnxQy6fuJC1J7Q.png" /></figure><p><strong>Soal 1.</strong> Ulangi proses StringIndexer untuk kolom kategori dan kota, lalu buat VectorAssembler baru yang HANYA menggunakan tiga fitur: unit_terjual, harga_satuan, dan rating (tanpa kategori_idx/kota_idx). Beri nama kolom hasil features_sederhana.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/806/1*j5GVToVIrUsfb-0VcDkNHw.png" /></figure><p>Penjelasan kode :</p><ul><li>from pyspark.ml.feature import StringIndexer, VectorAssembler digunakan untuk mengimpor fungsi StringIndexer dan VectorAssembler.</li><li>indexer_kategori membuat proses pengindeksan pada kolom kategori.</li><li>inputCol=”kategori” menentukan kolom sumber yang akan diubah.</li><li>outputCol=”kategori_idx” menentukan nama kolom baru yang berisi hasil pengindeksan.</li><li>indexer_kota membuat proses pengindeksan pada kolom kota. fit(df) digunakan untuk mempelajari kategori yang terdapat dalam dataset.</li><li>transform(df) menerapkan hasil pengindeksan pada DataFrame.</li><li>assembler_sederhana membuat VectorAssembler baru untuk menggabungkan tiga fitur.</li><li>inputCols menentukan tiga kolom yang akan digabungkan, yaitu unit_terjual, harga_satuan, dan rating.</li><li>outputCol=”features_sederhana” menentukan nama kolom hasil penggabungan.</li><li>assembler_sederhana.transform(df_indexed) menjalankan proses penggabungan fitur.</li><li>df_sederhana menyimpan DataFrame hasil transformasi.</li><li>select() memilih kolom yang ingin ditampilkan.</li><li>show(5, truncate=False) menampilkan lima baris data tanpa memotong isi kolom.</li></ul><p><strong>Soal 2.</strong> Latih model LinearRegression baru menggunakan features_sederhana dari Soal 1 (gunakan train/test split yang sama, seed=42). Bandingkan nilai R² model ini dengan model utama pada Sub-bab 11.4 yang menggunakan 5 fitur — apakah performanya lebih baik, sama, atau lebih buruk?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/936/1*4klbDquTJxIS2qSSXHrNlg.png" /></figure><p>Penjelasan kode :</p><ul><li>from pyspark.ml.regression import LinearRegression dan from pyspark.ml.evaluation import RegressionEvaluator digunakan untuk mengimpor modul regresi linier dan evaluator regresi.</li><li>assembler_lengkap membuat VectorAssembler baru untuk menggabungkan lima fitur.</li><li>inputCols=[“unit_terjual”, “harga_satuan”, “kategori_idx”, “kota_idx”, “rating”] menentukan lima kolom fitur yang akan digabungkan.</li><li>outputCol=”features” menentukan nama kolom hasil penggabungan kelima fitur tersebut.</li><li>assembler_lengkap.transform(df_sederhana) menjalankan proses penggabungan fitur dan menyimpannya ke dalam df_lengkap.</li><li>train, test = df_lengkap.randomSplit([0.8, 0.2], seed=42) membagi dataset menjadi data latih (80%) dan data uji (20%) dengan nilai acak tetap.</li><li>model_utama melatih model LinearRegression menggunakan kolom fitur lengkap dan label pendapatan pada data latih.</li><li>model_sederhana melatih model LinearRegression menggunakan kolom features_sederhana dan label pendapatan pada data latih.</li><li>ev = RegressionEvaluator(…) mengatur evaluator dengan metrik evaluasi berupa $R²$ (metricName=”r2&quot;).</li><li>pred_utama = model_utama.transform(test) menghasilkan prediksi pada data uji menggunakan model utama.</li><li>print(“R2 utama (5 fitur) :”, ev.evaluate(pred_utama)) menampilkan nilai $R²$ untuk model dengan 5 fitur.</li><li>print(“R2 sederhana (3 fitur):”, ev.evaluate(model_sederhana.transform(test))) menampilkan nilai $R²$ untuk model dengan 3 fitur.</li></ul><p><strong>Soal 3.</strong> Menggunakan model utama (5 fitur) dari Sub-bab 11.4, tampilkan 5 baris prediksi dengan selisih (pendapatan — prediction) terbesar — yaitu prediksi yang paling meleset. (Petunjuk: tambahkan kolom baru berisi nilai absolut selisihnya, lalu urutkan.)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/983/1*1E-eFmpzULDnRo8CYix9dw.png" /></figure><p>Penjelasan kode :</p><ul><li>from pyspark.sql.functions import abs as sql_abs, col digunakan untuk mengimpor fungsi nilai mutlak (abs sebagai sql_abs) dan pemanggil kolom (col) dari PySpark SQL.</li><li>pred_utama.withColumn(“selisih_abs”, …) menambahkan kolom baru bernama selisih_abs ke dalam DataFrame pred_utama.</li><li>sql_abs(col(“pendapatan”) — col(“prediction”)) menghitung nilai mutlak dari selisih antara kolom pendapatan aktual dan kolom hasil prediksi (prediction).</li><li>.orderBy(col(“selisih_abs”).desc()) mengurutkan data berdasarkan kolom selisih_abs secara menurun (descending) dari nilai selisih terbesar.</li><li>.select(…) memilih kolom-kolom tertentu yang ingin ditampilkan, yaitu unit_terjual, harga_satuan, kategori, kota, pendapatan, prediction, dan selisih_abs.</li><li>.show(5, truncate=False) menampilkan lima baris data teratas dengan selisih terbesar secara lengkap tanpa memotong isi tampilannya.</li></ul><p><strong>Soal 4 (Refleksi singkat)</strong>. Dalam 2–3 kalimat: mengapa Spark MLlib mewajibkan kita menggabungkan seluruh fitur menjadi satu kolom Vector (melalui VectorAssembler), bukan menerima banyak kolom terpisah seperti kebiasaan di pandas/scikit-learn? Tulis jawaban pada markdown cell di bawah ini.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/910/1*c0n9bsyvPS1KTKgR04wgnw.png" /></figure><h3>5. Tugas</h3><p><strong>Menyiapkan Dataset Kopi Nusantara</strong></p><p>Menyediakan kumpulan data yang digunakan sebagai bahan untuk melatih dan menguji model Machine Learning.Data yang dibuat terdiri dari 2.500 transaksi dengan beberapa atribut, yaitu nama menu, cabang, waktu pemesanan, jumlah pesanan, harga satuan, dan total penjualan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ORZhfWRGjrw0tCmIpsS0OQ.png" /></figure><p><strong>Persiapan SparkSession dan Membaca Dataset</strong></p><p>Mempersiapkan lingkungan Spark dan memastikan dataset dapat dibaca serta diproses menggunakan Spark MLlib.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/863/1*dz95wCnmJHhLHMmOW76H4g.png" /></figure><p><strong>A. Feature Engineering</strong></p><p>Gunakan StringIndexer untuk mengubah kolom nama_menu, cabang, dan waktu_pesan menjadi indeks numerik. Gabungkan seluruh fitur (qty, harga_satuan, dan ketiga kolom hasil indexing) menjadi satu kolom features menggunakan VectorAssembler.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/849/1*mo4-w6dzBOEYLMfr5uaFBw.png" /></figure><p>Penjelasan kode :</p><ul><li>idx_menu_model = StringIndexer(inputCol=”nama_menu”, outputCol=”nama_menu_idx”).fit(df) membuat dan melatih model indeks untuk kolom nama_menu menjadi nama_menu_idx.</li><li>idx_cabang_model dan idx_waktu_model masing-masing membuat model indeks untuk kolom cabang dan waktu_pesan.</li><li>df_indexed = … .transform(…) menerapkan proses transformasi pengindeksan secara berurutan pada DataFrame df untuk ketiga kolom kategori tersebut.</li><li>df_indexed.select(…).show(8) menampilkan 8 baris perbandingan antara kolom teks asli dan hasil indeksnya (nama_menu_idx, cabang_idx, waktu_pesan_idx).</li><li>assembler = VectorAssembler(…) membuat objek VectorAssembler baru untuk menggabungkan beberapa kolom fitur menjadi satu.</li><li>inputCols=[“qty”, “harga_satuan”, “nama_menu_idx”, “cabang_idx”, “waktu_pesan_idx”] menentukan lima kolom sumber (numerik dan hasil indeks) yang akan digabungkan.</li><li>outputCol=”features” menentukan nama kolom baru hasil penggabungan fitur.</li><li>df_final = assembler.transform(df_indexed) menjalankan proses penggabungan fitur dan menyimpannya ke dalam DataFrame df_final.</li><li>df_final.select(“features”, “total_penjualan”).show(5, truncate=False) menampilkan 5 baris data teratas yang berisi kolom features dalam format vektor dan kolom target total_penjualan tanpa memotong isi tampilan.</li></ul><p><strong>B. Train/Test Split &amp; Pelatihan Model</strong></p><p>Bagi data menjadi 75% training dan 25% testing (seed=101). Latih model LinearRegression dengan labelCol=”total_penjualan”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/831/1*eMzm9TleQ6000qtseZRH_Q.png" /></figure><p>Penjelasan kode :</p><ul><li>train, test = df_final.randomSplit([0.75, 0.25], seed=101) membagi dataset df_final menjadi data training (75%) dan data testing (25%) dengan nilai acak tetap seed=101.</li><li>print(f”Jumlah data training : {train.count()}”) mencetak jumlah total baris pada data training.</li><li>print(f”Jumlah data testing : {test.count()}”) mencetak jumlah total baris pada data testing.</li><li>lr = LinearRegression(featuresCol=”features”, labelCol=”total_penjualan”) menginisialisasi objek model regresi linier dengan kolom fitur features dan kolom target total_penjualan.</li><li>model = lr.fit(train) melatih model regresi linier menggunakan data training. print(“Model berhasil dilatih!”) mencetak informasi bahwa proses pelatihan model telah selesai.</li><li>print(“Koefisien:”, model.coefficients) menampilkan nilai koefisien (bobot) untuk masing-masing fitur dari model yang telah dilatih.</li><li>print(“Intercept:”, model.intercept) menampilkan nilai titik potong (intercept) dari model regresi linier.</li></ul><p><strong>C. Evaluasi Model</strong></p><p>Hitung dan tampilkan RMSE dan R² dari model pada data testing. Tulis 1–2 kalimat interpretasi: apakah model ini cukup baik untuk dipakai memprediksi omzet?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/981/1*GqY85il9YQSqztsf6E4pew.png" /></figure><p>Penjelasan kode :</p><ul><li>RegressionEvaluator digunakan untuk mengimpor fungsi evaluasi model regresi dari Spark MLlib.</li><li>model.transform(test) digunakan untuk menghasilkan prediksi menggunakan data testing.</li><li>predictions menyimpan DataFrame yang berisi hasil prediksi model. select() digunakan untuk memilih kolom yang ingin ditampilkan.</li><li>qty menunjukkan jumlah pesanan. harga_satuan menunjukkan harga setiap produk.</li><li>total_penjualan merupakan nilai penjualan aktual. prediction merupakan nilai penjualan hasil prediksi model.</li><li>show(10) menampilkan sepuluh baris hasil prediksi. evaluator_rmse membuat objek evaluasi dengan metrik RMSE.</li><li>labelCol=”total_penjualan” menentukan kolom nilai aktual.</li><li>predictionCol=”prediction” menentukan kolom hasil prediksi.</li><li>metricName=”rmse” menentukan jenis metrik yang digunakan, yaitu RMSE.</li><li>evaluator_rmse.evaluate(predictions) menghitung nilai RMSE berdasarkan hasil prediksi. rmse menyimpan hasil perhitungan RMSE.</li><li>evaluator_r2 membuat objek evaluasi dengan metrik R².</li><li>metricName=”r2&quot; menentukan jenis metrik evaluasi R².</li><li>evaluator_r2.evaluate(predictions) menghitung nilai R² berdasarkan hasil prediksi.</li><li>r2 menyimpan hasil perhitungan R².</li><li>print() menampilkan hasil evaluasi model.</li><li>:.2f digunakan untuk menampilkan RMSE dengan dua angka di belakang koma, sedangkan :.4f menampilkan R² dengan empat angka di belakang koma.</li></ul><p><strong>D. Eksperimen Perbandingan Fitur</strong></p><p>Latih model kedua yang HANYA menggunakan fitur qty dan harga_satuan (tanpa informasi menu/cabang/waktu). Bandingkan R² model kedua ini dengan model utama pada bagian C. Tulis kesimpulan: apakah menambahkan informasi menu/cabang/waktu benar-benar meningkatkan akurasi prediksi secara berarti?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CDI7X10ny7IDJtKDE26N1A.png" /></figure><p>Penjelasan kode :</p><ul><li>assembler_2 = VectorAssembler(inputCols=[“qty”, “harga_satuan”], outputCol=”features_2&quot;) membuat objek VectorAssembler baru untuk menggabungkan dua fitur saja, yaitu qty dan harga_satuan.</li><li>df_2 = assembler_2.transform(df_final) menjalankan proses transformasi untuk menghasilkan kolom fitur baru bernama features_2.</li><li>train_2, test_2 = df_2.randomSplit([0.75, 0.25], seed=101) membagi dataset baru menjadi data training (75%) dan data testing (25%) dengan nilai acak tetap seed=101.</li><li>model_2 = LinearRegression(featuresCol=”features_2&quot;, labelCol=”total_penjualan”).fit(train_2) melatih model regresi linier menggunakan dua fitur pada data training.</li><li>pred_2 = model_2.transform(test_2) melakukan prediksi pada data testing menggunakan model kedua.</li><li>rmse_2 = RegressionEvaluator(…, metricName=”rmse”).evaluate(pred_2) menghitung nilai Root Mean Squared Error (RMSE) untuk model kedua.</li><li>r2_2 = RegressionEvaluator(…, metricName=”r2&quot;).evaluate(pred_2) menghitung nilai koefisien determinasi ($R²$) untuk model kedua.</li><li>Perintah print(…) digunakan untuk memformat dan mencetak tabel perbandingan performa antara model utama (5 fitur) dan model kedua (2 fitur).</li><li>print(f”Selisih R² (utama — kedua): {r2 — r2_2:.4f}”) menghitung dan mencetak selisih nilai $R²$ antara model utama dan model kedua.</li><li>Bagian teks di bawah tabel menyimpulkan bahwa penggunaan 2 fitur (qty dan harga_satuan) sudah cukup optimal dan menghasilkan performa prediksi yang hampir sama baiknya dengan model yang menggunakan 5 fitur.</li></ul><p>E. Prediksi Skenario Baru</p><p>Buat sebuah DataFrame baru berisi 3 skenario pesanan (data dummy) (boleh bebas kombinasi menu/cabang/waktu/qty/harga, namun harus melalui tahapan StringIndexer dan VectorAssembler yang sama seperti data training — perhatikan: gunakan model StringIndexer yang sama yang sudah di-fit() sebelumnya, jangan membuat StringIndexer baru). Tampilkan hasil prediksi total_penjualan untuk ketiga skenario tersebut.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/926/1*nn4O9qCLgTDF4az2zjzqDA.png" /></figure><p>Penjelasan kode :</p><ul><li>skenario = spark.createDataFrame(…) membuat DataFrame baru berisi data skenario baru yang terdiri dari kolom nama_menu, cabang, waktu_pesan, qty, dan harga_satuan.</li><li>skenario_idx = … menerapkan model StringIndexer yang sudah dibuat sebelumnya di Bagian A untuk mengubah data kategori pada skenario baru menjadi indeks numerik.</li><li>skenario_feat = assembler.transform(skenario_idx) mengubah dan menggabungkan fitur-fitur pada data skenario menggunakan assembler utama.</li><li>hasil = model.transform(skenario_feat) menerapkan model regresi linier yang telah dilatih (model) untuk memprediksi total penjualan pada data skenario baru.</li><li>hasil.select(…) memilih kolom-kolom yang ingin ditampilkan, termasuk data asli (nama_menu, cabang, waktu_pesan, qty, harga_satuan).</li><li>(col(“qty”) * col(“harga_satuan”)).alias(“qty_x_harga”) membuat kolom baru untuk menghitung total harga perkalian antara jumlah dan harga satuan.</li><li>col(“prediction”).alias(“prediksi_total_penjualan”) mengganti nama kolom hasil prediksi menjadi prediksi_total_penjualan agar lebih mudah dibaca.</li><li>.show(truncate=False) menampilkan seluruh hasil prediksi dari skenario baru secara lengkap tanpa terpotong.</li></ul><p><strong>Menutup SparkSession</strong><br>Proses mengakhiri sesi Apache Spark setelah seluruh aktivitas pengolahan data selesai dilakukan.Untuk membebaskan sumber daya komputer yang digunakan oleh Spark serta mengakhiri proses komputasi yang sedang berjalan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/932/1*PQfrzEboI-fmGQv3rwQOZQ.png" /></figure><h3>6. Kesimpulan</h3><p>Apache Spark MLlib merupakan salah satu library yang digunakan untuk melakukan pengolahan data dan membangun model Machine Learning secara terdistribusi. Dalam prosesnya, diperlukan tahapan Feature Engineering untuk mempersiapkan data agar dapat digunakan oleh algoritma Machine Learning, seperti mengubah data kategorikal menjadi numerik menggunakan StringIndexer dan menggabungkan beberapa fitur menggunakan VectorAssembler. Selanjutnya, model dapat dilatih menggunakan algoritma LinearRegression dengan membagi dataset menjadi data training dan testing. Kinerja model dievaluasi menggunakan RMSE untuk mengukur tingkat kesalahan prediksi dan R² untuk mengetahui kemampuan model dalam menjelaskan variasi data. Melalui materi ini, dapat dipahami bahwa pemilihan fitur, persiapan data, pelatihan, dan evaluasi merupakan tahapan penting dalam membangun model Machine Learning yang menghasilkan prediksi secara tepat dan efektif.</p><h3>7. Github</h3><p><a href="https://github.com/zuyinamirkham/Big-Data/tree/main/pertemuan11">Big-Data/pertemuan11 at main · zuyinamirkham/Big-Data</a></p><h3>8. Referensi</h3><p>Pertemuan 11 — Machine Learning dengan Spark MLlib: Feature Engineering &amp; Regresi, Praktikum Big Data, Program Studi Teknologi Informasi — Universitas Tidar</p><ul><li><a href="https://www.datacamp.com/id/tutorial/apache-spark-tutorial-machine-learning">Tutorial Apache Spark: Machine Learning</a></li><li><a href="https://www.dicoding.com/blog/panduan-lengkap-feature-engineering-untuk-proyek-data/">Panduan Lengkap Feature Engineering untuk Proyek Data - Dicoding Blog</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=493b9dfe54ac" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Analisis Protokol dan Alur Layer OSI pada Proses Upload File Google Drive melalui Browser]]></title>
            <link>https://medium.com/@irhamzuyina/analisis-protokol-dan-alur-layer-osi-pada-proses-upload-file-google-drive-melalui-browser-44fb94c1e6d2?source=rss-fa2236c19721------2</link>
            <guid isPermaLink="false">https://medium.com/p/44fb94c1e6d2</guid>
            <dc:creator><![CDATA[Zuyina M. Irkham]]></dc:creator>
            <pubDate>Mon, 16 Nov 2026 05:00:06 GMT</pubDate>
            <atom:updated>2026-11-16T05:00:06.743Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aRkaOVTvqp3uW4Nj9EOxtQ.jpeg" /></figure><p>Zuyina M. Irkham (2505060041)<br>Sahrul Indra Safani (2505060042)</p><h3>1.Studi Kasus</h3><p>Perkembangan teknologi informasi di era digital telah membawa perubahan yang signifikan dalam berbagai aktivitas administrasi, termasuk dalam pengelolaan arsip. Sistem arsip yang sebelumnya didominasi oleh dokumen fisik berbasis kertas kini mulai beralih menuju sistem digital berbasis cloud yang lebih praktis, fleksibel, dan mudah diakses. seiring meningkatnya volume data dan kebutuhan akses informasi yang cepat, organisasi dituntut untuk menerapkan sistem kearsipan yang mampu menjamin keteraturan, keamanan, serta kemudahan temu kembali informasi. Salah satu solusi yang banyak dimanfaatkan adalah penggunaan layanan penyimpanan berbasis cloud seperti Google Drive (Najib et al., 2026). Google drive merupakan sebuah layanan penyimpanan berbasis cloud yang dapat dengan mudah diakses melalui perangkat manapun, google drive menawarkan kapasitas penyimpanan sebesar 15 gigabyte (GB) yang dapat digunakan secara gratis dan kapasitas penyimpanan ini dapat ditambah lagi namun dengan sistem berbayar (Hidayati et al., 2022).</p><p>Pemanfaatan Google Drive sebagai media penyimpanan digital tidak terlepas dari aktivitas pengiriman data dari perangkat pengguna menuju server melalui jaringan internet. Salah satu aktivitas yang merepresentasikan proses tersebut adalah pengunggahan (<em>upload</em>) file dari penyimpanan lokal komputer menuju Google Drive. Sebagai layanan penyimpanan berbasis <em>cloud computing</em>, Google Drive memungkinkan pengguna mengunggah, mengelola, dan menyimpan berbagai jenis file melalui jaringan internet (Fitrian et al., 2025). Proses pengunggahan dimulai ketika pengguna memilih file dan menginisiasi permintaan melalui browser. Selanjutnya, data dikirimkan melalui jaringan menuju infrastruktur server Google untuk diproses. Penelitian Rizky dan Suparni (2026) menunjukkan bahwa aktivitas pengunggahan Google Drive dapat diamati melalui pengukuran lalu lintas jaringan menggunakan Wireshark. Proses tersebut menggambarkan interaksi antara komputer pengguna sebagai <em>client</em>, jaringan internet sebagai media komunikasi, dan server sebagai tujuan penyimpanan data.</p><h3>2. Service Name and Transport Protocol Port Number</h3><p>Proses pengunggahan file Google Drive menggunakan protokol komunikasi yang bergantung pada versi HTTP dan hasil negosiasi koneksi antara browser dengan server. HTTP berfungsi sebagai protokol pada lapisan aplikasi, sedangkan TCP atau UDP digunakan untuk mendukung pengiriman data pada lapisan transport. Penelitian Belluano et al. (2022) menjelaskan bahwa HTTP/2 menggunakan TCP, sedangkan HTTP/3 memanfaatkan QUIC yang berjalan di atas UDP. Perkembangan tersebut memungkinkan layanan berbasis web menggunakan mekanisme komunikasi yang berbeda sesuai kebutuhan dan dukungan infrastrukturnya.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/820/1*ahANdqThadtv0vt6hoKUog.png" /></figure><p>Berdasarkan registri Internet Assigned Numbers Authority (IANA), layanan HTTPS terdaftar menggunakan port 443 pada TCP maupun UDP. Port tersebut merupakan port tujuan layanan, sedangkan port sumber ditentukan secara dinamis oleh sistem operasi. HTTP/1.1 dan HTTP/2 menggunakan TCP, sedangkan HTTP/3 menggunakan QUIC yang berjalan di atas UDP. Penelitian Silviana et al. (2026) menjelaskan perbedaan ketiga versi HTTP tersebut, termasuk mekanisme transport dan karakteristik pengiriman datanya.</p><h3>3. Alur Kerja Tiap Layer OSI (Top-Down: Layer 7 ke Layer 1):</h3><h4>3.1 Layer 7 — Application Layer (Lapisan Aplikasi)</h4><p>Pada lapisan teratas ini, pengguna berinteraksi langsung dengan antarmuka web Google Drive atau aplikasi pihak ketiga yang terintegrasi dengan Google Drive API v3 (Pratistha et al., 2022; Salsabila &amp; Syarif, 2022). Saat pengguna memilih berkas seperti dokumen PDF hasil alih media Notulen Rapat atau Surat Tugas dan menekan tombol pengunggahan, aplikasi menyusun permintaan transmisi HTTP berbasis metode POST atau PUT (Salsabila &amp; Syarif, 2022). Apabila pengiriman dilakukan melalui antarmuka API, data formulir dan metadata berkas dikonversi terlebih dahulu ke dalam format JSON, sedangkan isi berkas disiapkan sebagai muatan biner (multipart request) (Pratistha et al., 2022). Seluruh proses ini disertai pengiriman informasi otentikasi OAuth 2.0 (Access Token) guna memverifikasi hak akses pengguna sebelum transmisi dilaksanakan (Pratistha et al., 2022).</p><h4>3.2 Layer 6 — Presentation Layer (Lapisan Presentasi)</h4><p>Lapisan presentasi bertanggung jawab melaksanakan pengkodean format data, kompresi, serta enkripsi keamanan data berkas. Pada tahap pengkodean format, data teks dan metadata diformat ke dalam standar UTF-8 JSON, sedangkan berkas biner disesuaikan dengan tipe MIME yang relevan seperti application/pdf atau image/jpeg (Pratistha et al., 2022). Selanjutnya, sebelum data meninggalkan perangkat lokal, protokol Transport Layer Security (TLS) mengamankan muatan data dengan mengubah teks terang (plaintext) menjadi cipherteks (ciphertext) untuk menjamin kerahasiaan dan privasi data selama transit (IANA, 2026; Pratistha et al., 2022).</p><h4>3.3 Layer 5 — Session Layer (Lapisan Sesi)</h4><p>Lapisan sesi mengelola pembentukan, pemeliharaan, dan penutupan sesi komunikasi antara perangkat klien dan server target Google Drive. Pembentukan sesi diawali melalui pertukaran kunci sesi pada saat pertukaran TLS (TLS Handshake) serta validasi otentikasi pengguna menggunakan token akses OAuth 2.0 (Pratistha et al., 2022). Lapisan ini bertugas memelihara status koneksi (Keep-Alive) selama proses pengunggahan berkas berukuran besar agar tidak terputus secara prematur, sekaligus mendukung mekanisme pengunggahan yang dapat dilanjutkan kembali (resumable upload session) (Pratistha et al., 2022).</p><h4>3.4 Layer 4 — Transport Layer (Lapisan Transpor)</h4><p>Lapisan transpor bertugas memecah data (segmentation) dan memastikan pengiriman data berlangsung secara andal tanpa kesalahan transmisi. Data terenkripsi dari Session Layer dipecah menjadi segmen-segmen TCP yang lebih kecil. Setiap segmen diberi nomor urut (Sequence Number) dan nomor konfirmasi (Acknowledgment Number) guna menjamin urutan penerimaan (IANA, 2026). Selanjutnya, segmen dikemas dengan menentukan Port Sumber dinamis pada klien serta Port Tujuan 443 pada server Google (IANA, 2026). Protokol TCP menginisiasi koneksi melalui mekanisme Three-Way Handshake (SYN, SYN-ACK, ACK) dan mengatur laju transmisi menggunakan kontrol alur (Sliding Window).</p><h4>3.5 Layer 3 — Network Layer (Lapisan Jaringan)</h4><p>Lapisan jaringan mengurus pengalamatan logis (IP Addressing) dan penentuan rute transmisi (routing) melintasi jaringan komputer. Sebelum enkapsulasi IP dilakukan, sistem terlebih dahulu mengeksekusi kueri DNS pada Port 53 UDP/TCP untuk menerjemahkan nama domain drive.google.com atau upload.drive.google.com menjadi alamat IP server Google (IANA, 2026). Segmen TCP kemudian dibungkus menjadi Paket IP dengan menambahkan header IP yang memuat Alamat IP Sumber milik klien dan Alamat IP Tujuan milik server Google. Selanjutnya, perangkat router menentukan rute terbaik melintasi internet berdasarkan tabel routing agar paket mencapai tujuan.</p><h4>3.6 Layer 2 — Data Link Layer (Lapisan Tautan Data)</h4><p>Lapisan tautan data mengatur pengiriman data antar simpul (node-to-node) pada media fisik jaringan lokal. Paket IP dikemas (framing) menjadi Frame data, seperti Frame Ethernet atau Wi-Fi IEEE 802.11. Pada lapisan ini, Frame diberi Alamat MAC Sumber milik kartu jaringan klien dan Alamat MAC Tujuan milik default gateway atau router lokal (Panduan Tugas Kelompok Jaringan Komputer, 2026). Selain itu, kode Frame Check Sequence (FCS/CRC) disematkan di akhir frame untuk mendeteksi potensi kerusakan data selama proses transmisi fisik.</p><h4>3.7 Layer 1 — Physical Layer (Lapisan Fisik)</h4><p>Lapisan fisik merupakan lapisan terbawah yang mengonversi frame data digital menjadi sinyal fisik untuk ditransmisikan melalui media fisik jaringan. Deretan bit biner (angka 0 dan 1) diubah menjadi sinyal fisik berbentuk gelombang elektromagnetik pada koneksi Wi-Fi, pulsa listrik pada kabel UTP, atau sinyal cahaya pada kabel serat optik. Sinyal fisik ini kemudian merambat melintasi media transmisi hingga diterima oleh perangkat penerima di tingkat penyedia jasa internet dan pusat data Google.</p><h3>4. Bukti Observasi dan Pengecekan IANA</h3><p>Berdasarkan hasil pengecekan pada website resmi Internet Assigned Numbers Authority (IANA), diketahui bahwa layanan HTTPS menggunakan port 443 dengan protokol transport TCP(IANA, n.d.).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*6oZjTpY3rf1AJk25SMLkeA.png" /></figure><p>Pada registri IANA, layanan tersebut memiliki keterangan HTTP Protocol over TLS/SSL dan merujuk pada standar RFC 9110 (Fielding et al., 2022). Informasi ini menunjukkan bahwa HTTPS merupakan protokol komunikasi web yang menggunakan TLS untuk mengamankan pertukaran data antara browser dan server. Mekanisme TLS memberikan perlindungan berupa kerahasiaan, integritas data, serta autentikasi server selama komunikasi berlangsung (Rescorla, 2018). Dalam studi kasus upload file ke Google Drive, HTTPS berperan dalam mengatur komunikasi antara browser pengguna dan server Google Drive, sedangkan TCP port 443 digunakan sebagai jalur komunikasi untuk mengirimkan data melalui jaringan internet. Dengan adanya HTTPS, proses pertukaran data tidak hanya memungkinkan file dikirimkan ke server, tetapi juga membantu menjaga kerahasiaan dan keamanan informasi selama proses pengiriman berlangsung (Fielding et al., 2022; Rescorla, 2018).</p><h3>5. Kesimpulan</h3><p>Berdasarkan hasil pembahasan, proses pengunggahan file ke Google Drive merupakan salah satu bentuk komunikasi data yang melibatkan perangkat pengguna, jaringan internet, dan server tujuan. Proses tersebut memanfaatkan protokol HTTPS untuk mengatur pertukaran data serta TLS untuk menjaga keamanan informasi selama transmisi. Setiap lapisan dalam model OSI memiliki fungsi yang saling berkaitan, mulai dari pengolahan permintaan pada lapisan aplikasi hingga pengiriman data melalui media fisik. Selain itu, penggunaan TCP atau UDP bergantung pada versi HTTP yang digunakan. Dengan demikian, pemahaman terhadap mekanisme setiap lapisan OSI dapat membantu menjelaskan proses komunikasi data pada layanan penyimpanan berbasis cloud.</p><h3>6. Referensi</h3><p>1. Internet Assigned Numbers Authority. (n.d.). Service Name and Transport Protocol Port Number Registry. <a href="https://www.iana.org/assignments/service-names-port-numbers/service-names-port-numbers.xhtml">https://www.iana.org/assignments/service-names-port-numbers/service-names-port-numbers.xhtml</a></p><p>2. Fielding, R., et al. (2022). RFC 9110: HTTP Semantics. Internet Engineering Task Force. <a href="https://www.rfc-editor.org/rfc/rfc9110.html">https://www.rfc-editor.org/rfc/rfc9110.html</a></p><p>3. Rescorla, E. (2018). RFC 8446: The Transport Layer Security (TLS) Protocol Version 1.3. Internet Engineering Task Force. <a href="https://www.rfc-editor.org/rfc/rfc8446.html">https://www.rfc-editor.org/rfc/rfc8446.html</a></p><p>4. Najib, M. N., Lukita, D. C., &amp; Pribadi, J. D. (2026). Pemanfaatan Google Drive sebagai sistem kearsipan digital sederhana. <em>Jurnal Multidisiplin Ilmu Akademik, 3</em>(3), 577–591.<a href="https://doi.org/10.61722/jmia.v3i3.10284"> https://doi.org/10.61722/jmia.v3i3.10284</a></p><p>5. Hidayati, Raudhoh, &amp; Yusufhin, F. (2022). Implementasi Google Drive sebagai alternatif perpustakaan digital di perpustakaan Program Studi Ilmu Pemerintahan Universitas Islam Negeri Sultan Thaha Saifuddin Jambi. <em>Baitul ‘Ulum: Jurnal Ilmu Perpustakaan dan Informasi, 6</em>(2), 115–130.<a href="http://baitululum.fah.uinjambi.ac.id/index.php/b_ulum/article/view/175"> http://baitululum.fah.uinjambi.ac.id/index.php/b_ulum/article/view/175</a></p><p>6. Fitrian, H. P., Kusdiawati, I., Nursoleh, R. R., Ramdani, R., &amp; Rois, A. (2025). Pemanfaatan Google Drive sebagai layanan cloud computing untuk penyimpanan kolaborasi data. <em>TAMIKA: Jurnal Tugas Akhir Manajemen Informatika &amp; Komputerisasi Akuntansi, 5</em>(2), 433–439.<a href="https://doi.org/10.46880/tamika.Vol5No2.pp433-439?utm_source=chatgpt.com"> https://doi.org/10.46880/tamika.Vol5No2.pp433-439</a></p><p>7. Rizky, S. Y., &amp; Suparni. (2026). Analisis performa Google Drive dan OneDrive menggunakan metode Quality of Service (QoS). <em>JATI (Jurnal Mahasiswa Teknik Informatika), 10</em>(2).<a href="https://doi.org/10.36040/jati.v10i2.17708?utm_source=chatgpt.com"> https://doi.org/10.36040/jati.v10i2.17708</a></p><p>8. Belluano, P. L. L., Panggabean, B. L. E., Purnawansyah, &amp; Kasmira. (2022). The development of web-based information system using Quick UDP Internet Connection. <em>ILKOM Jurnal Ilmiah, 14</em>(3), 314–322.<a href="https://doi.org/10.33096/ilkom.v14i3.1134.314-322?utm_source=chatgpt.com"> https://doi.org/10.33096/ilkom.v14i3.1134.314-322</a></p><p>9. Silviana, A. F., Windasari, S., Abdurohman, &amp; Dama, M. (2026). Evolusi protokol HTTP pada layanan web modern: Kajian komparatif HTTP/1.1, HTTP/2, dan HTTP/3 (QUIC). <em>Jurnal Komputer dan Elektro Sains, 4</em>(1).<a href="https://doi.org/10.58291/komets.v4i1.719?utm_source=chatgpt.com"> https://doi.org/10.58291/komets.v4i1.719</a></p><p>10. Pratistha, P. M. Y., Sukarsa, I. M., &amp; Buana, P. W. (2022). Implementasi Google Drive API untuk Upload, Sharing, dan Download Data pada Aplikasi Berbasis Web. JITTER — Jurnal Ilmiah Teknologi dan Komputer, 3(1).</p><p>11. Salsabila, Z., &amp; Syarif, A. (2022). Pemanfaatan Media Google Drive Dalam Pengelolaan Dokumen Elektronik Komisi Aparatur Sipil Negara. Jurnal Sekretari &amp; Administrasi (Serasi), 20(2), 116–125. <a href="https://doi.org/10.36080/js.v20i2.2172">https://doi.org/10.36080/js.v20i2.2172</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=44fb94c1e6d2" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Mekanisme DHCP Server dan Client di Mikrotik Membagikan Alamat IP ke PC]]></title>
            <link>https://medium.com/@irhamzuyina/mekanisme-dhcp-server-dan-client-di-mikrotik-membagikan-alamat-ip-ke-pc-5b978f12aa0c?source=rss-fa2236c19721------2</link>
            <guid isPermaLink="false">https://medium.com/p/5b978f12aa0c</guid>
            <dc:creator><![CDATA[Zuyina M. Irkham]]></dc:creator>
            <pubDate>Sat, 14 Nov 2026 06:09:01 GMT</pubDate>
            <atom:updated>2026-11-14T06:09:01.154Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jQxN4VWpWH5HkPp7r5vIPQ.jpeg" /></figure><h3>1.Pendahuluan</h3><p>Dalam jaringan komputer, setiap perangkat yang terhubung membutuhkan IP Address agar dapat saling berkomunikasi dan bertukar data. Pengaturan IP Address dapat dilakukan secara manual, tetapi cara tersebut membutuhkan waktu dan ketelitian, terutama jika jumlah perangkat yang terhubung cukup banyak.</p><p>Untuk mempermudah proses pengaturan alamat IP, digunakan teknologi DHCP (Dynamic Host Configuration Protocol). DHCP merupakan protokol jaringan yang berfungsi memberikan alamat IP dan konfigurasi jaringan lainnya secara otomatis kepada perangkat yang terhubung.</p><h3>2. DASAR TEORI</h3><h4>2.1 Pengertian DHCP</h4><p>DHCP (Dynamic Host Configuration Protocol) adalah protokol jaringan yang digunakan untuk memberikan alamat IP (Internet Protocol) dan parameter jaringan lainnya secara otomatis kepada perangkat klien. DHCP menggunakan sistem komunikasi client-server, yaitu DHCP Server bertugas menyediakan konfigurasi jaringan, sedangkan DHCP Client meminta dan menerima konfigurasi tersebut.</p><p>Dengan adanya DHCP, administrator jaringan tidak perlu mengatur IP Address secara manual pada setiap perangkat. Hal ini sangat membantu dalam jaringan yang memiliki banyak perangkat, seperti laboratorium komputer, sekolah, kantor, maupun perusahaan.</p><h4>2.2 Fungsi Utama DHCP</h4><p>DHCP memiliki beberapa fungsi utama dalam jaringan komputer, yaitu:</p><p>-Otomatisasi Alokasi IP Address</p><p>DHCP berfungsi memberikan IP Address secara otomatis kepada perangkat yang terhubung ke jaringan. Dengan demikian, pengguna tidak perlu memasukkan alamat IP secara manual pada setiap komputer.</p><p>-Menghindari Konflik IP Address</p><p>DHCP membantu mencegah terjadinya penggunaan alamat IP yang sama oleh dua perangkat. Pembagian IP dilakukan secara terpusat sehingga setiap perangkat mendapatkan alamat yang tersedia.</p><p>-Manajemen Terpusat</p><p>DHCP memudahkan administrator dalam mengatur konfigurasi jaringan melalui satu server. Perubahan pengaturan seperti gateway dan DNS dapat dilakukan secara terpusat.</p><p>-Efisiensi dan Skalabilitas</p><p>DHCP mempermudah penambahan maupun pengurangan perangkat dalam jaringan tanpa harus melakukan pengaturan IP secara manual satu per satu.</p><h4>2.3 Arsitektur DHCP</h4><p>DHCP menggunakan sistem client-server yang terdiri dari dua komponen utama.</p><p>-DHCP Server</p><p>DHCP Server merupakan perangkat atau sistem yang bertugas menyediakan dan membagikan konfigurasi jaringan kepada perangkat klien. Contohnya adalah Mikrotik, Windows Server, dan Linux.</p><p>-DHCP Client</p><p>DHCP Client merupakan perangkat yang meminta konfigurasi jaringan dari DHCP Server. Contohnya adalah komputer, laptop, dan smartphone yang terhubung ke jaringan.</p><h4>2.4 Komponen Konfigurasi DHCP</h4><p>Terdapat beberapa parameter penting yang diberikan oleh DHCP Server kepada DHCP Client, yaitu:</p><p>-IP Address</p><p>IP Address merupakan alamat unik yang diberikan kepada perangkat agar dapat dikenali dan berkomunikasi dengan perangkat lain dalam jaringan.</p><p>-Subnet Mask</p><p>Subnet Mask berfungsi menentukan bagian alamat IP yang menunjukkan identitas jaringan dan bagian yang menunjukkan identitas perangkat.</p><p>-Default Gateway</p><p>Default Gateway merupakan alamat IP router yang digunakan sebagai jalur untuk menghubungkan perangkat ke jaringan lain atau internet.</p><p>-DNS Server</p><p>DNS Server berfungsi menerjemahkan nama domain menjadi alamat IP sehingga pengguna dapat mengakses website menggunakan nama domain.</p><p>-Lease Time</p><p>Lease Time merupakan jangka waktu peminjaman IP Address yang diberikan oleh DHCP Server kepada perangkat klien sebelum diperbarui atau dilepaskan.</p><h4>2.5 Proses Kerja DHCP (DORA Process)</h4><p>Proses pemberian IP Address melalui DHCP dikenal dengan istilah DORA yang terdiri dari empat tahapan.</p><p>-Discover</p><p>Pada tahap ini, DHCP Client mengirimkan pesan DHCP Discover untuk mencari DHCP Server yang tersedia dalam jaringan. Pesan dikirim secara broadcast agar dapat diterima oleh server yang berada dalam jaringan tersebut.</p><p>-Offer</p><p>Setelah menerima pesan Discover, DHCP Server memberikan balasan berupa DHCP Offer. Balasan tersebut berisi tawaran IP Address beserta konfigurasi jaringan seperti gateway, DNS, dan lease time.</p><p>-Request</p><p>DHCP Client menerima tawaran dari server kemudian mengirimkan DHCP Request untuk meminta penggunaan IP Address yang ditawarkan.</p><p>-Acknowledgement</p><p>DHCP Server mengirimkan DHCP Acknowledgement (ACK) sebagai tanda bahwa IP Address telah resmi diberikan dan dapat digunakan oleh perangkat klien.</p><h4>2.6 Konsep Lease Time (Waktu Peminjaman IP)</h4><p>Lease Time adalah jangka waktu penggunaan IP Address yang dipinjamkan oleh DHCP Server kepada DHCP Client. IP Address tersebut tidak diberikan secara permanen, melainkan memiliki batas waktu tertentu.</p><p>Ketika waktu peminjaman hampir habis, perangkat klien dapat mengirimkan permintaan perpanjangan penggunaan IP Address. Jika tidak diperpanjang, alamat IP tersebut dapat dikembalikan ke DHCP Server untuk digunakan oleh perangkat lain.</p><h4>2.7 DHCP Server pada Mikrotik</h4><p>DHCP Server pada Mikrotik merupakan layanan yang digunakan untuk membagikan IP Address secara otomatis kepada perangkat yang terhubung melalui interface tertentu.</p><p>Beberapa komponen DHCP Server pada Mikrotik antara lain:</p><p>-DHCP Setup</p><p>DHCP Setup merupakan fitur wizard otomatis yang membantu pengguna membuat konfigurasi DHCP Server dengan mengikuti beberapa tahapan pengaturan.</p><p>-DHCP Network</p><p>DHCP Network berisi informasi jaringan yang digunakan, seperti alamat network, gateway, dan DNS Server.</p><p>-DHCP Pool</p><p>DHCP Pool merupakan kumpulan atau rentang alamat IP yang tersedia untuk dibagikan kepada perangkat klien.</p><p>-DHCP Lease</p><p>DHCP Lease merupakan daftar perangkat yang telah mendapatkan IP Address dari DHCP Server. Pada bagian ini administrator dapat melihat alamat IP dan identitas MAC Address perangkat.</p><h4>2.8 DHCP Client pada Mikrotik</h4><p>DHCP Client merupakan layanan pada Mikrotik yang berfungsi menerima IP Address secara otomatis dari perangkat jaringan lain, seperti modem ISP atau router utama.</p><p>Contoh penerapannya adalah interface ether1 Mikrotik dihubungkan ke modem ISP sehingga Mikrotik memperoleh IP Address secara otomatis. Sementara itu, interface ether2 digunakan untuk menghubungkan jaringan lokal dan bertindak sebagai DHCP Server.</p><p>Fungsi DHCP Client pada Mikrotik adalah:</p><ul><li>Mendapatkan IP Address secara otomatis dari perangkat jaringan di atasnya.</li><li>Mendapatkan gateway dan DNS secara otomatis.</li><li>Mempermudah konfigurasi koneksi internet tanpa pengaturan IP secara manual.</li></ul><h3>3. ALAT DAN BAHAN</h3><h4>3.1 Alat Praktikum</h4><p>-Router Mikrotik RB951</p><p>Merupakan perangkat utama yang digunakan untuk melakukan konfigurasi dan pengelolaan jaringan. Mikrotik berfungsi sebagai router sekaligus pusat komunikasi dalam jaringan lokal.</p><p>-Power Adapter Mikrotik</p><p>Berfungsi memberikan suplai daya listrik kepada perangkat Mikrotik agar dapat beroperasi dengan baik. Modul menggunakan adaptor dengan tegangan yang direkomendasikan sebesar 12V DC.</p><p>-Laptop/PC</p><p>Digunakan untuk mengakses dan melakukan konfigurasi Mikrotik melalui aplikasi Winbox. Komputer juga digunakan sebagai perangkat klien untuk menguji pemberian IP Address otomatis.</p><h4>3.2 Bahan Praktikum</h4><p>-Kabel UTP</p><p>Digunakan sebagai media transmisi data untuk menghubungkan Mikrotik dengan laptop atau komputer. Pada praktikum ini digunakan kabel jenis Straight-Through.</p><p>-Aplikasi Winbox</p><p>Merupakan perangkat lunak berbasis GUI (Graphical User Interface) yang digunakan untuk mengakses, mengatur, dan memantau konfigurasi Mikrotik RouterOS.</p><h3>4. Praktikum</h3><h4>4.1 Membuat Topologi Jaringan</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/243/1*-tVgf_9MW9zxkchjU6l5Gw.png" /></figure><p>Pada tahap pertama dilakukan persiapan topologi jaringan yang akan digunakan dalam konfigurasi DHCP Server dan DHCP Client. Tujuannya menentukan hubungan antarperangkat agar proses pemberian dan penerimaan IP Address dapat berjalan sesuai dengan fungsi masing-masing perangkat.</p><p>Pembagian interface pada Mikrotik adalah sebagai berikut:</p><ul><li>Ether1: Interface yang terhubung ke modem atau ISP dan berfungsi sebagai DHCP Client.</li><li>Ether2: Interface yang terhubung ke komputer dan berfungsi sebagai DHCP Server.</li><li>PC: Bertindak sebagai DHCP Client untuk menerima IP Address secara otomatis.</li></ul><h4>4.2 Persiapan Awal</h4><p>Mempersiapkan perangkat dan memastikan seluruh koneksi sudah terpasang dengan benar sebelum melakukan konfigurasi.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/400/1*FB4xQRTxR-6Md3W5JIO1ZQ.png" /></figure><p>Hubungkan kabel ether1 Mikrotik ke sumber internet atau modem, serta ether2 ke laptop menggunakan kabel UTP straight. Selanjutnya, buka aplikasi Winbox di laptop dan lakukan koneksi menggunakan MAC Address karena Mikrotik yang baru direset belum memiliki alamat IP. Pastikan juga Mikrotik berada dalam status reset configuration agar pengaturan dimulai dari awal tanpa sisa konfigurasi lama.</p><h4>4.3 Konfigurasi DHCP Client pada MikroTik (Interface WAN ether1)</h4><p>Membuat Mikrotik dapat menerima konfigurasi jaringan secara otomatis dari perangkat modem atau ISP tanpa harus memasukkan IP Address secara manual.</p><p>Tahapan konfigurasi:</p><p>Membuka aplikasi Winbox dan pilih ip dan identitas yang sesuai dan masukkan username dan password yang sesuai.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hmpcVrooTW2TutvoPJH4GA.png" /></figure><p>Buka IP &gt; DHCP Client</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/340/1*INBGKBMmKX68ZlLlVq_Rhw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/782/1*TTUVt1WbkC3EOwvCI2Fwnw.png" /></figure><p>Lalu klik + (Add). Menu ini adalah tempat mengatur Mikrotik sebagai pihak yang meminta IP. Tombol Add membuat satu aturan DHCP Client baru.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/720/1*J5NYuEQBdJjf8V85VL5J0w.png" /></figure><p>Pada bagian Interface, pilih ether1, karena interface tersebut terhubung ke modem atau ISP.</p><p>Centang pilihan berikut:</p><ul><li>Use Peer DNS: Berfungsi agar Mikrotik menerima informasi DNS secara otomatis dari ISP.</li><li>Use Peer NTP: Berfungsi agar Mikrotik menerima informasi waktu melalui Network Time Protocol secara otomatis.</li></ul><p>Jika sudah Klik Apply → OK.</p><p>Memeriksa bagian Status pada DHCP Client.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/737/1*bx37cW5EnvqnWLLwUf1Pbw.png" /></figure><p>Apabila konfigurasi berhasil, status DHCP Client akan berubah menjadi bound. Status tersebut menunjukkan bahwa Mikrotik telah berhasil memperoleh IP Address dari ISP.</p><h4>4.4 Konfigurasi DHCP Server pada MikroTik (Interface LAN ether2)</h4><p>Pada tahap ini Mikrotik akan diatur agar dapat membagikan IP Address secara otomatis kepada komputer yang terhubung melalui jaringan lokal.</p><p><strong>A. Memberikan IP Address pada Interface LAN</strong></p><p>Sebelum DHCP Server dijalankan pada suatu interface, interface tersebut wajib memiliki alamat IP statis sebagai identitas gateway.</p><p>Langkah nya:<br>Membuka menu IP → Addresses pada Winbox untuk mendaftarkan alamat IP baru pada interface fisik.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/525/1*3S9n9yH2D3qsIXXOjEVAgg.png" /></figure><p>Klik tombol + (Add).<br>Mengisi parameter berikut:</p><ul><li>Address: 192.168.50.1/24</li><li>Interface: ether2</li></ul><p>Pengisian /24 (Subnet Mask 255.255.255.0) menetapkan bahwa port ether2 memiliki alamat IP 192.168.50.1 dan bertindak sebagai Network ID 192.168.50.0. Alamat IP 192.168.50.1 ini nantinya berfungsi sebagai Default Gateway bagi seluruh PC klien lokal yang terhubung di ether2.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/1*FX_wrXel90pfzsJXENiAcg.png" /></figure><p>Klik Apply lalu OK.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/523/1*_GNFz80XZjsIh3U3rzOBrQ.png" /></figure><p><strong>B. Membuat DHCP Server</strong></p><p>pembuatan DHCP Server dilakukan menggunakan wizard otomatis DHCP Setup agar seluruh komponen parameter terbuat secara terstruktur.</p><p>Membuka menu IP → DHCP Server dan pilih menu DHCP Setup.</p><p>DHCP Setup adalah wizard yang memandu pembuatan server langkah demi langkah, sehingga kemungkinan salah isi lebih kecil dibanding membuat semuanya manual.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/874/1*jO66sSEoBKG36y15-cRGEg.png" /></figure><p>Pada bagian interface, pilih ether2.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/855/1*UiNrYglWkZAzQx0rmZHN_A.png" /></figure><p>Mengikuti wizard konfigurasi dengan memasukkan parameter berikut:<br>- DHCP Address Space: 192.168.50.0/24 artinya menentukan jaringan yang digunakan oleh DHCP Server, yaitu 192.168.50.0/24.<br>- Gateway: 192.168.50.1 artinya menentukan alamat IP Mikrotik yang menjadi jalur komunikasi perangkat klien.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/936/1*twxnlZS8-ZX_VwGIjUWt1Q.png" /></figure><p>- IP Pool: 192.168.50.2–192.168.50.100 artinya menentukan rentang IP Address yang dapat dibagikan kepada perangkat klien, yaitu mulai dari 192.168.50.2 sampai 192.168.50.100.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/867/1*1cjiP4Pbm_LnI6WAPVe9RQ.png" /></figure><p>- DNS Server: 8.8.8.8, 8.8.4.4 artinya menentukan alamat DNS yang digunakan untuk menerjemahkan nama domain menjadi alamat IP.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/870/1*RoGhHB7T_upausqYCTgZTg.png" /></figure><p>- Lease Time: 10m artinya menentukan waktu peminjaman IP Address kepada perangkat klien, yaitu selama 10 menit.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/851/1*EwQW-wX0XzpzzXo1l6XuQQ.png" /></figure><p>Klik Next → OK hingga proses konfigurasi selesai.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/876/1*AvdMxOBRY3wCBKfdT2Obvw.png" /></figure><h4>4.5 Konfigurasi DHCP Client pada PC/Laptop</h4><p>Setelah DHCP Server selesai dikonfigurasi, langkah berikutnya adalah mengatur komputer agar dapat menerima IP Address secara otomatis dari Mikrotik.</p><p>A. Navigasi ke Menu Network Connections</p><p>Buka Control Panel lalu pilih Network and Internet</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pMOQocRUIt4qfubJewcGcw.png" /></figure><p>Pilih Network and Sharing Center</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*j8uixLO5uHUPvcCOknnN4A.png" /></figure><p>lalu klik menu Change adapter settings di panel sebelah kiri.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*uCMQ75v39y-6ro7Px7fNiw.png" /></figure><p>Ini adalah tempat semua kartu jaringan di PC ditampilkan. Kita perlu masuk ke sini untuk mengubah cara PC mendapatkan IP.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2iUofhrBYyjqkIJlFgzZzw.png" /></figure><p>Klik kanan pada Ethernet, kemudian pilih Properties.Kemudian pilih Internet Protocol Version 4 (TCP/IPv4).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/623/1*P5pqfo6RYJvlXRr-yvpawg.png" /></figure><p>Mengaktifkan pilihan:<br>- Obtain an IP address automatically: Agar komputer memperoleh IP Address secara otomatis dari DHCP Server.<br>- Obtain DNS server address automatically: Agar komputer memperoleh DNS Server secara otomatis.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/401/1*t0bx1qDkE-QmE4R5dTFy-Q.png" /></figure><p>Klik OK lalu Close untuk menyimpan pengaturan.</p><h4>4.6 Pengujian DHCP Server dan Client</h4><p>Setelah konfigurasi selesai, dilakukan pengujian untuk memastikan bahwa komputer berhasil memperoleh IP Address dari DHCP Server.</p><p>Buka Command Prompt, lalu ketik ipconfig. Perintah ini menampilkan konfigurasi jaringan yang sedang dipakai PC, jadi kita bisa melihat sendiri IP, subnet mask, dan gateway yang diterima.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/884/1*8sJBc3i9zu3xF7Hv51N3JQ.png" /></figure><p>Komputer memperoleh IP Address secara otomatis dari Mikrotik dengan rentang 192.168.50.2–192.168.50.100. Tujuannya memastikan bahwa layanan DHCP Server berhasil memberikan IP Address kepada perangkat klien sesuai dengan rentang IP Pool yang telah ditentukan.</p><h4>4.7 Pengujian Koneksi Client ke Mikrotik</h4><p>Pengujian berikutnya dilakukan untuk memastikan komputer dapat berkomunikasi dengan Mikrotik melalui jaringan lokal.</p><p>Pada CMD, ketik ping 192.168.50.1. Ping mengirim paket kecil ke alamat tujuan dan menunggu balasan. Kita menuju 192.168.50.1 karena itu alamat gateway, titik pertama yang harus bisa dijangkau PC.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/558/1*L69qUOAXpzVhCKVI3AAVxQ.png" /></figure><p>Apabila muncul pesan Reply from 192.168.50.1, berarti komputer berhasil terhubung dan dapat berkomunikasi dengan Mikrotik.</p><p>Tujuan dari pengujian ini memastikan koneksi antara perangkat klien dan Mikrotik berjalan dengan baik.</p><h4>4.8 Verifikasi melalui Winbox</h4><p>Tahap terakhir adalah memeriksa daftar perangkat yang telah mendapatkan IP Address melalui DHCP Server.</p><p>Buka Winbox pilih IP klik DHCP Server lalu Leases. Leases adalah daftar semua IP yang sedang dipinjamkan server. Dengan melihat dari sisi server, kita memastikan keberhasilan bukan hanya klaim dari sisi PC.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/862/1*C0zuWxjGeqm2JO5jTX-izg.png" /></figure><p>Amati daftar klien aktif:</p><ul><li>Kolom Address menampilkan IP yang diberikan ke PC.</li><li>Kolom MAC Address menampilkan identitas kartu jaringan klien.</li><li>Kolom Active menunjukkan status koneksi (centang berarti aktif).</li></ul><h3>5. Kesimpulan</h3><p>DHCP Server dan DHCP Client merupakan bagian penting dalam pengelolaan jaringan komputer karena membantu proses pemberian alamat IP secara otomatis. DHCP Server bertugas membagikan konfigurasi jaringan kepada perangkat klien, sedangkan DHCP Client menerima konfigurasi tersebut agar dapat terhubung ke jaringan. Dalam praktikum ini, Mikrotik RB951 dikonfigurasi menggunakan Winbox dengan interface ether1 sebagai DHCP Client yang menerima IP dari ISP dan ether2 sebagai DHCP Server yang membagikan IP kepada komputer. Proses pemberian IP dilakukan melalui tahapan DORA, yaitu Discover, Offer, Request, dan Acknowledgement. Keberhasilan konfigurasi dapat diperiksa melalui perintah ipconfig, pengujian ping, serta menu DHCP Lease pada Winbox. Dengan adanya DHCP, pengelolaan alamat IP menjadi lebih mudah, efisien, dan dapat mengurangi kemungkinan terjadinya konflik IP Address dalam jaringan komputer.</p><h3>6. Referensi</h3><p>Modul Praktikum Jaringan Komputer ,Muhamad Maksum Hidayat, M.Kom, Program Studi Teknologi Informasi, Universitas Tidar.</p><ul><li><a href="https://citraweb.com/artikel_lihat.php?id=122">Citraweb.com : DHCP Server dan DHCP Client</a></li><li><a href="https://neufarion.wordpress.com/2016/03/08/konfigurasi-dhcp-server-dan-client-di-mikrotik/">Konfigurasi DHCP Server dan Client di Mikrotik</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5b978f12aa0c" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Pemrosesan Data Streaming dengan Spark Structured Streaming]]></title>
            <link>https://medium.com/@irhamzuyina/pemrosesan-data-streaming-dengan-spark-structured-streaming-0d4ecbdec5e3?source=rss-fa2236c19721------2</link>
            <guid isPermaLink="false">https://medium.com/p/0d4ecbdec5e3</guid>
            <dc:creator><![CDATA[Zuyina M. Irkham]]></dc:creator>
            <pubDate>Wed, 11 Nov 2026 10:52:30 GMT</pubDate>
            <atom:updated>2026-11-11T10:52:30.434Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xWrBDSm1HM96em40WJEXxg.jpeg" /></figure><h3>1. Pendahuluan</h3><p>Perkembangan teknologi informasi menyebabkan jumlah data yang dihasilkan semakin meningkat, sehingga dibutuhkan teknologi yang mampu mengolah data dalam jumlah besar secara cepat dan efisien. Salah satu teknologi yang digunakan untuk memenuhi kebutuhan tersebut adalah Apache Spark, yang memiliki kemampuan memproses data secara terdistribusi, baik dalam bentuk batch processing maupun stream processing. Pemrosesan data secara streaming memungkinkan informasi diolah secara berkelanjutan ketika data baru diterima, sehingga hasil pengolahan dapat diperoleh hampir secara real-time. Kemampuan ini sangat bermanfaat dalam berbagai bidang, seperti pemantauan transaksi, analisis aktivitas pengguna, dan pengawasan sistem, karena dapat membantu menghasilkan informasi secara cepat untuk mendukung pengambilan keputusan.</p><h3>2. Dasar Teori</h3><h4>2.1 Big Data</h4><p>Big Data merupakan kumpulan data yang memiliki volume besar, kecepatan pertumbuhan tinggi, dan variasi bentuk yang beragam sehingga membutuhkan teknologi khusus untuk menyimpan, mengelola, dan mengolahnya. Dalam pengolahan Big Data, diperlukan sistem yang mampu memproses informasi secara efisien agar data dapat menghasilkan informasi yang bermanfaat. Salah satu teknologi yang digunakan untuk memenuhi kebutuhan tersebut adalah Apache Spark.</p><h4>2.2 Apache Spark</h4><p>Apache Spark merupakan framework pemrosesan data terdistribusi yang dirancang untuk mengolah data dalam jumlah besar secara cepat dan efisien. Spark menyediakan berbagai fitur pengolahan data, salah satunya Spark SQL dan DataFrame API yang memudahkan pengguna dalam melakukan transformasi, pengelompokan, serta agregasi data. Selain pemrosesan data yang telah tersimpan, Apache Spark juga mendukung pemrosesan data yang masuk secara terus-menerus melalui fitur Structured Streaming.</p><h4>2.3 Batch Processing dan Stream Processing</h4><p>Batch Processing merupakan metode pengolahan data yang dilakukan terhadap sekumpulan data yang telah terkumpul atau tersimpan sebelumnya. Pemrosesan ini biasanya dilakukan berdasarkan jadwal tertentu, misalnya untuk membuat laporan penjualan harian atau bulanan. Sementara itu, Stream Processing merupakan metode pengolahan data secara berkelanjutan ketika data baru diterima. Metode ini memungkinkan informasi diproses hampir secara real-time, sehingga cocok digunakan untuk pemantauan transaksi, aktivitas pengguna, dan data sensor.</p><h4>2.4 Spark Structured Streaming</h4><p>Spark Structured Streaming merupakan fitur Apache Spark yang digunakan untuk memproses aliran data secara berkelanjutan menggunakan DataFrame API. Fitur ini memungkinkan pengguna menerapkan operasi seperti filter, transformasi, pengelompokan, dan agregasi pada data streaming dengan cara yang serupa dengan pengolahan data batch. Spark Structured Streaming menggunakan pendekatan micro-batch, yaitu data yang masuk dikumpulkan dalam kelompok kecil dan diproses secara berulang.</p><h4>2.5 Komponen Spark Structured Streaming</h4><p>Dalam Spark Structured Streaming terdapat beberapa komponen utama yang mendukung proses pengolahan data. Input Source merupakan sumber data yang dibaca menggunakan fungsi `readStream`, seperti file CSV atau Apache Kafka. Output Sink merupakan tujuan penyimpanan hasil pemrosesan yang ditentukan menggunakan `writeStream`, misalnya memory, file, atau database. Selain itu, terdapat Trigger yang mengatur kapan proses streaming dijalankan serta Output Mode yang menentukan bagaimana hasil pemrosesan ditampilkan atau disimpan.</p><h4>2.6 Agregasi Data dan Window Waktu</h4><p>Agregasi data merupakan proses pengolahan untuk menghasilkan informasi ringkasan dari sekumpulan data, seperti menghitung jumlah transaksi, total pendapatan, dan rata-rata nilai. Dalam Spark Structured Streaming, agregasi dapat dilakukan menggunakan fungsi `groupBy()` dan fungsi agregasi seperti `sum()`, `count()`, serta `avg()`. Selain berdasarkan kategori tertentu, agregasi juga dapat dilakukan menggunakan window waktu, yaitu pengelompokan data berdasarkan rentang waktu tertentu. Penggunaan window waktu memungkinkan sistem menghitung total transaksi atau pendapatan dalam periode tertentu, misalnya setiap satu atau dua menit.</p><h3>3. Praktikum</h3><h4>3.1 Mengaktifkan lingkungan virtual</h4><p>Langkah awal sebelum memulai praktikum di Jupyter Notebook adalah mengaktifkan lingkungan virtual yang dibutuhkan :</p><ul><li>menjalankan perintah conda activate bigdata di terminal untuk memastikan seluruh pustaka dan dependensi PySpark siap digunakan.</li><li>Menjalankan perintah start-dfs.sh untuk mengaktifkan sistem penyimpanan terdistribusi HDFS (NameNode, DataNode, dan Secondary NameNode)</li><li>Dan start-yarn.sh untuk menyalakan manajemen sumber daya YARN (ResourceManager dan NodeManager).</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/480/1*wdCochiBKNcZaxJ9_vDw0g.png" /></figure><h4>3.2 Mengimpor Library</h4><p>Langkah selanjutnya yang dilakukan dengan mengimpor library yang dibutuhkan dan membuat SparkSession. SparkSession merupakan pintu utama untuk menjalankan proses pengolahan data menggunakan Apache Spark.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jLywbTn25ZpA8yqgoaIgkg.png" /></figure><p>Penjelasan kode :</p><ul><li>from pyspark.sql import SparkSession: Mengimpor kelas SparkSession untuk titik masuk utama pemrosesan DataFrame.</li><li>from pyspark.sql.types import StructType, StructField, StringType, IntegerType, TimestampType: Mengimpor tipe data untuk mendefinisikan skema secara eksplisit.</li><li>from pyspark.sql.functions import window, sum as spark_sum, count, avg, col: Mengimpor fungsi transformasi dan agregasi data.</li><li>import os, import shutil, import time: Mengimpor pustaka Python untuk manajemen direktori, berkas, dan jeda waktu.</li><li>import pandas as pd: Mengimpor Pandas untuk manipulasi data tabular.</li><li>spark = SparkSession.builder … .getOrCreate(): Membuat dan menginisialisasi sesi Spark untuk eksekusi lokal</li><li>spark.sparkContext.setLogLevel(“ERROR”): Menyaring log Spark agar hanya menampilkan pesan kesalahan.</li><li>spark.conf.set(“spark.sql.shuffle.partitions”, “4”): Mengurangi jumlah partisi shuffle menjadi 4 agar pemrosesan data lokal lebih cepat.</li><li>print(“SparkSession siap. Versi Spark:”, spark.version): Menampilkan status kesiapan sesi dan versi Spark yang digunakan.</li></ul><h4>3.3 Membuat Folder Simulasi Streaming</h4><p>Folder simulasi dibuat sebagai tempat masuknya data baru yang akan dipantau oleh Spark. Ketika terdapat file CSV baru di dalam folder tersebut, Spark akan membaca dan memprosesnya secara otomatis.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SFmxHUwpCRo2bon4CCMTPw.png" /></figure><p>Penjelasan kode :</p><ul><li>folder_stream: menentukan nama folder yang digunakan sebagai sumber data streaming.</li><li>folder_checkpoint: menentukan nama folder untuk menyimpan informasi checkpoint.</li><li>shutil.rmtree(): menghapus folder sebelumnya beserta seluruh isinya.</li><li>ignore_errors=True: mencegah munculnya kesalahan apabila folder belum tersedia.</li><li>os.makedirs(): membuat folder baru.</li><li>exist_ok=True: membuat program tetap berjalan apabila folder sudah tersedia.</li></ul><h4>3.4 Mendefinisikan Skema Data</h4><p>Skema adalah daftar kolom dan tipe data yang pada pemrosesan batch dapat ditebak otomatis (inferSchema=True), namun pada streaming wajib ditulis manual menggunakan StructType karena data belum terkumpul seluruhnya. Tujuannya adalah memberi tahu Spark bentuk data yang akan datang sebelum berkas pertama tiba serta memastikan konsistensi tipe data pada setiap berkas baru.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*6vX1291Ro_XEPt4x-rBi4Q.png" /></figure><p>Penjelasan kode :</p><ul><li>StructType([]): digunakan untuk membuat struktur tabel yang terdiri dari beberapa kolom.</li><li>StructField(“trx_id”, StringType(), True): membuat kolom ID transaksi dengan tipe data teks.</li><li>StructField(“kota”, StringType(), True): membuat kolom kota dengan tipe data teks.</li><li>StructField(“kategori”, StringType(), True): membuat kolom kategori transaksi dengan tipe data teks.</li><li>StructField(“pendapatan”, IntegerType(), True): membuat kolom pendapatan dengan tipe data bilangan bulat.</li><li>True: menunjukkan bahwa kolom tersebut boleh memiliki nilai kosong atau NULL.</li></ul><h4>3.5 Membaca Data Streaming Menggunakan readStream</h4><p>Menghubungkan Spark dengan folder simulasi yang sudah dibuat. Pembacaan dilakukan menggunakan readStream agar Spark dapat mendeteksi file baru yang masuk ke dalam folder tersebut.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1plHgG3CuMvusw4Mdlm78A.png" /></figure><p>Penjelasan kode :</p><ul><li>spark.readStream: digunakan untuk membaca data secara streaming.</li><li>.format(“csv”): menentukan bahwa format data yang dibaca adalah CSV.</li><li>.schema(skema_transaksi): menggunakan skema yang telah dibuat sebelumnya.</li><li>.option(“header”, True): menunjukkan bahwa baris pertama file CSV merupakan nama kolom.</li><li>.load(folder_stream): menentukan folder sumber data yang akan dipantau.</li><li>df_stream.isStreaming: digunakan untuk memeriksa apakah DataFrame merupakan DataFrame streaming.</li></ul><p>Nilai df_stream.isStreaming menghasilkan True. Artinya, DataFrame berhasil didefinisikan sebagai DataFrame streaming. Namun, proses streaming belum berjalan karena baru sampai tahap mendefinisikan sumber data.</p><h4>3.6 Melakukan Agregasi Data Berdasarkan Kota</h4><p>Transformasi adalah operasi pengolahan pada DataFrame, di sini groupBy + agg untuk pengelompokan data berdasarkan kota. Setiap kota akan dihitung total pendapatannya dan jumlah transaksinya. Agregasi ini digunakan untuk mengetahui perkembangan transaksi dari setiap kota.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-M-7wnooi0-iF1x66iBmhQ.png" /></figure><p>Penjelasan kode :</p><ul><li>df_stream.groupBy(“kota”): mengelompokkan data berdasarkan nama kota.</li><li>.agg(): digunakan untuk melakukan perhitungan agregasi terhadap setiap kelompok data.</li><li>spark_sum(“pendapatan”): menghitung total pendapatan dari setiap kota.</li><li>.alias(“total_pendapatan”): memberikan nama baru pada kolom hasil penjumlahan.</li><li>count(“trx_id”): menghitung jumlah transaksi berdasarkan ID transaksi.</li><li>.alias(“jumlah_transaksi”): memberikan nama pada kolom hasil perhitungan jumlah transaksi.</li></ul><h4>3.7 Menjalankan Streaming Query Menggunakan Memory Sink</h4><p>Setelah sumber data dan transformasi dibuat, langkah berikutnya adalah menjalankan streaming query. Pada tahap ini digunakan Memory Sink untuk menyimpan hasil agregasi sementara di dalam memori Spark.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*q25NskWjPon3KysFu_hZ_A.png" /></figure><p>Penjelasan kode :</p><ul><li>writeStream: digunakan untuk menentukan tempat penyimpanan hasil streaming.</li><li>.outputMode(“complete”): menampilkan seluruh hasil agregasi terbaru setiap kali terdapat pembaruan data.</li><li>.format(“memory”): menentukan bahwa hasil disimpan sementara di memori.</li><li>.queryName(“hasil_agregasi”): memberikan nama tabel sementara agar dapat dipanggil melalui Spark SQL.</li><li>.start(): memulai proses streaming query.</li><li>query.status: menampilkan status proses streaming yang sedang berjalan.</li></ul><h4>3.8 Mengirim Data Streaming Batch Pertama</h4><p>Pada tahap ini dilakukan simulasi pengiriman data pertama dengan membuat file CSV baru di dalam folder streaming. File tersebut berisi tiga transaksi dari kota Magelang dan Solo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dooajZTrFesdJlaHezQENw.png" /></figure><p>Penjelasan kode :</p><ul><li>pd.DataFrame(): membuat DataFrame menggunakan Pandas.</li><li>trx_id: berisi ID dari setiap transaksi.</li><li>kota: berisi nama kota tempat transaksi terjadi.</li><li>kategori: berisi kategori produk yang dibeli.</li><li>pendapatan: berisi nilai pendapatan dari setiap transaksi.</li><li>.to_csv(): menyimpan DataFrame menjadi file CSV.</li><li>batch_1.csv: nama file yang dimasukkan ke folder streaming.</li><li>index=False: agar nomor indeks Pandas tidak ikut disimpan ke dalam CSV.</li><li>time.sleep(6): memberikan jeda selama 6 detik agar Spark memiliki waktu untuk memproses file baru.</li><li>spark.sql(): menjalankan perintah SQL untuk membaca hasil agregasi.</li><li>ORDER BY total_pendapatan DESC: mengurutkan hasil berdasarkan total pendapatan dari nilai terbesar ke terkecil.</li><li>.show(): menampilkan hasil pengolahan data.</li></ul><h4>3.9 Mengirim Data Streaming Batch Kedua</h4><p>Langkah ini bertujuan untuk mengetahui apakah Spark dapat memperbarui hasil agregasi ketika terdapat data baru. Data batch kedua dimasukkan beberapa saat setelah batch pertama diproses.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*N7__Pnosu3OeViJxgwY4Lg.png" /></figure><p>Penjelasan kode :</p><p>Kode ini memiliki fungsi yang hampir sama dengan pengiriman batch pertama. Perbedaannya terdapat pada isi data yang dikirim.</p><ul><li>T4 merupakan transaksi baru dari Magelang dengan pendapatan 300.000.</li><li>T5 merupakan transaksi baru dari Yogyakarta dengan pendapatan 500.000.</li><li>.to_csv() digunakan untuk menyimpan data menjadi file batch_2.csv.</li><li>time.sleep(6) memberikan waktu kepada Spark untuk memproses data baru.</li><li>spark.sql() digunakan untuk menampilkan kembali hasil agregasi terbaru.</li></ul><p>Spark Structured Streaming mampu memperbarui hasil agregasi secara otomatis ketika terdapat file CSV baru. Data sebelumnya tetap diperhitungkan dan digabungkan dengan data yang baru masuk.</p><h4>3.10 Agregasi Berbasis Window Waktu</h4><p>Proses pengelompokan dan pengolahan data streaming menggunakan teknik agregasi berbasis rentang waktu (time-window aggregation) selebar 1 menit yang dihitung melalui kolom waktu_transaksi.</p><p>Menghitung total pendapatan serta frekuensi transaksi secara periodik dalam interval waktu tertentu, lalu menyimpannya sementara ke dalam memory sink dengan nama tabel hasil_window.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2sv-XIocQVYVaSvJcqvx5g.png" /></figure><p>Penjelasan kode :</p><ul><li>StructType(): mendefinisikan struktur skema data secara eksplisit untuk streaming.</li><li>StructField(): mendefinisikan kolom beserta tipe data dan status nullable.</li><li>TimestampType(): tipe data untuk kolom waktu transaksi yang digunakan dalam agregasi waktu.</li><li>folder_stream2: variabel yang menyimpan nama direktori simulasi streaming waktu.</li><li>shutil.rmtree(): menghapus folder simulasi lama beserta isinya secara otomatis.</li><li>os.makedirs(): membuat folder baru yang kosong untuk menampung data simulasi.</li><li>spark.readStream: memulai proses membaca aliran data secara real-time.</li><li>.format(“csv”): menentukan format berkas sumber data yang dibaca adalah CSV.</li><li>.schema(): menerapkan skema manual yang telah ditentukan.</li><li>.option(“header”, True): memberitahu Spark bahwa baris pertama pada berkas CSV adalah nama kolom.</li><li>.load(): menentukan folder direktori target sumber data masukannya.</li><li>groupBy(): mengelompokkan data dari dataframe streaming.</li><li>window(): membuat kelompok berdasarkan rentang waktu tertentu (1 menit) dari kolom waktu transaksi.</li><li>spark_sum(): menjumlahkan nilai pada kolom pendapatan.</li><li>count(): menghitung jumlah frekuensi transaksi.</li><li>.alias(): mengubah atau memberikan nama baru pada kolom hasil agregasi.</li><li>writeStream: menyiapkan konfigurasi untuk menulis hasil proses streaming.</li><li>.outputMode(“complete”): menampilkan seluruh hasil agregasi secara lengkap dari awal hingga terkini.</li><li>.format(“memory”): menyimpan hasil sementara ke dalam memori lokal (memory sink).</li><li>.queryName(): memberikan nama tabel sementara di memori dengan nama hasil_window.</li><li>.start(): menjalankan proses eksekusi kueri streaming secara asinkron.</li><li>print(): menampilkan pesan teks ke konsol bahwa proses telah aktif.</li></ul><h4>3.11 Mengirim Data dengan Timestamp</h4><p>Langkah ini bertujuan untuk menguji pengelompokan data berdasarkan waktu. Data transaksi dibuat dengan menggunakan waktu saat program dijalankan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*H6EQttAt34_RGktD6A7lew.png" /></figure><p>Penjelasan kode :</p><ul><li>datetime.now(): mengambil waktu saat program dijalankan.</li><li>waktu_sekarang: menyimpan waktu yang diperoleh.</li><li>trx_id: berisi dua ID transaksi, yaitu W1 dan W2.</li><li>kota: berisi nama kota Semarang dan Solo.</li><li>pendapatan: berisi pendapatan masing-masing transaksi.</li><li>strftime(“%Y-%m-%d %H:%M:%S”): mengubah format waktu menjadi tahun-bulan-tanggal jam:menit.</li><li>* 2: mengulang nilai waktu yang sama untuk kedua transaksi.</li><li>.to_csv(): menyimpan data menjadi file CSV.</li><li>time.sleep(6): memberikan jeda agar Spark dapat memproses data.</li><li>spark.sql(): mengambil hasil pengolahan dari tabel hasil_window.</li><li>window.start: menampilkan waktu awal kelompok.</li><li>window.end: menampilkan waktu akhir kelompok.</li><li>truncate=False: menampilkan isi kolom tanpa memotong teks.</li></ul><h4>3.12 Menghentikan Query dan SparkSession</h4><p>Langkah terakhir dilakukan untuk menghentikan seluruh proses streaming dan menutup SparkSession setelah kegiatan selesai.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_clEixsYmCUB-zBVQQPpGg.png" /></figure><p>Penjelasan kode :</p><ul><li>query2.stop(): menghentikan streaming query kedua.</li><li>spark.stop(): menutup SparkSession sehingga sumber daya Spark tidak lagi digunakan.</li><li>print(): menampilkan pesan bahwa seluruh proses sudah dihentikan.</li></ul><h3>4. Latihan Mandiri</h3><h4>4.1 Persiapan Ulang SparkSession</h4><p>Sebelum mengerjakan latihan, SparkSession perlu dibuat kembali karena sesi Spark sebelumnya sudah dihentikan. Selain itu, folder latihan disiapkan sebagai sumber data streaming yang akan digunakan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-eNXNAp4OGSK35n--xtylA.png" /></figure><p>Penjelasan kode :</p><ul><li>SparkSession.builder: membuat konfigurasi untuk menjalankan SparkSession.</li><li>.appName(“Latihan10”): memberikan nama aplikasi Spark, yaitu Latihan10.</li><li>.master(“local[*]”): menjalankan Spark menggunakan seluruh core prosesor yang tersedia.</li><li>.getOrCreate(): membuat SparkSession baru atau menggunakan sesi yang sudah tersedia.</li><li>setLogLevel(“ERROR”): mengatur tampilan log agar hanya pesan kesalahan yang ditampilkan.</li><li>spark.sql.shuffle.partitions: mengatur jumlah partisi shuffle menjadi 4.</li><li>folder_latihan: menentukan nama folder yang digunakan untuk menyimpan data latihan.</li><li>shutil.rmtree(): menghapus folder latihan sebelumnya jika sudah ada.</li><li>os.makedirs(): membuat folder latihan baru.</li><li>StructType(): membuat struktur tabel yang terdiri dari beberapa kolom.</li><li>StructField(“trx_id”, StringType(), True): membuat kolom ID transaksi dengan tipe data teks.</li><li>StructField(“kategori”, StringType(), True): membuat kolom kategori dengan tipe data teks.</li><li>StructField(“pendapatan”, IntegerType(), True): membuat kolom pendapatan dengan tipe data bilangan bulat.</li><li>print(): menampilkan pesan bahwa persiapan latihan sudah selesai.</li></ul><p><strong>Soal 1.</strong> Definisikan readStream dari folder latihan10_stream menggunakan skema_latihan, lalu buat agregasi groupBy(“kategori”) yang menghitung rata-rata pendapatan (gunakan avg, bukan sum). Jalankan query dengan queryName=”latihan_agg”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/864/1*7OQdxTmlNYeSuEA3pBjVrA.png" /></figure><p>Penjelasan kode :</p><ul><li>spark.readStream: membaca data menggunakan metode streaming.</li><li>.format(“csv”): menentukan format data yang dibaca adalah CSV.</li><li>.schema(skema_latihan): menggunakan skema yang telah dibuat sebelumnya.</li><li>.option(“header”, True): menunjukkan bahwa baris pertama CSV merupakan nama kolom.</li><li>.load(folder_latihan): menentukan folder sumber data streaming.</li><li>df_latihan.groupBy(“kategori”): mengelompokkan transaksi berdasarkan kategori.</li><li>.agg(): menjalankan proses agregasi.</li><li>avg(“pendapatan”): menghitung rata-rata pendapatan dari setiap kategori.</li><li>.alias(“rata_rata_pendapatan”): memberikan nama pada kolom hasil perhitungan.</li><li>writeStream: menentukan proses penulisan hasil streaming.</li><li>.outputMode(“complete”): menampilkan seluruh hasil agregasi terbaru.</li><li>.format(“memory”): menyimpan hasil sementara di memori.</li><li>.queryName(“latihan_agg”): memberikan nama tabel sementara.</li><li>.start(): menjalankan streaming query.</li></ul><p><strong>Soal 2.</strong> Kirim (tulis) sebuah berkas CSV berisi minimal 3 baris data ke folder latihan10_stream, tunggu beberapa detik, lalu tampilkan isi tabel latihan_agg menggunakan spark.sql().</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/873/1*qsHMYUfeUe1x5BclEH0MdQ.png" /></figure><p>Penjelasan kode :</p><ul><li>pd.DataFrame(): membuat DataFrame menggunakan Pandas.</li><li>trx_id: berisi ID transaksi.</li><li>kategori: berisi kategori dari setiap transaksi.</li><li>pendapatan: berisi nilai pendapatan setiap transaksi.</li><li>.to_csv(): menyimpan data menjadi file CSV.</li><li>batch_1.csv: nama file pertama yang dimasukkan ke folder latihan.</li><li>index=False: menghilangkan indeks Pandas agar tidak ikut tersimpan.</li><li>time.sleep(6): memberikan waktu selama 6 detik agar Spark memproses data.</li><li>spark.sql(): menjalankan perintah SQL untuk mengambil hasil agregasi.</li><li>.show(): menampilkan hasil pengolahan data.</li></ul><p>Soal 3. Kirim batch kedua dengan kategori yang sama seperti salah satu kategori pada batch pertama, tunggu beberapa detik, lalu tampilkan ulang latihan_agg. Amati: apakah nilai rata-ratanya berubah sesuai perhitungan gabungan kedua batch?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/873/1*BT2G5iwyXepxMAJD0FMgQg.png" /></figure><p>Penjelasan kode :</p><ul><li>pd.DataFrame(): membuat DataFrame untuk batch kedua.</li><li>trx_id: berisi ID transaksi baru, yaitu L4 dan L5.</li><li>kategori: berisi kategori Elektronik dan Fashion.</li><li>pendapatan: berisi nilai pendapatan transaksi baru.</li><li>.to_csv(): menyimpan data menjadi file batch_2.csv.</li><li>time.sleep(6): memberikan jeda agar Spark memproses data baru.</li><li>spark.sql(): mengambil hasil agregasi terbaru dari tabel latihan_agg.</li><li>.show(): menampilkan hasil perhitungan rata-rata yang sudah diperbarui.</li></ul><p>Hal ini membuktikan bahwa Spark Structured Streaming mampu memperbarui hasil perhitungan rata-rata dengan menggabungkan data dari batch pertama dan batch kedua.</p><p><strong>Soal 4 (Refleksi singkat).</strong> Dalam 2–3 kalimat: mengapa Spark Structured Streaming mewajibkan skema didefinisikan secara eksplisit (StructType), sementara pemrosesan batch pada Pertemuan 4 bisa memakai inferSchema=True? Tulis jawaban pada markdown cell di bawah ini.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/883/1*dhMnp3LwmmYj4d1MVsbBqg.png" /></figure><h3>5. Tugas Mandiri</h3><h4>5.1 Persiapan SparkSession</h4><p>Langkah pertama adalah membuat SparkSession baru yang digunakan untuk menjalankan tugas mandiri.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/917/1*ZQtc1HUKuRnpTMh4iRypEg.png" /></figure><p>Penjelasan Kode:</p><ul><li>SparkSession: mengimpor fungsi untuk membuat sesi Spark.</li><li>.appName(): memberikan nama aplikasi sesuai identitas mahasiswa.</li><li>.master(“local[*]”): menjalankan Spark secara lokal menggunakan seluruh core prosesor.</li><li>.getOrCreate(): membuat atau menggunakan SparkSession yang tersedia.</li><li>setLogLevel(“ERROR”): menampilkan pesan kesalahan saja.</li><li>spark.sql.shuffle.partitions: mengatur jumlah partisi shuffle menjadi 4.</li><li>print(): menampilkan pesan bahwa SparkSession berhasil dibuat.</li></ul><h4>A. Menyiapkan Streaming Source</h4><p>Definisikan skema eksplisit (StructType) untuk data pesanan dengan kolom: pesanan_id (string), nama_cabang (string), nama_menu (string), qty (integer), harga_satuan (integer), waktu_pesan (timestamp). Buat folder simulasi streaming baru bernama tugas10_stream, lalu definisikan readStream dari folder tersebut.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/867/1*b1CJGzEYHJ2bPQzEA480Gg.png" /></figure><p>Penjelasan kode :</p><ul><li>StructType: membuat struktur tabel.</li><li>StructField: menentukan nama dan tipe data kolom.</li><li>StringType: digunakan untuk data teks.</li><li>IntegerType: digunakan untuk data bilangan bulat.</li><li>TimestampType: digunakan untuk data tanggal dan waktu.</li><li>skema_pesanan: variabel yang menyimpan struktur data pesanan.</li><li>pesanan_id: menyimpan ID pesanan.</li><li>nama_cabang: menyimpan nama cabang Kopi Nusantara.</li><li>nama_menu: menyimpan nama menu yang dipesan.</li><li>qty: menyimpan jumlah menu yang dipesan.</li><li>harga_satuan: menyimpan harga satuan menu.</li><li>waktu_pesan: menyimpan waktu terjadinya pemesanan.</li><li>folder_tugas: menentukan nama folder sumber data streaming.</li><li>shutil.rmtree(): menghapus folder lama jika sudah ada.</li><li>os.makedirs(): membuat folder baru.</li><li>spark.readStream: membaca data menggunakan metode streaming.</li><li>.format(“csv”): menentukan format data CSV.</li><li>.schema(skema_pesanan): menggunakan skema yang sudah dibuat.</li><li>.option(“header”, True): menentukan bahwa baris pertama merupakan nama kolom.</li><li>.load(folder_tugas): menentukan folder yang dipantau oleh Spark.</li><li>df_stream.isStreaming: memeriksa apakah DataFrame merupakan streaming.</li></ul><h4>B. Agregasi per Cabang</h4><p>Tambahkan kolom turunan total_harga (qty x harga_satuan) pada df_stream, lalu buat agregasi groupBy(“nama_cabang”) yang menghitung total total_harga dan jumlah pesanan. Jalankan sebagai streaming query dengan sink memory, queryName=”agregasi_cabang”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/879/1*nJen0R2K-drE_arC4K1JBg.png" /></figure><p>Penjelasan kode :</p><ul><li>col: digunakan untuk mengakses kolom DataFrame.</li><li>spark_sum: digunakan untuk menghitung total nilai.</li><li>count: digunakan untuk menghitung jumlah data.</li><li>df_stream.withColumn(): menambahkan kolom baru ke dalam DataFrame.</li><li>“total_harga”: nama kolom baru yang dibuat.</li><li>col(“qty”): mengambil nilai jumlah pesanan.</li><li>col(“harga_satuan”): mengambil nilai harga satuan.</li><li>col(“qty”) * col(“harga_satuan”): menghitung total harga setiap pesanan.</li><li>df_stream_total.groupBy(“nama_cabang”): mengelompokkan data berdasarkan nama cabang.</li><li>spark_sum(“total_harga”): menghitung total pendapatan setiap cabang.</li><li>.alias(“total_pendapatan”): memberikan nama pada hasil penjumlahan.</li><li>count(“pesanan_id”): menghitung jumlah pesanan berdasarkan ID.</li><li>.alias(“jumlah_pesanan”): memberikan nama pada hasil perhitungan jumlah pesanan.</li><li>writeStream: menentukan proses penyimpanan hasil streaming.</li><li>.outputMode(“complete”): menampilkan seluruh hasil agregasi terbaru.</li><li>.format(“memory”): menyimpan hasil sementara di memori.</li><li>.queryName(“agregasi_cabang”): memberikan nama tabel sementara.</li><li>.start(): menjalankan streaming query pertama.</li></ul><h4>C. Agregasi Berbasis Window Waktu</h4><p>Buat streaming query kedua (definisikan ulang readStream dari folder yang sama, ini diperbolehkan — satu sumber data dapat dibaca oleh lebih dari satu streaming query sekaligus) yang mengelompokkan total total_harga berdasarkan window waktu 2 menit dari kolom waktu_pesan. Gunakan sink memory, queryName=”agregasi_waktu”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/896/1*_j6NRUKyVCFkeBNAIYou2g.png" /></figure><p>Penjelasan kode :</p><ul><li>spark.readStream: membaca kembali data streaming dari folder yang sama.</li><li>.schema(skema_pesanan): menggunakan struktur data pesanan yang sudah dibuat.</li><li>.load(folder_tugas): mengambil data dari folder tugas10_stream.</li><li>withColumn(“total_harga”, …): menambahkan kolom total harga.</li><li>col(“qty”) * col(“harga_satuan”): menghitung total harga pesanan.</li><li>groupBy(): mengelompokkan data berdasarkan window waktu.</li><li>window(col(“waktu_pesan”), “2 minutes”): mengelompokkan transaksi berdasarkan rentang waktu dua menit.</li><li>spark_sum(“total_harga”): menghitung total pendapatan dalam setiap kelompok waktu.</li><li>.alias(“total_pendapatan”): memberikan nama pada hasil agregasi.</li><li>.outputMode(“complete”): menampilkan seluruh hasil agregasi terbaru.</li><li>.format(“memory”): menyimpan hasil sementara di memori.</li><li>.queryName(“agregasi_waktu”): memberikan nama tabel sementara.</li><li>.start(): menjalankan streaming query kedua.</li></ul><h4>D. Menguji dengan Data Simulasi</h4><p>Kirim minimal 3 batch data (masing-masing batch berupa satu berkas CSV baru dengan jeda time.sleep() di antaranya) ke folder tugas10_stream, dengan kombinasi nama_cabang yang bervariasi. Setelah setiap batch, tampilkan hasil agregasi_cabang untuk membuktikan angka totalnya terus terakumulasi dengan benar.</p><p><strong>Batch 1</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/902/1*wG0sVDx-lYajxiLJA3UAbA.png" /></figure><p>Penjelasan kode :</p><ul><li>pd.DataFrame(): membuat data pesanan menggunakan Pandas.</li><li>pesanan_id: menyimpan ID pesanan.</li><li>nama_cabang: menyimpan nama cabang.</li><li>nama_menu: menyimpan menu yang dipesan.</li><li>qty: menyimpan jumlah pesanan.</li><li>harga_satuan: menyimpan harga satuan menu.</li><li>waktu_pesan: menyimpan waktu terjadinya pesanan.</li><li>.to_csv(): menyimpan data menjadi file CSV pertama.</li><li>time.sleep(8): memberikan jeda selama 8 detik agar Spark memproses data.</li><li>spark.sql(): mengambil hasil agregasi dari tabel sementara.</li><li>ORDER BY total_pendapatan DESC: mengurutkan cabang berdasarkan total pendapatan terbesar.</li><li>.show(truncate=False ): menampilkan hasil agregasi secara utuh dan tidak terpotong.</li></ul><p><strong>Batch 2</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/902/1*moEpXpYhKUoVcIjQj27F6Q.png" /></figure><p>Penjelasan kode :</p><ul><li>pd.DataFrame(): membuat data transaksi batch kedua.</li><li>P4 dan P5: merupakan ID pesanan baru.</li><li>nama_cabang: berisi nama cabang.</li><li>qty: menunjukkan jumlah menu yang dipesan.</li><li>harga_satuan: menunjukkan harga masing-masing menu.</li><li>waktu_pesan: menunjukkan waktu pesanan masuk.</li><li>.to_csv(): menyimpan data menjadi file batch_2.csv.</li><li>time.sleep(8): memberikan waktu kepada Spark untuk memproses data baru.</li><li>spark.sql(): menampilkan hasil agregasi terbaru.</li></ul><p><strong>Batch 3</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/902/1*SmXi38LsWhUi-KT5BxPvqg.png" /></figure><p>Penjelasan kode :</p><ul><li>pd.DataFrame(): membuat data pesanan batch ketiga.</li><li>pesanan_id: berisi ID pesanan P7, P8, dan P9.</li><li>nama_cabang: berisi nama cabang.</li><li>nama_menu: berisi nama menu yang dipesan.</li><li>qty: menunjukkan jumlah menu yang dibeli.</li><li>harga_satuan: menunjukkan harga setiap menu.</li><li>waktu_pesan: menunjukkan waktu pesanan masuk.</li><li>.to_csv(): menyimpan data menjadi file batch_3.csv.</li><li>time.sleep(8): memberikan waktu kepada Spark untuk membaca dan memproses data.</li><li>spark.sql(): menampilkan hasil agregasi seluruh batch yang sudah diproses.</li></ul><p>Berdasarkan hasil pengujian, Spark berhasil membaca tiga batch data secara bertahap. Setiap kali file CSV baru dimasukkan, total pendapatan dan jumlah pesanan pada masing-masing cabang mengalami pembaruan.</p><h4>E. Sink Berbasis Berkas (Tantangan)</h4><p>Selain memory sink, Structured Streaming juga mendukung menulis hasil DataFrame mentah (bukan hasil agregasi) ke berkas secara berkelanjutan. Buat streaming query ketiga yang membaca dari df_stream, lalu menuliskannya (tanpa agregasi apa pun, cukup data mentahnya) ke folder lokal tugas10_output dalam format Parquet.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/916/1*4-bSXTHoDl1KEs0X6YSEuw.png" /></figure><p>Penjelasan kode :</p><ul><li>shutil.rmtree(): menghapus folder direktori output dan checkpoint lama agar bersih sebelum streaming dijalankan.</li><li>df_stream.writeStream: menyiapkan konfigurasi untuk menulis hasil data streaming keluar.</li><li>.format(“parquet”): menentukan format penyimpanan data keluaran menjadi file Parquet.</li><li>.option(“path”): menentukan direktori folder tujuan untuk menyimpan hasil data streaming.</li><li>.option(“checkpointLocation”): menentukan folder penyimpanan data checkpoint untuk pemulihan status streaming.</li><li>.outputMode(“append”): mode keluaran untuk menambahkan data baru yang masuk ke dalam sink.</li><li>.start(): menjalankan proses eksekusi kueri streaming secara asinkron.</li><li>print(): menampilkan pesan teks ke konsol bahwa proses streaming Parquet telah aktif.</li></ul><p><strong>Mengirim Batch Baru untuk File Sink</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/922/1*Wv-c0gNupEtwGIyt4fbmAA.png" /></figure><p>Penjelasan kode :</p><ul><li>pd.DataFrame(): membuat dua data pesanan baru.</li><li>pesanan_id: berisi ID pesanan P9 dan P10.</li><li>nama_cabang: berisi cabang Magelang dan Solo.</li><li>nama_menu: berisi nama menu yang dipesan.</li><li>qty: menunjukkan jumlah pesanan.</li><li>harga_satuan: menunjukkan harga setiap menu.</li><li>waktu_pesan: menunjukkan waktu transaksi.</li><li>.to_csv(): menyimpan data menjadi file batch_4.csv.</li><li>time.sleep(10): memberikan waktu selama 10 detik agar Spark memproses data dan menyimpannya ke dalam format Parquet.</li></ul><p><strong>Memeriksa File Parquet</strong></p><ul><li>!ls: menjalankan perintah terminal untuk menampilkan isi folder.</li><li>tugas10_output: folder yang digunakan sebagai tempat penyimpanan hasil streaming.</li></ul><p><strong>Membaca Kembali Data Parquet</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/902/1*bAt0kE9MLdpThLfMJnCtow.png" /></figure><p>Penjelasan kode :</p><ul><li>spark.read.parquet(): membaca data dari folder yang memiliki format Parquet.</li><li>“tugas10_output”: menentukan lokasi penyimpanan data.</li><li>df_hasil_parquet: variabel untuk menyimpan DataFrame hasil pembacaan.</li><li>.show(Truncate=False): menampilkan isi tabel DataFrame secara utuh tanpa terpotong (truncate).</li><li>df_parquet.count(): menghitung dan mengembalikan total jumlah baris data yang tersimpan di dalam file Parquet</li></ul><h4>Menghentikan Seluruh Streaming Query</h4><p>Setelah seluruh bagian tugas selesai, semua streaming query harus dihentikan agar tidak terus berjalan dan menggunakan sumber daya komputer.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/913/1*JpdJLmXjBLn4uOL8Kmjddg.png" /></figure><p>Penjelasan kode :</p><ul><li>query_cabang.stop(): menghentikan streaming query agregasi per cabang.</li><li>query_waktu.stop(): menghentikan streaming query agregasi window waktu.</li><li>query_sink.stop(): menghentikan streaming query penyimpanan Parquet.</li><li>spark.stop(): menutup SparkSession.</li><li>print(): menampilkan pesan bahwa seluruh proses sudah dihentikan.</li></ul><h3>6. Kesimpulan</h3><p>Spark Structured Streaming merupakan fitur Apache Spark yang digunakan untuk mengolah data secara terus-menerus ketika data baru masuk. Pemrosesan data dilakukan secara bertahap menggunakan konsep micro-batch, sehingga hasil pengolahan dapat diperbarui secara otomatis. Data dibaca menggunakan readStream dengan struktur yang ditentukan melalui StructType, kemudian diolah menggunakan fungsi agregasi seperti sum(), count(), dan avg(). Selain itu, terdapat Window Aggregation untuk mengelompokkan data berdasarkan rentang waktu tertentu. Hasil pengolahan dapat ditampilkan menggunakan Memory Sink atau disimpan ke dalam file menggunakan File Sink dengan format Parquet. Konsep ini dapat diterapkan dalam pemantauan transaksi, penjualan, dan aktivitas lainnya yang membutuhkan pengolahan data secara berkelanjutan.</p><h3>7. Github</h3><p><a href="https://github.com/zuyinamirkham/Big-Data/tree/main/pertemuan10">Big-Data/pertemuan10 at main · zuyinamirkham/Big-Data</a></p><h3>8. Referensi</h3><p>Pertemuan 10 — Pemrosesan Data Streaming dengan Spark Structured Streaming, Praktikum Big Data, Program Studi Teknologi Informasi — Universitas Tidar</p><p><a href="https://learn.microsoft.com/id-id/azure/hdinsight/spark/apache-spark-structured-streaming-overview">https://learn.microsoft.com/id-id/azure/hdinsight/spark/apache-spark-structured-streaming-overview</a></p><p><a href="https://dqlab.id/ini-cara-kerja-apache-spark-untuk-data-engineer">Ini Cara Kerja Apache Spark untuk Data Engineer</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=0d4ecbdec5e3" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Memahami Kontrak Abstraksi Objek Implementasi Interface dalam Pemrograman Berorientasi Objek]]></title>
            <link>https://medium.com/@irhamzuyina/memahami-kontrak-abstraksi-objek-implementasi-interface-dalam-pemrograman-berorientasi-objek-32822126a775?source=rss-fa2236c19721------2</link>
            <guid isPermaLink="false">https://medium.com/p/32822126a775</guid>
            <dc:creator><![CDATA[Zuyina M. Irkham]]></dc:creator>
            <pubDate>Tue, 10 Nov 2026 12:32:19 GMT</pubDate>
            <atom:updated>2026-11-10T12:32:19.402Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*z_GhYRlZXYPZ-ra2cI1M-w.jpeg" /></figure><h3>1.Pendahuluan</h3><p>Dalam pengembangan perangkat lunak berskala besar, banyak kelas yang berbeda sering kali harus melakukan hal yang sama dengan cara yang berbeda. Di sinilah konsep Interface atau antarmuka berperan penting dalam Pemrograman Berorientasi Objek. Interface bertindak sebagai sebuah standar atau “kontrak kerja” yang memastikan bahwa berbagai kelas yang tidak saling berhubungan tetap memiliki keseragaman dalam penamaan metode atau fungsi. Dengan menggunakan interface, pengembang dapat mendefinisikan apa saja tugas yang harus dikerjakan oleh sebuah objek tanpa harus memikirkan bagaimana detail cara objek tersebut menyelesaikannya. Hal ini menjadikan kode program jauh lebih fleksibel, terstruktur, mudah dikembangkan, serta konsisten meskipun diterapkan pada komponen sistem yang sangat beragam.</p><h3>2.Dasar Teori</h3><h4>2.1 Pengertian Interface</h4><p>Interface merupakan bentuk kontrak dalam pemrograman berorientasi objek yang digunakan untuk mendefinisikan metode tanpa memberikan implementasi secara langsung. Artinya, interface hanya menentukan metode apa saja yang harus dimiliki oleh sebuah kelas, sedangkan isi atau proses dari metode tersebut dibuat oleh kelas yang mengimplementasikannya.</p><p>Dalam Java, interface dibuat menggunakan keyword interface. Metode yang dideklarasikan dalam interface secara default bersifat public dan abstract, sedangkan variabelnya bersifat public, static, dan final.</p><h4>2.2 Mengimplementasikan Interface</h4><p>Mengimplementasikan interface adalah proses menggunakan interface ke dalam sebuah kelas dengan keyword implements.</p><p>Kelas yang mengimplementasikan interface harus menyediakan isi dari semua metode yang telah dideklarasikan di dalam interface tersebut. Dengan demikian, setiap kelas dapat memiliki metode yang sama, tetapi proses pengerjaannya bisa berbeda.</p><h4>2.3 Inheritance pada Interface</h4><p>Inheritance pada interface merupakan proses pewarisan satu interface kepada interface lainnya menggunakan keyword extends.</p><p>Dengan konsep ini, sebuah interface dapat mewarisi metode dari interface lain. Hal tersebut memungkinkan interface baru memiliki kumpulan metode yang lebih lengkap tanpa harus mendeklarasikan ulang semua metode yang sudah tersedia.</p><h4>2.4 Implementasi Multiple Interface</h4><p>Multiple interface merupakan kemampuan sebuah kelas untuk mengimplementasikan lebih dari satu interface sekaligus.</p><p>Dengan cara ini, satu kelas dapat memiliki beberapa kemampuan atau fungsi yang berasal dari interface berbeda. Jika sebuah kelas juga mewarisi kelas lain, penulisan keyword extends harus dilakukan terlebih dahulu sebelum implements.</p><h4>2.5 Kegunaan Interface</h4><p>Interface digunakan untuk memberikan aturan atau kontrak yang harus dipenuhi oleh kelas yang mengimplementasikannya. Dengan adanya interface, beberapa kelas dapat menggunakan metode dengan nama dan bentuk yang sama, tetapi memiliki cara kerja yang berbeda.</p><p>Interface juga membantu membuat program lebih fleksibel, memudahkan pengembangan aplikasi, serta menjaga agar struktur program tetap konsisten.</p><h4>2.6 Karakteristik Interface</h4><p>Beberapa karakteristik interface dalam Java adalah:<br>1. Deklarasi metode tanpa implementasi: Interface mendefinisikan metode, sedangkan isi metode dibuat oleh kelas yang mengimplementasikannya.<br>2. Multiple inheritance: Sebuah kelas dapat mengimplementasikan lebih dari satu interface.<br>3. Keyword implements: Digunakan oleh kelas untuk mengimplementasikan interface.<br>4. Kontrak metode: Kelas yang mengimplementasikan interface harus memenuhi metode yang sudah ditentukan.</p><h4>2.7 Perbedaan Interface dan kelas abstrak</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/781/1*Bgu7Hs-tBXvapb93WkAxVg.png" /></figure><h3>3.Praktikum</h3><h4>3.1 Membuka aplikasi NetBeans</h4><p>Langkah pertama adalah membuka aplikasi NetBeans yang sudah terinstal pada komputer. NetBeans digunakan untuk membuat, mengedit, dan menjalankan program Java. Tujuan untuk Menyiapkan aplikasi yang akan digunakan untuk membuat program interface.</p><h4>3.2 Membuat proyek baru dan package baru</h4><p>Membuat tempat penyimpanan seluruh file program yang akan digunakan selama praktikum dan mengelompokkan beberapa class dan interface agar susunan program lebih rapi dan mudah dikelola.</p><p>Buat proyek baru dengan memilih menu New Project, kemudian tentukan nama proyek menjadi PraktikumPBO_10.Setelah proyek berhasil dibuat, buat package baru dengan nama praktikum10.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/737/1*ZzqFXBCdjttck_nG0kPVyQ.png" /></figure><h4>3.3 Membuat dan Mengimplementasikan Interface</h4><p>Langkah selanjutnya , membuat sebuah interface bernama OperasiHitung yang memiliki satu metode yaitu hitung(int a, int b). Selanjutnya, interface tersebut akan digunakan oleh dua kelas, yaitu Penjumlahan dan Pengurangan.</p><p>A. Membuat Interface OperasiHitung</p><p>Membuat interface yang berfungsi sebagai aturan atau kontrak bagi kelas yang ingin melakukan operasi perhitungan. Interface ini menentukan bahwa kelas yang mengimplementasikannya harus memiliki metode hitung() dengan dua parameter bertipe integer.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/368/1*TBrSLwCL1tGXyc0GQXebVw.png" /></figure><p>Penjelasan kode :</p><ul><li>public interface OperasiHitung : Membuat interface dengan nama OperasiHitung yang dapat diakses dari kelas lain.</li><li>int hitung(int a, int b) : Mendeklarasikan metode bernama hitung yang memiliki dua parameter, yaitu a dan b, dengan tipe data integer.</li><li>int : Menentukan bahwa metode akan mengembalikan nilai berupa bilangan bulat.</li><li>a, b : Variabel yang digunakan untuk menampung dua angka yang akan dihitung.</li></ul><p>B. Membuat Kelas Penjumlahan</p><p>Membuat kelas Penjumlahan yang mengimplementasikan interface OperasiHitung. Kelas ini bertugas menjalankan operasi penjumlahan dari dua angka yang diberikan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/1*bGsTx1GDk7pluCA9PAFjwA.png" /></figure><p>Penjelasan kode :</p><ul><li>public class Penjumlahan : Membuat kelas publik dengan nama Penjumlahan.</li><li>implements OperasiHitung : Menunjukkan bahwa kelas Penjumlahan menggunakan interface OperasiHitung.</li><li><a href="http://twitter.com/Override">@Override</a> : Menandakan bahwa metode hitung() merupakan implementasi dari metode yang sudah dideklarasikan dalam interface.</li><li>public int hitung(int a, int b) : Membuat metode hitung() dengan dua parameter bertipe integer dan menghasilkan nilai integer.</li><li>return a + b : Melakukan penjumlahan antara nilai a dan b, kemudian mengembalikan hasilnya.</li></ul><p>C. Membuat Kelas Pengurangan</p><p>Membuat kelas Pengurangan yang juga mengimplementasikan interface OperasiHitung. Kelas ini digunakan untuk melakukan operasi pengurangan terhadap dua angka.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/523/1*veo7RLiAjTxtsE2h5s0k6A.png" /></figure><p>Penjelasan kode :</p><ul><li>public class Pengurangan : Membuat kelas publik dengan nama Pengurangan.</li><li>implements OperasiHitung : Menunjukkan bahwa kelas Pengurangan menggunakan interface OperasiHitung.</li><li><a href="http://twitter.com/Override">@Override</a> : Menandakan bahwa metode hitung() merupakan implementasi dari metode yang ada pada interface.</li><li>public int hitung(int a, int b) : Membuat metode hitung() dengan dua parameter bertipe integer.</li><li>return a — b : Melakukan pengurangan antara nilai a dan b, kemudian mengembalikan hasilnya.</li></ul><blockquote>Strukturnya sama persis dengan Penjumlahan. Hanya isinya yang berbeda (a — b). Inilah inti interface, yaitu bentuk sama, perilaku beda.</blockquote><p>D. Membuat Kelas Main</p><p>Membuat kelas utama yang digunakan untuk menjalankan program. Pada kelas ini, dibuat objek dari kelas Penjumlahan dan Pengurangan, kemudian memanggil metode hitung() untuk menampilkan hasil perhitungan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/676/1*1V5VknoUxK5sN4UaZqzAhA.png" /></figure><p>Penjelasan kode :</p><ul><li>public class Main : Membuat kelas utama dengan nama Main.</li><li>public static void main(String[] args) : Merupakan metode utama yang pertama kali dijalankan ketika program dimulai.</li><li>OperasiHitung penjumlahan = new Penjumlahan() : Membuat objek Penjumlahan dengan tipe referensi OperasiHitung.</li><li>new Penjumlahan() : Membuat objek baru dari kelas Penjumlahan.</li><li>System.out.println() : Digunakan untuk menampilkan hasil ke layar.</li><li>“Penjumlahan: “ : Teks yang ditampilkan sebelum hasil perhitungan.</li><li>penjumlahan.hitung(10, 5) : Memanggil metode hitung() dari objek penjumlahan dengan angka 10 dan 5.</li><li>OperasiHitung pengurangan = new Pengurangan() : Membuat objek dari kelas Pengurangan menggunakan tipe referensi OperasiHitung.</li><li>pengurangan.hitung(10, 5) : Memanggil metode hitung() untuk melakukan pengurangan angka 10 dengan 5.</li></ul><p>E. Output</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/650/1*y9lcCtpdNO6lE9FlvYik5g.png" /></figure><p>Program ini menunjukkan bahwa satu interface dapat digunakan oleh beberapa kelas dengan fungsi yang berbeda. Meskipun keduanya menggunakan metode hitung(), hasil yang diberikan bergantung pada implementasi masing-masing kelas.</p><h3>4. Tugas</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/712/1*A6qwWmZZctCneCvxJcv3xQ.png" /></figure><p>A. Membuat Interface Pembayaran</p><p>Membuat interface Pembayaran sebagai aturan dasar yang harus digunakan oleh kelas Elektronik dan Makanan. Interface ini menentukan bahwa setiap kelas harus memiliki metode untuk menghitung pajak berdasarkan harga produk.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/405/1*tyPVZNweR0KRHgN_RM-XFQ.png" /></figure><p>Penjelasan kode :</p><ul><li>public interface Pembayaran : Membuat interface dengan nama Pembayaran.</li><li>double hitungPajak(double harga) : Mendeklarasikan metode untuk menghitung pajak dengan parameter harga bertipe double.</li><li>double : Tipe data yang digunakan untuk menyimpan angka desimal, sehingga hasil perhitungan pajak bisa memiliki nilai pecahan.</li></ul><p>B. Membuat Kelas Elektronik</p><p>Membuat kelas Elektronik yang mengimplementasikan interface Pembayaran. Kelas ini digunakan untuk menghitung pajak produk elektronik sebesar 10% dari harga produk.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/494/1*jXP4gzDVzBsQb3LKSrgcdw.png" /></figure><p>Penjelasan kode :</p><ul><li>public class Elektronik : Membuat kelas publik dengan nama Elektronik.</li><li>implements Pembayaran : Menunjukkan bahwa kelas Elektronik menggunakan interface Pembayaran.</li><li><a href="http://twitter.com/Override">@Override</a> : Menandakan bahwa metode hitungPajak() merupakan implementasi dari metode yang ada pada interface.</li><li>public double hitungPajak(double harga) : Membuat metode untuk menghitung pajak dengan parameter harga bertipe double.</li><li>return harga * 0.10 : Menghitung pajak sebesar 10% dari harga produk, kemudian mengembalikan hasilnya.</li></ul><p>C. Membuat Kelas Makanan</p><p>Membuat kelas Makanan yang mengimplementasikan interface Pembayaran. Kelas ini digunakan untuk menghitung pajak produk makanan sebesar 5% dari harga produk.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/533/1*pzXu5-UZ4stJYsWDrVZdzA.png" /></figure><p>Penjelasan kode:</p><ul><li>public class Makanan : Membuat kelas publik dengan nama Makanan.</li><li>implements Pembayaran : Menunjukkan bahwa kelas Makanan menggunakan interface Pembayaran.</li><li><a href="http://twitter.com/Override">@Override</a> : Menandakan bahwa metode hitungPajak() merupakan implementasi dari metode yang sudah dideklarasikan pada interface.</li><li>public double hitungPajak(double harga) : Membuat metode untuk menghitung pajak berdasarkan harga produk.</li><li>return harga * 0.05 : Menghitung pajak sebesar 5% dari harga produk, kemudian mengembalikan hasilnya.</li></ul><p>D. Membuat Kelas Main</p><p>Membuat kelas utama untuk menjalankan program sistem pembayaran. Pada kelas ini dibuat objek Elektronik dan Makanan, kemudian menentukan harga masing-masing produk dan memanggil metode hitungPajak() untuk mendapatkan hasil perhitungan pajak.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5Lqeaqbd51DNPWSd5npI_w.png" /></figure><p>Penjelasan kode :</p><ul><li>public class Main : Membuat kelas utama dengan nama Main.</li><li>public static void main(String[] args) : Merupakan metode utama yang dijalankan pertama kali ketika program dieksekusi.</li><li>Pembayaran elektronik = new Elektronik() : Membuat objek elektronik menggunakan referensi interface Pembayaran.</li><li>String namaElektronik = “Laptop Advan” : Membuat variabel untuk menyimpan nama produk elektronik.</li><li>double hargaElektronik = 2000000 : Membuat variabel untuk menyimpan harga produk elektronik sebesar Rp2.000.000.</li><li>Pembayaran makanan = new Makanan() : Membuat objek makanan menggunakan referensi interface Pembayaran.</li><li>String namaMakanan = “Roti Croissant” : Membuat variabel untuk menyimpan nama produk makanan.</li><li>double hargaMakanan = 100000 : Membuat variabel untuk menyimpan harga produk makanan sebesar Rp100.000.</li><li>System.out.println() : Digunakan untuk menampilkan teks dan hasil perhitungan ke layar konsol.</li><li>elektronik.hitungPajak(hargaElektronik) : Memanggil metode perhitungan pajak 10% dari kelas Elektronik.</li><li>makanan.hitungPajak(hargaMakanan) : Memanggil metode perhitungan pajak 5% dari kelas Makanan.</li></ul><p>E. Output</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/401/1*G9yB1Xetclzk6vII61FZWQ.png" /></figure><p>Interface Pembayaran memungkinkan kelas Elektronik dan Makanan memiliki metode hitungPajak() yang sama namun dengan aturan hitung yang berbeda, yaitu 10% dan 5%. Hal ini membuktikan bahwa interface dapat menyeragamkan standar aturan tanpa menyamakan proses internal kelas, sehingga struktur program menjadi lebih rapi dan mudah dikembangkan untuk penambahan produk baru di masa mendatang.</p><h3>5. Kesimpulan</h3><p>Interface dalam Java adalah bentuk kontrak dalam pemrograman berorientasi objek yang mendefinisikan metode tanpa implementasi. Sebuah kelas yang mengimplementasikan interface wajib menyediakan logika kode untuk seluruh metode di dalamnya, di mana interface mendukung multiple inheritance sehingga satu kelas dapat menerapkan lebih dari satu interface sekaligus. Konsep ini memungkinkan berbagai kelas yang berbeda untuk memiliki standar metode yang sama namun dengan implementasi perilaku yang berbeda sesuai kebutuhan, sehingga kode program menjadi lebih fleksibel, konsisten, dan mudah dikembangkan.</p><h3>6. Github</h3><p><a href="https://github.com/zuyinamirkham/PB0_Zuyina_M_Irkham/tree/main/pertemuan10">https://github.com/zuyinamirkham/PB0_Zuyina_M_Irkham/tree/main/pertemuan10</a></p><h3>7. Referensi</h3><p>MODUL 10 — Interface, Imam Adi Nata, M.Kom, Program Studi Teknologi Informasi, Universitas Tidar.</p><ul><li><a href="https://www.geeksforgeeks.org/java/interfaces-in-java/">Java Interface - GeeksforGeeks</a></li><li><a href="https://www.petanikode.com/java-oop-interface/">Tutorial Java OOP: Memahami Interface di Java (dan Contohnya)</a></li><li><a href="https://blog.rosihanari.net/konsep-interface-dan-implementasinya-di-java/">Konsep Interface dan Implementasinya di Java</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=32822126a775" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Setup dan Konfigurasi MikroTik]]></title>
            <link>https://medium.com/@irhamzuyina/setup-dan-konfigurasi-mikrotik-6dbec5b6d739?source=rss-fa2236c19721------2</link>
            <guid isPermaLink="false">https://medium.com/p/6dbec5b6d739</guid>
            <dc:creator><![CDATA[Zuyina M. Irkham]]></dc:creator>
            <pubDate>Sat, 07 Nov 2026 11:51:44 GMT</pubDate>
            <atom:updated>2026-11-07T11:51:44.388Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fhBYfI6HyDYHq-5mVbVe_g.jpeg" /></figure><h3>1.Pendahuluan</h3><p>Perkembangan teknologi jaringan komputer menuntut pemahaman dan keterampilan praktis dalam membangun serta mengelola infrastruktur jaringan. MikroTik sebagai perangkat router berbasis sistem operasi RouterOS telah banyak digunakan secara luas dalam dunia industri maupun pendidikan karena keandalan dan fleksibilitasnya. Melalui perangkat keras seperti MikroTik RB951 dan aplikasi manajemen grafis WinBox, administrator jaringan dapat melakukan konfigurasi perangkat dengan lebih mudah dan efisien. Oleh karena itu, pemahaman mendasar mengenai pengenalan perangkat, akses antarmuka sistem, serta konfigurasi alamat IP dasar menjadi tahapan krusial sebelum mengelola jaringan komputer yang lebih kompleks.</p><h3>2. DASAR TEORI</h3><h4>2.1 Pengertian Mikrotik</h4><p>Mikrotik merupakan sistem operasi berbasis Linux yang dikembangkan oleh perusahaan MikroTikls SIA yang berpusat di Riga, Latvia. Mikrotik digunakan untuk keperluan manajemen jaringan komputer, khususnya pada perangkat router.</p><p>Mikrotik memiliki dua produk utama, yaitu RouterOS dan RouterBoard. RouterOS merupakan sistem operasi yang menyediakan berbagai fitur jaringan, seperti routing, firewall, bandwidth management, hotspot, VPN, dan routing dinamis. Sementara itu, RouterBoard merupakan perangkat keras yang dirancang khusus untuk menjalankan RouterOS sehingga dapat digunakan sebagai perangkat router.</p><p>Mikrotik banyak digunakan dalam bidang pendidikan, bisnis, dan penyedia layanan internet karena memiliki konfigurasi yang fleksibel, mudah digunakan, serta harga yang relatif terjangkau.</p><h4>2.2 Komponen Utama Mikrotik</h4><p>Komponen utama Mikrotik terdiri dari beberapa bagian, yaitu:</p><h4>A. RouterOS</h4><p>RouterOS merupakan sistem operasi utama yang digunakan pada perangkat Mikrotik. RouterOS menyediakan berbagai fitur untuk mengatur dan mengelola jaringan komputer, di antaranya:</p><ul><li>Routing: Mengatur jalur pengiriman data antarjaringan.</li><li>Firewall dan NAT: Mengatur keamanan serta lalu lintas data jaringan.</li><li>QoS (Quality of Service): Mengatur kualitas layanan dan pembagian bandwidth.</li><li>Hotspot Management: Mengelola akses pengguna ke jaringan melalui proses autentikasi.</li><li>VPN (Virtual Private Network): Menghubungkan jaringan secara aman melalui internet.</li><li>Monitoring dan Logging: Memantau aktivitas serta mencatat informasi jaringan.</li></ul><h4>B. RouterBoard (RB)</h4><p>RouterBoard merupakan perangkat keras atau hardware yang berfungsi sebagai tempat menjalankan sistem operasi RouterOS. RouterBoard memiliki beberapa tipe, salah satunya RB951 yang digunakan dalam kegiatan praktikum. Perangkat ini memiliki beberapa port Ethernet dan fitur wireless untuk mendukung kebutuhan jaringan.</p><h4>C. Winbox</h4><p>Winbox merupakan aplikasi berbasis GUI (Graphical User Interface) yang digunakan untuk melakukan konfigurasi perangkat Mikrotik melalui jaringan lokal. Aplikasi ini memudahkan pengguna dalam mengatur Mikrotik tanpa harus menggunakan perintah Command Line Interface (CLI).</p><p>Fungsi Winbox antara lain:</p><ul><li>Menghubungkan komputer dengan Mikrotik menggunakan MAC Address atau IP Address.</li><li>Melihat dan mengubah konfigurasi router.</li><li>Mengatur IP Address, routing, wireless, dan firewall.</li><li>Melakukan backup dan restore konfigurasi.</li><li>Memantau lalu lintas jaringan secara langsung atau real-time.</li></ul><h4>2.3 Peran Mikrotik dalam Jaringan</h4><p>Mikrotik berperan sebagai pusat pengendali lalu lintas data dalam jaringan komputer. Beberapa fungsi Mikrotik antara lain:</p><h4>A.Routing</h4><p>Routing berfungsi menentukan jalur yang digunakan untuk mengirimkan data dari satu jaringan ke jaringan lainnya agar sampai ke tujuan.</p><h4>B.Firewall dan Keamanan</h4><p>Firewall digunakan untuk mengontrol lalu lintas data yang masuk dan keluar jaringan. Fitur ini dapat digunakan untuk memblokir IP tertentu dan mengatur akses jaringan.</p><h4>C.Bandwidth Management</h4><p>Berfungsi mengatur dan membagi kecepatan internet kepada pengguna agar penggunaan bandwidth lebih terkontrol dan merata.</p><h4>D.DHCP Server</h4><p>Berfungsi memberikan alamat IP secara otomatis kepada perangkat yang terhubung ke jaringan sehingga pengguna tidak perlu mengatur IP secara manual.</p><h4>E.Hotspot Server</h4><p>Berfungsi menyediakan sistem autentikasi pengguna sebelum dapat mengakses jaringan internet. Biasanya digunakan pada jaringan kampus, sekolah, dan kafe.</p><h4>F.VPN (Virtual Private Network)</h4><p>Berfungsi menghubungkan dua atau lebih jaringan yang berjauhan secara aman melalui internet.</p><h4>2.4 Mikrotik RB951</h4><p>Mikrotik RB951 merupakan salah satu seri RouterBoard yang digunakan untuk kebutuhan pengelolaan jaringan, khususnya dalam kegiatan pembelajaran dan praktikum jaringan komputer.</p><p>Beberapa bagian dan spesifikasi yang terdapat pada Mikrotik RB951 adalah:</p><ul><li>Memiliki 5 port Ethernet, yaitu Ether1 sampai Ether5.</li><li>Memiliki wireless interface dengan frekuensi 2,4 GHz.</li><li>Memiliki CPU dan RAM internal untuk mendukung proses pengelolaan jaringan.</li></ul><p>Mikrotik RB951 dapat digunakan untuk simulasi jaringan dasar, konfigurasi DHCP, NAT, hotspot, dan routing. Perangkat ini cocok digunakan untuk mempelajari dasar-dasar konfigurasi jaringan komputer.</p><h3>3.Praktikum</h3><h4>3.1 Topologi dan Persiapan Fisik</h4><p>Pada tahap ini, PC digunakan sebagai perangkat untuk mengakses dan mengatur Mikrotik. Kabel UTP berfungsi menghubungkan laptop dengan router, sedangkan adaptor digunakan untuk memberikan daya pada Mikrotik. Setelah semua perangkat terhubung, Mikrotik siap diakses melalui aplikasi Winbox.</p><p>Alat dan bahan yang digunakan pada praktikum kali ini adalah</p><p>1 unit Router MikroTik RB951 dan 1 unit adaptor daya 12V untuk menghidupkan Router.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/963/1*7ATIVYTKBunvOFQQfNVgVw.jpeg" /></figure><p>1 kabel UTP Straight-Through.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/963/1*6BPuXlQrrRfO41-z7SiJjQ.jpeg" /></figure><p>Langkah selanjutnya yaitu menghubungkan adaptor daya ke soket daya MikroTik RB951 hingga lampu indikator LED menyala.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/963/1*wSDm75jVv0tGGJGaf4Pydw.jpeg" /></figure><p>Jika sudah lalu hubungkan salah satu ujung kabel UTP ke port Ether1 pada MikroTik RB951, dan ujung lainnya ke port LAN pada PC administrator.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/963/1*bWy4nKpplUGi7XBSgtV6Qw.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/963/1*KhboilMBCc-lF42NRPzx2w.jpeg" /></figure><h4>3.2 Menjalankan Aplikasi Winbox</h4><p>Winbox merupakan aplikasi yang digunakan untuk mengakses dan melakukan konfigurasi perangkat Mikrotik melalui tampilan grafis.</p><p>Siapkan aplikasi Winbox pada PC, jika belum ada maka unduh dahulu melalui browser atau lewat link berikut <a href="https://mikrotik.com/download/winbox">https://mikrotik.com/download/winbox</a></p><p>Sesuaikan dengan OS pada PC atau perangkat yang digunakan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*exYS5tBhNZqaj8NUozfuAA.png" /></figure><p>Setelah di install maka tampilan awal aplikasi winbox nya seperti dibawah ini.</p><p>Pada tab Neighbors pada antarmuka awal Winbox. Aplikasi akan memindai jaringan lokal dan menampilkan perangkat MikroTik yang terhubung beserta informasi MAC Address, IP Address default, Identity, Version, dan Board name.</p><p>Klik pada baris MAC Address perangkat MikroTik yang terdeteksi, lalu klik tombol Connect untuk masuk ke dalam antarmuka pengoperasian RouterOS.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CHzAMcGJXW5MWzdGrmvBbQ.png" /></figure><h4>3.3 Mengenal antarmuka Winbox</h4><p>Antarmuka Winbox merupakan tampilan utama aplikasi yang menyediakan berbagai menu untuk mengatur dan mengelola konfigurasi Mikrotik.</p><p>3.3.1 Setelah berhasil login, perhatikan tampilan jendela utama Winbox.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1cxZjvtSFRpeHH1rTrY2uA.png" /></figure><p>3.3.2 Menu Interfaces digunakan untuk melihat seluruh interface yang tersedia pada perangkat Mikrotik, seperti Ether1 sampai Ether5 dan wireless.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gIm6Bdc19W2TKFZRB-BXxA.png" /></figure><p>3.3.3. Menu Quick Set digunakan untuk menampilkan pengaturan dasar jaringan dalam satu tampilan. Melalui menu ini, pengguna dapat mengenal beberapa pengaturan jaringan yang tersedia pada Mikrotik.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ZxQdNOkFWi_70ECBkzK8kA.png" /></figure><h3>3.4 Konfigurasi Identitas Router (Identity)</h3><p>Identity merupakan pengaturan yang digunakan untuk memberikan nama atau identitas pada perangkat Mikrotik agar lebih mudah dikenali.</p><p>Setelah berhasil login, buka menu System lalu klik Identity pada panel navigasi sebelah kiri Winbox.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/367/1*AYrfpfPI7pWv7Q6Dsg5-3A.png" /></figure><p>Ubah nama identitas router pada kotak dialog yang muncul. Jika sudah maka klik tombol Apply, kemudian OK. Identitas baru akan langsung ditampilkan pada judul jendela Winbox.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dmQX6RRheNWqoNffA41vaA.png" /></figure><p>Dengan memberikan identitas khusus, maka akan lebih mudah mengenali perangkat yang sedang dikonfigurasi ketika melakukan pengelolaan jaringan.</p><h4>3.5 Pengaturan User Login</h4><p>User Login merupakan pengaturan akun pengguna yang digunakan untuk memberikan hak akses kepada seseorang agar dapat masuk dan mengelola perangkat Mikrotik.</p><p>3.5.1 Langkah pertama masuk ke menu System lalu klik Users.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/367/1*AYrfpfPI7pWv7Q6Dsg5-3A.png" /></figure><p>3.5.2 Tambahkan pengguna baru dengan pengaturan baru contohnya seperti berikut:</p><p>Name: adminlab</p><p>Group: full</p><p>Password: praktikum123</p><p>Penjelasan:</p><ul><li>Bagian Name digunakan untuk menentukan nama pengguna,</li><li>Group digunakan untuk menentukan hak akses. Group full memberikan hak akses penuh kepada pengguna untuk melakukan konfigurasi Mikrotik.</li><li>Password digunakan sebagai kata sandi untuk masuk ke perangkat.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/490/1*1EF8-t7P-Yc76Kdw8kQX3w.png" /></figure><p>Setelah itu klik Apply lalu ok maka akun berhasil dibuat.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*7VAbycUUq8J_kk0BqoTjCA.png" /></figure><p>Coba lakukan Logout dan Login kembali menggunakan akun baru yang telah dibuat.</p><p>Klik pada identity yang tadi dibut lalu masukkan nama Users pada kolom Login dan password yang sesuai yang telah dibuat lalu klik tombol connect.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IXtYAHbJYI1pMGYvcIlLTw.png" /></figure><h4>3. 6 Melihat dan mengatur IP Address</h4><p>IP Address merupakan alamat numerik yang digunakan sebagai identitas perangkat dalam jaringan komputer. Setiap perangkat yang berkomunikasi dalam jaringan membutuhkan alamat IP agar dapat saling terhubung.</p><p>Buka menu IP lalu klik Addresses pada Winbox.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/349/1*xz5_rprE-LAOB1mNbJOCaQ.png" /></figure><p>Periksa dan catat alamat IP yang sudah tersedia pada Mikrotik.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/452/1*lIbpoV6u0lNHD03vdqjD3w.png" /></figure><p>Jika belum terdapat IP Address, tambahkan alamat IP secara manual, misalnya:</p><ul><li>Address: 192.168.10.1/24</li><li>Interface: ether1</li></ul><p>Pengaturan ini diperlukan agar Mikrotik memiliki alamat yang dapat digunakan untuk berkomunikasi dengan perangkat lain dalam jaringan yang sama.</p><h3>3.7 Pengujian Konektivitas Jaringan</h3><p>Uji koneksi merupakan proses untuk memastikan bahwa dua perangkat yang terhubung dalam jaringan dapat saling berkomunikasi. Salah satu cara yang digunakan adalah perintah ping.</p><p>Atur konfigurasi alamat IP pada PCadministrator secara manual (Static IP) agar berada dalam satu subnet yang sama dengan MikroTik:</p><ul><li>IP Address: 192.168.10.3</li><li>Subnet Mask: 255.255.255.0</li><li>Default Gateway: 192.168.10.1</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*npckeiCiwfKP5Hssf30B4g.png" /></figure><p>Lalu klik save maka konfigurasi IP nya akan berubah seperti berikut.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WH-fAgMnosBTu4rxAvR9Ag.png" /></figure><p>Setelah itu buka aplikasi Command Prompt (CMD) pada Windows dan jalankan pengujian konektivitas dengan mengetikkan perintah ping 192.168.10.1.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/784/1*_ADFG_eFsGAd79Dj2x61ug.png" /></figure><p>Jika muncul pesan Reply from 192.168.10.1, berarti komputer berhasil berkomunikasi dengan Mikrotik.</p><p>Sebaliknya, jika muncul pesan Request timed out, kemungkinan terdapat masalah pada koneksi kabel, konfigurasi IP Address, atau pengaturan jaringan sehingga perlu dilakukan pemeriksaan kembali.</p><h3>4.Hasil Praktikum</h3><p>Berdasarkan serangkaian langkah kerja pada praktikum diperoleh beberapa hasil konfigurasi sebagai berikut:</p><ul><li>Koneksi Perangkat: Berhasil menghubungkan PC/laptop ke router MikroTik RB951 menggunakan kabel Straight-Through melalui port ether1 dan mendeteksi perangkat melalui alamat MAC menggunakan aplikasi WinBox.</li><li>Identifikasi Port: Berhasil mengenali dan memetakan 5 port Ethernet (ether1 hingga ether5) serta interface nirkabel (wlan1) yang tersedia pada perangkat RB951.</li><li>Pengaturan Sistem: Berhasil mengubah identitas router (Identity) sesuai nama kelompok serta membuat akun pengguna baru (user login) dengan grup penuh untuk keamanan akses. Konfigurasi IP &amp; Uji</li><li>Koneksi: Berhasil menambahkan alamat IP manual pada interface router serta melakukan ping test dari komputer klien (subnet yang sama) ke MikroTik dengan hasil koneksi berhasil (Reply from… tanpa adanya packet loss).</li></ul><h3>5. Kesimpulan</h3><p>MikroTik adalah sistem operasi berbasis Linux (RouterOS) yang dijalankan pada perangkat keras siap pakai (RouterBoard) untuk manajemen jaringan komputer. MikroTik berfungsi sebagai pengendali lalu lintas data melalui fitur routing, firewall, bandwidth management, dan DHCP server. Seri RB951 merupakan salah satu perangkat populer yang dilengkapi port Ethernet dan modul wireless untuk skala kecil hingga menengah. Untuk memudahkan pengaturannya, digunakan WinBox, yaitu aplikasi berbasis antarmuka grafis (GUI) yang memungkinkan administrator mengonfigurasi perangkat, mengelola keamanan pengguna, dan memantau trafik jaringan secara real-time menggunakan alamat MAC atau IP.</p><h3>6. Referensi</h3><p>Modul Praktikum Jaringan Komputer ,Muhamad Maksum Hidayat, M.Kom, Program Studi Teknologi Informasi, Universitas Tidar.</p><ul><li><a href="https://www.ardakom.id/blog/mengenal-jaringan-mikrotik">Mikrotik: Pengertian, Fungsi, Jenis, Kelebihan &amp; Cara Setting</a></li><li><a href="https://www.idn.id/konfigurasi-dasar-mikrotik/">Konfigurasi Dasar MikroTik</a></li><li><a href="https://www.sekawanmedia.co.id/blog/mikrotik-adalah/">MikroTik: Pengertian, Fungsi, Kelebihan, dan Cara Setting</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6dbec5b6d739" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Basis Data NoSQL: Instalasi MongoDB & Integrasi dengan PySpark]]></title>
            <link>https://medium.com/@irhamzuyina/basis-data-nosql-instalasi-mongodb-integrasi-dengan-pyspark-cd91092a724c?source=rss-fa2236c19721------2</link>
            <guid isPermaLink="false">https://medium.com/p/cd91092a724c</guid>
            <dc:creator><![CDATA[Zuyina M. Irkham]]></dc:creator>
            <pubDate>Wed, 04 Nov 2026 06:31:35 GMT</pubDate>
            <atom:updated>2026-11-04T06:31:35.756Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Kbvj3YA0OMRehUqurqTVJw.jpeg" /></figure><h3>1.Pendahuluan</h3><p>MongoDB dan PySpark merupakan kombinasi ideal dalam ekosistem pengelolaan data modern. MongoDB berfungsi sebagai basis data fleksibel yang mampu menyimpan beragam struktur data dengan rapi, sementara PySpark hadir sebagai mesin pemrosesan berkecepatan tinggi untuk menganalisis data dalam skala besar. Melalui dukungan connector khusus, PySpark dapat langsung menarik data dari MongoDB, melakukan transformasi komputasi yang rumit, dan mengembalikan hasilnya secara efisien. Pendekatan ini tidak hanya memangkas waktu pemrosesan secara signifikan, tetapi juga memudahkan para pengembang dalam membangun alur kerja data (data pipeline) yang andal. Ketika fleksibilitas penyimpanan MongoDB bersatu dengan andalnya kemampuan komputasi PySpark, pemrosesan big data yang kompleks dapat berjalan secara lancar, efisien, dan terintegrasi.</p><h3>2.Dasar Teori</h3><h4>2.1 Konsep Basis Data NoSQL dan Perbedaannya dengan SQL</h4><p>Basis Data NoSQL (Not Only SQL) dirancang untuk menangani tantangan Big Data, khususnya terkait aspek Variety (keragaman format data). Pada sistem basis data relasional (SQL), data disimpan dalam bentuk tabel dengan skema kaku (fixed schema), di mana setiap kolom harus didefinisikan sejak awal. Sebaliknya, NoSQL menawarkan pendekatan penyimpanan data semi-terstruktur maupun tidak terstruktur dengan skema yang fleksibel (flexible schema).</p><p>Perbandingan keduannya:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/958/1*vIND9-NFxcQTVJPLy5siJA.png" /></figure><h4>2.2 MongoDB</h4><p>MongoDB merupakan salah satu basis data NoSQL bertipe document store yang menyimpan data dalam format BSON (Binary JSON).</p><p>Struktur data pada MongoDB terbagi menjadi dua komponen utama:</p><ul><li>Collection: Himpunan dokumen yang setara dengan konsep “tabel” pada SQL.</li><li>Document: Unit dasar penyimpanan data yang setara dengan “baris” pada SQL, tetapi berbentuk objek JSON dinamis.</li></ul><p>Karakteristik utama MongoDB meliputi:</p><ul><li>Skema Dinamis (Schema-less): Setiap dokumen dalam satu collection dapat memiliki struktur field yang berbeda-beda tanpa perlu membuat skema terlebih dahulu.</li><li>Manajemen Operasi CRUD: Pemrosesan data dapat dilakukan baik melalui Command-Line Interface (mongosh) maupun melalui driver resmi seperti PyMongo pada lingkungan Python.</li></ul><h4>2.3 PySpark</h4><p>PySpark adalah antarmuka Python (Python API) resmi untuk Apache Spark, yaitu kerangka kerja (framework) komputasi terdistribusi yang dirancang untuk pemrosesan big data secara cepat dan in-memory. PySpark memungkinkan pengembang memanfaatkan kemudahan bahasa Python untuk menjalankan analisis skala besar.</p><p>Karakteristik utama PySpark meliputi:</p><ul><li>Pemrosesan In-Memory: Memproses data langsung di dalam RAM sehingga jauh lebih cepat dibandingkan kerangka kerja pemrosesan berbasis disk.</li><li>Ekosistem Komputasi Terdistribusi: Membagi tugas komputasi ke dalam beberapa node (cluster) secara paralel untuk mempercepat komputasi big data.</li><li>Kompatibilitas Dataframe: Menyediakan abstraksi DataFrame yang memudahkan manipulasi, pembersihan, dan analisis data layaknya pada pustaka Pandas.</li></ul><h4>2.4 Integrasi MongoDB dengan PySpark</h4><p>Dalam arsitektur Big Data, MongoDB dan PySpark sering digunakan secara berdampingan. MongoDB berfungsi sebagai tempat penyimpanan data semi-terstruktur berakses cepat, sedangkan PySpark digunakan untuk analisis dan komputasi terdistribusi skala besar. Proses integrasi data dari MongoDB ke Spark DataFrame dapat dilakukan melalui pendekatan alur kerja berikut:</p><ul><li>Ekstraksi Data: Mengambil dokumen dari collection MongoDB menggunakan driver PyMongo menjadi bentuk struktur list of dictionaries Python.</li><li>Transformasi &amp; Penyesuaian Tipe Data: Mengonversi data ke Pandas DataFrame untuk menyesuaikan tipe data khusus MongoDB (seperti tipe objek _id dan tipe koleksi list/array) agar kompatibel dengan Spark.</li><li>Pemuatan ke Spark DataFrame: Mengubah Pandas DataFrame menjadi Spark DataFrame (spark.createDataFrame) sehingga siap diolah lebih lanjut menggunakan operasi agregasi, groupBy, maupun analisis Big Data lainnya.</li></ul><h3>3. Praktikum</h3><h4>3.1 Kebutuhan Environment Praktikum</h4><p>Sebelum memulai rangkaian praktikum Basis Data NoSQL (MongoDB) dan integrasinya dengan PySpark, dilakukan konfigurasi environment dengan ketentuan sebagai berikut:</p><ul><li>Conda Environment (bigdata): Wajib diaktifkan di awal (<strong>conda activate bigdata</strong>) karena seluruh dependensi seperti driver pymongo dan pustaka pyspark terisolasi di dalam environment tersebut.</li><li>Layanan Hadoop (DFS &amp; YARN): Pada praktikum kali ini, layanan Hadoop Distributed File System (DFS) dan YARN tidak wajib diaktifkan di awal. Pemrosesan data difokuskan pada operasi basis data dokumen MongoDB secara lokal serta pemrosesan in-memory menggunakan PySpark Standalone Mode/Local.</li></ul><h4>3.2 Instalasi MongoDB Community Server 8.0 di Ubuntu</h4><p>Instalasi MongoDB Community Server 8.0 merupakan proses pemasangan sistem manajemen basis data NoSQL langsung pada sistem operasi Ubuntu.</p><p>Sebelum menginstal MongoDB, sistem memerlukan verifikasi keamanan melalui kunci GPG agar paket perangkat lunak dipastikan aman dari repositori resmi. Saat perintah tersebut dijalankan, terminal akan meminta password superuser (sudo) untuk memberikan izin penyimpanan berkas kunci ke direktori sistem yang dilindungi — di mana karakter sandi memang sengaja tidak ditampilkan di layar demi keamanan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/664/1*8JPSiSobCe0K4W0cT-NFtw.png" /></figure><p>Penjelasan kode:</p><ul><li>curl -fsSL digunakan untuk mengambil file kunci GPG dari server resmi MongoDB.</li><li>Tanda | digunakan untuk meneruskan hasil perintah pertama ke perintah berikutnya.</li><li>sudo gpg digunakan untuk mengolah kunci dengan hak akses administrator.</li><li>— dearmor mengubah kunci ke format yang dapat digunakan oleh sistem pengelolaan paket.</li><li>/usr/share/keyrings/mongodb-server-8.0.gpg merupakan lokasi penyimpanan kunci tersebut.</li></ul><h4>3.3 Penambahan Repository Paket MongoDB</h4><p>Repository merupakan tempat penyediaan paket perangkat lunak yang dapat diunduh dan dipasang melalui pengelola paket Ubuntu. Perintah yang digunakan harus disesuaikan dengan versi Ubuntu. Untuk versi nya ada 22.04 Jammy dan versi 24.04 Noble.</p><p>Pada praktikum ini karena saya menggunakan ubuntu 24 maka saya menggunakan versi 24.04 Noble.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/688/1*EAusZLY-sOMfpeML7rBPoA.png" /></figure><p>Penjelasan kode :</p><ul><li>echo digunakan untuk menuliskan konfigurasi repository.</li><li>jammy menunjukkan repository untuk Ubuntu 22.04, sedangkan noble untuk Ubuntu 24.04.</li><li>signed-by menentukan kunci GPG yang digunakan untuk memverifikasi paket.</li><li>sudo tee digunakan untuk menulis konfigurasi ke file repository dengan hak administrator.</li></ul><h4>3.4 Memperbarui daftar paket dan menginstal MongoDB</h4><p>Setelah alamat repository baru ditambahkan, daftar indeks paket APT lokal harus diperbarui terlebih dahulu agar Ubuntu mengenali keberadaan paket mongodb-org. Selanjutnya, perintah instalasi dijalankan untuk mengunduh dan memasang seluruh komponen MongoDB (termasuk server mongod, shell mongosh, serta alat bantu CLI).</p><p>sudo apt update: Memperbarui daftar katalog paket dari seluruh repository yang terdaftar di sistem.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/690/1*EGchUmpHEePso9sWHmun-g.png" /></figure><p>sudo apt install: Menginstruksikan manajer paket APT untuk melakukan instalasi.</p><h4><strong>Jika ada kendala seperti ini</strong></h4><p>Ketika muncul pesan antrean Waiting for cache lock akibat proses latar belakang sistem lain yang sedang bekerja (unattended-upgr) lalu proses instalasi dihentikan secara manual (stop) dengan klic ctrl + c maka instalasi MongoDB akan terputus dan belum terselesaikan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/690/1*sMdxsKhh-hOEHyQl1NdS3A.png" /></figure><p>Selanjutnya memeriksa detail program apa yang sedang berjalan di latar belakang menggunakan nomor identifikasi proses atau Process ID (PID) 10006 dengan perintah ps -fp 10006 dan ps -p 10006.</p><p>Selanjutnya, perintah pstree -ap 9978 digunakan untuk melihat silsilah atau struktur proses komputer secara menyeluruh (process tree) guna mengetahui hubungan antara program utama dan program turunannya.</p><p>Setelah diketahui bahwa proses tersebut adalah pembaruan otomatis sistem (unattended-upgrade), pengguna menjalankan perintah sudo kill -TERM untuk menghentikan paksa program tersebut agar kunci akses (lock) pada penginstal aplikasi terbukan kembali.</p><p>Terakhir, perintah sudo dpkg — configure -a digunakan untuk memperbaiki sistem pengaturan paket perangkat lunak yang sempat tertunda akibat penghentian paksa tersebut.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/692/1*mFsHZJgF1TRwK-3eDlkXVA.png" /></figure><p>Lalu tambahkan perintah ps -p 9978,10006 -o pid,stat,cmd digunakan untuk mengecek status proses latar belakang yang masih aktif. Karena proses tersebut membandel, perintah sudo_kill -KILL 10006 dijalankan untuk mematikannya secara paksa. Setelah itu, perintah sudo dpkg — configure -a dipakai untuk membereskan sisa konfigurasi sistem yang tertunda.</p><p>Terakhir, perintah sudo apt update dijalankan untuk menyegarkan daftar repositori sistem, ditandai dengan munculnya status Hit dan Get, yang menandakan sistem paket Ubuntu sudah kembali normal.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/692/1*eNhH1UFjpz31c_z3cFlouA.png" /></figure><p>Jika sudah selanjutnya memasukkan perintah sudo apt install -y mongodb-org dijalankan kembali untuk memulai instalasi utama MongoDB. Terminal menampilkan proses pembacaan daftar paket, pengecekan dependensi, serta daftar komponen tambahan yang akan diinstal (seperti mongodb-org-server, mongosh, dan tools pendukung lainnya). Terlihat pada gambar dibawah ini proses pengunduhan paket dari repositori resmi MongoDB sedang berjalan dengan lancar tanpa hambatan, yang menandakan bahwa kendala penguncian sebelumnya telah berhasil diatasi.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/692/1*qqu02UYRXecukaQNLCSeew.png" /></figure><h4>3.5 Menjalankan dan mengaktifkan layanan MongoDB</h4><p>mongod adalah proses server MongoDB. systemctl adalah pengelola layanan di Ubuntu: start menyalakan sekarang, enable mengatur agar menyala otomatis setiap booting.</p><p>Tanpa langkah ini, mongosh dan PyMongo akan gagal terhubung karena tidak ada server yang mendengarkan di port 27017.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/695/1*s61jfxMCTCiYH7kfCJTrpw.png" /></figure><h4>3.6 Memeriksa status dan versi MongoDB</h4><p>Langkah terakhir dari proses instalasi adalah memastikan bahwa daemon mongod benar-benar berstatus aktif (running) dan memeriksa nomor versi server yang terpasang untuk memastikan kesesuaian dengan standar modul praktikum.</p><h4>Jika mengalami kendala seperti gambar dibawah ini mongod nya tidak aktif maka ada cara yang dapat dilakukan</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/1*JhOhfhaCpHMoaXE3kPq1pw.png" /></figure><p>Dapat melakukan konfigurasi tambahan menggunakan sudo mkdir dan printf untuk mengatur variabel lingkungan sistem (environment variable). GLIBC_TUNABLES ini artinya mengatasi kendala kompatibilitas versi glibc pada MongoDB. Setelah itu, perintah sudo systemctl daemon-reload dijalankan untuk memuat ulang pengaturan sistem, dilanjutkan dengan sudo systemctl restart mongod untuk memulai ulang layanan database.</p><p>Terakhir, perintah sudo systemctl status mongod — no-pager -l menampilkan status layanan MongoDB. Terlihat tulisan Active: active (running), yang menandakan bahwa server basis data MongoDB telah berhasil berjalan dengan normal dan siap digunakan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/1*XEa5KM1VtRGmLjAywn--RA.png" /></figure><p>Saya juga mengecek versi kernel sistem operasi Linux Ubuntu yang sedang digunakan dengan perintah uname -r. Setelah itu, perintah sudo systemctl status mongod — no-pager dijalankan untuk memastikan kembali status layanan basis data MongoDB. Informasi yang tampil menunjukkan bahwa layanan MongoDB berstatus active (running) dengan PID 14449, yang menandakan server database berjalan dengan stabil dan siap digunakan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/1*iR5f1mbPhb9t90yU05eQmA.png" /></figure><p>Melakukan pengujian koneksi ke server basis data MongoDB secara langsung dari terminal tanpa harus masuk ke dalam antarmuka interaktif MongoDB Shell dengan perintah mongosh — eval ‘db.runCommand({ ping: 1 })’. Perintah ping: 1 berfungsi sebagai sinyal tes komunikasi ke server. Hasil keluaran yang menampilkan { ok: 1 } menunjukkan bahwa koneksi berhasil dan server database MongoDB merespons dengan sangat baik serta siap digunakan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/1*SapwE12H3n7aHaNcBJsiyA.png" /></figure><p>Selanjutnya, periksa versi MongoDB menggunakan perintah:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/703/1*lpkTElMGknDBC0051VjURw.png" /></figure><p>Perintah tersebut digunakan untuk mengecek versi dari perangkat lunak database MongoDB yang telah terpasang di sistem. Informasi yang ditampilkan, ada versi MongoDB yang terinstal adalah v8.0.34, lengkap dengan informasi detail pendukung seperti versi OpenSSL, alokasi memori (tcmalloc), serta kompatibilitas sistem operasinya (ubuntu2404 untuk arsitektur x86_64). Hal ini membuktikan bahwa proses instalasi MongoDB telah sukses dan siap digunakan.</p><h4>3.7 Masuk ke Antarmuka MongoDB Shell</h4><p>mongosh merupakan antarmuka berbasis terminal untuk berinteraksi langsung dengan MongoDB. Melalui antarmuka ini, pengguna dapat memilih database, menambahkan data, dan menampilkan dokumen tanpa harus membuat program Python.</p><p>Perintah tersebut membuka shell MongoDB. Setelah berhasil masuk, pengguna dapat menjalankan perintah MongoDB secara langsung.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/689/1*XToqhymgtY_WDub3I1d14g.png" /></figure><p><strong>A. Memilih database</strong></p><p>Perintah use digunakan untuk memilih database bernama praktikum_bigdata. Jika database belum tersedia, database tersebut baru benar-benar tersimpan setelah ada data yang dimasukkan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/717/1*R0BCPrLlpZYobCA8IZqyTg.png" /></figure><p><strong>B. Menambahkan dokumen produk</strong></p><p>Menyisipkan satu dokumen data baru yang berisi atribut lengkap seperti nama_produk, kategori, harga, dan stok ke dalam koleksi produk pada database praktikum_bigdata.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/749/1*lmRQb8KrWrpMKtJyazu3XQ.png" /></figure><p><strong>C. Menampilkan data produk</strong></p><p>Perintah find() digunakan untuk menampilkan dokumen yang terdapat dalam collection produk. Karena tidak diberikan filter, seluruh dokumen akan ditampilkan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/695/1*Frr8-vC-KN4PBCMGLrhMkA.png" /></figure><p>Untuk format tampilan yang lebih rapi bisa menggunakan perintah dibawah ini.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/695/1*GSeB5FtNHGFfhjNHeT5w0w.png" /></figure><p>Catatan : Pada mongosh versi baru, keluaran sudah rapi secara bawaan.</p><p>Setelah pengujian kueri dasar selesai, sesi interaktif MongoDB Shell diakhiri untuk kembali ke prompt terminal bash Ubuntu dengan perintah <strong>EXIT</strong>.</p><h4>3.8 Instalasi PyMongo dan Persiapan Jupyter Notebook</h4><p>Sebelum memasukkan kode Python dalam Jupyter Notebook, modul pustaka pymongo harus dipasang terlebih dahulu ke dalam lingkungan virtual Conda bigdata.</p><p>Perintah pip install pymongo digunakan untuk mengunduh dan memasang library PyMongo ke dalam environment Python yang aktif.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/878/1*Leaq1FU6nBFsj1uiTI79FQ.png" /></figure><p>Memeriksa instalasi PyMongo.Jika versi berhasil ditampilkan tanpa error, PyMongo telah dapat diimpor oleh Python.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/874/1*dr2HMCKoe5xEt_-dwVLThQ.png" /></figure><p>Selanjutnya, dilakukan perpindahan ke direktori tempat menyimpan berkas praktikum dan mengaktifkan Jupyter Notebook untuk menyiapkan lingkungan pelaksanaan praktikum.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/865/1*Al6lKoyj8nVO5Q7gNgZ8sQ.png" /></figure><h4>3.9 Menghubungkan MongoDB dengan Python</h4><p>Dalam Jupyter Notebook, kita mengimpor kelas MongoClient dari pustaka pymongo. Kelas ini memuat fungsi pembuka koneksi ke peladen MongoDB menggunakan connection string URI standar. Selanjutnya, kita mendefinisikan variabel objek untuk database dan koleksi yang akan diolah.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gJACJyAhCFd09Mi-7CwlRw.png" /></figure><p>Penjelasan kode:</p><ul><li>from pymongo import MongoClient mengimpor class MongoClient untuk membuat koneksi ke MongoDB.</li><li>MongoClient(“mongodb://localhost:27017/”) menentukan alamat MongoDB yang berjalan pada komputer lokal dengan port default 27017.</li><li>client[“praktikum_bigdata”] memilih database yang digunakan.</li><li>db[“produk”] memilih collection produk.</li><li>list_database_names() mengambil daftar nama database yang tersedia pada server MongoDB.</li></ul><h4>3.10 Operasi CRUD Menggunakan PyMongo</h4><p>CRUD adalah operasi dasar dalam pengelolaan data yang meliputi Create, Read, Update, dan Delete. Pada langkah ini, operasi dilakukan melalui Python menggunakan collection produk yang sudah dihubungkan dengan MongoDB.</p><p>A. Create — Menambahkan data</p><p>Create adalah operasi menambah data baru. insert_one() menyisipkan satu dokumen dan insert_many() banyak dokumen sekaligus dalam bentuk list.</p><p>Untuk langkah awal adalah pembersihan data lama agar lingkungan uji bersih menggunakan delete_many untuk menghapus semua data dalam dokumen lalu melakukan penambahan atau penyisipan data baru.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_OMMi4txpMBRm6zw4a673A.png" /></figure><p>B. Read — membaca dokumen</p><p>Read adalah operasi mengambil data. find_one() mengambil satu dokumen pertama yang cocok, find() mengambil semua yang cocok dalam bentuk cursor (objek yang dibaca bertahap lewat perulangan).Dengan metode find() kita dapat memfilter berdasarkan kategori yang diinginkan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jZQVv4rpit_TO6RbSWXNdA.png" /></figure><p>C. Update — memperbarui dokumen</p><p>Update adalah operasi mengubah data yang sudah ada. update_one() mengubah satu dokumen pertama yang cocok, update_many() mengubah semua yang cocok. Operator $set menetapkan nilai baru, sedangkan $inc mengubah angka secara relatif.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zqiWnwK7LbWjK4hVFsFlYQ.png" /></figure><p>D. Delete — menghapus dokumen</p><p>Penghapusan data dari basis data yang mencakup dua metode utama, yaitu delete_one() untuk menghapus satu dokumen spesifik yang sesuai kriteria dan delete_many() untuk menghapus seluruh dokumen yang memenuhi kondisi tertentu secara sekaligus. Keberhasilan proses penghapusan tersebut kemudian diverifikasi dengan menghitung sisa dokumen dan menampilkan daftar data yang tersisa pada koleksi.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/999/1*_AXDA0XO-MJekvRwErf4bw.png" /></figure><h4>3.11 Mengintegrasikan MongoDB dengan Spark DataFrame</h4><p>Integrasi MongoDB dengan PySpark adalah proses mengambil data yang tersimpan dalam MongoDB dan mengubahnya menjadi Spark DataFrame agar dapat dianalisis menggunakan fungsi pengolahan data milik Apache Spark.Prosesnya menggunakan tiga tahap: MongoDB ke Python, Python ke pandas DataFrame, kemudian pandas DataFrame ke Spark DataFrame.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/942/1*ALoUxFdQ0T0Y_qZ_X8n2SA.png" /></figure><p>Penjelasan :</p><ul><li>from pyspark.sql import SparkSession dan import pandas as pd untuk mengimpor modul PySpark dan Pandas.</li><li>spark = SparkSession.builder hingga .getOrCreate() untuk menginisialisasi sesi Spark.</li><li>spark.sparkContext.setLogLevel(“ERROR”) untuk menyaring log terminal agar hanya menampilkan pesan kesalahan.</li><li>dokumen_mongo = list(koleksi_produk.find({})) untuk mengambil seluruh dokumen MongoDB.</li><li>df_pandas = pd.DataFrame(dokumen_mongo) untuk mengubah data MongoDB menjadi Pandas DataFrame.</li><li>Penyesuaian tipe data kolom _id dan format kolom tags agar kompatibel dengan skema Spark.</li><li>df_spark_produk = spark.createDataFrame(df_pandas) untuk mengonversi Pandas DataFrame menjadi Spark DataFrame.</li><li>df_spark_produk.printSchema() dan df_spark_produk.show() untuk menampilkan struktur skema dan pratinjau data.</li></ul><h4>3.12 Pengelompokan dan agregasi data</h4><p>Setelah data NoSQL bertransformasi menjadi Spark DataFrame, kita dapat memanfaatkan fungsi pemrosesan terdistribusi PySpark seperti groupBy() dan agg() untuk menghitung statistik data (seperti rata-rata harga dan total item) berdasarkan kelompok kategori.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*K10kYAwIz6R9NSTldpDltw.png" /></figure><p>Penjelasan :</p><ul><li>avg digunakan untuk menghitung nilai rata-rata.</li><li>count digunakan untuk menghitung jumlah data.</li><li>groupBy(“kategori”) mengelompokkan produk berdasarkan kategori.</li><li>agg() menjalankan fungsi agregasi pada setiap kelompok.</li><li>alias() memberikan nama baru pada kolom hasil perhitungan.</li><li>show() menampilkan hasil analisis.</li><li>spark.stop(): Menghentikan daemon SparkContext, merilis koneksi JVM internal, dan membebaskan alokasi RAM yang digunakan oleh aplikasi Spark.</li></ul><h4>4. Latihan Mandiri</h4><p><strong>Soal 1</strong>. Sisipkan (insert_many) lima dokumen baru ke collection produk dengan kategori bebas (boleh kategori baru selain Makanan/Minuman, misalnya “Snack”).</p><p>Operasi Create digunakan untuk menambahkan dokumen baru ke dalam collection MongoDB.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ueh3uewtyMQIKTL3UC9qCA.png" /></figure><p>Penjelasan kode :</p><ul><li>insert_many() digunakan untuk memasukkan lima dokumen sekaligus.</li><li>nama_produk berisi nama produk yang ditambahkan.</li><li>kategori menunjukkan jenis produk.</li><li>harga menyimpan harga produk.</li><li>stok menyimpan jumlah persediaan produk.</li><li>count_documents({}) menghitung seluruh dokumen yang tersimpan.</li></ul><p><strong>Soal 2</strong>. Gunakan find() dengan operator $lt (kurang dari) untuk menampilkan seluruh produk dengan harga di bawah 20000.</p><p>Operasi Read digunakan untuk membaca dan menampilkan dokumen berdasarkan kondisi tertentu.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rCWZxWFAfJYQF53Qz-XtpQ.png" /></figure><p>Penjelasan kode :</p><ul><li>find() digunakan untuk mencari dokumen dalam collection.</li><li>“harga” merupakan field yang digunakan sebagai kriteria pencarian.</li><li>$lt merupakan singkatan dari less than yang berarti kurang dari.</li><li>20000 merupakan batas harga yang digunakan.</li><li>for p in digunakan untuk menampilkan hasil pencarian satu per satu.</li><li>print() menampilkan nama dan harga produk.</li></ul><p><strong>Soal 3.</strong> Gunakan update_many() untuk menambahkan field baru bernama diskon bernilai 0 ke seluruh dokumen pada collection produk (petunjuk: gunakan operator $set).</p><p>Operasi Update digunakan untuk memperbarui dokumen yang sudah tersimpan, termasuk menambahkan field baru.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*E9gnm5CIreIoJ14IR9k_aA.png" /></figure><p>Penjelasan kode :</p><ul><li>update_many() digunakan untuk memperbarui seluruh dokumen yang sesuai dengan kondisi.</li><li>{} menunjukkan bahwa semua dokumen akan diperbarui.</li><li>$set digunakan untuk menambahkan atau mengubah nilai suatu field.</li><li>“diskon”: 0 menambahkan field diskon dengan nilai awal 0.</li><li>find() digunakan untuk menampilkan hasil pembaruan.</li><li>{“_id”: 0, “nama_produk”: 1, “diskon”: 1} digunakan untuk menampilkan nama produk dan diskon tanpa menampilkan ID.</li></ul><p><strong>Soal 4 (Refleksi singkat)</strong>. Dalam 2–3 kalimat: berikan satu contoh skenario nyata (boleh di luar konteks e-commerce yang sering kita pakai) di mana MongoDB akan menjadi pilihan lebih tepat dibanding tabel relasional biasa, dan jelaskan alasannya berdasarkan konsep flexible schema. Tulis jawaban pada markdown cell di bawah ini.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*44Xya3fnNvb8HHy2kr3BWA.png" /></figure><h3>5.Tugas Mandiri</h3><p>Mempersiapkan lingkungan awal dengan cara menghubungkan sistem Python ke server database MongoDB, memilih database serta koleksi data yang akan digunakan, lalu menguji koneksi tersebut untuk memastikan seluruh basis data yang aktif dapat terbaca dengan baik.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kHNKiq1L43ma4XA0VLuwHw.png" /></figure><p>Penjelasan kode :</p><ul><li>from pymongo import MongoClient digunakan untuk mengimpor modul MongoClient dari pustaka PyMongo.</li><li>client = MongoClient(“mongodb://localhost:27017/”) digunakan untuk membuat objek koneksi utama ke server MongoDB lokal.</li><li>db = client[“kopi_nusantara”] digunakan untuk memilih atau membuat database dengan nama kopi_nusantara.</li><li>koleksi_menu = db[“menu”] digunakan untuk memilih atau membuat koleksi dokumen bernama menu di dalam database tersebut.</li><li>print(“Koneksi MongoDB berhasil!”) digunakan untuk menampilkan pesan teks penanda bahwa proses koneksi berjalan lancar.</li><li>print(“Daftar database yang ada:”, client.list_database_names()) digunakan untuk menampilkan seluruh daftar nama database yang aktif di server.</li></ul><h4>A. Membangun Katalog</h4><p>Buat database baru bernama kopi_nusantara, collection bernama menu. Sisipkan minimal</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*iM61-biWW6bMCgHnPrbkmg.png" /></figure><p>Penjelasan kode :</p><ul><li>delete_many({}) digunakan untuk menghapus seluruh data lama agar data tidak bertumpuk ketika program dijalankan kembali.</li><li>koleksi_menu berisi 12 dokumen yang terdiri dari 6 menu kopi dan 6 menu makanan.</li><li>insert_many() digunakan untuk memasukkan beberapa dokumen sekaligus ke dalam collection.</li><li>count_documents({}) digunakan untuk menghitung jumlah seluruh dokumen yang tersimpan.</li></ul><h4>B. Kueri Bertingkat (Read)</h4><ol><li>Seluruh menu kategori “Kopi” dengan tingkat_kepahitan di atas 3.</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ThQ9QsmxHDZwD45rl77oQQ.png" /></figure><p>Penjelasan kode :</p><ul><li>find() digunakan untuk mencari dokumen berdasarkan kondisi yang diberikan.</li><li>“kategori”: “Kopi” digunakan untuk mengambil data yang kategorinya Kopi.</li><li>$gt berarti greater than atau lebih besar dari.</li><li>“tingkat_kepahitan”: {“$gt”: 3} berarti hanya menampilkan kopi dengan tingkat kepahitan lebih dari 3.</li></ul><p>2. Seluruh menu dengan harga di antara 15000 dan 30000.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GlB13Wdg4o3A3koyrH-mCg.png" /></figure><p>Penjelasan kode :</p><ul><li>$gte berarti lebih besar dari atau sama dengan.</li><li>$lte berarti lebih kecil dari atau sama dengan.</li><li>Kedua kondisi digunakan untuk mengambil menu dengan harga minimal Rp15.000 dan maksimal Rp30.000.</li></ul><p>3. Menu yang tidak memiliki field pedas_level sama sekali.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WB-KmpDRiXSsVRnkuoAOJQ.png" /></figure><p>Penjelasan kode :</p><ul><li>$exists digunakan untuk memeriksa keberadaan suatu atribut dalam dokumen.</li><li>False berarti atribut tersebut tidak tersedia.</li><li>Query ini digunakan untuk mencari dokumen yang tidak memiliki atribut pedas_level.</li></ul><h4>C. Pembaruan Data (Update)</h4><p>Tambahkan field status bernilai “Tersedia” ke seluruh dokumen menggunakan update_many(). Kemudian, ubah status menjadi “Habis” khusus untuk 2 menu pilihan anda menggunakan update_one().</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RBTG3aEw7J56Hx6AgzdPtA.png" /></figure><p>Penjelasan kode:</p><ul><li>hasil_update = koleksi_menu.update_many({}, {“$set”: {“status”: “Tersedia”}}) digunakan untuk mengubah status seluruh dokumen menu di dalam koleksi menjadi “Tersedia”.</li><li>hasil_espresso = koleksi_menu.update_one({“nama_menu”: “Espresso”}, {“$set”: {“status”: “Habis”}}) digunakan untuk mengubah status menu “Espresso” menjadi “Habis” pada satu dokumen pertama yang cocok.</li><li>hasil_nasi = koleksi_menu.update_one({“nama_menu”: “Kentang Goreng”}, {“$set”: {“status”: “Habis”}}) digunakan untuk mengubah status menu “Kentang Goreng” menjadi “Habis”.</li><li>print(“Daftar menu setelah pembaruan status:”) digunakan untuk mencetak teks keterangan awal sebelum menampilkan data.</li><li>for p in koleksi_menu.find({}, {“_id”: 0, “nama_menu”: 1, “status”: 1}): digunakan untuk melakukan perulangan pada setiap dokumen menu dengan hanya mengambil kolom nama menu dan status (tanpa menampilkan id).</li><li>print(f”- {p[‘nama_menu’]} | Status: {p[‘status’]}”) digunakan untuk menampilkan nama menu beserta status ketersediaannya secara rapi ke layar.</li></ul><h4>D. Integrasi ke Spark</h4><p>Ambil seluruh data dari collection menu, ubah menjadi Spark DataFrame (ikuti pola Sub-bab 9.6 — perhatikan field yang mungkin kosong/null pada sebagian dokumen, seperti tingkat_kepahitan yang hanya dimiliki menu Kopi). Tampilkan:</p><ul><li>printSchema() hasil konversi.</li><li>Rata-rata harga per kategori menggunakan groupBy.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lcmOR48Wwr0GjxfNCGm-SA.png" /></figure><p>Penjelasan kode :</p><ul><li>SparkSession digunakan untuk membuat sesi Spark agar PySpark dapat dijalankan.</li><li>setLogLevel(“ERROR”) digunakan untuk membatasi pesan log yang ditampilkan agar tidak terlalu banyak.</li><li>koleksi_menu.find({}) digunakan untuk mengambil seluruh dokumen dari MongoDB.</li><li>pd.DataFrame() digunakan untuk mengubah data MongoDB menjadi Pandas DataFrame.</li><li>astype(str) digunakan untuk mengubah nilai _id menjadi string karena ID bawaan MongoDB menggunakan tipe ObjectId.</li><li>pd.notna() digunakan untuk memeriksa nilai yang tidak kosong, sedangkan where() mengganti nilai kosong menjadi None.</li><li>spark.createDataFrame() digunakan untuk mengubah Pandas DataFrame menjadi Spark DataFrame.</li><li>printSchema() digunakan untuk menampilkan struktur kolom dan tipe datanya.</li><li>show() digunakan untuk menampilkan isi data.</li></ul><p><strong>Output :</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Pj77TnrgBuCGRm7BB_cJdA.png" /></figure><h4>E.Kesimpulan</h4><p>Apa tantangan yang anda temui saat mengonversi data MongoDB (dengan field yang tidak seragam antar dokumen) menjadi Spark DataFrame (yang mengharuskan skema tabel seragam)? Bagaimana anda mengatasinya?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*T8isxJDcNNAkVUyf4FRvhA.png" /></figure><h3>6.Rangkuman</h3><p>MongoDB adalah sistem basis data NoSQL berbasis dokumen yang menyimpan data dalam format fleksibel menyerupai JSON, sehingga sangat ideal untuk mengelola data semi-terstruktur secara cepat dan efisien. Dalam penerapannya, manajemen data ini diintegrasikan dengan bahasa pemrograman Python menggunakan pustaka PyMongo untuk melakukan berbagai operasi dasar seperti menghubungkan server, menyisipkan dokumen baru, membaca data, memperbarui informasi (update), hingga menghapus data (delete). Selain itu, data dari MongoDB juga dapat dihubungkan dan dimigrasikan ke dalam kerangka kerja pemrosesan data besar seperti PySpark untuk melakukan analisis lanjutan serta agregasi data secara terdistribusi.</p><h3>7.Github</h3><p><a href="https://github.com/zuyinamirkham/Big-Data/tree/main/pertemuan9">https://github.com/zuyinamirkham/Big-Data/tree/main/pertemuan9</a></p><h3>8.Referensi</h3><p>Pertemuan 9 — Basis Data NoSQL: Instalasi MongoDB &amp; Integrasi dengan PySpark, Praktikum Big Data, Program Studi Teknologi Informasi — Universitas Tidar</p><ul><li><a href="https://aws.amazon.com/id/nosql/">Apa itu NoSQL?</a></li><li><a href="https://www.mongodb.com/company/blog/getting-started-with-mongodb-pyspark-and-jupyter-notebook">Getting Started With MongoDB, PySpark, And Jupyter Notebook</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=cd91092a724c" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Abstraksi dan Kelas Abstrak]]></title>
            <link>https://medium.com/@irhamzuyina/abstraksi-dan-kelas-abstrak-1b18c9fe805f?source=rss-fa2236c19721------2</link>
            <guid isPermaLink="false">https://medium.com/p/1b18c9fe805f</guid>
            <dc:creator><![CDATA[Zuyina M. Irkham]]></dc:creator>
            <pubDate>Sun, 01 Nov 2026 14:42:45 GMT</pubDate>
            <atom:updated>2026-11-01T14:42:45.920Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_8wHWf6QvBYOqY_hsLjbKA.jpeg" /></figure><h3>1.Pendahuluan</h3><p>Dalam pemrograman berbasis objek (Object-Oriented Programming / OOP), skala perangkat lunak yang dikembangkan dapat berkembang menjadi sangat besar dan kompleks. Jika setiap detail aplikasi harus dituliskan secara berulang tanpa adanya struktur dasar yang jelas, maka kode program akan sulit dikelola, dimodifikasi, dan dikembangkan (unmaintainable).</p><p>Untuk mengatasi kerumitan tersebut, OOP menyediakan salah satu pilar utamanya yaitu Abstraksi. Melalui konsep abstraksi, pengembang dapat menyembunyikan detail teknis yang kompleks dan hanya menampilkan fungsionalitas utama yang relevan kepada pengguna atau bagian sistem lainnya. Di dalam bahasa pemrograman Java, abstraksi ini dapat diwujudkan salah satunya melalui pembuatan Kelas Abstrak (Abstract Class).</p><h3>2.Dasar Teori</h3><h4>2.1 Abstraksi</h4><p>Abstraksi adalah salah satu pilar utama dalam Pemrograman Berorientasi Objek (PBO). Abstraksi merupakan proses menyembunyikan detail implementasi dan hanya menampilkan fungsionalitas yang penting dari suatu objek. Dengan abstraksi, pemrogram berfokus pada apa yang dilakukan oleh objek, bukan pada bagaimana objek tersebut melakukannya.</p><h4>2.2 Kelas Abstrak</h4><p>Kelas abstrak adalah kelas yang tidak dapat diinstansiasi secara langsung, yaitu tidak dapat dibuat objeknya menggunakan kata kunci new. Kelas abstrak berfungsi sebagai cetak biru (blueprint) bagi kelas lain yang mewarisinya. Di dalam kelas abstrak dapat terdapat metode abstrak dan metode biasa.</p><h4>2.3 Metode Abstrak dan Metode Biasa</h4><ul><li>Metode abstrak adalah metode yang hanya dideklarasikan tanpa implementasi (tanpa badan metode) dan diakhiri dengan tanda titik koma. Implementasinya wajib dibuat oleh kelas turunan.<br>• Metode biasa adalah metode yang memiliki implementasi lengkap dan dapat langsung digunakan oleh kelas turunan.</li></ul><h4>2.4 Karakteristik Kelas Abstrak</h4><p>1.Tidak dapat dibuat objeknya secara langsung.<br>2. Dapat memiliki metode abstrak dan metode dengan implementasi.<br>3. Kelas yang memiliki metode abstrak harus dideklarasikan sebagai kelas abstrak.<br>4. Kelas turunan wajib mengimplementasikan semua metode abstrak dari kelas induknya. Jika tidak, kelas turunan tersebut harus dideklarasikan sebagai kelas abstrak juga.<br>5. Variabel bertipe kelas abstrak dapat menampung objek dari kelas turunannya.</p><h4>2.5 Pewarisan dan Implementasi Metode Abstrak</h4><p>Kelas turunan dibuat dengan kata kunci extends, sedangkan anotasi <a href="http://twitter.com/Override">@Override</a> digunakan untuk menandai bahwa suatu metode mengimplementasikan atau menimpa metode milik kelas induk. Dengan cara ini, setiap kelas turunan dapat memberikan implementasi yang berbeda untuk metode abstrak yang sama.</p><h3>3.Praktikum</h3><h4>3.1 Persiapan Praktikum</h4><p>Sebelum memulai praktikum, perlu menyiapkan aplikasi NetBeans dan memastikan JDK telah terpasang. Setelah itu, proyek baru dibuat sebagai tempat penyimpanan seluruh kode program yang akan digunakan.</p><p>Membuka aplikasi NetBeans yang telah terpasang pada komputer.Lalu membuat proyek Java baru dengan nama PraktikumPBO_9 dan membuat package baru dengan nama praktikum9.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/746/1*CVt2EhNUpMlmhR3b5Qs-7w.png" /></figure><p>Persiapan proyek dan package bertujuan untuk mengatur file program agar tersimpan secara terstruktur. Dengan demikian, setiap kelas dapat dikelola dan dihubungkan sesuai kebutuhan program.</p><h4>3.2 Membuat Kelas Abstrak Kendaraan</h4><p>Langkah pertama adalah membuat kelas abstrak bernama Kendaraan. Kelas ini menjadi kelas induk yang menentukan perilaku umum bagi kendaraan, yaitu berjalan. Kelas ini juga memiliki metode biasa untuk menampilkan informasi kendaraan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/557/1*B4lcaXBqpR8M-ptCm0spEw.png" /></figure><p>Penjelasan kode:</p><ul><li>abstract class Kendaraan digunakan untuk mendeklarasikan kelas abstrak bernama Kendaraan.</li><li>abstract void berjalan(); merupakan metode abstrak yang belum memiliki implementasi.</li><li>void info() merupakan metode biasa yang sudah memiliki implementasi.</li><li>System.out.println() digunakan untuk menampilkan informasi ke layar.</li></ul><p>Kelas Kendaraan berfungsi sebagai rancangan umum bagi objek kendaraan. Metode berjalan() belum menentukan bagaimana kendaraan tersebut berjalan karena setiap jenis kendaraan dapat memiliki perilaku yang berbeda. Sementara itu, metode info() dapat digunakan untuk menampilkan informasi umum mengenai kendaraan.</p><h4>3.3 Membuat Kelas Turunan Mobil</h4><p>Setelah kelas Kendaraan dibuat, langkah berikutnya adalah membuat kelas Mobil yang mewarisi kelas Kendaraan. Kelas ini memberikan implementasi metode berjalan() sesuai dengan perilaku mobil.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/587/1*0WWQIijKW20ZwYTPOMyp_w.png" /></figure><p>Penjelasan kode:</p><ul><li>class Mobil extends Kendaraan berarti kelas Mobil mewarisi kelas Kendaraan.</li><li><a href="http://twitter.com/Override">@Override</a> menandakan bahwa metode berjalan() mengimplementasikan metode yang diwarisi.</li><li>void berjalan() merupakan implementasi metode abstrak yang menampilkan informasi bahwa mobil sedang berjalan dengan cepat.</li><li>System.out.println() digunakan untuk menampilkan hasil ke layar.</li></ul><p>Kelas Mobil memberikan implementasi terhadap metode abstrak yang sebelumnya hanya dideklarasikan dalam kelas Kendaraan. Dengan demikian, kelas Mobil menentukan perilaku berjalan sesuai dengan karakteristiknya sendiri.</p><h4>3.4 Membuat Kelas Turunan Sepeda</h4><p>Selanjutnya, dibuat kelas Sepeda yang juga mewarisi kelas Kendaraan. Walaupun memiliki kelas induk yang sama dengan Mobil, kelas Sepeda memberikan implementasi metode berjalan() yang berbeda.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/593/1*muVP_lzVa6yfBUzETOUk1w.png" /></figure><p>Penjelasan kode:</p><ul><li>class Sepeda extends Kendaraan menunjukkan bahwa kelas Sepeda mewarisi kelas Kendaraan.</li><li><a href="http://twitter.com/Override">@Override</a> menandakan implementasi metode berjalan() pada kelas turunan.</li><li>void berjalan() digunakan untuk menentukan perilaku berjalan pada objek Sepeda.</li><li>System.out.println() menampilkan informasi bahwa sepeda sedang berjalan dengan pelan.</li></ul><p>Kelas Sepeda memiliki metode yang sama dengan kelas Mobil, tetapi menghasilkan perilaku yang berbeda. Hal ini menunjukkan bahwa kelas abstrak dapat digunakan sebagai rancangan umum, sedangkan kelas turunannya menentukan implementasi sesuai dengan kebutuhan masing-masing.</p><h4>3.5 Membuat Kelas Utama (Main)</h4><p>Setelah kelas Kendaraan, Mobil, dan Sepeda dibuat, langkah berikutnya adalah membuat kelas utama bernama Main. Kelas ini digunakan untuk menjalankan dan menguji program.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/508/1*w3TPt1cWVeAcQiBDA34BCQ.png" /></figure><p>Penjelasan kode:</p><ul><li>public class Main mendeklarasikan kelas utama program.</li><li>public static void main(String[] args) merupakan metode utama yang menjadi titik awal eksekusi program Java.</li><li>Kendaraan mobil = new Mobil(); membuat objek Mobil dengan variabel referensi bertipe Kendaraan.</li><li>Kendaraan sepeda = new Sepeda(); membuat objek Sepeda dengan variabel referensi bertipe Kendaraan.</li><li>mobil.berjalan() memanggil metode berjalan() milik objek Mobil.</li><li>mobil.info() memanggil metode info() untuk menampilkan informasi kendaraan.</li><li>sepeda.berjalan() memanggil metode berjalan() milik objek Sepeda.</li><li>sepeda.info() menampilkan informasi kendaraan untuk objek Sepeda.</li></ul><p>Penggunaan variabel referensi bertipe Kendaraan untuk menyimpan objek Mobil dan Sepeda menunjukkan bahwa kelas turunan dapat diperlakukan sebagai Kendaraan. Meskipun keduanya menggunakan referensi dengan tipe yang sama, metode berjalan() menghasilkan keluaran berbeda sesuai dengan objek yang dibuat.</p><h4>3.6 Output</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/592/1*66rIfcHERdv90h-k4utdew.png" /></figure><h4>3.7 Analisis Pertanyaan Praktikum: Bisakah Membuat Objek Langsung dari Kelas Kendaraan?</h4><p>Tidak bisa, karena kelas Kendaraan merupakan kelas abstrak yang tidak dapat dijadikan objek. Kelas ini hanya digunakan sebagai dasar untuk kelas lain, seperti Mobil dan Sepeda. Jika ingin membuat objek kendaraan, kita harus menggunakan kelas turunan yang sudah memiliki cara kerja metode berjalan(). Jadi, objek dapat dibuat dari kelas Mobil dan Sepeda, tetapi tidak dari kelas Kendaraan.</p><h3>4.TUGAS MODUL</h3><p>Membuat kelas abstrak Hewan yang memiliki metode abstrak suara(). Selanjutnya, dibuat dua kelas turunan, yaitu Kucing dan Anjing, yang mengimplementasikan metode tersebut sesuai dengan suara masing-masing hewan.</p><h4>4.1 Kelas Abstrak Hewan</h4><p>Kelas Hewan merupakan kelas abstrak yang digunakan sebagai rancangan umum bagi berbagai jenis hewan. Metode suara() dideklarasikan sebagai metode abstrak sehingga kelas turunan harus menentukan implementasinya.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/520/1*G4qRhhafFxfLk2UquJeusw.png" /></figure><h4>4.2 Kelas Turunan Kucing</h4><p>Kelas Kucing mewarisi kelas Hewan dan mengimplementasikan metode suara(). Ketika metode tersebut dipanggil, program menampilkan suara kucing, yaitu Meong.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/565/1*7gTJYojCiPmiI0QuueamRw.png" /></figure><h4>4.3 Kelas Turunan Anjing</h4><p>Kelas Anjing juga mewarisi kelas Hewan dan memberikan implementasi metode suara() sesuai dengan karakteristik anjing, yaitu menampilkan suara Guk Guk.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/591/1*XP0v9gg3mGz1WylpNg_bqg.png" /></figure><h4>4.4 Kelas Utama untuk Pengujian</h4><p>Kelas Main digunakan untuk menjalankan program. Objek Kucing dan Anjing dibuat menggunakan referensi bertipe Hewan, kemudian metode suara() dipanggil untuk menampilkan suara masing-masing hewan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/459/1*136uCNn0cLM2o0FMkf9isA.png" /></figure><h4>4.5 Output Tugas</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/512/1*aji3aJeCuv15Ys4haZ63JQ.png" /></figure><h4>4.6 Analisis Tugas</h4><p>Berdasarkan hasil pengujian, kelas Hewan berhasil digunakan sebagai kelas abstrak yang menjadi dasar bagi kelas Kucing dan Anjing. Metode suara() yang dideklarasikan tanpa implementasi pada kelas Hewan kemudian diimplementasikan oleh masing-masing kelas turunan.</p><p>Kelas Kucing menampilkan suara Meong, sedangkan kelas Anjing menampilkan suara Guk Guk. Hal tersebut menunjukkan bahwa setiap kelas turunan dapat memberikan perilaku yang berbeda meskipun menggunakan metode yang sama. Dengan demikian, tugas ini menerapkan konsep kelas abstrak, pewarisan, dan method overriding dalam Java.</p><h3>5.Kesimpulan</h3><p>Abstraksi adalah cara kita untuk mempermudah pembuatan program yang rumit dengan cukup berfokus pada apa yang dilakukan oleh suatu objek, tanpa perlu pusing memikirkan bagaimana cara kerjanya secara detail.</p><p>Dalam bahasa Java, kelas abstrak berperan sebagai wadah atau cetak biru utama yang sifatnya masih umum. Karena sifatnya yang belum lengkap, kelas abstrak tidak bisa langsung diubah menjadi objek menggunakan perintah new. Agar bisa digunakan, kelas abstrak harus diwariskan terlebih dahulu ke kelas turunan yang lebih spesifik, seperti kelas Mobil dan Sepeda untuk kendaraan, atau Kucing dan Anjing untuk hewan.</p><p>Setiap kelas turunan wajib mengisi dan melengkapi aturan (metode abstrak) yang sudah ditentukan oleh kelas induknya sesuai dengan karakternya masing-masing. Dengan menerapkan konsep ini, struktur kode program yang kita buat menjadi lebih rapi, teratur, mudah dikembangkan, dan tidak perlu menuliskan kode yang sama berulang kali.</p><h3>6.Github</h3><p><a href="https://github.com/zuyinamirkham/PB0_Zuyina_M_Irkham/tree/main/pertemuan9/PraktikumPBO_9">https://github.com/zuyinamirkham/PB0_Zuyina_M_Irkham/tree/main/pertemuan9/PraktikumPBO_9</a></p><h3>7.Referensi</h3><p>MODUL 9 — Abstraksi dan Kelas Abstrak, Imam Adi Nata, M.Kom, Program Studi Teknologi Informasi, Universitas Tidar.</p><ul><li><a href="https://www.petanikode.com/java-oop-abstract/">Tutorial Java OOP: Mengenal Class Abstrak dan Cara Pakainya</a></li><li><a href="https://docs.oracle.com/javase/tutorial/java/IandI/abstract.html">Abstract Methods and Classes</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1b18c9fe805f" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Konfigurasi Virtual Local Area Network (VLAN) Menggunakan Cisco Packet Tracer]]></title>
            <link>https://medium.com/@irhamzuyina/konfigurasi-virtual-local-area-network-vlan-menggunakan-cisco-packet-tracer-af1ceb5c7910?source=rss-fa2236c19721------2</link>
            <guid isPermaLink="false">https://medium.com/p/af1ceb5c7910</guid>
            <dc:creator><![CDATA[Zuyina M. Irkham]]></dc:creator>
            <pubDate>Sun, 01 Nov 2026 14:34:23 GMT</pubDate>
            <atom:updated>2026-11-01T14:34:23.677Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xMSsCfbkQohRlbEsggAi5w.jpeg" /></figure><h3>1.Pendahuluan</h3><p>Jaringan komputer merupakan sistem yang menghubungkan beberapa perangkat agar dapat saling berkomunikasi dan bertukar informasi. Dalam penerapannya, jaringan komputer membutuhkan pengelolaan yang baik agar komunikasi data dapat berjalan secara efektif, efisien, dan aman. Salah satu teknologi yang dapat digunakan untuk mengatur jaringan komputer adalah Virtual Local Area Network (VLAN).</p><p>VLAN merupakan teknologi yang memungkinkan sebuah jaringan lokal dibagi menjadi beberapa segmen jaringan secara virtual tanpa harus memisahkan perangkat berdasarkan lokasi fisiknya. Dengan menggunakan VLAN, perangkat yang terhubung pada switch yang sama dapat dikelompokkan ke dalam jaringan yang berbeda sesuai dengan kebutuhan. Pembagian tersebut dapat membantu meningkatkan keamanan, mengurangi lalu lintas broadcast yang tidak diperlukan, dan mempermudah pengelolaan jaringan.</p><h3>2.Dasar Teori</h3><h4>2.1 Pengertian Jaringan Komputer</h4><p>Jaringan komputer merupakan dua atau lebih perangkat yang saling terhubung untuk memungkinkan terjadinya pertukaran data dan pemanfaatan sumber daya secara bersama-sama. Perangkat yang terhubung dalam jaringan dapat berupa komputer, switch, router, server, dan perangkat jaringan lainnya.</p><p>Jaringan komputer memungkinkan pengguna berbagi informasi, menggunakan sumber daya bersama, dan melakukan komunikasi secara lebih efisien. Oleh karena itu, diperlukan pengelolaan jaringan yang baik agar komunikasi data dapat berlangsung dengan lancar dan aman.</p><h4>2.2 Pengertian VLAN</h4><p>Virtual Local Area Network (VLAN) adalah teknologi yang memungkinkan pembagian jaringan lokal menjadi beberapa segmen jaringan virtual. Pembagian ini dilakukan secara logis melalui konfigurasi perangkat jaringan, terutama switch yang mendukung VLAN.</p><p>Dengan VLAN, beberapa komputer yang terhubung pada switch fisik yang sama dapat dikelompokkan ke dalam jaringan logis yang berbeda. Setiap VLAN memiliki identitas berupa VLAN ID yang digunakan untuk membedakan satu kelompok jaringan dengan kelompok lainnya.</p><h4>2.3 Fungsi dan Manfaat VLAN</h4><p>VLAN memiliki beberapa fungsi dan manfaat dalam pengelolaan jaringan komputer.</p><ul><li><strong>Meningkatkan keamanan jaringan</strong>. VLAN memungkinkan perangkat dikelompokkan ke dalam segmen yang berbeda sehingga komunikasi jaringan dapat diatur sesuai kebutuhan. Namun, pemisahan VLAN saja tidak menggantikan kebutuhan akan pengaturan keamanan tambahan.</li><li><strong>Menghemat penggunaan bandwidth</strong>. Pembagian jaringan menjadi beberapa VLAN dapat mengurangi penyebaran lalu lintas broadcast ke perangkat yang tidak termasuk dalam VLAN tersebut.</li><li><strong>Meningkatkan kinerja jaringan</strong>. Pembentukan broadcast domain yang lebih kecil membantu mengurangi lalu lintas jaringan yang tidak diperlukan.</li><li><strong>Mempermudah pengelolaan jaringan</strong>. Administrator dapat mengelompokkan perangkat berdasarkan kebutuhan, fungsi, atau bagian tertentu tanpa harus memindahkan perangkat secara fisik.</li><li><strong>Mempermudah pengembangan jaringan</strong>. Penambahan atau pengelompokan perangkat dapat dilakukan melalui konfigurasi switch sesuai dengan kebutuhan jaringan.</li></ul><h4>2.4 Tipe/Metode Pengelompokan VLAN</h4><p>Keanggotaan VLAN dapat diklasifikasikan berdasarkan:</p><ul><li>Port / Port-Based: Mengelompokkan VLAN berdasarkan port fisik switch (metode yang digunakan pada praktikum ini).</li><li>MAC Address: Berdasarkan alamat fisik NIC host.</li><li>Protocol: Berdasarkan protokol jaringan yang digunakan (IP, IPX, dll).</li><li>IP Subnet: Berdasarkan pengalamatan jaringan subnet IP.</li></ul><h4>2.5 Cara Kerja VLAN</h4><p>VLAN diklasifikasikan berdasarkan metode tertentu, misalnya port atau MAC address. Informasi penandaan (tagging) VLAN disimpan dalam sebuah tabel pada switch atau bridge yang manageable. Jika klasifikasi berdasarkan port, tabel mencatat port mana milik VLAN mana. Switch inilah yang menentukan ke mana frame diteruskan: frame hanya diteruskan ke port yang berada pada VLAN yang sama. Semua switch dalam jaringan harus memiliki informasi VLAN yang konsisten. Untuk menghubungkan antar VLAN dibutuhkan router (perangkat layer 3), karena VLAN yang berbeda merupakan jaringan yang berbeda.</p><h4>2.6 Cisco Packet Tracer</h4><p>Cisco Packet Tracer merupakan aplikasi simulasi jaringan komputer yang dapat digunakan untuk merancang topologi, mengonfigurasi perangkat jaringan, dan menguji konektivitas antarperangkat.</p><h4>2.7 IP Address dan Subnet Mask</h4><p>IP Address merupakan alamat logis yang digunakan untuk mengidentifikasi perangkat dalam jaringan. Setiap komputer yang akan berkomunikasi melalui jaringan IP harus memiliki konfigurasi alamat IP yang sesuai dengan jaringan tempatnya berada.</p><h3>3.Praktikum</h3><h4>3.1 Mendesain Topologi</h4><p>Langkah pertama adalah membuka aplikasi Cisco Packet Tracer pada komputer atau laptop.Langkah berikutnya adalah menambahkan empat perangkat PC dan satu switch Cisco 2960 ke dalam lembar kerja. Seluruh perangkat kemudian disusun sesuai dengan topologi yang direncanakan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/409/1*jt85gHF7-lCq9c9k2eU0zw.png" /></figure><p>Hubungkan masing-masing PC ke Switch menggunakan kabel Straight-Through1:</p><ul><li>PC0 ke Port FastEthernet0/1 pada Switch</li><li>PC1 ke Port FastEthernet0/2 pada Switch</li><li>PC2 ke Port FastEthernet0/3 pada Switch</li><li>PC3 ke Port FastEthernet0/4 pada Switch</li></ul><h4>3.2 Pengkonfigurasian Alamat IP PC</h4><p>Setelah topologi selesai dibuat, setiap komputer diberikan alamat IP sesuai dengan kelompok VLAN masing-masing. Tujuan konfigurasi IP adalah untuk memberikan identitas unik pada setiap perangkat agar dapat saling mengenali, berkomunikasi, dan bertukar data di dalam jaringan komputer. Pengaturan dilakukan dengan membuka perangkat PC, memilih menu Desktop, kemudian membuka IP Configuration.</p><blockquote>Tambahan:</blockquote><blockquote>Notasi /24 menyatakan bahwa 24 bit pertama dari alamat IP digunakan sebagai identitas jaringan (subnet mask 255.255.255.0), yang menyediakan kapasitas hingga 254 alamat IP untuk perangkat dalam satu segmen lokal.</blockquote><p><strong>VLAN 10 </strong>Konfigurasikan PC0 dan PC1</p><p>PC0 dengan IP 10.10.41.10/24</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/529/1*3tVvzo9Mpc1nfcdfQUNpVQ.png" /></figure><p>PC1 dengan IP 10.10.41.11/24.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/649/1*8eAPBTZyRKVVUHWhn1M2GA.png" /></figure><p>VLAN 20 Konfigurasikan PC2 dan PC3</p><p>PC2dengan IP 20.20.41.20/24</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/883/1*sRr9ODMxJq6sR7T6QuoB8w.png" /></figure><p>PC3 dengan IP 20.20.41.21/24</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/856/1*JZHYhmOyAvqwiJPzmEu8eg.png" /></figure><h4>3.3 Konfigurasi CLI pada Switch</h4><p>Setelah memberikan alamat IP pada seluruh komputer, langkah selanjutnya adalah melakukan konfigurasi VLAN pada switch. Switch digunakan untuk membuat VLAN 10 dan VLAN 20, kemudian menetapkan port yang terhubung ke setiap PC sebagai anggota VLAN yang sesuai.</p><p>Tujuannya untuk Memisahkan lalu lintas jaringan secara logika untuk meningkatkan keamanan dan performa komunikasi. Konfigurasi dilakukan dengan membuka perangkat switch Cisco 2960, kemudian memilih tab CLI.</p><p>1.Masuk ke mode konfigurasi switch</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/537/1*cB294p8khAbjWd4xXwRlig.png" /></figure><p>2.Mendaftarkan VLAN 10 dan VLAN 20 beserta namanya ke database VLAN di switch.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/315/1*oYveNcvzhJSUxQafEYR1rA.png" /></figure><p>3.Setelah VLAN berhasil dibuat, setiap port yang terhubung ke PC harus dikonfigurasi sebagai access port dan dimasukkan ke VLAN yang telah ditentukan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/349/1*djSbDRvyNF9-gK_vJxDtgA.png" /></figure><p>4.Setelah seluruh konfigurasi selesai, langkah berikutnya adalah memeriksa apakah VLAN telah dibuat dan port switch sudah masuk ke kelompok yang benar.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/634/1*yThvr_o5WBd0h-kSdB5z2g.png" /></figure><h4>4.Uji Ping</h4><p>Tahap terakhir adalah melakukan pengujian konektivitas menggunakan perintah ping. Tujuan uji ping adalah untuk menguji konektivitas jaringan, memeriksa status aktif suatu perangkat, serta mengukur waktu tunda (latency atau delay) saat mengirim paket data ke perangkat tujuan.</p><p>Pengujian ini dilakukan melalui menu Desktop dan Command Prompt pada masing-masing PC.</p><p>Pada VLAN 10 PC0</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/637/1*wt1B4BWiKcO06YqSfm08Gg.png" /></figure><p>Pada VLAN 20 PC2</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/527/1*NZ2DnePZtp-WlsazcSUMbQ.png" /></figure><p>Uji konektivitas menggunakan Simple PDU</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/580/1*RoAtTypZrfoqFKf7nEOliw.png" /></figure><h3>Tambahan</h3><p>Setelah praktikum modul selesai, saya mengembangkannya dengan menambah dua VLAN lagi pada switch yang sama: VLAN 30 untuk 2 PC dan VLAN 40 untuk 2 laptop. Tujuannya untuk melihat bahwa VLAN bisa ditambah sebanyak yang dibutuhkan, dan setiap VLAN tetap terisolasi dari yang lain.</p><h4>1.VLAN 30</h4><p>Menambahkan 2 unit PC (PC4 dan PC5) yang dihubungkan ke port FastEthernet0/5 dan FastEthernet0/6 pada Switch0 dengan tipe kabel Straight-Through.</p><p>Lalu mengkonfigurasi IP address tiap PC</p><p>PC4</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/559/1*4Bp3EE82US9wNJn7Oe820A.png" /></figure><p>PC5</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/582/1*Sd6Oa7HxLmisZGmgZuYb1g.png" /></figure><p>Langkah selanjutnya membuat dan memberi nama VLAN 30 agar siap digunakan untuk mengelompokkan perangkat (seperti komputer) ke dalam jaringan yang terisolasi.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/452/1*usVK7hiLtB7GxqIUaz3yGA.png" /></figure><p>Selanjutnya, port yang terhubung ke kedua PC dikonfigurasi sebagai access port dan dimasukkan ke VLAN 30.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/477/1*OP83EJs2TUgv_RwZQXpt1Q.png" /></figure><p>langkah selanjutnya adalah melakukan pengecekan untuk memastikan bahwa VLAN telah aktif dan port-port perangkat sudah masuk ke dalam nomor VLAN yang benar.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/698/1*NPQIkcRjoHLxW_CfU6FIrQ.png" /></figure><p>Tahap berikutnya adalah melakukan pengujian koneksi untuk memastikan bahwa dua PC dalam VLAN 30 dapat saling berkomunikasi dalam satu VLAN dan tidak bisa berkomunikasi pada VLAN yang berbeda.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/555/1*Rw0U5O-zjonWNNAOXluBKQ.png" /></figure><p>2.VLAN 40</p><p>Setelah VLAN 30 selesai dikonfigurasi, langkah berikutnya adalah membuat VLAN 40 untuk dua laptop. Kedua laptop dihubungkan ke port switch yang sesuai, kemudian port tersebut dimasukkan ke VLAN 40.</p><p>Pada FastEthernet0/7 dan FastEthernet0/8 pada Switch0 dengan tipe kabel Straight-Through.</p><p>KOnfigurasi IP pada masing-masing Laptop</p><p>Laptop0</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/562/1*8K9bYEp7d7OHzTPvUQ8LIw.png" /></figure><p>Laptop1</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/675/1*IrX006346cUL8wyXsw8iwQ.png" /></figure><p>Langkah selanjutnya membuat dan memberi nama VLAN 40 agar siap digunakan untuk mengelompokkan laptop ke dalam jaringan yang terisolasi.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/256/1*e0DPPA6TaYCivoK0LsfPyQ.png" /></figure><p>Selanjutnya, port yang terhubung ke kedua PC dikonfigurasi sebagai access port dan dimasukkan ke VLAN 40.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/332/1*Y0jkAcq3hsLv_aTR8B2R0Q.png" /></figure><p>Setelah seluruh konfigurasi selesai, dilakukan pemeriksaan menggunakan perintah show vlan. Perintah ini digunakan untuk melihat daftar VLAN yang tersedia serta port switch yang telah dimasukkan ke masing-masing VLAN.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/609/1*cWURZhRVueQ9Eavl3qaL6A.png" /></figure><p>Melalui pemeriksaan tersebut, konfigurasi menunjukkan bahwa VLAN 30 memiliki dua port untuk PC, sedangkan VLAN 40 memiliki dua port untuk laptop. VLAN 10 dan VLAN 20 tetap menggunakan konfigurasi yang telah dibuat pada tahap praktikum sebelumnya.</p><p>Tahap berikutnya adalah melakukan pengujian koneksi. Pengujian dilakukan untuk memastikan dua laptop dalam VLAN 40 dapat saling berkomunikasi.Dan perangkat yang tidak dalam 1 VLAN yang sama akan tidak dapat berkomunikasi.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/644/1*9ZATQX27sL31L3dgd4N5JA.png" /></figure><h3>Hasil Praktikum</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xImoQYGNQGNY4rtH9lWq2A.png" /></figure><p>Hasil praktikum menunjukkan bahwa konfigurasi VLAN 10, VLAN 20, VLAN 30, dan VLAN 40 pada Switch Cisco berhasil dilakukan, di mana setiap perangkat telah terhubung ke port switch yang sesuai dan memiliki alamat IP dengan segmen network yang berbeda. Berdasarkan analisis melalui uji konektivitas (ping test) dan penggunaan Simple PDU, komunikasi data hanya dapat dilakukan antar perangkat yang berada di dalam VLAN yang sama, sedangkan komunikasi antar VLAN yang berbeda secara langsung tidak dapat terhubung karena berhasil diisolasi oleh aturan</p><h3>Kesimpulan</h3><p>VLAN merupakan teknologi yang memungkinkan pembagian jaringan menjadi beberapa kelompok logis untuk mempermudah pengelolaan dan meningkatkan keamanan jaringan. Dengan VLAN, perangkat dapat dikelompokkan berdasarkan kebutuhan tertentu meskipun terhubung pada switch yang sama. Setiap VLAN memiliki jaringan yang terpisah, sehingga komunikasi antar-VLAN memerlukan konfigurasi tambahan agar perangkat dapat saling terhubung.</p><h3>Referensi</h3><p>Modul Praktikum Jaringan Komputer , Pertemuan 9 — VLAN, Program Studi Teknologi Informasi, Universitas Tidar.</p><ul><li><a href="https://www.omadanetworks.com/us/blog/2690/what-is-a-vlan-definition-types-how-it-works/">What Is a VLAN? Definition, Types &amp; How It Works | TP-Link</a></li><li><a href="https://www.idn.id/configure-and-verify-virtual-local-area-network-vlans/">Configure and verify Virtual Local Area Network (VLANs)</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=af1ceb5c7910" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[INTEGRASI END-TO-END HDFS, PYSPARK, DAN FORMAT PARQUET UNTUK ANALISIS BISNIS]]></title>
            <link>https://medium.com/@irhamzuyina/integrasi-end-to-end-hdfs-pyspark-dan-format-parquet-untuk-analisis-bisnis-b594d63a2539?source=rss-fa2236c19721------2</link>
            <guid isPermaLink="false">https://medium.com/p/b594d63a2539</guid>
            <dc:creator><![CDATA[Zuyina M. Irkham]]></dc:creator>
            <pubDate>Sat, 10 Oct 2026 06:23:55 GMT</pubDate>
            <atom:updated>2026-10-10T06:23:55.270Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GAijMXvzBHhblFBBxGw_Xw.jpeg" /></figure><h3>Pendahuluan</h3><p>Perkembangan teknologi informasi menyebabkan jumlah data yang dihasilkan semakin besar, beragam, dan berasal dari berbagai sumber dengan format berbeda. Untuk mengatasi hal tersebut, konsep Big Data hadir dengan memanfaatkan teknologi penyimpanan terdistribusi seperti Hadoop Distributed File System (HDFS) dan pemrosesan in-memory seperti Apache Spark agar data dapat dikelola serta diolah secara efektif.</p><p>Dalam pengolahannya, dibutuhkan suatu sistem terintegrasi yang menerapkan pendekatan Extract, Transform, Load (ETL). Melalui alur ini, data dari berbagai sumber diambil, ditransformasikan, dan digabungkan sesuai kebutuhan analisis, sehingga data mentah dapat diubah menjadi informasi terstruktur yang mendukung proses pengambilan keputusan</p><h3>Dasar Teori</h3><p>2.1 Big Data</p><p>Big Data merupakan konsep pengelolaan dan pengolahan data dalam jumlah besar, beragam, dan terus bertambah. Data dalam skala tersebut membutuhkan teknologi khusus agar dapat disimpan, diproses, dan dianalisis secara efektif.</p><p>Pengolahan Big Data memungkinkan data yang sebelumnya sulit ditangani dengan sistem konvensional untuk diolah menjadi informasi yang berguna. Dalam penerapannya, Big Data dapat melibatkan berbagai teknologi untuk mendukung proses penyimpanan, pemrosesan, dan analisis data.</p><p>2.2 Hadoop Distributed File System (HDFS)</p><p>Hadoop Distributed File System (HDFS) merupakan sistem penyimpanan yang digunakan dalam ekosistem Hadoop untuk menyimpan data dalam lingkungan terdistribusi. HDFS dirancang untuk menangani penyimpanan data berukuran besar dengan membagi data ke dalam beberapa bagian dan menyimpannya pada sistem yang terdistribusi.</p><p>HDFS digunakan sebagai tempat penyimpanan data sebelum data tersebut diproses. Dengan adanya HDFS, data dalam jumlah besar dapat dikelola secara lebih terstruktur dan dapat digunakan oleh sistem pemrosesan Big Data.</p><p>2.3 Apache Spark</p><p>Apache Spark merupakan framework untuk melakukan pemrosesan dan analisis data. Spark dapat digunakan untuk mengolah data dalam jumlah besar serta menyediakan berbagai fitur untuk melakukan transformasi dan analisis data.</p><p>Dalam pengolahan data, Spark dapat bekerja dengan berbagai sumber dan format data. Spark juga menyediakan beberapa komponen untuk membantu proses pengolahan data, seperti DataFrame dan Spark SQL.</p><p>2.4 SparkSession</p><p>SparkSession merupakan objek utama yang digunakan untuk memulai dan berinteraksi dengan Apache Spark. SparkSession menyediakan akses untuk melakukan berbagai operasi pengolahan data menggunakan Spark.</p><p>Melalui SparkSession, pengguna dapat membaca data, membuat dan mengolah DataFrame, menjalankan Spark SQL, serta melakukan berbagai proses pengolahan data lainnya.</p><p>2.5 DataFrame</p><p>DataFrame merupakan struktur data berbentuk tabel yang terdiri dari baris dan kolom. DataFrame digunakan untuk menyimpan dan mengolah data sehingga proses analisis dapat dilakukan dengan lebih terstruktur.</p><p>Dalam Spark, DataFrame dapat digunakan untuk melakukan berbagai operasi, seperti:</p><ul><li>memilih kolom,</li><li>melakukan penyaringan data,</li><li>mengelompokkan data,</li><li>melakukan perhitungan,</li><li>menggabungkan beberapa sumber data.</li></ul><p>2.6 Join</p><p>Join merupakan operasi yang digunakan untuk menggabungkan data dari dua atau lebih tabel atau DataFrame berdasarkan kolom yang memiliki hubungan.</p><p>Join berguna ketika informasi yang dibutuhkan tidak berada dalam satu sumber data. Dengan melakukan join, beberapa sumber data dapat digabungkan sehingga menghasilkan data yang lebih lengkap untuk proses analisis.</p><p>2.7 Window Function</p><p>Window Function merupakan fungsi yang digunakan untuk melakukan perhitungan atau pemberian peringkat pada kelompok data tertentu tanpa menghilangkan baris data yang ada.</p><p>Salah satu fungsi yang dapat digunakan adalah row_number(). Fungsi tersebut dapat memberikan nomor urut atau peringkat pada data berdasarkan aturan tertentu. Window Function dapat digunakan untuk mencari data dengan peringkat tertinggi atau terendah pada setiap kelompok.</p><p>2.8 Spark SQL</p><p>Spark SQL merupakan salah satu fitur Apache Spark yang digunakan untuk melakukan pengolahan dan analisis data menggunakan sintaks SQL. Dengan Spark SQL, pengguna dapat melakukan operasi seperti SELECT, GROUP BY, ORDER BY, dan fungsi agregasi terhadap data yang telah tersedia di Spark.</p><p>Spark SQL dapat mempermudah pengguna yang sudah terbiasa menggunakan SQL dalam melakukan analisis data menggunakan Spark.</p><p>2.9 Extract, Transform, Load (ETL)</p><p>Extract, Transform, Load (ETL) merupakan proses yang digunakan untuk mengolah data dari sumber hingga menjadi data yang siap digunakan.</p><p>Tahapan ETL terdiri dari:</p><ul><li>Extract<br>Proses mengambil data dari satu atau beberapa sumber data.</li><li>Transform<br>Proses mengolah data sesuai kebutuhan, seperti membersihkan data, menggabungkan data, melakukan perhitungan, atau melakukan analisis.</li><li>Load<br>Proses menyimpan hasil pengolahan ke tempat penyimpanan tujuan.</li></ul><p>ETL merupakan salah satu pendekatan penting dalam pengolahan data karena memungkinkan data dari berbagai sumber diubah menjadi data yang lebih terstruktur dan siap dianalisis.</p><p>2.10 Parquet</p><p>Parquet merupakan salah satu format penyimpanan data yang digunakan dalam pengolahan Big Data. Parquet menggunakan pendekatan columnar format, yaitu data disimpan berdasarkan kolom.</p><p>Format ini dapat mendukung proses analisis data karena data dapat dibaca berdasarkan kolom yang diperlukan. Parquet juga dapat digunakan untuk menyimpan hasil pengolahan data agar dapat digunakan kembali pada proses berikutnya serta penyimpanan nya yang di perkecil.</p><p>2.11 Partitioning</p><p>Partitioning merupakan teknik membagi data menjadi beberapa bagian berdasarkan nilai tertentu pada suatu kolom. Teknik ini dapat membantu mengorganisasi data sehingga data menjadi lebih terstruktur.</p><p>Dalam pengolahan Big Data, partitioning dapat digunakan berdasarkan kategori tertentu sehingga data dapat dikelompokkan sesuai kebutuhan analisis.</p><h3>3.Praktikum</h3><p>3.1 Persiapan Lingkungan dan SparkSession</p><p>Tahap pertama adalah mempersiapkan library yang dibutuhkan dan membuat SparkSession. SparkSession digunakan sebagai titik awal untuk menjalankan proses pengolahan data menggunakan Apache Spark.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pnTWPT1hJd6hvhJil3mBfQ.png" /></figure><p>Penjelasan:</p><ul><li>SparkSession.builder untuk menginisialisasi entry point utama untuk berinteraksi dengan fungsionalitas Spark DataFrame dan SQL API.</li><li>.appName(…) memberikan nama identifikasi unik bagi aplikasi Spark pada antarmuka Cluster Manager atau Spark UI.</li><li>.master(“local[*]”) menentukan moda eksekusi lokal dengan mengalokasikan seluruh thread CPU yang tersedia pada sistem secara terdistribusi.</li><li>.getOrCreate() mengambil instansiasi SparkSession yang aktif atau membuat baru jika belum pernah diinisialisasi.</li><li>setLogLevel(“ERROR”) menyaring keluaran log sistem untuk menyembunyikan pesan INFO dan WARN, fokus menampilkan pesan kesalahan krusial.</li></ul><p>3.2 Mempersiapkan Data</p><p>Pada tahap ini dibuat tiga sumber data yang akan digunakan dalam proses pengolahan Big Data, yaitu data toko, data produk, dan data transaksi. Data toko disimpan dalam format JSON, sedangkan data produk dan transaksi disimpan dalam format CSV. Data dibuat menggunakan Python dengan bantuan library NumPy, Pandas, dan JSON.</p><p>Data transaksi dibuat sebanyak 5.000 baris agar dapat digunakan sebagai data skala besar dalam proses pengolahan menggunakan Apache Spark.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MKNi-d_Eoo1seC4nEayV7Q.png" /></figure><p>Penjelasan:</p><ul><li>np.random.seed(77) digunakan agar data acak yang dihasilkan tetap konsisten ketika program dijalankan kembali.</li><li>toko_list berisi empat nama toko yang akan digunakan sebagai sumber data toko.</li><li>data_toko membuat data toko yang terdiri dari toko_id, nama_toko, kota, dan manager.</li><li>np.random.choice() digunakan untuk memilih nama manager secara acak.</li><li>Data toko kemudian disimpan ke dalam data_toko.json menggunakan library json.</li><li>data_produk membuat 20 data produk dengan atribut product_id, nama_produk, kategori, dan harga.</li><li>Kategori produk dipilih secara acak dari Elektronik, Fashion, dan Makanan, sedangkan harga dipilih dari beberapa nilai yang telah ditentukan.</li><li>pd.DataFrame(data_produk) mengubah data produk menjadi DataFrame Pandas, kemudian to_csv() menyimpannya sebagai data_produk.csv.</li><li>Variabel n = 5000 menentukan jumlah data transaksi yang akan dibuat.<br>data_transaksi menghasilkan 5.000 transaksi yang terdiri dari trx_id, toko_id, product_id, dan qty.</li><li>np.random.randint() digunakan untuk menghasilkan nilai acak untuk toko, produk, dan jumlah barang yang dibeli.</li><li>Data transaksi disimpan dalam data_transaksi_triwulan.csv menggunakan to_csv().</li><li>Bagian print() digunakan untuk memastikan ketiga sumber data berhasil dibuat sekaligus menampilkan jumlah baris dari masing-masing data.</li></ul><p>3.2 Menggungah Data ke HSFS</p><p>Setelah ketiga sumber data berhasil dibuat, tahap berikutnya adalah menyimpan data tersebut ke HDFS (Hadoop Distributed File System). Data akan ditempatkan pada folder raw, karena pada konsep ETL folder ini digunakan untuk menyimpan data mentah sebelum dilakukan proses transformasi.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XOiX9u8N0pTrJyoSAJXnlA.png" /></figure><p>Penjelasan:</p><ul><li>hdfs dfs -mkdir -p digunakan untuk membuat folder raw di dalam HDFS. Opsi -p memastikan folder induk yang belum tersedia juga dibuat.</li><li>/user/irkam/pertemuan7/raw merupakan lokasi penyimpanan data mentah pada HDFS(bisa disesuaikan dengan nama nya).</li><li>hdfs dfs -put digunakan untuk mengunggah file dari penyimpanan lokal ke HDFS.</li><li>data_toko.json, data_produk.csv, dan data_transaksi_triwulan.csv merupakan tiga file sumber yang sebelumnya telah dibuat.</li><li>Perintah hdfs dfs -ls digunakan untuk melihat isi folder HDFS dan memastikan ketiga file telah berhasil diunggah.</li></ul><p>3.3 EXTRACT</p><p>Setelah data tersimpan di HDFS, tahap Extract dilakukan dengan membaca masing-masing file menggunakan Apache Spark. Data JSON dibaca menggunakan spark.read.json(), sedangkan data CSV dibaca menggunakan spark.read.csv(). Hasil pembacaan kemudian disimpan dalam bentuk DataFrame Spark agar dapat diproses pada tahap berikutnya.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/876/1*WtANxSMY6ELrl2lnOTVOUw.png" /></figure><p>Penjelasan:</p><ul><li>spark.read.json() digunakan untuk membaca file data_toko.json dari HDFS.</li><li>spark.read.csv() digunakan untuk membaca file CSV, yaitu data_produk.csv dan data_transaksi_triwulan.csv.</li><li>header=True menunjukkan bahwa baris pertama CSV merupakan nama kolom.</li><li>inferSchema=True membuat Spark mencoba menentukan tipe data setiap kolom secara otomatis, misalnya angka menjadi tipe numerik.</li><li>Data yang telah dibaca disimpan dalam DataFrame df_toko, df_produk, dan df_transaksi.</li><li>.count() digunakan untuk menghitung data yang disimpan.</li></ul><p>3.4 TRANSFORM</p><p>Setelah ketiga data berhasil dibaca dari HDFS, tahap berikutnya adalah Transform, yaitu menggabungkan data transaksi, toko, dan produk. Penggabungan dilakukan menggunakan operasi join berdasarkan kolom yang memiliki hubungan antar-data, yaitu toko_id dan product_id. Dengan penggabungan ini, data transaksi dapat dilengkapi dengan informasi nama toko, kota, manager, nama produk, kategori, dan harga.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ifOo3j24_m0_3rd0QTZaVA.png" /></figure><p>Penjelasan:</p><ul><li>df_transaksi.join(df_toko, on=”toko_id”, how=”inner”) menggabungkan data transaksi dengan data toko menggunakan kolom toko_id.</li><li>how=”inner” digunakan agar hanya data yang memiliki pasangan pada kedua DataFrame yang dipertahankan.</li><li>.join(df_produk, on=”product_id”, how=”inner”) kemudian menggabungkan hasil tersebut dengan data produk berdasarkan product_id.</li><li>Hasil dari seluruh proses penggabungan disimpan dalam df_gabungan, sehingga satu DataFrame sudah berisi informasi transaksi, toko, dan produk.</li><li>withColumn() digunakan untuk menambahkan kolom baru bernama total_penjualan.</li><li>col(“qty”) * col(“harga”) menghitung nilai penjualan setiap transaksi berdasarkan jumlah barang yang dibeli dikalikan harga produk.</li><li>df_gabungan.show(5) menampilkan 5 baris pertama hasil transformasi untuk memeriksa data.</li></ul><p>3.5 WINDOW FUNCTION</p><p>Selanjutnya, modul tidak langsung melakukan row_number() pada data transaksi. Data terlebih dahulu diringkas berdasarkan nama toko dan nama produk untuk mendapatkan total penjualan setiap produk pada masing-masing toko. Setelah itu, digunakan Window Function untuk menentukan tiga produk dengan penjualan tertinggi pada setiap toko.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/812/1*YrcZh0hS8bLJsfhhwwQrxQ.png" /></figure><p>Penjelasan:</p><ul><li>groupBy(“nama_toko”, “nama_produk”) mengelompokkan data berdasarkan toko dan produk.</li><li>spark_sum(“total_penjualan”) menghitung total nilai penjualan setiap produk pada masing-masing toko.</li><li>alias(“total_penjualan”) memberikan nama pada hasil perhitungan tersebut.</li><li>Window.partitionBy(“nama_toko”) membuat kelompok per toko sehingga peringkat produk dilakukan secara terpisah untuk setiap toko.</li><li>orderBy(col(“total_penjualan”).desc()) mengurutkan produk dari total penjualan terbesar ke terkecil.</li><li>row_number().over(window_toko) memberikan nomor peringkat pada produk di setiap toko.</li><li>.filter(col(“peringkat”) &lt;= 3) hanya mengambil tiga produk dengan peringkat tertinggi.</li><li>orderBy(“nama_toko”, “peringkat”) mengurutkan hasil berdasarkan nama toko dan peringkat.</li><li>show(20) menampilkan hasil top 3 produk dari masing-masing toko.</li></ul><p>3.6 SPARK SQL</p><p>Setelah data digabungkan dan dianalisis dengan window function, tahap selanjutnya adalah menggunakan Spark SQL untuk mengetahui kontribusi penjualan dari setiap manager cabang.DataFrame hasil join didaftarkan sebagai tabel sementara, lalu dikueri dengan perintah SQL.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/549/1*ZvuJAsr1CDrw_BNGBT0EVg.png" /></figure><p>Penjelasan:</p><ul><li>createOrReplaceTempView(“gabungan”) mendaftarkan df_gabungan sebagai tabel sementara bernama gabungan agar bisa dikueri dengan SQL. Tabel ini hanya ada selama SparkSession aktif, dan jika namanya sudah ada, isinya diganti.</li><li>spark.sql(‘’’…’’’) menjalankan kueri SQL dan mengembalikan hasilnya sebagai DataFrame yang disimpan di kontribusi_manager. Tanda petik tiga dipakai agar kueri bisa ditulis beberapa baris.</li><li>SELECT kota, manager, SUM(total_penjualan) AS total_penjualan memilih kolom kota, manager, dan jumlah seluruh penjualan, lalu menamai hasil penjumlahannya total_penjualan.</li><li>FROM gabungan menunjukkan data diambil dari tabel gabungan.</li><li>GROUP BY kota, manager mengelompokkan data per kota dan manager, sehingga SUM dihitung terpisah untuk tiap kelompok (empat baris, sesuai jumlah toko).</li><li>ORDER BY total_penjualan DESC mengurutkan dari penjualan terbesar ke terkecil.</li><li>show() menampilkan hasil dalam bentuk tabel. Spark baru menjalankan kueri saat baris ini dipanggil.</li></ul><p>3.7 LOAD</p><p>Pada tahap ini hasil gabungan data disimpan ke HDFS dalam format Parquet pada folder processed. Data dipartisi berdasarkan kategori produk agar penyimpanan lebih terorganisir dan efisien.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DQ4og4YCletKLhmtgkxulg.png" /></figure><p>Penjelasan:</p><ul><li>hdfs dfs -mkdir -p membuat folder processed di HDFS sebagai tempat data hasil olahan, terpisah dari folder raw yang berisi data mentah.</li><li>.write mengubah DataFrame menjadi proses penulisan data, dan .mode(“overwrite”) menimpa data lama jika folder tujuan sudah ada sehingga kode aman dijalankan ulang.</li><li>.partitionBy(“kategori”) membagi data ke subfolder berdasarkan nilai kolom kategori, yaitu kategori=Elektronik, kategori=Fashion, dan kategori=Makanan.</li><li>.parquet(…) menyimpan data dalam format Parquet yang berbasis kolom dan terkompresi, sehingga ukurannya lebih kecil dan cepat dibaca.</li><li>hdfs dfs -ls menampilkan isi folder tujuan untuk memastikan ketiga folder partisi sudah terbentuk.</li></ul><p>3.8 Verifikasi</p><p>Data Parquet dibaca kembali dari HDFS untuk memastikan penyimpanan berhasil, lalu diringkas per toko sebagai laporan akhir untuk manajemen.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*j-kwjz20NNqf5BCAzBElQg.png" /></figure><p>Penjelasan:</p><ul><li>spark.read.parquet(…) membaca kembali data Parquet dari HDFS.</li><li>Kolom kategori otomatis muncul lagi karena Spark membacanya dari nama folder partisi.</li><li>groupBy(“nama_toko”, “kota”, “manager”) mengelompokkan data per toko.</li><li>spark_sum(“total_penjualan”) menghitung total penjualan triwulan tiap toko.</li><li>count(“trx_id”) menghitung jumlah transaksi tiap toko.</li><li>avg(“total_penjualan”) menghitung rata-rata nilai per transaksi.</li><li>alias(…) memberi nama yang jelas pada kolom hasil perhitungan.</li><li>orderBy(…desc()) mengurutkan dari total penjualan tertinggi, dan</li><li>show() menampilkan hasilnya.</li></ul><h3>4.Latihan Mandiri</h3><p>Sebelum mengerjakan soal, SparkSession dibuat ulang dan ketiga sumber data dibaca lagi dari HDFS, lalu digabung seperti pada tahap Transform. Langkah ini diperlukan agar latihan bisa berdiri sendiri, tanpa bergantung pada variabel dari cell sebelumnya.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kRNIw81bZTs8CZFBmpWZ8w.png" /></figure><p>Penjelasan:</p><ul><li>SparkSession.builder.appName(“Latihan7”) membuat SparkSession baru dengan nama aplikasi Latihan7 agar mudah dibedakan di Spark UI dari session studi kasus.</li><li>.master(“local[*]”) menjalankan Spark di komputer sendiri dengan memakai semua core CPU yang tersedia.</li><li>.getOrCreate() memakai session yang sudah aktif atau membuat yang baru. Ini dibutuhkan karena session sebelumnya sudah ditutup dengan spark.stop().</li><li>setLogLevel(“ERROR”) hanya menampilkan pesan error agar output latihan bersih.</li><li>spark.read.csv(…, header=True, inferSchema=True) membaca file CSV dari HDFS. header=True menjadikan baris pertama sebagai nama kolom, dan inferSchema=True membuat Spark menentukan tipe data tiap kolom otomatis. Dipakai untuk df_transaksi dan df_produk.</li><li>spark.read.json(…) membaca data_toko.json menjadi df_toko.</li><li>df_transaksi.join(df_toko, on=”toko_id”) menggabungkan transaksi dengan data toko lewat kolom toko_id. Karena how tidak ditulis, Spark memakai inner join secara default.</li><li>.join(df_produk, on=”product_id”) menggabungkan hasilnya dengan data produk lewat kolom product_id.</li><li>withColumn(“total_penjualan”, col(“qty”) * col(“harga”)) menambah kolom nilai penjualan tiap transaksi, yaitu jumlah barang dikali harga.</li><li>df_gabungan.count() menghitung jumlah baris. Hasilnya 5.000, sama dengan jumlah transaksi awal, sehingga tidak ada data yang hilang saat join.</li></ul><p><strong>Soal 1</strong>. Menggunakan Spark SQL, tampilkan kategori produk dengan total qty (jumlah unit terjual, bukan nilai rupiah) tertinggi secara keseluruhan.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Z31XtuWRbOS33sjNqvN8eA.png" /></figure><p>Penjelasan:</p><ul><li>SUM(qty) menjumlahkan jumlah unit terjual, bukan nilai rupiah seperti total_penjualan.</li><li>FROM gabungan berdasaarkan data yang telah digabung pada df_gabungan.</li><li>GROUP BY kategori menghitung total unit untuk tiap kategori.</li><li>ORDER BY total_qty DESC mengurutkan dari unit terbanyak.</li></ul><p>Hasilnya, kategori Elektronik menjadi yang tertinggi dengan 6.736 unit , lalu Fashion 5.307 unit dan Makanan 3.114 unit.</p><p><strong>Soal 2</strong>. Menggunakan window function, tentukan toko dengan penjualan tertinggi untuk masing-masing kategori produk (top-1 saja, gunakan row_number()).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9W3c45J-ITcSTmsL7PMc2Q.png" /></figure><p>Penjelasan:</p><ul><li>groupBy(“kategori”, “nama_toko”) dan spark_sum meringkas total penjualan untuk tiap kombinasi kategori dan toko.</li><li>Window.partitionBy(“kategori”) membuat kelompok per kategori, sehingga peringkat toko dihitung terpisah di tiap kategori.</li><li>orderBy(col(“total_penjualan”).desc()) mengurutkan toko dari penjualan terbesar di tiap kategori.</li><li>row_number().over(window_kategori) memberi nomor peringkat pada tiap toko.</li><li>filter(col(“peringkat”) == 1) hanya mengambil toko peringkat pertama (top-1).</li></ul><p>Hasilnya, Toko Magelang penjualannya tertinggi pada Elektronik (Rp202.150.000) dan Makanan (Rp108.200.000), sedangkan Toko Semarang pada Fashion (Rp123.000.000).</p><p><strong>Soal 3.</strong> Simpan hasil ringkasan_eksekutif (dari Sub-bab 7.4 di atas — silakan buat ulang) ke HDFS sebagai Parquet tanpa partisi, pada path /user/mahasiswa/latihan7/ringkasan_eksekutif.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QASjK6eDiFRAfH4zi11_Sg.png" /></figure><p>Penjelasan:</p><ul><li>groupBy(“nama_toko”, “kota”, “manager”) dan agg(…) membuat ulang ringkasan eksekutif: total penjualan, jumlah transaksi, dan rata-rata nilai transaksi per toko.</li><li>orderBy(…desc()) mengurutkan dari total penjualan tertinggi.</li><li>show() menampilkan tabel ringkasan untuk dicek sebelum disimpan.</li><li>.write.mode(“overwrite”) menimpa data lama jika folder tujuan sudah ada.</li><li>.parquet(…) menyimpan ke HDFS dalam format Parquet. Tanpa</li><li>partitionBy(), berkas langsung berada di folder tujuan. Partisi tidak diperlukan karena tabel hanya berisi empat baris.</li><li>print(…) menandai bahwa penyimpanan selesai tanpa error.</li></ul><p><strong>Soal 4</strong> (Refleksi menyeluruh). Sebagai persiapan UTS, jelaskan dalam 4–5 kalimat: bagaimana HDFS, Spark, dan format Parquet saling melengkapi dalam satu ekosistem Big Data? Gunakan istilah-istilah yang telah anda pelajari sejak Pertemuan 3 (mis. distributed storage, in-memory processing, columnar format, partitioning).</p><p>Jawab:</p><p>HDFS berfungsi sebagai distributed storage yang menyimpan data dalam sistem terdistribusi sehingga cocok untuk data berukuran besar. Spark digunakan untuk melakukan in-memory processing sehingga proses pengolahan data seperti join, agregasi, dan window function dapat dilakukan dengan lebih efisien. Setelah data diproses, Parquet digunakan sebagai columnar format yang menyimpan data berdasarkan kolom dan mendukung kompresi. Parquet juga mendukung partitioning, sehingga data dapat dikelompokkan berdasarkan kolom tertentu dan proses pembacaan data dapat menjadi lebih efisien. Dengan demikian, HDFS sebagai penyimpanan, Spark sebagai pemrosesan, dan Parquet sebagai format penyimpanan hasil dapat saling melengkapi dalam pipeline Big Data.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KvdPNSxNO1oabI3eIJrd5w.png" /></figure><h3>5.Tugas Mandiri</h3><p>Skenario tugas ini adalah menjadi data analyst paruh waktu untuk “Kopi Nusantara”, jaringan kedai kopi dengan tiga cabang. Pemilik ingin mengetahui performa penjualan tiap cabang, menu terlaris, dan kontribusi kepala barista. Datanya dibuat dari tiga sumber, yaitu data cabang (JSON), data menu (CSV), dan data transaksi (CSV), lalu diunggah ke HDFS.</p><p>Menyiapkan Data Set</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/967/1*Et07HoRVfc0YxAD7QnlhzQ.png" /></figure><p>Penjelasan:</p><ul><li>import numpy, pandas, dan json dipakai untuk membangkitkan data acak, menyusunnya menjadi tabel, dan menulis file JSON.</li><li>np.random.seed(123) mengunci angka acak agar data yang dihasilkan selalu sama setiap kode dijalankan ulang, sehingga hasil analisis bisa direproduksi.</li><li>cabang_list berisi nama tiga cabang yang menjadi dasar data cabang.</li><li>data_cabang membuat satu data per cabang berisi cabang_id, nama_cabang, kota, dan kepala_barista. c.split()[-1] mengambil kata terakhir nama cabang sebagai kota, dan np.random.choice([…]) memilih kepala barista secara acak dari Wulan, Reza, dan Nadia.</li><li>with open(“tugas7_cabang.json”, “w”) menulis data cabang ke file, satu objek JSON per baris (format JSON Lines) lewat json.dumps(c) + “\n”.Format ini yang dibaca Spark dengan spark.read.json().</li><li>menu_list membuat 15 menu dengan menu_id, nama_menu, kategori_menu (dipilih acak dari Kopi, Non-Kopi, dan Makanan Ringan), dan harga (dipilih acak dari lima nilai antara Rp18.000 sampai Rp35.000).</li><li>pd.DataFrame(menu_list).to_csv(“tugas7_menu.csv”, index=False) mengubah data menu menjadi tabel Pandas lalu menyimpannya sebagai CSV. index=False mencegah kolom nomor baris ikut tersimpan.</li><li>n = 4000 menentukan jumlah transaksi yang dibuat.</li><li>data_transaksi_tugas7 membuat 4.000 transaksi dengan trx_id (KN0 sampai KN3999), cabang_id acak 1 sampai 3, menu_id acak 1 sampai 15, dan qty acak 1 sampai 4. np.random.randint(1, 4) menghasilkan angka 1 sampai 3 karena batas atasnya tidak ikut.</li><li>.to_csv(“tugas7_transaksi.csv”, index=False) menyimpan data transaksi sebagai CSV.</li><li>hdfs dfs -mkdir -p /user/irkham/tugas7/raw membuat folder raw di HDFS untuk data mentah. Opsi -p membuat folder induk yang belum ada.</li><li>hdfs dfs -put -f mengunggah ketiga file dari disk lokal ke HDFS. Opsi -f menimpa file lama bila sudah ada, sehingga perintah aman dijalankan ulang.</li><li>hdfs dfs -ls menampilkan isi folder untuk memastikan ketiga file sudah terunggah.</li><li>print(…) memastikan data siap dan menampilkan jumlah data tiap sumber.</li></ul><p>Hasil hdfs dfs -ls menunjukkan tiga berkas di HDFS: tugas7_cabang.json (321 byte), tugas7_menu.csv (432 byte), dan tugas7_transaksi.csv (52.539 byte). Output print menunjukkan Cabang: 3, Menu: 15, dan Transaksi: 4000.</p><p>Persiapan SparkSession dan Cek Data di HDFS</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*iRkspFaidUhzowBBn5JZ3Q.png" /></figure><p>Penjelasan:</p><ul><li>appName(“Tugas7”) memberi nama aplikasi agar mudah dikenali di Spark UI.</li><li>.master(“local[*]”) menjalankan Spark di komputer sendiri dengan semua core CPU yang tersedia.</li><li>.getOrCreate() memakai SparkSession yang aktif atau membuat yang baru, dan setLogLevel(“ERROR”) membuat output hanya menampilkan pesan error.</li><li>spark.version menampilkan versi Spark yang dipakai, yaitu 3.5.9.</li><li>hdfs dfs -ls memastikan tiga file sumber sudah ada di HDFS sebelum dibaca: tugas7_cabang.json, tugas7_menu.csv, dan tugas7_transaksi.csv.</li></ul><p>A. EXTRACT</p><p>Baca ketiga sumber data dari HDFS (bukan disk lokal) menjadi tiga Spark DataFrame.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/883/1*YTyP-JEDendiAiu0OEdV-A.png" /></figure><p>Penjelasan:</p><ul><li>spark.read.csv(…) membaca file CSV dari HDFS (bukan disk lokal, sesuai instruksi). header=True menjadikan baris pertama sebagai nama kolom, dan inferSchema=True membuat Spark menentukan tipe data tiap kolom otomatis.</li><li>spark.read.json(…) membaca data cabang yang berformat JSON Lines.<br>Hasil bacaan disimpan sebagai tiga DataFrame: df_transaksi, df_cabang, dan df_menu.</li><li>.count() menghitung baris untuk memastikan data terbaca lengkap.</li></ul><p>Hasil: transaksi 4.000, cabang 3, menu 15.</p><p>B. TRANSFORM — Join &amp; Kolom Turunan</p><p>Gabungkan ketiga tabel, tambahkan kolom total_penjualan (qty x harga).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/804/1*D7dO-SyP5epbAYw14BneOQ.png" /></figure><p>Penjelasan:</p><ul><li>join(df_cabang, on=”cabang_id”, how=”inner”) menambahkan nama cabang, kota, dan kepala barista ke setiap transaksi lewat kolom cabang_id.</li><li>.join(df_menu, on=”menu_id”, how=”inner”) menambahkan nama menu, kategori, dan harga lewat kolom menu_id. Inner join hanya mempertahankan baris yang punya pasangan di kedua tabel.</li><li>withColumn(“total_penjualan”, col(“qty”) * col(“harga”)) menambah kolom nilai penjualan tiap transaksi, yaitu jumlah barang dikali harga.</li><li>show(truncate=False) menampilkan data tanpa memotong isi kolom (default 20 baris).</li></ul><p>C. TRANSFORM — Window Function</p><p>Tentukan top-2 menu terlaris (berdasarkan total_penjualan) di setiap cabang, gunakan row_number().</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/782/1*SerYAMT0wvpPl__HekRiQw.png" /></figure><p>Penjelasan:</p><ul><li>groupBy(“nama_cabang”, “nama_menu”) dan spark_sum meringkas total penjualan tiap menu di tiap cabang. Peringkat dihitung dari ringkasan ini, bukan dari transaksi mentah.</li><li>Window.partitionBy(“nama_cabang”) membuat peringkat dihitung terpisah untuk setiap cabang.</li><li>orderBy(col(“total_penjualan”).desc()) mengurutkan menu dari penjualan terbesar.</li><li>row_number().over(window_cabang) memberi nomor urut pada tiap menu di dalam cabangnya.</li><li>filter(col(“peringkat”) &lt;= 2) hanya mengambil dua menu teratas.</li></ul><p>D. TRANSFORM — Spark SQL</p><p>Menggunakan Spark SQL murni, tampilkan total penjualan per kepala_barista, diurutkan dari tertinggi.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/723/1*RO3JpmfOZdS8eDQc9rOFqA.png" /></figure><p>Penjelasan:</p><ul><li>createOrReplaceTempView(“gabungan”) mendaftarkan df_gabungan sebagai tabel sementara agar bisa dikueri dengan SQL murni.</li><li>SUM(total_penjualan) menjumlahkan penjualan, dan GROUP BY kepala_barista menghitungnya terpisah untuk tiap kepala barista.</li><li>ORDER BY total_penjualan DESC mengurutkan dari yang tertinggi.</li><li>Hasil kueri disimpan sebagai DataFrame penjualan_kepala_barista, lalu ditampilkan dengan show().</li></ul><p>E. LOAD</p><p>Simpan data gabungan (hasil bagian B) ke HDFS sebagai Parquet, path /user/[username]/tugas7/processed/laporan, dipartisi berdasarkan kategori_menu. Verifikasi dengan membaca kembali dan menghitung jumlah baris.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/941/1*XOuvHa5ZoAXtadvNbYKM6g.png" /></figure><p>Penjelasan:</p><ul><li>hdfs dfs -mkdir -p membuat folder processed untuk data hasil olahan, terpisah dari folder raw.</li><li>.write.mode(“overwrite”) menyimpan data dan menimpa hasil lama jika folder sudah ada.</li><li>.partitionBy(“kategori_menu”) membagi data ke subfolder berdasarkan kategori menu.</li><li>.parquet(…) menyimpan dalam format Parquet yang berbasis kolom dan terkompresi.</li><li>hdfs dfs -ls menunjukkan hasilnya: berkas _SUCCESS dan tiga folder partisi (kategori_menu=Kopi, kategori_menu=Makanan Ringan, kategori_menu=Non-Kopi).</li><li>spark.read.parquet(…) membaca kembali data yang tersimpan, lalu .count() menghitung barisnya sebagai verifikasi.</li></ul><p>F.Ringkasan dan Rekomendasi</p><p>Buat tabel ringkasan (per cabang: total penjualan, jumlah transaksi, rata-rata nilai transaksi)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/826/1*GdI93A9P8iCuOEGhQLICgQ.png" /></figure><p>Penjelasan:</p><ul><li>spark.read.parquet(…) membaca data dari hasil Load, jadi ringkasan disusun dari data yang sudah tersimpan di HDFS. Kolom kategori_menu otomatis muncul kembali dari nama folder partisi.</li><li>groupBy(“nama_cabang”, “kota”, “kepala_barista”) mengelompokkan data per cabang.</li><li>spark_sum, count, dan avg menghitung total penjualan, jumlah transaksi, dan rata-rata nilai per transaksi.</li><li>orderBy(col(“total_penjualan”).desc()) mengurutkan dari cabang dengan penjualan tertinggi.</li></ul><p>Cabang mana yang berkinerja terbaik, menu apa yang sebaiknya dipromosikan lebih gencar di cabang dengan kinerja terlemah (berdasarkan temuan bagian C)?</p><p>Jawab:</p><p>Berdasarkan hasil pengolahan data transaksi Kopi Nusantara, terdapat tiga cabang yang dianalisis, yaitu Magelang, Yogyakarta, dan Semarang. Cabang Semarang memiliki total penjualan tertinggi sebesar Rp90.542.000 dengan jumlah 1.393 transaksi. Cabang Magelang berada pada posisi berikutnya dengan total penjualan Rp87.138.000 dari 1.302 transaksi, sedangkan Yogyakarta memiliki total penjualan Rp84.645.000 dari 1.305 transaksi. Berdasarkan hasil window function, Menu-13 dan Menu-9 menjadi dua menu dengan penjualan tertinggi di cabang Semarang. Keduanya termasuk kategori Makanan Ringan dengan total penjualan masing-masing Rp8.750.000 dan Rp8.715.000. Oleh karena itu, untuk cabang dengan total penjualan terendah, yaitu Yogyakarta, menu yang dapat dipertimbangkan untuk dipromosikan lebih gencar adalah Menu-12 karena menjadi menu dengan penjualan tertinggi di cabang tersebut, yaitu Rp9.275.000. Selain itu, Menu-15 juga dapat dipertimbangkan karena menempati peringkat kedua dengan penjualan Rp8.160.000. Promosi dapat difokuskan pada menu yang sudah menunjukkan permintaan tinggi sehingga berpotensi menarik lebih banyak transaksi.</p><blockquote><strong>Langkah penting jika sudah selesai jangan lupa untuk dibiasakan menutup spark agar menghentikan dan membersihkan resource (sumber daya).</strong></blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/370/1*ZeP5eFOnWmZB_EfeoVSjug.png" /></figure><h3>Kesimpulan</h3><p>HDFS, Apache Spark, dan format Parquet saling melengkapi dalam satu pipeline Big Data. HDFS berperan sebagai distributed storage yang menyimpan data mentah dari berbagai sumber dan format, seperti JSON dan CSV, secara terdistribusi. Spark mengolah data tersebut secara in-memory, di mana join menggabungkan beberapa sumber data menjadi satu, window function menentukan peringkat pada setiap kelompok data, dan Spark SQL menyajikan agregasi dengan sintaks SQL yang mudah dipahami. Hasil olahan kemudian disimpan dalam format Parquet, yaitu columnar format yang terkompresi dan dapat dipartisi berdasarkan kolom tertentu sehingga pembacaan data lebih efisien. Seluruh proses ini mengikuti alur Extract, Transform, dan Load (ETL) yang mengubah data mentah menjadi laporan terstruktur dan siap dipakai untuk pengambilan keputusan.</p><h3>Referensi</h3><p>Modul Pertemuan 4 — Instalasi Apache Spark &amp; Pengenalan PySpark DataFrame, Praktikum Bigdata, Teknologi Informasi — Universitas Tidar</p><p>Modul Pertemuan 5 — PySpark DataFrame Lanjutan: Join, Window Function &amp; Spark SQL, Praktikum Big Data, Teknologi Informasi — Universitas Tidar</p><p>Modul 6, Praktikum Big Data, Format Data Besar (Parquet &amp; JSON) dan Pipeline ETL Sederhana, Universitas Tidar</p><h3>Github</h3><p><a href="https://github.com/zuyinamirkham/Big-Data/tree/main/pertemuan7">https://github.com/zuyinamirkham/Big-Data/tree/main/pertemuan7</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b594d63a2539" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>