What?

Interface simpelnya hanya merupakan daftar method yang wajib dimiliki oleh sebuah class. Umumnya, method yang ada pada interface tidak diisi atau kosong.

For what?

Secara pengertian, Interface dinilai merupakan fungsi yang tidak terlalu penting jika dibayangkan. Namun pada penerapannya, interface dinilai penting dan sangat berguna.

• Interface dapat menjadi kamus standar atau bisa dikatakan sebagai standarisasi bagi sebuah program yang dibuat bersama. Sebagai contoh, dalam skenario pembuatan suatu program, fungsi yang sama dapat ditulis dalam berbagai variabel (misalnya : nama() , name()) hal ini membuat programmer lain kebingungan karena terdapat variabel yang berbeda-beda padahal fungsinya sama. Dengan interface, seluruh programmer dipaksa menggunakan variabel yang sama
• Interface dapat berfungsi sebagai Loose Coupling yang artinya menurunkan keterikatan pada 1 class. Pada suatu skenario, jika suatu fitur terikat pada class tertentu, code umumnya akan sulit dikembangkan. Contohnya pada sistem Toko Online

class TokoOnline {
    private firstWorldBank pembayaran;
}

Pada kode tersebut, pembayaran jadi terikat pada firstWorldBank. Jika suatu saat toko tersebut ingin menambah metode pembayaran, maka code harus dibongkar semua. Interface hadir dengan membuat sistem standar pembayaran yaitu proses bayar. Proses bayar ini dapat berubah menjadi metode pembayaran yang dipilih

interface MetodePembayaran {
    void prosesBayar();
}

class TokoOnline {
    private MetodePembayaran pembayaran;
}

How?

Sebagai contoh untuk mengimplementasikan interface contohnya seperti ini :

interface OperasiHitung {
    int hitung(int a, int b); 
}

Setelah membuat interface, langkah selanjutnya adalah menerapkan inheritance ke interface. Sebagai contoh kira-kira seperti ini :

class Penjumlahan implements OperasiHitung {
    @Override 
    public int hitung(int a, int b) { 
        return a + b; 
    } 
}

class Pengurangan implements OperasiHitung {
    @Override 
    public int hitung(int a, int b) { 
        return a - b; 
    } 
}

public class PraktikumPBO_10 { 
    public static void main(String[] args) {
        
        OperasiHitung penjumlahan = new Penjumlahan(); 
        System.out.println("Penjumlahan: " + penjumlahan.hitung(10, 5)); 
        
        OperasiHitung pengurangan = new Pengurangan(); 
        System.out.println("Pengurangan: " + pengurangan.hitung(10, 5)); 
    } 
}

Setelah mencoba cara simpel interface, hal yang dapat dicoba selanjutnya adalah mengerjakan soal dan subsoalnya, untuk soalnya kira-kira seperti ini

“Anda diminta untuk membuat program sistem pembayaran untuk sebuah toko yang menjual dua jenis produk: Elektronik dan Makanan. Setiap produk memiliki metode untuk menghitung pajak, di mana Elektronik dikenakan pajak sebesar 10% dan Makanan sebesar 5%.” Lalu untuk subsoalnya kira-kira seperti ini :

• Buat interface Pembayaran dengan metode hitungPajak(double harga). Sebagai contoh jawabannya kira-kira seperti ini :

interface Pembayaran {
    double hitungPajak(double harga);
}

• Buat kelas Elektronik yang mengimplementasikan interface Pembayaran dan mengisi metode hitungPajak() untuk menghitung pajak sebesar 10% dari harga. Sebagai contoh jawabannya kira-kira seperti ini :

class Elektronik implements Pembayaran {
    @Override
    public double hitungPajak(double harga){
        return harga * 0.1;
    }
}

• Buat kelas Makanan yang mengimplementasikan interface Pembayaran dan mengisi metode hitungPajak() untuk menghitung pajak sebesar 5% dari harga. Sebagai contoh jawabannya kira-kira seperti ini :

class Makanan implements Pembayaran {
    @Override
    public double hitungPajak(double harga) {
        return harga * 0.05;
    }
}

• Buat kelas Main yang membuat objek dari Elektronik dan Makanan, lalu panggil metode hitungPajak() untuk setiap produk dan tampilkan hasilnya. Sebagai contoh jawabannya kira-kira seperti ini :

public class PraktikumPBO_10 { 
    public static void main(String[] args) {
        
        Pembayaran pajak_elektronik = new Elektronik(); 
        System.out.println("Penjumlahan: Rp " + pajak_elektronik.hitungPajak(1000000)); 
        
        Pembayaran pajak_makanan = new Makanan(); 
        System.out.println("Penjumlahan: Rp " + pajak_makanan.hitungPajak(5000)); 
    } 
}

What?

Singkatnya, MongoDB merupakan sistem database bertipe NoSQL yang menyimpan data dalam format dokumen mirip JSON. MongoDB umumnya memiliki 2 versi yaitu Community Edition dan Enterprise Edition. Untuk perbedaanya kira-kira seperti ini :

• MongoDB Community Edition merupakan versi open source dari MongoDB, versi ini dapat digunakan secara gratis. Sementara MongoDB Enterprise Edition merupakan versi komersial
• MongoDB Community Edition tidak memiliki dukungan teknis sementara MongoDB Enterprise Edition mendukung dukungan teknis 24/7 langsung dari teknisi ahli MongoDB
• MongoDB Coommunity Edition umumnya tidak memiliki vitur yang mendukung administratif untuk perusahaan contohnya integrasi login database dengan sistem HRD kantor, mencatat log audit untuk legalitas hukum dan software visual untuk membackup server secara otomatis. Sementara versi enterprise mendukung itu semua

How? (It’s best to read the “Troubleshoot” section first)

Untuk menginstall MongoDB comunity edition, hal pertama yang dapat dilakukan adalah mendapatkan command untuk menginstallnya, untuk mendapatkannya, cukup pergi ke web milik MongoDB.

Tiap OS memiliki command yang berbeda.
Versi dari dari MongoDB yang akan diinstall adalah versi 8 karena menawarkan kematangan versi yang sudah lebih dahulu teruji

# commands for Debian/Ubuntu

curl -fsSL https://pgp.mongodb.com/server-8.0.asc | sudo gpg -o /usr/share/keyrings/mongodb-server-8.0.gpg --dearmor

Add a repository

Setelah mendapatkan kunci PGP MongoDB, langkah selanjutnya adalah menambahkan repository MongoDB sesuai dengan versi linux yang dipakai. Ini bermaksut agar OS mengetahui URL resmi untuk mengunduh aplikasi MongoDB. Sebagai contoh, OS yang digunakan computer ini adalah Debian 13 (codename: trixie) Untuk commandnya kira-kira seperti ini :

# for Debian 13 and MongoDB 8

echo "deb [ signed-by=/usr/share/keyrings/mongodb-server-8.0.gpg ] https://repo.mongodb.org/apt/debian trixie/mongodb-org/8.0 main" | sudo tee /etc/apt/sources.list.d/mongodb-org-8.0.list

Update the package list and install MongoDB

Fungsi dari memperbarui package list bertujuan agar sistem mengenali repositori yang baru saja ditambahkan dan mengeksekusi pemasangan aplikasi ke dalam server. Untuk commandnya kira-kira seperti ini :

sudo apt update
sudo apt install -y mongodb-org

Specifically for troubleshooting

Ketika menjalankan perintah sudo apt update, mungkin ada kemungkinan error seperti alamat Security Update Tidak Valid atau Sertifikat SSL Mirror Kedaluwarsa. Untuk mengatasinya, pertama buka file konfigurasi sumber aplikasi utama. Untuk melakukannya kira-kira seperti ini :

sudo nano /etc/apt/sources.list

Setelah membuka nano, langkah selanjutnya adalah mengubah isi file tersebut dengan command ini :

deb http://deb.debian.org/debian trixie main contrib non-free non-free-firmware
deb http://deb.debian.org/debian trixie-updates main contrib non-free non-free-firmware
deb http://security.debian.org/debian-security trixie-security main contrib non-free non-free-firmware

Setelelah mengubah isi alamat, langkah selanjutnya adalah menjalankan kembali perintah pembaruan untuk mengunduh katalog aplikasi terbaru secara normal.

sudo apt-get update

Limitations for the latest OS version

Pada OS terbaru seperti Debian 13 (codename: trixie), status dari Debian 13 masih dalam tahap pengembangan, ini membuat OS tersebut tidak sepenuhnya dijamin kompatibel dengan beberapa software. Sebagai contoh: setelah command sebelumnya berjalan tanpa error, langkah selanjutnya adalah menginstall kembali MongoDB

sudo apt update
sudo apt install -y mongodb-org

Terlihat disana terdapat error. Error tersebut disebabkan karena pihak MongoDB belum secara resmi merilis file versi instalasi untuk MongoDB 8 (hanya tersedia MongoDB 9). Pada kasus sebelumnya, ada 2 cara untuk menyelesaikannya yaitu dengan mengunduh versi 9 atau meminjam repositori dari versi Debian 12 (Bookworm) yang sudah stabil dan sepenuhnya didukung oleh MongoDB.

Opsi terbaik yang dapat dipilih adalah menaikan versi MongoDB ke versi 9 karena meminjam repository Debian 12 dinilai kemungkinan hanya menyelesaikan masalah instalasi saja. Untuk itu, hal yang perlu dilakukan adalah kembali ke langkah pertama.

Back to the beginning

Hal pertama yang harus dilakukan adalah menghapus sisa konfigurasi versi 8.0 yang gagal dengan command ini :

sudo rm /etc/apt/sources.list.d/mongodb*.list
sudo rm /usr/share/keyrings/mongodb-server-8.0.gpg

Install GPG

Setelag menghapus sisa konfigurasi, langkah selanjutnya adalah menginstall Unduh GPG Key versi 9. Untuk commandnya seperti ini :

curl -fsSL https://pgp.mongodb.com/server-9.asc | sudo gpg -o /usr/share/keyrings/mongodb-server-9.gpg --dearmor

Add a repository

Setelah menginstall GPG, langkah selanjutnya adalah menambahkan repository. Cukup gunakan command ini :

echo "deb [ signed-by=/usr/share/keyrings/mongodb-server-9.gpg ] https://repo.mongodb.org/apt/debian trixie/mongodb-org/9.0 main" | sudo tee /etc/apt/sources.list.d/mongodb-org-9.0.list

Update and Install

Setelah menambahkan repository, langkah selanjutnya adalah melakukan update dan install. Untuk melakukannya cukup gunakan command ini :

sudo apt-get update
sudo apt-get install -y mongodb-org

Run

Setelah proses penginstallan selesai, langkah selanjutnya adalah menjalankan MongoDB tersebut dengan menghidupkan database servernya. Untuk melakukannya, cukup gunakan command ini :

# Run MongoDB as a service
sudo systemctl start mongod

# Start MongoDB after every boot (optional)
sudo systemctl enable mongod

MongoDB verification

Setelah menjalankan MongoDB, langkah selanjutnya adalah melakukan verifikasi apakah MongoDB berjalan dengan normal sekaligus mengecek versinya. Untuk melakukannya, cukup gunakan command ini :

sudo systemctl status mongod
mongod --version

Try something simple

Setelah melakukan installasi MongoDB, langkah selanjutnya adalah mencobanya. Untuk mencobanya, cukup gunakan command ini pada terminal :

mongosh

Pada menu tersebut, ada beberapa command yang dapat dicoba antara lain seperti membuat database atau berpindah database jika database tersebut sudah ada. Untuk commandnya kira-kira seperti ini :

use praktikum_bigdata

Didalam database tersebut, ada beberapa hal yang dapat dicoba antara lain seperti membuat dokumen dan mengisinya langsung. Sebagai contoh kira-kira seperti ini :

db.produk.insertOne({nama_produk : "takegawa desmo", kategori : "engine", harga : 10900000, stok : 2})

Perintah lain seperti mencari data juga dapat dilakukan. Sebagai contoh kira-kira seperti ini :

db.produk.find()

# another option
db.produk.find().pretty()

lalu untuk keluar cukup gunakan command ini :

exit

Integration

Setelah mencoba sebentar seperti apa MongoDB, langkah selanjutnya adalah melakukan integrasi antara MongoDB dengan Jupyter Notebook. Untuk melakukan integrasi, hal pertama yang harus diinstall adalah mengunduh dan menginstal pustaka PyMongo menggunakan manajer paket Python lalu mengecek versinya. Sebagai contoh kira-kira seperti ini

pip install pymongo
python -c "import pymongo; print('PyMongo', pymongo.version)"

Try it at Jupyter notebook

Setelah melakukan integrasi, langkah selanjutnya adalah mencobanya langsung di Jupyter Notebook. Untuk mencobanya, gunakan code ini :

from pymongo import MongoClient

# Membuat koneksi ke MongoDB yang berjalan di localhost, port default 27017
client = MongoClient("mongodb://localhost:27017/")

# Memilih (atau otomatis membuat) database
db = client["praktikum_bigdata"]

# Memilih (atau otomatis membuat) collection
koleksi_produk = db["produk"]

print("Koneksi ke MongoDB berhasil!")
print("Daftar database yang ada:", client.list_database_names())

CRUD

Setelah mencoba menggunakan mongoDB di jupyter, langkah selanjutnya adalah mencoba CRUD (create, read, update, delete)

Create

Pada operasi ini, hal yang akan dicoba adalah menambahkan data pada database. Ada 2 cara untuk menambahkan data, untuk caranya kira-kira seperti ini :

# hanya menyisipkan 1 data
koleksi_produk.insert_one({
    "nama_produk" : "Daytona Anima",
    "kategori" : "custom performance",
    "harga" : 17000000,
    "stok" : 4,
    "tags" : ["custom engine","160cc"]
})

# menyisipkan lebih banyak data
koleksi_produk.insert_many([
    {"nama_produk" : "Uma Racing ECU" , "kategori": "custom performance" , "harga" : 5000000 , "stok" : 11 , "tags" : ["ECU", "ECU custom"]},
    {"nama_produk" : "KTC Absorber Adjustable" , "kategori" : "custom part" , "harga" : 2000000 , "stok" : 20 , "tags" : ["Shock", "KTC"]},
    {"nama_produk" : "Brembo GP4" , "kategori" : "custom part" , "harga" : 30000000 , "stok" : 3 , "tags" : ["Brembo", "Break"]},
    {"nama_produk" : "Accossato ESC022" , "kategori" : "custom part" , "harga" : 1453324 , "stok" : 2 , "tags" : ["HandBreak", "Accossato"]}
])

print("jumlah data", koleksi_produk.count_documents({}))

Read

Pada operasi read simpelnya digunakan untuk menampilkan data yang sudah ada. Sebagai contoh kira-kira seperti ini :

satu_produk = koleksi_produk.find_one({"kategori": "custom part"})
print("Satu produk kategori custom part:", satu_produk)

print()

# find() — mengambil SEMUA dokumen yang cocok (mengembalikan cursor, di-looping atau di-list())
print("Seluruh produk kategori custom part:")
for p in koleksi_produk.find({"kategori": "custom part"}):
    print(f"  - {p['nama_produk']} (Rp{p['harga']:,})")

print()

# Filter dengan operator perbandingan
print("Produk dengan harga > 5000000:")
for p in koleksi_produk.find({"harga": {"$gt": 5000000}}):
    print(f"  - {p['nama_produk']} (Rp{p['harga']:,})")

Update

Operasi ini berfungsi untuk mengubah atau mengedit data yang sudah tersimpan di database. Sebagai contoh kira-kira seperti ini :

# update_one() — memperbarui SATU dokumen pertama yang cocok
koleksi_produk.update_one(
    {"nama_produk": "Daytona Anima"},
    {"$set": {"harga": 210000000}}   # menaikkan harga
)

# update_many() — memperbarui SEMUA dokumen yang cocok
koleksi_produk.update_many(
    {"kategori": "custom performance"},
    {"$inc": {"stok": -1}}   # $inc mengubah nilai relatif (increment/decrement)
)

print("Setelah update:")
for p in koleksi_produk.find({}, {"_id": 0, "nama_produk": 1, "harga": 1, "stok": 1}):
    print(f"  - {p['nama_produk']}: harga=Rp{p['harga']:,}, stok={p['stok']}")

Delete

Operasi ini berfungsi untuk menghapus data yang sudah ada pada database. Sebagai contoh kira-kira seperti ini :

# delete_one() — menghapus SATU dokumen pertama yang cocok
koleksi_produk.delete_one({"nama_produk": "KTC Absorber Adjustable"})

print("Jumlah dokumen tersisa:", koleksi_produk.count_documents({}))
print("Daftar produk tersisa:", [p["nama_produk"] for p in koleksi_produk.find({}, {"nama_produk": 1, "_id": 0})])

MongoDB data integration

Setelah mencoba CRUD, hal yang dapat dicoba adalah mengintegrasi data yang ada pada MongoDB dengan Spark DataFrame. Integrasi ini dilakukan agar Spark DataFrame dapat membaca data yang ada pada MongoDB. Proses integrasi dimulai dari pengambilan data yang ada pada MongoDB lalu mengubahnya menjadi pandas DataFrame lalu diubah lagi menjadi Spark DataFrame. Untuk contoh kodenya kira-kira seperti ini :

from pyspark.sql import SparkSession
import pandas as pd

spark = SparkSession.builder \
    .appName("Pertemuan9-MongoDBSpark") \
    .master("local[*]") \
    .getOrCreate()
spark.sparkContext.setLogLevel("ERROR")

# Langkah 1: Ambil seluruh dokumen dari MongoDB sebagai list of dict
dokumen_mongo = list(koleksi_produk.find({}))

# Langkah 2: Ubah menjadi pandas DataFrame
df_pandas = pd.DataFrame(dokumen_mongo)

# Langkah 3: Tipe data khusus MongoDB (_id, dan kolom berisi list seperti "tags")
# perlu disesuaikan dulu agar Spark dapat membacanya dengan benar
df_pandas["_id"] = df_pandas["_id"].astype(str)
df_pandas["tags"] = df_pandas["tags"].apply(lambda x: ", ".join(x) if isinstance(x, list) else "")

# Langkah 4: Konversi ke Spark DataFrame
df_spark_produk = spark.createDataFrame(df_pandas)

df_spark_produk.printSchema()
df_spark_produk.show()

Setelah mengubah data dari MongoDB ke Spark DataFrame, langkah selanjutnya adalah mencoba fungsi-fungsi yang ada pada Spark DataFrame. Sebagai contoh kira-kira seperti ini :

from pyspark.sql.functions import avg, count

# Contoh analisis sederhana: rata-rata harga & jumlah produk per kategori
df_spark_produk.groupBy("kategori").agg(
    avg("harga").alias("rata_rata_harga"),
    count("nama_produk").alias("jumlah_produk")
).show()

spark.stop()
print("SparkSession ditutup.")

Setelah mencoba mempelajari penggunaan MongoDB dan integrasinya, hal yang dapat dicoba adalah mengerjakan beberapa soal.

First question

Soal pertama meminta penjawab untuk menyisipkan 5 dokumen baru ke dalam collection, soalnya terlihat seperti ini “Sisipkan (`insert_many`) lima dokumen baru ke collection `produk` dengan kategori bebas (boleh kategori baru selain Makanan/Minuman, misalnya “Snack”)”. Untuk menjawabnya kira-kira seperti ini :

collections_produk = db["produk"]

collections_produk.insert_many ([
    {"nama_produk" : "Laksa" , "kategori" : "makanan" , "harga" : 20000 , "stok" : 9 , "tags" : ["kuah" , "makanan berat" , "pedas"]},
    {"nama_produk" : "croisant" , "kategori" : "snack" , "harga" : 10000 , "stok" : 30 , "tags" : ["snack" , "roti" , "france"]},
    {"nama_produk" : "ramen" , "kategori" : "makanan" , "harga" : 25000 , "stok" : 15 , "tags" : ["kuah" , "makanan berat" , "mie"]},
    {"nama_produk" : "matcha latte" , "kategori" : "minuman" , "harga" : 10000 , "stok" : 18 , "tags" : ["jepang" , "hijau"]}
])

Second question

Soal kedua meminta penjawab untuk mencari produk dengan kriteria tertentu, soalnya terlihat seperti ini “Gunakan `find()` dengan operator `$lt` (kurang dari) untuk menampilkan seluruh produk dengan `harga` di bawah 20000”. Untuk menjawabnya kira-kira seperti ini :

for f in collections_produk.find({"harga" : {"$lt" : 20000}}):
    print(f'nama barang : {f["nama_produk"]:<16} kategori : {f["kategori"]:<16} harga : {f["harga"]}')

Third question

Soal ketiga meminta penjawab untuk menambahkan field baru, soalnya terlihat seperti ini “Gunakan `update_many()` untuk menambahkan field baru bernama `diskon` bernilai `0` ke seluruh dokumen pada collection `produk` (petunjuk: gunakan operator `$set`)”. Untuk me njawabnya kira-kira seperti ini :

collections_produk.update_many(
    {},
    {"$set" : {"diskon" : 0}}
)

Four question

Soal keempat terlihat seperti ini “Dalam 2–3 kalimat: berikan satu contoh skenario nyata (boleh di luar konteks e-commerce yang sering kita pakai) di mana MongoDB akan menjadi pilihan lebih tepat dibanding tabel relasional biasa, dan jelaskan alasannya berdasarkan konsep flexible schema. Tulis jawaban pada markdown cell di bawah ini”. Untuk jawabannya kira-kira seperti ini :

Skenario seperti analisis teknis dunia balapan menjadi salah satu skenario
dimana MongoDB menjadi pilihan yang lebih tepat dari tabel konvensional. 
Data data yang dihasilkan di trek seperti suhu lingkungan, suhu kendaraan,
bentuk kendaraan dan lainnya sangat mempengaruhi hasil balapan.
Pabrikan dapat menggunakan data-data tersebut untuk menganalisis alasan-
alasan teknis kenapa salah satu Tim balap bisa menang balapan

Setelah mengerjakan soal-soal tersebut, ada soal yang dapat dicoba kembali. Untuk soalnya terlihat seperti ini

Question

Platform “Kopi Nusantara” (skenario yang sama dari Tugas Mandiri Pertemuan 7) ingin mulai menyimpan katalog menu mereka di MongoDB — karena setiap cabang punya menu musiman/spesial dengan atribut yang berbeda-beda (tidak semua menu punya atribut yang sama, misalnya hanya menu kopi yang punya atribut “tingkat_kepahitan”, sementara menu makanan punya atribut “pedas_level”). Kalian ditugaskan membangun dan menganalisis katalog ini.

Question 1 : Membangun Katalog (Create)

Buat database baru bernama `kopi_nusantara`, collection bernama `menu`. Sisipkan **minimal 12 dokumen** menu dengan field bervariasi sesuai kategorinya:

• Menu kategori **”Kopi”**: wajib memiliki field `nama_menu`, `harga`, `kategori`, dan `tingkat_kepahitan` (skala 1–5).
• Menu kategori **”Makanan”**: wajib memiliki field `nama_menu`, `harga`, `kategori`, dan `pedas_level` (skala 0–3).
• Boleh menambahkan field lain sesuai kreativitas anda (mis. `stok`, `rekomendasi_barista`).

db = client["kopi_nusantara"]

menu = db["produk"]

menu.insert_many ([
    {"nama_menu" : "americano" , "harga" : 10000 , "kategori" : "kopi" , "tingkat_kepahitan" : 3},
    {"nama_menu" : "cappucino" , "harga" : 15000 , "kategori" : "kopi" , "tingkat_kepahitan" : 1},
    {"nama_menu" : "italiano" , "harga" : 10000 , "kategori" : "kopi" , "tingkat_kepahitan" : 5},
    {"nama_menu" : "laksa" , "harga" : 20000 , "kategori" : "makanan" , "tingkat_pedas" : 3},
    {"nama_menu" : "rendang" , "harga" : 50000 , "kategori" : "makanan" , "tingkat_pedas" : 2},
    {"nama_menu" : "shawarma" , "harga" : 18000 , "kategori" : "makanan" , "tingkat_pedas" : 1}
])

Question 2 : Kueri Bertingkat (Read)

Tampilkan hasil dari tiga kueri berikut :

1. Seluruh menu kategori “Kopi” dengan tingkat_kepahitan di atas 3.
2. Seluruh menu dengan harga di antara 15000 dan 30000.
3. Menu yang tidak memiliki field pedas_level sama sekali.

for find in menu.find({"kategori" : "kopi"} and {"tingkat_kepahitan" : {"$gt" : 3}}):
    print("kategori kopi dengan tingkat kepahitan diatas 3 :", find["nama_menu"])

print()

for find2 in menu.find({"harga" : {"$gt" : 30000}} and {"harga" : {"$lt" : 15000}}):
    print("menu diantara harga 15000 sampai 30000 :", find2["nama_menu"])

print()

for find3 in menu.find({"tingkat_pedas" : None}):
    print("Menu yang tidak memiliki tingkat pedas :", find3["nama_menu"])

Question 3 : Pembaruan Data (Update)’

Tambahkan field status bernilai "Tersedia" ke seluruh dokumen menggunakan update_many(). Kemudian, ubah status menjadi "Habis" khusus untuk 2 menu pilihan anda menggunakan update_one()

menu.update_many(
    {},
    {"$set" : {"status" : "tersedia"}}
)

menu.update_one(
    {"nama_menu" : "laksa"},
    {"$set" : {"status" : "habis"}}
)
        
menu.update_one(
    {"nama_menu" : "rendang"},
    {"$set" : {"status" : "habis"}}
)

Question 4 : Integrasi ke Spark

Ambil seluruh data dari collection menu, ubah menjadi Spark DataFrame (ikuti pola Sub-bab 9.6 — perhatikan field yang mungkin kosong/null pada sebagian dokumen, seperti tingkat_kepahitan yang hanya dimiliki menu Kopi). Tampilkan:

1. printSchema() hasil konversi.
2. Rata-rata harga per kategori menggunakan groupBy.

from pyspark.sql import SparkSession
import pandas as pd
from pyspark.sql.functions import sum as spark_sum, count, avg
import numpy as np

spark = SparkSession.builder \
    .appName("Pertemuan9-MongoDBSpark") \
    .master("local[*]") \
    .getOrCreate()
spark.sparkContext.setLogLevel("ERROR")

c = menu.find({})

doc_mongo = list(c)

panda = pd.DataFrame(doc_mongo)

if '_id' in panda.columns:
    panda['_id'] = panda['_id'].astype(str)

panda['tingkat_kepahitan'] = panda['tingkat_kepahitan'].replace({np.nan: None})
panda['tingkat_pedas'] = panda['tingkat_pedas'].replace({np.nan: None})

spk = spark.createDataFrame(panda)
spk.printSchema()

rata_rata = spk.groupBy("kategori").agg(
    avg("harga").alias("rata_rata_harga")
)
rata_rata.show()

Question 5 : Kesimpulan

Tulis pada markdown cell (minimal 100 kata): apa tantangan yang anda temui saat mengonversi data MongoDB (dengan field yang tidak seragam antar dokumen) menjadi Spark DataFrame (yang mengharuskan skema tabel seragam)? Bagaimana anda mengatasinya?

pada awalnya, tidak ada tantangan konversi data dari mongodb ke Spark 
dataframe secara kode. Namun setelah mencari tau, nilai NaN atau Not a Number 
akan menghasilkan masalah misalnya pada skenario ketika ingin melakukan 
operasi matematika atau agregasi misalnya seperti mencari rata-rata atau 
mencari total, menggunakan Spark SQL pada kolom yang mengandung NaN akan 
menghasilkan perhitungan yang berantakan atau mengembalikan NaN lagi. Oleh 
karena itu, data bernilai NaN atau Not as Number dapat diubah nilainya dengan 
2 cara yaitu dengan mengubahnya menjadi 0 atau mengubahnya menjadi null. Untuk 
mengubahnya, pada saat dokumen berada pada format panda, data yang bernilai 
NaN dapat diubah nilainya sesuai dengan preferensi masing masing atau sesuai 
ketentuan kode yang berlaku

Dalam pemrograman berorientasi objek, terdapat suatu konsep yang dapat menjadi dasar suatu objek, dasar yang dimaksut adalah fungsi universal yang dapat digunakan banyak objek namun tetap dengan keunikan masing-masing. Konsep tersebut adalah….

What?

Abstraksi merupakan konsep dasar pemrograman berorientasi objek yang menyederhanakan cara kerja program dengan menyembunyikan detail implementasi dan hanya menampilkan fungsionalitas penting dari suatu objek.

Abstraction class

Umumnya, konsep abstraksi ini dalam bahasa Java diwujudkan dalam bentuk class, namun terdapat perbedaan mendasar class abstraksi berbeda dari class biasa.

Perbedaan paling dasar antara class abstraksi dan class biasa adalah terletak pada kemampuannya berubah menjadi objek. Umumnya, class biasa dapat berubah langsung menjadi objek namun tidak dengan class abstraksi. Hal ini terjadi karena sifat dari class abstraksi sendiri masih berupa konsep atau gambaran umum, bukan bentuk riil atau konkret yang siap dipakai.

How?

Untuk mempraktekan abstraksi dinilai mudah karena konsep ini masih termasuk dasar dari pemrograman berorientasi objek.

Create a class

Sebagai permulaan, yang diperlukan untuk mempraktekan konsep ini adalah dengan membuat class abstraksi terlebih dahulu. Sebagai contoh kira-kira seperti ini :

abstract class Kendaraan {}

Class tersebut akan difungsikan menjadi class abstraksi. Karena class tersebut masih kosong, maka hal yang bisa ditambahkan selanjutnya adalah method. Sebagai contoh, kira-kira seperti ini :

abstract class Kendaraan {
    abstract void berjalan ();
       
    void info () {
       System.out.println("Ini adalah kendaraan.");
    }
}

Create a subclass

Karena class abstraksi tidak dapat diubah menjadi objek maka fungsi subclass disini adalah untuk menerapkan konsep abstraksi namun tetap mempertahankan kemampuannya menjadi objek, lalu pada subclass ditambahkan method yang sesuai dengan class abstraksi tersebut. Sebagai contoh kira-kira seperti ini :

abstract class Kendaraan {
    abstract void berjalan ();
       
    void info () {
       System.out.println("Ini adalah kendaraan.");
    }
}



class Mobil extends Kendaraan {
    @Override
    void berjalan() {
        System.out.println("Mobil sedang berjalan dengan cepat.");
    }
}

class Sepeda extends Kendaraan {
    @Override
    void berjalan() {
        System.out.println("Sepeda sedang berjalan dengan pelan.");
    }
}

Try it

Setelah membuat class abstraksi dan subclassnya, code tersebut sudah sepenuhnya dapat di coba. Untuk mencobanya, kira-kira seperti ini :

abstract class Kendaraan {
    abstract void berjalan ();
       
    void info () {
       System.out.println("Ini adalah kendaraan.");
    }
}



class Mobil extends Kendaraan {
    @Override
    void berjalan() {
        System.out.println("Mobil sedang berjalan dengan cepat.");
    }
}

class Sepeda extends Kendaraan {
    @Override
    void berjalan() {
        System.out.println("Sepeda sedang berjalan dengan pelan.");
    }
}
    
    
    
public class PraktikumPBO_9 {
    public static void main(String[] args) {
        Kendaraan mobil = new Mobil();
        Kendaraan sepeda = new Sepeda();

        mobil.berjalan();
        mobil.info();

        sepeda.berjalan();
        sepeda.info();
    }
}

Setelah mempelajari konsep abstraksi dan pengaplikasiannya, terdapat soal yang dapat dikerjakan, sebagai contoh kira-kira seperti ini

What are the questions like?

Soal ini membahas tentang pengaplikasian konsep abstraksi secara sedikit lebih luas yaitu konsep abstraksi sebagai gambaran umum dan subclass sebagai objek asli yang memiliki gambaran umum tersebut.

First question

Soal pertama meminta penjawab untuk membuat class abstrak dan metodenya, metode ini merupakan gambaran umum dari class tersebut. Soal tersebut berbunyi “Buat kelas abstrak Hewan dengan metode abstrak suara()”. Untuk menjawabnya kira-kira seperti ini :

abstract class Hewan {
    abstract void suara();
}

Second question

Soal kedua meminta penjawab untuk membuat class turunan yang berisi method. Soal tersebut berbunyi “Buat dua kelas turunan, yaitu Kucing dan Anjing, yang mengimplementasikan metode suara() sesuai dengan suara hewan tersebut”. Untuk menjawabnya kira-kira seperti ini :

abstract class Hewan {
    abstract void suara();
}

class Kucing extends Hewan {
    @Override
    void suara() {
        System.out.println("Meong");
    }
}

class Anjing extends Hewan {
    @Override
    void suara() {
        System.out.println("Guk Guk");
    }
}

Third question

Soal ketiga meminta penjawab untuk menampilkan hasil dari code tersebut. Soal tersebut berbunyi “Contoh Output yang Diharapkan: Kucing mengeluarkan suara = Meong, Anjing mengeluarkan suara = Guk Guk”. Untuk menjawabnya kira-kira seperti ini :

abstract class Hewan {
    abstract void suara();
}

class Kucing extends Hewan {
    @Override
    void suara() {
        System.out.println("Meong");
    }
}

class Anjing extends Hewan {
    @Override
    void suara() {
        System.out.println("Guk Guk");
    }
}
    
public class PraktikumPBO_9 {
    public static void main(String[] args) {
        Hewan rigby = new Kucing();
        rigby.suara();
        
        Hewan dawg = new Anjing();
        dawg.suara();
    }
}

Tiap objek di dunia punya fungsi dasar, sebagai contoh fungsi dasar mahkluk hidup salah satunya adalah berjalan. Konsep berjalan ini dimiliki umumnya oleh binatang dan manusia. Namun ini tidak berarti binatang berjalan dengan cara yang sama dengan manusia, contohnya kucing berjalan dengan 4 kaki dan manusia menggunakan 2 kaki. Intinya, abstraksi menciptakan dasar dari method yang dimiliki objek sementara subclass menjadi tempat fungsi detail dari mahkluk yang memiliki fungsi tersebut

Orang awam umumnya membuat 2 jaringan untuk memisahkan 2 pengguna, atau menambah perangkat keras baru untuk memisahkan 2 pengguna berbeda, hal ini dinilai menambah pengeluaran karena pengguna harus membeli perangkat keras baru. Untuk mengatasi ini, ternyata ada model jaringan yang dapat dimanfaatkan

What?

VLAN (virtual local area network) merupakan sebuah model jaringan yang memungkinkan untuk membagi satu jaringan fisik (LAN) menjadi beberapa jaringan logis yang terpisah secara virtual. Walau terdapat 2 perangkat yang terhubung ke switch fisik yang sama, perangkat pada VLAN yang beda tidak dapat saling berkomunikasi secara langsung.

Cara kerja dari VLAN sendiri simpelnya VLAN bekerja di Layer 2 (Data Link) pada model OSI menggunakan standar IEEE 802.1Q. Saat data pengiriman data berlangsung, switch akan menambahkan label khusus yang berisi VLAN ID. Label ini berguna untuk menandai data hanya dikirim ke perangkat yang terdaftar pada VLAN ID yang sama.

Benefit?

Ada beberapa fungsi atau kegunaan yang dimiliki oleh VLAN antara lain

1. Keamanan Tambahan: VLAN dapat berfungsi sebagai keamanan tambahan dengan memisahkan lalu lintas data sensitif. Dalam skenario umum, suatu jaringan dibagi menjadi 2 VLAN. 1 VLAN untuk pemilik dan 1 VLAN lagi untuk tamu.
2. Segmentasi Jaringan: Dalam skenario jaringan yang direncanakan untuk digunakan berbagai tipe pengguna, VLAN dapat mengelompokkan perangkat berdasarkan fungsi, tim, atau aplikasi, bukan berdasarkan lokasi fisiknya
3. Mengurangi Broadcast Traffic: Umumnya switch jaringan akan mengirimkan pesan broadcast ke seluruh komputer yang terhubung. Ini menyebabkan traffic menjadi ramai. VLAN berguna untuk membatasi domain broadcast agar tidak membanjiri seluruh jaringan fisik, sehingga kinerja jaringan tetap optimal
4. Efisiensi Biaya: Menghemat kabel dan perangkat keras karena tidak perlu membeli switch terpisah untuk setiap kelompok/departemen

Type?

VLAN memiliki beberapa tipe berdasarkan metode atau cara kerjanya

• Berdasarkan Port (Port-based VLAN)
  ini merupakan metode yang paling umum digunakan pada VLAN. Simpelnya, VLAN bekerja dengan memisahkan perangkat berdasarkan port yang digunakan
• Berdasarkan MAC Address (MAC-based VLAN)
  metode VLAN ini memanfaatkan MAC address pada perangkat yang terhubung. Kelebihan utamanya adalah perangkat tersebut akan tetap terhubung ke VLAN yang sama walau berpindah port switch mana saja asalkan tetap pada jaringan yang sama
• Berdasarkan Alamat Subnet IP (IP Subnet-based VLAN)
  metode VLAN ini memanfaatkan IP address yang terdaftar pada jaringan tersebut. Kelebihan utamanya terdapat pada skenario jika jaringan memiliki banyak subnet IP yang berbeda namun harus melewati infrastruktur switch yang sama
• Berdasarkan Tipe Protokol (Protocol-based VLAN)
  pada suatu jaringan, ada kemungkinan bahwa traffic yang ada pada switch memiiliki paket data yang berbeda. Metode ini memisahkan VLAN berdasarkan protokol yang berbeda, misalnya protokol IP dimasukkan ke VLAN IP sementara protokol AppleTalk dimasukkan ke VLAN AppleTalk
• Berdasarkan Aplikasi atau Kombinasi (Policy-based / Voice VLAN)
  ada skenario tertentu misalnya suatu fungsi pada aplikasi tertentu menggunakan panggilan telepon IP/VoIP (misalnya telephone) sementara aplikasi lain menggunakan kombinasi seperti Port + MAC + Jam kerja (misalnya PC), keduanya dipisah ke 2 VLAN berbeda

How?

Sebagai simulasi, software yang akan digunakan adalah Cisco Packet Tracer. Setelah membuka software tersebut, hal yang diperlukan untuk membuat VLAN adalah 1 switch bertipe 2960–24TT dan 4 end dervice misalnya PC

Setelah menambahkan beberapa dervice yang diperlukan, langkah selanjutnya adalah menghubungkan end dervice ke switch menggunakan kabel copper straight-through

Setelah menghubungkan semua dervice, langkah selanjutnya adalah membuat VLAN. Untuk membuatnya, cari menu config pada perangkat router. Pada sub menu config, cari VLAN Database. Pada menu tersebut, isi VLAN Number (VLAN ID) dan VLAN Name, jumlah dapat menyesuaikan. Sebagai contoh kira-kira seperti ini :

Setelah menambahkan VLAN, langkah selanjutnya adalah memasukkan dervice ke dalam VLAN. Pada menu config dan sub menu dibawah interface, masukkan dervice ke dalam VLAN yang sebelumnya telah dibuat, atur semua port jika diperlukan lalu atur port mode menjadi Access. Sebagai contoh kira-kira seperti ini :

Untuk menghubungkan switch ke end dervice, gunakan tipe port access. Sementara untuk menghubungkan antar switch ke switch atau router, gunakan tipe port access trunk

Untuk melakukan pengujian, atur IPv4 terlebih dahulu. Sebagai contoh kira-kira seperti ini

Setelah membuat IPv4, pengujian dapat dilakukan. Untuk mengujinya, buka salah satu End dervice (sebagai contoh PC0) yang memiliki command prompt lalu gunakan command ini

# for devices on the same VLAN
ping 192.168.54.2

# for services on different VLANs
ping 192.168.54.3
ping 192.168.54.4

Pada VLAN yang berbeda, perangkat sama sekali tidak merespon terhadap perangkat yang berbeda VLAN. Dalam kasus tersebut, PC0 masuk ke dalam VLAN1 sementara PC3 dengan IP 192.168.54.3 dan PC4 dengan IP 192.168.54.4 masuk ke dalam VLAN2. Pada command promt yang ada pada perangkat PC0, PC2 merespon karena berada pada VLAN yang sama sementara PC3 dan PC4 tidak merespon karena berada pada VLAN yang berbeda yaitu VLAN2. Ini membuktikan bahwa VLAN dapat memisah jaringan logis secara virtual walaupun perangkat tersebut berada pada 1 jaringan yang sama atau 1 switch yang sama

References:
Module 9 of the Computer Networks Course at Tidar University
Cisco Documentation — VLAN Configuration
Cisco Catalyst 2960 Configuration Guide
Cisco Press — VLAN Basics
Claude by Anthropic

Setiap ekosistem atau software umumnya diciptakan untuk menjawab suatu peristiwa. Pada software seperti apache spark dan hadoop berlandaskan pada beberapa kasus yang dapat direkayasa namun tetap menggambarkan kasus yang terjadi di dunia nyata. Kasus-kasus yang digunakan sebagai contoh ini merupakan kasus yang umumnya digunakan untuk mengsimulasikan kejadian yang ada didunia nyata. Namun sebelum itu, sparksession harus dijalankan terlebih dahulu. Untuk menjalankannya cukup gunakan code ini:

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, sum as spark_sum, avg, count, row_number, when
from pyspark.sql.window import Window
import numpy as np
import pandas as pd
import json

spark = SparkSession.builder \
    .appName("Pertemuan7-StudiKasusTerintegrasi") \
    .master("local[*]") \
    .getOrCreate()
spark.sparkContext.setLogLevel("ERROR")

print("SparkSession siap. Versi Spark:", spark.version)

First case

Kasus pertama menceritakan tentang sebuah perusahaan retail yang memiliki 4 cabang toko di berbagai kota. Manajemen pusat meminta laporan kinerja triwulan atau 3 bulan terakhir yang mencakup:

1. performa penjualan per toko
2. produk terlaris di masing-masing toko
3. kontribusi tiap manajer cabang

seluruhnya harus diproses dari data mentah yang tersebar di tiga sumber berbeda. Sebagai permulaan, gunakan code ini untuk membuat datanya:

np.random.seed(77)

# SUMBER 1: Data toko/cabang (JSON) — tabel referensi kecil
toko_list = ["Toko Magelang", "Toko Yogyakarta", "Toko Semarang", "Toko Solo"]
data_toko = [
    {"toko_id": i + 1, "nama_toko": t, "kota": t.split()[1], "manager": np.random.choice(["Rani", "Joko", "Sari", "Bayu"])}
    for i, t in enumerate(toko_list)
]
with open("data_toko.json", "w") as f:
    for t in data_toko:
        f.write(json.dumps(t) + "\n")

# SUMBER 2: Data produk (CSV) — tabel referensi kecil
data_produk = [
    {"product_id": i, "nama_produk": f"Produk-{i}",
     "kategori": np.random.choice(["Elektronik", "Fashion", "Makanan"]),
     "harga": int(np.random.choice([50000, 100000, 200000]))}
    for i in range(1, 21)
]
pd.DataFrame(data_produk).to_csv("data_produk.csv", index=False)

# SUMBER 3: Data transaksi triwulan (CSV) — data utama, jauh lebih besar
n = 5000
data_transaksi = pd.DataFrame({
    "trx_id": [f"T{i}" for i in range(n)],
    "toko_id": np.random.randint(1, 5, size=n),
    "product_id": np.random.randint(1, 21, size=n),
    "qty": np.random.randint(1, 6, size=n),
})
data_transaksi.to_csv("data_transaksi_triwulan.csv", index=False)

print("Ketiga sumber data berhasil dibuat:")
print(f"- data_toko.json              : {len(data_toko)} baris")
print(f"- data_produk.csv             : {len(data_produk)} baris")
print(f"- data_transaksi_triwulan.csv : {len(data_transaksi)} baris")

Jika menurut kejadian yang ada di dunia nyata, umumnya dalam menghadapi data berjumlah masif ini, hal yang perlu dilakukan adalah menggunakan direktori hadoop agar data dapat diolah dengan lebih optimal. Untuk melakukannya, cukup gunakan code ini:

!hdfs dfs -mkdir -p /user/mahasiswa/pertemuan7/raw
!hdfs dfs -put -f data_transaksi_triwulan.csv /user/mahasiswa/pertemuan7/raw/
!hdfs dfs -put -f data_toko.json /user/mahasiswa/pertemuan7/raw/
!hdfs dfs -put -f data_produk.csv /user/mahasiswa/pertemuan7/raw/
!hdfs dfs -ls /user/mahasiswa/pertemuan7/raw

Extraction

Setelah membaca kode tersebut, langkah selanjutnya adalah membaca file yang telah diupload ke direktori hadoop tersebut. Untuk membacanya cukup gunakan code ini:

df_transaksi = spark.read.csv(
    "hdfs://localhost:9000/user/mahasiswa/pertemuan7/raw/data_transaksi_triwulan.csv",
    header=True, inferSchema=True
)
df_toko = spark.read.json("hdfs://localhost:9000/user/mahasiswa/pertemuan7/raw/data_toko.json")
df_produk = spark.read.csv(
    "hdfs://localhost:9000/user/mahasiswa/pertemuan7/raw/data_produk.csv",
    header=True, inferSchema=True
)

print("Transaksi:", df_transaksi.count(), "| Toko:", df_toko.count(), "| Produk:", df_produk.count())

Transform

Pada proses ini, umumnya menjadi inti dari objektif sebuah kasus. Misalnya, untuk mencari performa penjualan per toko, hal yang perlu dilakukan adalah menggabungkan 2 file sekaligus dan memasukkannya ke kolom baru. Hal ini diperlukan karena proses selanjutnya memerlukan data jumlah barang terjual. Untuk menggabungkannya, gunakan code ini:

df_gabungan = df_transaksi.join(df_toko, on="toko_id", how="inner") \
                           .join(df_produk, on="product_id", how="inner")

df_gabungan = df_gabungan.withColumn("total_penjualan", col("qty") * col("harga"))
df_gabungan.show(5)

Setelah mencari performa penjualan pertoko, langkah selanjutnya adalah mencari produk terlaris di masing-masing toko. Untuk mencarinya, gunakan code ini:

# Meringkas total penjualan per kombinasi toko + produk terlebih dahulu
ringkasan_produk_toko = df_gabungan.groupBy("nama_toko", "nama_produk").agg(
    spark_sum("total_penjualan").alias("total_penjualan")
)

# Menerapkan window function untuk mengambil top-3 produk pada setiap toko
window_toko = Window.partitionBy("nama_toko").orderBy(col("total_penjualan").desc())
top3_produk = ringkasan_produk_toko.withColumn("peringkat", row_number().over(window_toko)) \
                                    .filter(col("peringkat") <= 3)

top3_produk.orderBy("nama_toko", "peringkat").show(20)

Setelah mencari peforma penjualan pertoko, langkah selanjutnya adalah mencari kontribusi tiap manajer cabang. Ada 2 cara umum yang dapat digunakan untuk mencarinya yaitu dengan menggunakan bahasa yang digunakan sebelumnya dan bahasa SQL. Sebagai contoh, kira-kira seperti ini jika menggunakan bahasa SQL:

df_gabungan.createOrReplaceTempView("gabungan")

kontribusi_manager = spark.sql('''
    SELECT kota, manager, SUM(total_penjualan) AS total_penjualan
    FROM gabungan
    GROUP BY kota, manager
    ORDER BY total_penjualan DESC
''')
kontribusi_manager.show()

Load

Setelah menyelesaikan tahap Transform, tahapan selanjutnya adalah tahap load, yaitu tahapan untuk menyimpan data kembali ke direktori hadoop. Untuk melakukannya, gunakan code ini:

!hdfs dfs -mkdir -p /user/mahasiswa/pertemuan7/processed

df_gabungan.write.mode("overwrite").partitionBy("kategori").parquet(
    "hdfs://localhost:9000/user/mahasiswa/pertemuan7/processed/laporan_triwulan"
)

print("Laporan berhasil disimpan ke HDFS dalam format Parquet, terpartisi per kategori produk.")
!hdfs dfs -ls /user/mahasiswa/pertemuan7/processed/laporan_triwulan

Didunia nyata, umumnya setelah mengolah data-data yang diperlukan, data tersebut akan disajikan. Untuk menyajikan datanya sekaligus melakukan verifikasi isinya kira-kira seperti ini

df_final = spark.read.parquet("hdfs://localhost:9000/user/mahasiswa/pertemuan7/processed/laporan_triwulan")

ringkasan_eksekutif = df_final.groupBy("nama_toko", "kota", "manager").agg(
    spark_sum("total_penjualan").alias("total_penjualan_triwulan"),
    count("trx_id").alias("jumlah_transaksi"),
    avg("total_penjualan").alias("rata_rata_nilai_transaksi")
).orderBy(col("total_penjualan_triwulan").desc())

ringkasan_eksekutif.show()

Second case

Setelah mengerjakan kasus pertama, kasus kedua datang sebagai lanjutan dari kasus pertama. Kasus kedua meminta beberapa hal seperti

1. Menampilkan kategori produk dengan total qty (jumlah unit terjual, bukan nilai rupiah) tertinggi secara keseluruhan
2. Menggunakan window function, tentukan toko dengan penjualan tertinggi untuk masing-masing kategori produk (top-1 saja, gunakan row_number())
3. Simpan hasil ringkasan_eksekutif ke HDFS sebagai Parquet tanpa partisi, pada path /user/mahasiswa/latihan7/ringkasan_eksekutif

Sebagai permulaan, jalankan kembali sparksession dan baca kembali data yang sebelumnya telah dibuat.

# Persiapan ulang untuk latihan
spark = SparkSession.builder.appName("Latihan7").master("local[*]").getOrCreate()
spark.sparkContext.setLogLevel("ERROR")

df_transaksi = spark.read.csv("hdfs://localhost:9000/user/mahasiswa/pertemuan7/raw/data_transaksi_triwulan.csv", header=True, inferSchema=True)
df_toko = spark.read.json("hdfs://localhost:9000/user/mahasiswa/pertemuan7/raw/data_toko.json")
df_produk = spark.read.csv("hdfs://localhost:9000/user/mahasiswa/pertemuan7/raw/data_produk.csv", header=True, inferSchema=True)
df_gabungan = df_transaksi.join(df_toko, on="toko_id").join(df_produk, on="product_id")
df_gabungan = df_gabungan.withColumn("total_penjualan", col("qty") * col("harga"))
print("Siap untuk latihan. Total baris:", df_gabungan.count())

Untuk menjawab tugas pertama yaitu menapilkan kategori produk dengan syarat yang sudah disebutkan, cukup gunakan code ini:

from pyspark.sql.functions import sum, desc

df_tertinggi = df_gabungan.groupBy("kategori") \
    .agg(sum("qty").alias("total_qty")) \
    .orderBy(desc("total_qty"))

df_tertinggi.show(1)

Setelah menjawab tugas pertama, tugas kedua sudah dapat dikerjakan. Untuk menentukan toko dengan penjualan tertinggi kira-kira seperti ini:

from pyspark.sql.functions import col, sum, desc, row_number
from pyspark.sql.window import Window

df_sales_toko = df_gabungan.groupBy("kategori", "nama_toko") \
    .agg(sum("total_penjualan").alias("total_sales"))

windowSpec = Window.partitionBy("kategori").orderBy(desc("total_sales"))

df_top_toko = df_sales_toko.withColumn("ranking", row_number().over(windowSpec)) \
    .filter(col("ranking") == 1) \
    .drop("ranking") 

df_top_toko.show()

Setelah menjawab tugas kedua, tugas ketiga sudah dapat dikerjakan. Untuk menyimpan data dengan syarat yang sudah ditentukan, gunakan code ini:

from pyspark.sql.functions import col, sum, desc, row_number
from pyspark.sql.window import Window

df_kategori_terlaris = df_gabungan.groupBy("kategori") \
    .agg(sum("qty").alias("total_qty_terjual")) \
    .orderBy(desc("total_qty_terjual"))

df_kategori_terlaris.show(1)

df_sales_toko = df_gabungan.groupBy("kategori", "nama_toko") \
    .agg(sum("total_penjualan").alias("total_pendapatan"))

windowSpec = Window.partitionBy("kategori").orderBy(desc("total_pendapatan"))

df_top_toko = df_sales_toko.withColumn("ranking", row_number().over(windowSpec)) \
    .filter(col("ranking") == 1) \
    .drop("ranking")

df_top_toko.show()

!hdfs dfs -mkdir -p /user/mahasiswa/latihan7/ringkasan_eksekutif

df_top_toko.write.mode("overwrite").partitionBy("kategori").parquet(
    "hdfs://localhost:9000/user/mahasiswa/latihan7/ringkasan_eksekutif"
)

print("Laporan berhasil disimpan ke HDFS dalam format Parquet, terpartisi per kategori produk.")
!hdfs dfs -ls /user/mahasiswa/latihan7/ringkasan_eksekutif

Secara teknis, seluruh proses tersebut berjalan dalam sebuah kombinasi yang umum didunia big data. Kombinasi itu melibatkan HDFS sebagai penyimpanan data, parquet sebagai format dari data-data yang disimpan dan spark sebagai mesin pengolah data-data tersebut. Dalam skenario tertentu misalnya menghitung rata-rata data yang ada pada kolom, terdapat teknik seperti Columnar Projection. Teknik ini berguna untuk mempercepat pengambilan data, alih-alih mengambil banyak kolom yang tidak akan dipakai, Spark cukup mengambil 1 kolom saja karena format parquet mendukung hal tersebut. Kasus lain seperti menulis suatu query tertentu, spark akan mulai mengabaikan data yang tidak relevan dengan query yang dijalankan, teknik ini biasa disebut Predicate Pushdown. Kasus lain lagi seperti network bottleneck juga dapat diatasi dengan mengirim kode komputasi langsung ke server HDFS tempat data berada, teknik ini biasa disebut dengan Data Locality.

Third case

Kasus ketiga merupakan kasus yang berbeda dari kasus sebelumnya. Kasus ketiga meminta

1. Gabungkan ketiga tabel, tambahkan kolom total_penjualan (qty x harga).
2. Tentukan top-2 menu terlaris (berdasarkan total_penjualan) di setiap cabang, gunakan row_number().
3. Menggunakan Spark SQL murni, tampilkan total penjualan per kepala_barista, diurutkan dari tertinggi

Sebelum mengerjakan tugas tersebut, jalankan kode ini terlebih dahulu

import numpy as np
import pandas as pd
import json

np.random.seed(123)

# Sumber 1: Data cabang (JSON)
cabang_list = ["Kopi Nusantara Magelang", "Kopi Nusantara Yogyakarta", "Kopi Nusantara Semarang"]
data_cabang = [
    {"cabang_id": i + 1, "nama_cabang": c, "kota": c.split()[-1],
     "kepala_barista": np.random.choice(["Wulan", "Reza", "Nadia"])}
    for i, c in enumerate(cabang_list)
]
with open("tugas7_cabang.json", "w") as f:
    for c in data_cabang:
        f.write(json.dumps(c) + "\n")

# Sumber 2: Data menu (CSV)
menu_list = [
    {"menu_id": i, "nama_menu": f"Menu-{i}",
     "kategori_menu": np.random.choice(["Kopi", "Non-Kopi", "Makanan Ringan"]),
     "harga": int(np.random.choice([18000, 22000, 25000, 30000, 35000]))}
    for i in range(1, 16)
]
pd.DataFrame(menu_list).to_csv("tugas7_menu.csv", index=False)

# Sumber 3: Data transaksi (CSV) — data utama
n = 4000
data_transaksi_tugas7 = pd.DataFrame({
    "trx_id": [f"KN{i}" for i in range(n)],
    "cabang_id": np.random.randint(1, 4, size=n),
    "menu_id": np.random.randint(1, 16, size=n),
    "qty": np.random.randint(1, 5, size=n),
})
data_transaksi_tugas7.to_csv("tugas7_transaksi.csv", index=False)

!hdfs dfs -mkdir -p /user/mahasiswa/tugas7/raw
!hdfs dfs -put -f tugas7_transaksi.csv /user/mahasiswa/tugas7/raw/
!hdfs dfs -put -f tugas7_cabang.json /user/mahasiswa/tugas7/raw/
!hdfs dfs -put -f tugas7_menu.csv /user/mahasiswa/tugas7/raw/

print("Ketiga sumber data siap & data transaksi sudah diunggah ke HDFS.")
print(f"- Cabang: {len(data_cabang)} | Menu: {len(menu_list)} | Transaksi: {n}")

Load

Tahap pertama yang dapat dilakukan adalah membaca data tersebut langsung dari HDFSnya. Untuk melakukannya kira-kira seperti ini:

from pyspark.sql import SparkSession
from pyspark.sql.functions import col

spark = SparkSession.builder.appName("Tugas7_SparkSQL").getOrCreate()

df_cabang = spark.read.json("hdfs://localhost:9000/user/mahasiswa/tugas7/raw/tugas7_cabang.json")

df_menu = spark.read.csv("hdfs://localhost:9000/user/mahasiswa/tugas7/raw/tugas7_menu.csv", header=True, inferSchema=True)
df_transaksi = spark.read.csv("hdfs://localhost:9000/user/mahasiswa/tugas7/raw/tugas7_transaksi.csv", header=True, inferSchema=True)

Transform

Setelah membaca data tersebut, tahap selanjutnya adalah menggabungkan ketiga data lalu menambahkan kolom baru yang akan digunakan datanya untuk proses selanjutnya. Untuk menjawabnya kira-kira seperti ini:

df_gabungan = df_transaksi \
    .join(df_cabang, on="cabang_id", how="inner") \
    .join(df_menu, on="menu_id", how="inner")

df_final = df_gabungan.withColumn("total_penjualan", col("qty") * col("harga"))

df_final.show(10)

Setelah menambahkan kolom baru, langkah selanjutnya adalah menententukan top-2 menu terlaris (berdasarkan total_penjualan) di setiap cabang, gunakan row_number(). Untuk melakukannya, gunakan code ini:

from pyspark.sql.window import Window
from pyspark.sql.functions import col, sum, row_number

df_agregasi = df_final.groupBy("nama_cabang", "nama_menu") \
    .agg(sum("total_penjualan").alias("total_penjualan_menu"))

window_spec = Window.partitionBy("nama_cabang").orderBy(col("total_penjualan_menu").desc())

df_ranked = df_agregasi.withColumn("rank", row_number().over(window_spec))

df_top2_menu = df_ranked.filter(col("rank") <= 2)

df_top2_menu.show(truncate=False)

Setelah menentukan menu terlaris, langkah selanjutnya adalah menampilkan total penjualan per kepala_barista, diurutkan dari tertinggi. Untuk melakukannya kira-kira seperti ini:

from pyspark.sql.functions import col, sum

df_barista_sales = df_final.groupBy("kepala_barista") \
    .agg(sum("total_penjualan").alias("total_penjualan_barista")) \
    .orderBy(col("total_penjualan_barista").desc())

df_barista_sales.show()

Load

Setelah melakukan beberapa pengolahan tersebut, langkah selanjutnya adalah menyimpan data tersebut. Lebih detailnya adalah menyimpan data hasil dari menggabungkan ketiga tabel dan menambahkan kolom total_penjualan setelah itu lakukan verifikasi kembali. Untuk melakukannya kira-kira seperti ini:

!hdfs dfs -mkdir -p /user/amba/t7/processed/laporan
output_path = "hdfs://localhost:9000/user/amba/t7/processed/laporan"

df_final.write \
    .partitionBy("kategori_menu") \
    .mode("overwrite") \
    .parquet(output_path)

df_verify = spark.read.parquet(output_path)

df_verify.printSchema() 

df_verify.show(10)

print(f"Total baris data yang disimpan: {df_verify.count()}")

Setelah memverifikasi data tersebut langkah selanjutnya adalah mencari cabang mana yang berkinerja terbaik, menu apa yang sebaiknya dipromosikan lebih gencar di cabang dengan kinerja terlemah. Untuk melakukannya, cukup gunakan code ini:

from pyspark.sql.functions import sum, count, avg, round
from pyspark.sql.functions import col, sum

df_ringkasan_cabang = df_final.groupBy("nama_cabang") \
    .agg(
        sum("total_penjualan").alias("total_penjualan"),
        count("trx_id").alias("jumlah_transaksi"),
        round(avg("total_penjualan"), 2).alias("rata_rata_transaksi")
    )

df_ringkasan_cabang.show(truncate=False)


df_tidak_laku_jogja = df_final.filter(col("nama_cabang") == "Kopi Nusantara Yogyakarta") \
    .groupBy("nama_menu") \
    .agg(
        sum("qty").alias("total_kuantitas_terjual"),
        sum("total_penjualan").alias("total_pendapatan")
    ) \
    .orderBy(col("total_kuantitas_terjual").asc())

df_tidak_laku_jogja.show(1)

Dari ketiga cabang yang terdaftar pada file bernama tugas7_cabang.json , tugas7_transaksi.csv, tugas7_menu.csv, cabang dengan kinerja terbaik merupakan cabang kopi nusantara yang berada di kota semarang, cabang kopi nusantara yang berada di kota semarang dinilai menjadi cabang dengan kinerja terbaik karena hal tersebut dinilai dari total penjualan yang cabang tersebut dapat diraih.

Jika cabang daru kopi nusantara yang berada di semarang merupakan cabang dengan kinerja terbaik, maka cabang kopi nusantara yang berada di kota yogyakarta merupakan cabang dengan kinerja paling buruk. Cabang inni dinilai menjadi cabang yang paling buruk karena total penjualannya lebih rendah dari cabang lain. Pada cabang ini,menu yang perlu dipromosikan dengan lebih gencar merupakan menu-13. Alasan menu tersebut dinilai perlu dipromosikan lebih gentar karena menu tersebut hanya memiliki kuantitas terjual sebesar 181. Walaupun selisihnya tidak terlalu besar jika dibandingkan dengan menu lain, tetapi tidak dapat dipungkiri kalau menu tersebut memang berada di titik tidak selaris menu yang lain walau perbedaanya hanya sedikit.

How?

Sebelum membuat topologi, ada beberapa dervice yang diperlukan. Dervice tersebut terbagi menjadi 2 kelompok yaitu kelompok inside dan kelompok outside.

Inside

Kelompok inside merupakan kelompok yang memiliki wireless jaringan dan bersifat lokal. Jaringan ini dinamakan inside menurut sudut pandang router utama, dan juga sifatnya yang lokal dan berada dibawah kendali misalnya jaringan yang ada di sebuah rumah, kantor, sekolah dan lainnya. Untuk dervice yang diperlukan adalah router model 2911 sebagai router utama, 1 switch dengan model 2960, 1 wireless router bertipe WRT300N, beberapa end dervice seperti PC dan Ponsel.

Outside

Kelompok selanjutnya adalah kelompok outside. Kelompok ini dinamakan outside karena berada di luar kendali dan berstatus jaringan publik. Untuk dervice yag digunakan adalah 1 Router dengan model 2911 dan 1 server End dervice.

Connect them

Setelah memilih dervice yang digunakan, langkah selanjutnya adalah menghubungkan tiap dervice yang sudah ada.

Create a topology for the Inside group

Sebagai permulaan, hubungkan tiap dervice yang berada di kelompok inside. Dervice pertama yang dapat dihubungkan adalah Router lewat port GigabitEthernet0/0 dan Switch lewat port FastEthernet0/1 menggunakan kabel Copper Straight-Through

Setelah menghubungkan kedua dervice, langkah selanjutnya adalah menghubungkan Switch lewat port FastEthernet0/2 ke Wireless Router lewat port Ethernet1 menggunakan kabel Copper Straight-Through

Setelah menghubungkan 3 dervice tersebut, langkah selanjutnya adalah menghubungkan Switch lewat port FastEthernet 0/3 dan selanjutnya dengan perangkat End dervice seperti PC lewat port FastEthernet0 menggunakan kabel Copper Straight-Through, untuk end dervice lain seperti Laptop dan Ponsel cukup gunakan Wireless

Connect the rest

Setelah menghubungkan tiap dervice yang ada pada kelompok inside, langkah selanjutnya adalah menghubungkan dervice yang ada pada kelompok outside lalu hubungkan 2 kelompok yang ada. Hubungkan server publik lewat port FastEthernet0 ke router lewat port GigabitEthernet0/1 menggunakan kabel Copper Cross-Over.

Setelah menghubungkan 2 dervice tersebut, langkah selanjutnya adalah menghubungkan kedua kelompok lewat perantara router. Hubungkan router yang ada di kelompok outside lewat port GigabitEthernet0/0 dengan router yang ada pada kelompok inside lewat port GigabitEthernet0/1 menggunakan kabel Copper Cross-Over.

Set the IP

Setelah menghubungkan tiap dervice yang diperlukan, langkah selanjutnya adalah mengatur IP address.

Inside

Sebagai permulaan, IP address yang bisa disetel adalah milik kelompok inside. router yang ada pada kelompok inside akan diatur sebagai router utama atau main router. Pada port GigabitEthernet0/0, atur IP address sesuai dengan selera, IP address yang ada pada port ini akan menjadi IP gateway dari kelompok inside. Sebagai contoh kira-kira seperti ini:

jangan lupa untuk mengaktifkan port status

Setelah mengatur IP milik router utama, langkah selanjutnya adalah mengatur IP address yang ada pada wireless router dan mengubah konfigurasi dari DHCP menjadi Static, ini berfungsi agar wireless router hanya sebagai Access point saja dan atur IP address sesuai selera namun tetap dalam aturan. Sebagai contoh kira-kira seperti ini:

Setelah mengatur IP address, langkah selanjutnya adalah mengubah setelah untuk mematikan DHCP server dan mengubah internet Connection Type menjadi auto configuration agar wireless router ini berubah menjadi access point

Setelah mengatur wireless router, langkah selanjutnya adalah mengatur IP yang ada end dervice dimulai dari PC. Untuk caranya dinilai mudah yaitu pada port FastEthernet0, ubah menjadi DHCP

Setelah mengatur end dervice jenis PC, langkah selanjutnya adalah mengatur end dervice jenis laptop. Karena secara default laptop tidak memiliki kemampuan wireless maka yang perlu dilakukan adalah menganti modulnya menjadi WPC300N lalu ubah ubah menjadi DHCP

Set the IP for the rest of the device

Setelah mengatur IP address untuk kelompok inside, langkah selanjutnya adalah mengatur IP address milik router ISP dan server publik. Pada server publik, masukan IP address ke port FastEthernet0 dan atur IP gatewaynya yang berada di settings, sebagai contoh kira-kira seperti ini:

Setelah mengatur server publik, langkah selanjutnya adalah mengatur router ISP. Pada port GigabitEthernet0/1, ubah IP address sesuai dengan gateway yang ada pada server publik, sebagai contoh kira-kira seperti ini:

Setelah mengatur IP address agar router ISP dan server publik dapat terhubung, langkah selanjutnya adalah menghubungkan router utama yang ada pada kelompok inside dengan router ISP yang ada pada kelompok outside. Di router utama pada port GigabitEthernet0/1, atur IP address sesuai selera. Sebagai contoh kira-kira seperti ini:

Lalu di router ISP pada port GigabitEthernet0/0, atur IP address sesuai selera namun tetap menyesuaikan. Sebagai contoh kira-kira seperti ini:

Set the password

Ada beberapa hal yang akan diatur khususnya pada dervice wireless router yaitu mengatur SSID, password dan enkripsi. Untuk melakukannya buka menu GUI pada router dan cari sub menu basic wireless yang ada pada menu wireless. Dibagian Network Name(SSID) adalah nama dari jaringan tersebut

Setelah mengatur nama, langkah selanjutnya adalah mengatur security. Pada menu yang sama, buka sub menu Wireless Security dan ubah security mode menjadi WPA2 Personal dengan enkripsi AES dan Passphrase sebagai password.

Connect the wireless device

Setelah menyetel wireless router, langkah selanjutnya adalah menghubungkan tiap dervice yang menggunakan jaringan wireless. Untuk melakukannya, cukup buka menu wireless0 pada tiap dervice dan setel SSID, autentikasi dan password sesuai dengan wireless router

Setting the default route

Tujuan mengatur default router (default gateway) adalah untuk menentukan jalur keluar default bagi lalu lintas jaringan dari perangkat ke jaringan lain di luar jaringan lokal (misalnya ke internet). Untuk mengaturnya, buka menu Config pada router utama, pada sub menu static isi Network, mask dan next hop sesuai dengan IP yang menghubungkan antara router utama dengan router ISP

Setting up a DHCP pool and NAT

Untuk menyetel DHCP pool dan NAT, yang harus dilakukan adalah menggunakan menu CLI. Untuk menyetelnya, buka menu CLI pada router utama dan gunakan command ini

configure terminal

interface gigabitEthernet0/0
 ip nat inside
exit

interface gigabitEthernet0/1
 ip nat outside
exit

ip dhcp excluded-address 192.168.54.1 192.168.54.10
ip dhcp pool LAN
 network 192.168.54.0 255.255.255.0
 default-router 192.168.54.1
 dns-server 8.8.8.8
exit

access-list 1 permit 192.168.54.0 0.0.0.255
ip nat inside source list 1 interface gigabitEthernet0/1 overload

end
write memory

Setelah selesai, lakukan pengujian dengan menggunakan command ini

show running-config | section dhcp
show ip nat translations
show running-config | include nat

Kesimpulannya, belajar membuat topologi dinilai sebagai praktik dalam membuat ekosistem yang saling terhubung

Referensi:
Computer Network Course Lab Module at Tidar University

What is that?

Apache Parquet, merupakan sebuah format penyimpanan file open-source yang beorientasi pada kolom. Format ini dirancang khusus untuk menyimpan dan memproses data dalam jumlah yang masif namun tetap mempertahankan kecepatan dan efisien yang tinggi. Untuk mencobanya, jalankan code ini terlebih dahulu

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, sum as spark_sum, avg, count
import numpy as np
import pandas as pd
import os

spark = SparkSession.builder \
    .appName("Pertemuan6-ParquetETL") \
    .master("local[*]") \
    .getOrCreate()
spark.sparkContext.setLogLevel("ERROR")

print("SparkSession siap. Versi Spark:", spark.version)

Compare it with .CSV

Setelah mengetahui secara singkat seperti apa Apache Parquet secara singkat, hal yang dapat dicoba untuk pertama kali adalah membandingkannya dengan file format csv. Hal yang diperlukan untuk membandingkan CSV dan Parquet adalah dengan membuat dataset yang cukup besar, untuk membuatnya kira-kira gunakan code seperti ini

np.random.seed(11)
n = 20000
data_besar = {
    "order_id": [f"O{i}" for i in range(n)],
    "customer_id": np.random.randint(1, 21, size=n),
    "kategori": np.random.choice(["Elektronik", "Fashion", "Makanan", "Rumah Tangga", "Kesehatan"], size=n),
    "kota": np.random.choice(["Magelang", "Semarang", "Solo", "Yogyakarta", "Purworejo"], size=n),
    "metode_pembayaran": np.random.choice(["Transfer Bank", "E-Wallet", "COD", "Kartu Kredit"], size=n),
    "pendapatan": np.random.randint(50000, 500000, size=n),
}
pd.DataFrame(data_besar).to_csv("data_transaksi_besar.csv", index=False)

csv_size = os.path.getsize("data_transaksi_besar.csv")
print(f"Ukuran CSV: {csv_size:,} bytes ({csv_size/1024:.1f} KB) untuk {n:,} baris")

Terlihat pada code code tersebut, di perlihatkan bahwa ukuran dari CSV tersebut. Setelah menjalankan kode tersebut, langkah selanjutnya adalah menguji ukuran file format Parquet. Untuk mencobanya cukup gunakan code ini

df_besar = spark.read.csv("data_transaksi_besar.csv", header=True, inferSchema=True)
df_besar.write.mode("overwrite").parquet("data_transaksi_besar_parquet")

parquet_size = sum(
    os.path.getsize(os.path.join(dp, f))
    for dp, dn, fn in os.walk("data_transaksi_besar_parquet")
    for f in fn if f.endswith(".parquet")
)

print(f"Ukuran CSV      : {csv_size:,} bytes ({csv_size/1024:.1f} KB)")
print(f"Ukuran Parquet  : {parquet_size:,} bytes ({parquet_size/1024:.1f} KB)")
print(f"Parquet {(1 - parquet_size/csv_size)*100:.1f}% lebih kecil dibanding CSV")

How?

Secara konsep, Parquet bekerja dengan cara membuat folder secara otomatis, Parquet dapat mempartisi data berdasarkan nilai kolom tertentu. Artinya saat menyimpan data dengan format Parquet, user dapat memilih satu atau kolom untuk dijadikan dasar partisi lalu spark akan secara otomatis membuat sub folder fisik terpisah untuk setiap nilai unik pada kolom tersebut. Hal ini menyebabkan data lebih cepat untuk dicari ketika user melakukan penyaringan data berdasarkan kolom yang dipartisi. Kelebihan lain seperti Spark dapat menghindari momen dimana pembacaan penuh, ini karena kecepatan ini ada karena spark dapat langsung menuju ke folder yang relevan dengan filter tanpa perlu membaca dan memindai seluruh isi dataset secara keseluruhan.

Contoh kasusnya ketika mempartisi sebuah dataset dengan triliunan baris berdasarkan kolom tertentu, sistem akan membuat folder terpisah dengan nama tertentu tergantung pada data yang disimpan.

df_besar.write.mode("overwrite").partitionBy("kota").parquet("data_transaksi_partisi_kota")

!ls data_transaksi_partisi_kota

Code tersebut adalah salah satu contoh yang cukup sempurna untuk memperagakan cara kerja Parquet. Ketika code tersebut dijalankan, spark membuat folder berdasarkan berdasarkan kota=magelang, kota=semarang dan lainnya sehingga dalam skenario seperti mencari data magelang, Spark hanya perlu mencari data dengan nama yang sesuai tanpa perlu mengecek 1 persatu folder.

Other data types?

Selain tipe data Parquet, big data secara umum cukup sering melibatkan format JSON. Format ini biasanya ada pada API, log aplikasi atau data NoSQL. Untuk mencobanya, jalankan code ini

import json

np.random.seed(21)
pelanggan = [
    {
        "customer_id": i,
        "nama": f"Pelanggan{i}",
        "membership": np.random.choice(["Silver", "Gold", "Platinum"]),
        "kota_domisili": np.random.choice(["Magelang", "Semarang", "Solo", "Yogyakarta", "Purworejo"])
    }
    for i in range(1, 21)
]

with open("data_pelanggan.json", "w") as f:
    for p in pelanggan:
        f.write(json.dumps(p) + "\n")

print("Berkas data_pelanggan.json berhasil dibuat (format JSON Lines).")

Setelah berhasil membuat dataset yang menggunakan format JSON, langkah selanjutnya adalah mencoba membaca format data tersebut. Untuk mencobanya, gunakan code seperti ini

df_pelanggan = spark.read.json("data_pelanggan.json")
df_pelanggan.printSchema()
df_pelanggan.show(5)

Buld the pipeline?

Pada proses membuat pipeline, terdapat beberapa proses antara lain

Extract

Proses ini berfungsi untuk mengambil data mentah dari sumbernya. Pada contoh ini, data diambil dari 2 sumber berbeda lalu dibaca dengan proses .count(). Sebagai contoh, kira-kira seperti ini

df_transaksi_etl = spark.read.csv("data_transaksi_besar.csv", header=True, inferSchema=True)
df_pelanggan_etl = spark.read.json("data_pelanggan.json")

print("Data transaksi:", df_transaksi_etl.count(), "baris")
print("Data pelanggan:", df_pelanggan_etl.count(), "baris")

Transform

Pada proses ini, data yang sebelumnya telah dibaca selanjutnya akan diolah. Sebagai contoh, data pada contoh sebelumnya akan digabung dengan .join() setelah itu data akan diturunkan ke kolom turunan lewat .withColumn() lalu data tersebut di cek kembali menggunakan .filter()

from pyspark.sql.functions import when

df_etl = df_transaksi_etl.join(df_pelanggan_etl, on="customer_id", how="left")

df_etl = df_etl.withColumn(
    "segmen_transaksi",
    when(col("pendapatan") >= 300000, "Tinggi")
    .when(col("pendapatan") >= 150000, "Sedang")
    .otherwise("Rendah")
)

jumlah_tanpa_pelanggan = df_etl.filter(col("nama").isNull()).count()
print(f"Transaksi tanpa data pelanggan yang cocok: {jumlah_tanpa_pelanggan}")

df_etl.select("order_id", "nama", "membership", "kategori", "pendapatan", "segmen_transaksi").show(5)

Load

Proses ini berfungsi untuk menyimpan hasilnya menuju tujuan ahir. Pada code sebelumnya, data tersebut akan disimpan dalam format parquet di HDFS. Sebagai contoh kira-kira seperti ini

!hdfs dfs -mkdir -p /home/plont/Documents/Praktikum_Big_Data/modul/etl_output/transaksi_enriched

df_etl.write.mode("overwrite").partitionBy("kategori").parquet(
    "hdfs://localhost:9000/home/plont/Documents/Praktikum_Big_Data/modul/etl_output/transaksi_enriched"
)

print("Pipeline ETL selesai — hasil tersimpan di HDFS.")
!hdfs dfs -ls /home/plont/Documents/Praktikum_Big_Data/modul/etl_output/transaksi_enriched

Setelah selesai pada proses Load, langkah selanjutnya adalah melakukan uji coba yaitu melakukan verifikasi hasil ahir dengan membaca kembali data lewat HDFS. Sebagai contoh kira-kira seperti ini

df_final = spark.read.parquet("hdfs://localhost:9000/home/plont/Documents/Praktikum_Big_Data/modul/etl_output/transaksi_enriched")
print("Jumlah baris hasil akhir:", df_final.count())


df_final.groupBy("segmen_transaksi").agg(
    count("order_id").alias("jumlah_transaksi"),
    avg("pendapatan").alias("rata_rata_pendapatan")
).orderBy("segmen_transaksi").show()

Setelah mempelajari hal tersebut, hal yang dapat dilakukan selanjutnya adalah mencoba mengerjakan beberapa soal. Namun sebelum mengerjakan soal, terdapat code yang harus dijalankan. Untuk menjalankannya kira-kira seperti ini

spark = SparkSession.builder.appName("Latihan6").master("local[*]").getOrCreate()
spark.sparkContext.setLogLevel("ERROR")

df_transaksi_etl = spark.read.csv("data_transaksi_besar.csv", header=True, inferSchema=True)
df_pelanggan_etl = spark.read.json("data_pelanggan.json")
print("Siap untuk latihan.")

Soal pertama

Setelah menjalankan kode tersebut, soal pertama sudah dapat dikerjakan. Soal pertama meminta penjawab untuk membaca kembali data_transaksi_besar_parquet (hasil Sub-bab 6.1.1) menggunakan spark.read.parquet(), lalu tampilkan printSchema()-nya. Setelah menampilkannya, penjawab dapat membandingkan dengan skema hasil inferSchema=True pada CSV untuk menjawab apakah tipe datanya sama. Untuk menjawabnya kira-kira seperti ini

df_parquet = spark.read.parquet("data_transaksi_besar_parquet")

print("=== Skema dari Parquet ===")
df_parquet.printSchema()

print("=== Skema dari CSV (inferSchema=True) ===")
df_transaksi_etl.printSchema()

Keduanya ternyata memiliki metadata yang sama. Umumnya, perbedaan antar keduanya bukan pada tipe datanya, melainkan cara kerjanya.

Soal kedua

Setelah menjawab soal pertama, langkah selanjutnya adalah menjawab soal kedua. Soal kedua berbunyi “Gabungkan df_transaksi_etl dengan df_pelanggan_etl, lalu tampilkan jumlah transaksi untuk masing-masing nilai membership (Silver/Gold/Platinum).” Untuk menjawabnya kira-kira seperti ini

df_gabung = df_transaksi_etl.join(df_pelanggan_etl, on="customer_id", how="inner")

df_gabung.groupBy("membership") \
    .count() \
    .withColumnRenamed("count", "jumlah_transaksi") \
    .orderBy("membership") \
    .show()

Soal ketiga

Setelah menjawab soal kedua, langkah selanjutnya adalah menjawab soal ketiga. Soal ketiga berbunyi “Tulis ulang hasil gabungan Soal 2 (sebelum di-groupBy) ke disk lokal dalam format Parquet, dipartisi berdasarkan membership. Tampilkan struktur foldernya dengan !ls.” Untuk menjawabnya, kira-kira seperti ini

df_gabung = df_transaksi_etl.join(df_pelanggan_etl, on="customer_id", how="inner")

df_gabung.write \
    .mode("overwrite") \
    .partitionBy("membership") \
    .parquet("data_gabungan_parquet")

!ls data_gabungan_parquet

Untuk memperdalam kemampuan, terdapat soal yang dapat dikerjakan lagi, namun sebelum mengerjakannya, jalankan kode ini terlebih dahulu

import numpy as np
import pandas as pd
import json

np.random.seed(33)

# Sumber 1: Transaksi (CSV) — 5000 baris
n_trx = 5000
kategori_list = ["Elektronik", "Fashion", "Makanan", "Rumah Tangga", "Kesehatan"]
df_trx_tugas6 = pd.DataFrame({
    "order_id": [f"TX{i}" for i in range(n_trx)],
    "product_id": np.random.randint(1, 31, size=n_trx),
    "unit_terjual": np.random.randint(1, 8, size=n_trx),
    "tanggal": np.random.choice(pd.date_range("2026-10-01","2026-10-31"), size=n_trx).astype(str),
})
df_trx_tugas6.to_csv("tugas6_transaksi.csv", index=False)

# Sumber 2: Data produk (JSON Lines) — 30 produk
produk = [
    {"product_id": i, "nama_produk": f"Produk-{i}", "kategori": np.random.choice(kategori_list),
     "harga": int(np.random.choice([25000,50000,75000,100000,150000,250000]))}
    for i in range(1, 31)
]
with open("tugas6_produk.json", "w") as f:
    for p in produk:
        f.write(json.dumps(p) + "\n")

# Sumber 3: Data ulasan (CSV) — tidak semua transaksi memiliki ulasan (realistis)
n_review = 3500
df_review = pd.DataFrame({
    "order_id": np.random.choice(df_trx_tugas6["order_id"], size=n_review, replace=False),
    "rating": np.random.randint(1, 6, size=n_review),
})
df_review.to_csv("tugas6_ulasan.csv", index=False)

print(f"Tiga sumber data berhasil dibuat:")
print(f"- tugas6_transaksi.csv : {len(df_trx_tugas6)} baris")
print(f"- tugas6_produk.json   : {len(produk)} baris")
print(f"- tugas6_ulasan.csv    : {len(df_review)} baris (tidak seluruh transaksi memiliki ulasan)")

Soal pertama

Soal pertama berbunyi “Baca ketiga sumber data (tugas6_transaksi.csv, tugas6_produk.json, tugas6_ulasan.csv) menjadi tiga Spark DataFrame terpisah. Tampilkan jumlah baris dan printSchema() masing-masing.” Untuk menjawabnya kira-kira seperti ini

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("Tugas_6") \
    .master("local[*]") \
    .getOrCreate()
spark.sparkContext.setLogLevel("ERROR")

df_t = spark.read.csv("tugas6_transaksi.csv", header=True, inferSchema=True)
df_p = spark.read.json("tugas6_produk.json")
df_u = spark.read.csv("tugas6_ulasan.csv", header=True, inferSchema=True)

print("tugas6_transaksi.csv")
df_t.printSchema()

print("tugas6_produk.json")
df_p.printSchema()

print("tugas6_ulasan.csv")
df_u.printSchema()

Soal kedua

Untuk bunyi soal kedua seperti ini “Gabungkan ketiga DataFrame menjadi satu (order_id sebagai kunci ke ulasan, product_id sebagai kunci ke produk). Gunakan salah satu join yang tepat dari transaksi ke ulasan (karena tidak semua transaksi memiliki ulasan) dan salah satu join yang tepat dari transaksi ke produk (karena setiap transaksi pasti memiliki produk yang valid). Tambahkan kolom total_pendapatan (unit_terjual x harga).”

from pyspark.sql.functions import col, sum as spark_sum, avg, count

gabung1 = df_t.join(df_p, on="product_id", how="left")
gabung2 = gabung1.join(df_u, on="order_id", how="left")

answer2 = gabung2.withColumn("total_pendapatan", col("unit_terjual") * col("harga"))
answer2.show()e

Soal ketiga

Untuk soal ketiga berbunyi seperti ini “Transaksi tanpa ulasan akan memiliki rating bernilai kosong (null) setelah salah satu join yang tepat — isi nilai kosong tersebut dengan angka 0 menggunakan salah satu function, sertakan alasan singkat mengapa 0 (bukan nilai lain) masuk akal untuk kasus "belum ada ulasan". Tambahkan kolom ada_ulasan bernilai True/False (tidak boleh diisi manual satu satu), **sebelum** langkah na.fill()` di atas).” Untuk menjawabnya kira-kira seperti ini

kolom_baru = answer2.withColumn("ada_ulasan", col("rating").isNotNull())

answer3 = kolom_baru.na.fill(0, subset=["rating"])
answer3.show()

# alasan kenapa 0 masuk akal untuk kasus "belum ada ulasan": karena dalam sistem rating yang melibatkan angka 1 sampai 5, angka 0 berada
# diluar jangkauan sehingga angka 0 dinilai cocok sebagai indikator bahwa rating belum diberikan. Ini juga sebagai indikator kalau rating
# masih berstatus false

Soal keempat

Soal keempat berbunyi “Simpan hasil akhir ke HDFS dalam format Parquet, dipartisi berdasarkan kategori, ke path /home/plont/Documents/Praktikum_Big_Data/tugas/tugas_6/hasil_etl. Verifikasi dengan hdfs dfs -ls -R, lalu baca kembali dan tampilkan count()-nya sebagai bukti data tersimpan utuh.”

!hdfs dfs -mkdir -p /home/plont/Documents/Praktikum_Big_Data/tugas/tugas_6/hasil_etl
path = "/home/plont/Documents/Praktikum_Big_Data/tugas/tugas_6/hasil_etl"

answer3.write \
    .mode("overwrite") \
    .partitionBy("kategori") \
    .parquet(path)

!hdfs dfs -ls -R /home/plont/Documents/Praktikum_Big_Data/tugas/tugas_6/hasil_etl

print("-" * 50)

df_hasil_etl = spark.read.parquet(path)

jumlah_awal = answer3.count()
jumlah_akhir = df_hasil_etl.count()

print(f"Jumlah baris sebelum disimpan : {jumlah_awal}")
print(f"Jumlah baris setelah dibaca   : {jumlah_akhir}")

if jumlah_awal == jumlah_akhir:
    print("Data tersimpan utuh")
else:
    print("data tidak sesuai")

Soal kelima

Bunyi soal kelima seperti ini “Dari data hasil ETL, tampilkan (menggunakan DataFrame API atau Spark SQL, bebas memilih): kategori produk mana yang memiliki persentase transaksi dengan ulasan (ada_ulasan = True) paling rendah? Tulis 2–3 kalimat interpretasi bisnis pada markdown cell: mengapa hal ini mungkin penting diketahui oleh tim marketing?”

from pyspark.sql.functions import col, sum as spark_sum, count, round

df_persentase = df_hasil_etl.groupBy("kategori") \
    .agg(
        count("*").alias("total_transaksi"),
        spark_sum(col("ada_ulasan").cast("int")).alias("transaksi_ada_ulasan") 
    ) \
    .withColumn("persentase_ulasan", round((col("transaksi_ada_ulasan") / col("total_transaksi")) * 100, 2)) \
    .orderBy("persentase_ulasan")

df_persentase.show()

lalu kenapa ini penting untuk diketahui tim marketing? Hal ini dinilai penting bagi tim marketing karena ulasan dinilai sangat berguna bagi developer agar bisa mengembangkan produknya menjadi lebih baik. Tanpa ulasan, produk tersebut lebih sulit untuk diketahui bagian kekurangannya. Minimnya rating juga terkadang membuat pembeli lain menjadi ragu akan produk tersebut sehingga developer bisa kehilangan calon pembeli

What?

Polimorfisme, istilah ini sebenarnya berasal dari bahasa yunani yang artinya “banyak bentuk”. Istilah ini diadopsi ke dalam pemrograman berorientasi objek sebagai nama dari fungsi yang memungkinkan 1 superclass dapat digunakan oleh berbagai subclass berbeda.

Umumya, terdapat 2 jenis Polimorfisme yang ada pada bahasa pemrograman Java yaitu

• Compile-time/Static Polymorphism
  Jenis Polimorfisme ini dapat terjadi ketika kompilasi program dan dapat dicapai dengan method overloading atau operator overloading
• Runtime/Dynamic Polymorphism
  Jenis polimerfisme ini dapat terjadi ketika program berjalan pada proses ketika Java memutuskan untuk memilih metode yang akan dipanggil menurut objek nyata yang dibuat saat runtime. Polimerfisme jenis ini biasanya dicapai melalui method overriding

Ways to implement

Dalam bahasa pemrograman Java, konsep polimerfisme diimplementasikan dalam 2 cara atau 2 mekanisme yaitu

• Overloading
  Mekanisme overloading terjadi ketika pengguna membuat beberapa method dengan nama yang sama dalam 1 class, namun dibedakan dengan parameter yang berbeda entah itu jumlahnya, tipenya atau urutannya. Java sendiri akan menentukan method mana yang dapat dijalankan tergantung pada apa yang akan dimasukkan user.
• Overriding
  Mekanisme overriding terjadi ketika sebuah subclass menimpa atau memodifikasi method yang sudah dideklarasi oleh superclass. Berbeda dengan mekanisme overloading, overriding mengharuskan kedua method harus sama tanpa adanya perbedaan. Mekanisme ini sendiri dijalankan ketika runtime, lebih tepatnya saat Java sedang menentukan method yang akan dieksekusi, method yang dieksekusi tetaplah bergantung pada objek.

Jika ditanya tentang kelebihan dari Polimerfisme itu sendiri, terdapat beberapa kelebihan yaitu

• Polimorfisme memiliki kelebihan dalam fleksibility, ini membuat kode mudah beradaptasi ketika terjadi perubahan
• Polimorfisme juga memiliki kelebihan dalam reusability. Kelebihan ini memungkinkan sebuah kode dapat digunakan kembali menjadi berbagai jenis objek, menyebabkan tidak perlunya user dalam membuat kembali class yang sama
• Kelebihan Polimorfisme yang lain adalah mempermudah user dalam memelihara kode
• Kelebihan lain yang ada pada Polimorfisme adalah Extensibility yaitu kemudahan peluasan sistem dengan menambah sub class baru, mirip seperti kelebihan Polimorfisme yang lain yaitu reusability

Try

Setelah mempelajari sedikit tentang konsep Polimerfisme, hal yang dapat dipelajari setelahnya adalah cara mengimplementasikannya. Untuk mengimplementasikannya kira-kira seperti ini

How to try Overloading

Hal pertama yang dapat dibuat adalah membuat superclass yang berisi berbagai method, tujuannya adalah membuat method yang akan di overloading oleh subclass. Sebagai contoh kira-kira seperti ini :

class animal {
    public void Sound() {
        System.out.println("Sound of animal");
    }
    
    public void Eat(String food) {
        System.out.println("What does that animal eat : " + food);
    }
}

Setelah membuat Superclass dan methodnya, langkah selanjutnya adalah membuat 2 methode dengan parameter yang berbeda. Hal ini bertujuan sebagai implementasi langsung terhadap pengertian dari mekanisme Overloading. Sebagai contoh kira-kira seperti ini :

class animal {
    public void Sound() {
        System.out.println("Sound of animal");
    }
    
    public void Eat(String food) {
        System.out.println("What does that animal eat : " + food);
    }
    
    public void Eat(int amount, String food) {
        System.out.println("How much food : " + amount + " for " + food);
    }
}

Setelah selesai membuat 2 methode dengan parameter yang berbeda, langkah selanjutnya adalah membuat objek baru dari class tadi. Sebagai contoh kira-kira seperti ini:

class animal {
    public void Sound() {
        System.out.println("Sound of animal");
    }
    
    public void Eat(String food) {
        System.out.println("What does that animal eat : " + food);
    }
    
    public void Eat(int amount, String food) {
        System.out.println("How much food : " + amount + " for " + food);
    }
}

public class PraktikumPBO_6 {
    public static void main(String[] args) {
        animal Cat = new animal();
        Cat.Sound();
        Cat.Eat("wiskas");
        Cat.Eat(1000, "wiskas");
    }
}

How to try Overrinding

Setelah mencoba metode overloading, mekanisme selanjutnya yang dapat dicoba adalah mekanisme overriding. Untuk mencoba overriding, hal pertama yang harus dilakukan adalah membuat 2 kelas turunan dari kelas yang sudah dibuat sebelumnya atau dapat membuat yang baru jika langkah sebelumnya belum terlaksana, jenis polimorfisme yang digunakan adalah jenis runtime. Sebagai contoh, kira-kira seperti ini

class Cat extends animal {
    @Override
    public void Sound() {
        System.out.println("miaw");
    }
}

class Dog extends animal {
    @Override
    public void Sound() {
        System.out.println("guk");
    }
}

Setelah menambahkan metode tersebut, langkah selanjutnya adalah menjalankannya. Sebagai contoh kira-kira seperti ini:

class animal {
    public void Sound() {
        System.out.println("Sound of animal");
    }
    
    public void Eat(String food) {
        System.out.println("What does that animal eat : " + food);
    }
    
    public void Eat(int amount, String food) {
        System.out.println("How much food : " + amount + " for " + food);
    }
}

class Cat extends animal {
    @Override
    public void Sound() {
        System.out.println("miaw");
    }
}

class Dog extends animal {
    @Override
    public void Sound() {
        System.out.println("guk");
    }
}

public class PraktikumPBO_6 {
    public static void main(String[] args) {
        animal empus = new Cat();
        empus.Sound();
        empus.Eat("wiskas");
        empus.Eat(1000, "wiskas");
        
        animal dawg = new Dog();
        dawg.Sound();
        dawg.Eat("royal canin for dawg");
        dawg.Eat(1, "royal canin for dawg");
    }
}

Trying to solve a minor case

Setelah mempelajari apa itu Polimorfisme, terdapat beberapa hal yang dapat dicoba kembali. Sebagai contoh terdapat beberapa soal yang dapat dicoba. Untuk soalnya kira-kira seperti ini

First

Soal pertama meminta penjawab untuk membuat kelas abstrak Produk dengan atribut nama dan harga lalu tambahkan method. Untuk membuatnya kira-kira seperti ini

class Produk {
    String nama;
    int harga;
    int diskon;
    
    public void name_produk() {
        System.out.println("Nama barang : " + nama);
    }
    
    public void price() {
        System.out.println("Harga barang tergantung barang");
    }
    
    public void hitungDiskon() {
        System.out.println("Kamu dapat diskon");
    }
    
    public void total() {
        System.out.println("Ini total harga");
    }
}

Second

Setelah menyelesaikan soal pertama, soal kedua sudah dapat dikerjakan. Soal kedua meminta penjawab untuk membuat kelas turunan Buku, Elektronik, dan Pakaian yang mewarisi kelas Produk. Untuk menjawabnya kira-kira seperti ini

class produk {
    String nama;
    int harga;
    
    public void name_produk() {
        System.out.println("nama barang : " + nama);
    }
    
    public void price() {
        System.out.println("harga barang : " + harga);
    }
    
    public void hitungDiskon() {
        System.out.println("kamu dapat diskon");
    }
}

class buku extends produk {
    
}

class elektronik extends produk {
    
}

class pakaian extends produk {
    
}

Third

Setelah menyelesaikan soal kedua, soal ketiga sudah dapat dikerjakan. Soal ketiga meminta penjawab untuk melakukan mekanisme Override metode hitungDiskon() pada setiap kelas turunan untuk menghitung diskon yang berbeda-beda. Untuk menjawabnya kira-kira seperti ini

class Produk {
    String nama;
    int harga;
    int diskon;
    
    public void name_produk() {
        System.out.println("Nama barang : " + nama);
    }
    
    public void price() {
        System.out.println("Harga barang tergantung barang");
    }
    
    public void hitungDiskon() {
        System.out.println("Kamu dapat diskon");
    }
    
    public void total() {
        System.out.println("Ini total harga");
    }
}

class Buku extends Produk {
    @Override
    public void price() {
        System.out.println("Harga barang : " + harga);
    }
    
    @Override
    public void hitungDiskon() {
        System.out.println("Diskon yang didapat : " + diskon + "%");
    }
}

class Elektronik extends Produk {
    @Override
    public void price() {
        System.out.println("Harga barang : " + harga);
    }
    
    @Override
    public void hitungDiskon() {
        System.out.println("Diskon yang didapat : " + diskon + "%");
    }
}

class Pakaian extends Produk {
    @Override
    public void price() {
        System.out.println("Harga barang : " + harga);
    }    
    
    @Override
    public void hitungDiskon() {
        System.out.println("Diskon yang didapat : " + diskon + "%");
    }
}

Four

Setelah menyelesaikan soal ketiga, soal keempat sudah dapat dikerjakan. Soal keempat meminta penjawab untuk membuatlah sebuah kelas KeranjangBelanja yang menyimpan list of Produk dan memiliki metode untuk menghitung total harga setelah diskon

class Produk {
    String nama;
    int harga;
    int diskon;
    
    public void name_produk() {
        System.out.println("Nama barang : " + nama);
    }
    
    public void price() {
        System.out.println("Harga barang tergantung barang");
    }
    
    public void hitungDiskon() {
        System.out.println("Kamu dapat diskon");
    }
    
    public void total() {
        System.out.println("Ini total harga");
    }
}

class Buku extends Produk {
    @Override
    public void price() {
        System.out.println("Harga barang : " + harga);
    }
    
    @Override
    public void hitungDiskon() {
        System.out.println("Diskon yang didapat : " + diskon + "%");
    }
}

class Elektronik extends Produk {
    @Override
    public void price() {
        System.out.println("Harga barang : " + harga);
    }
    
    @Override
    public void hitungDiskon() {
        System.out.println("Diskon yang didapat : " + diskon + "%");
    }
}

class Pakaian extends Produk {
    @Override
    public void price() {
        System.out.println("Harga barang : " + harga);
    }    
    
    @Override
    public void hitungDiskon() {
        System.out.println("Diskon yang didapat : " + diskon + "%");
    }
}

class KeranjangBelanja extends Produk {
    @Override
    public void total() {
        int nominalDiskon = (harga * diskon) / 100;
        int totalAkhir = harga - nominalDiskon;
        System.out.println("Total harga setelah diskon: Rp " + totalAkhir);
    }
}

Test it

Setelah menyelesaikan kodenya, langkah selanjutnya adalah mencobanya. Untuk mencobanya kira-kira seperti ini

class Produk {
    String nama;
    int harga;
    int diskon;
    
    public void name_produk() {
        System.out.println("Nama barang : " + nama);
    }
    
    public void price() {
        System.out.println("Harga barang tergantung barang");
    }
    
    public void hitungDiskon() {
        System.out.println("Kamu dapat diskon");
    }
    
    public void total() {
        System.out.println("Ini total harga");
    }
}

class Buku extends Produk {
    @Override
    public void price() {
        System.out.println("Harga barang : " + harga);
    }
    
    @Override
    public void hitungDiskon() {
        System.out.println("Diskon yang didapat : " + diskon + "%");
    }
}

class Elektronik extends Produk {
    @Override
    public void price() {
        System.out.println("Harga barang : " + harga);
    }
    
    @Override
    public void hitungDiskon() {
        System.out.println("Diskon yang didapat : " + diskon + "%");
    }
}

class Pakaian extends Produk {
    @Override
    public void price() {
        System.out.println("Harga barang : " + harga);
    }    
    
    @Override
    public void hitungDiskon() {
        System.out.println("Diskon yang didapat : " + diskon + "%");
    }
}

class KeranjangBelanja extends Produk {
    @Override
    public void total() {
        int nominalDiskon = (harga * diskon) / 100;
        int totalAkhir = harga - nominalDiskon;
        System.out.println("Total harga setelah diskon: Rp " + totalAkhir);
    }
}

public class PraktikumPBO_6 {
    public static void main(String[] args) {
        Produk book = new Buku();
        book.nama = "Kitab Ngawi";
        book.harga = 1000000;
        book.diskon = 30;
        
        book.name_produk();
        book.price();
        book.hitungDiskon();
        
        KeranjangBelanja b = new KeranjangBelanja();
        b.harga = book.harga;
        b.diskon = book.diskon;
        b.total(); 
        
        Produk electronic = new Elektronik();
        electronic.nama = "Flipper zero";
        electronic.harga = 3036930;
        electronic.diskon = 5;
        
        electronic.name_produk();
        electronic.price();
        electronic.hitungDiskon();
        
        KeranjangBelanja e = new KeranjangBelanja();
        e.harga = electronic.harga;
        e.diskon = electronic.diskon;
        e.total(); 
        
        Produk shirt = new Pakaian();
        shirt.nama = "baju spartan";
        shirt.harga = 950000;
        shirt.diskon = 10;
        
        shirt.name_produk();
        shirt.price();
        shirt.hitungDiskon();
        
        KeranjangBelanja p = new KeranjangBelanja();
        p.harga = shirt.harga;
        p.diskon = shirt.diskon;
        p.total(); 
    }
}

PySpark masih menyimpan berbagai hal yang bisa digali lebih dalam. Kira-kira seperti ini:

Try it

Ada beberapa tahapan yang dapat dicoba untuk mempelajari PySpark DataFrame tingkat lanjut yaitu seperti menggabungkan DataFrame, Menjalankan Kueri SQL di Atas DataFrame dan mencoba Window Function. Untuk langkah-langkahnya kira-kira seperti ini

Create a SparkSession & Dataset

Hal yang dapat dilakukan pertama kali adalah membuat SparkSession dan dataset. Sebagai contoh kira-kira seperti ini

gunakan code ini untuk menjalankan SparkSessionfrom pyspark.sql import SparkSession
from pyspark.sql.functions import col, sum as spark_sum, avg, count, rank, row_number, when
from pyspark.sql.window import Window

spark = SparkSession.builder \
    .appName("Pertemuan5-JoinWindowSQL") \
    .master("local[*]") \
    .getOrCreate()
spark.sparkContext.setLogLevel("ERROR")

print("SparkSession siap. Versi Spark:", spark.version)

setelah membuat SparkSession, langkah selanjutnya adalah membuat 2 tabel sebagai yang digunakan untuk mensimulasikan skenario yang ada pada dunia nyata dimana data tersebar di beberapa sumber dan perlu digabung. Sebagai contoh, kira-kira seperti ini

import numpy as np
import pandas as pd

np.random.seed(7)
kategori_list = ["Elektronik", "Fashion", "Makanan & Minuman", "Kesehatan & Kecantikan", "Rumah Tangga"]

# Tabel referensi/master: target & manager per kategori (data ini relatif statis, jarang berubah)
data_produk = {
    "kategori": kategori_list,
    "target_bulanan": [50000000, 40000000, 30000000, 25000000, 20000000],
    "manager": ["Andi", "Budi", "Citra", "Dewi", "Eka"],
}
df_produk = spark.createDataFrame(pd.DataFrame(data_produk))

# Tabel transaksi: data yang terus bertambah setiap hari
n = 300
data_transaksi = {
    "order_id": [f"O{i}" for i in range(n)],
    "kategori": np.random.choice(kategori_list, size=n),
    "kota": np.random.choice(["Magelang", "Semarang", "Solo"], size=n),
    "pendapatan": np.random.randint(50000, 500000, size=n),
}
df_transaksi = spark.createDataFrame(pd.DataFrame(data_transaksi))

print("df_produk:")
df_produk.show()
print("df_transaksi (5 baris pertama dari total", df_transaksi.count(), "baris):")
df_transaksi.show(5)

Combine the dataset

Setelah membuat SparkSession dan DataSet, hal yang dapat dicoba pertama kali adalah menggabungkan dataset. Umumnya, terdapat 4 jenis operasi join yaitu

• Default
  Operasi join tipe default (atau inner join) biasanya menghasilkan baris yang memiliki kecocokan antar kedua tabel. Artinya jika terdapat data yang sama pada kedua tabel maka operasi join tipe default ini akan mengambilnya dan membuang sisanya
• Left Join
  Operasi join tipe ini biasanya hanya mempertahankan seluruh data dari DataFrame yang ada di sisi kiri atau DataFrame yang pertama kali dipanggil
• Right Join
  Operasi join tipe ini merupakan kebalikan dari Left Join. Operasi tipe ini biasanya hanya mempertahankan seluruh data dari DataFrame yang ada di sisi kanan atau DataFrame kedua yang dipanggil
• Outer Join
  Operasi join tipe ini merupakan gabungan dari Left Join dan Inner Join. Operasi join tipe ini akan mempertahankan semua baris data dari kedua tabel tanpa syarat

Sebagai contoh gunakan code ini untuk mencoba Left Join

df_gabung = df_transaksi.join(df_produk, on="kategori", how="left")
df_gabung.show(5)

Untuk contoh lain jika mengacu pada kejadian yang umum terjadi, tabel transaksi biasanya memiliki jutaan bahkan miliaran baris. Dalam skenario yang tidak umum, jika operasi join digunakan secara langsung misalnya antara tabel transaksi mentah yang memiliki data masif dengan tabel referensi atau tabel target, ini membuat spark harus melakukan data shuffling atau perpindahan data antar node dalam cluster yang dinilai sangat berat sehingga dapat memakan waktu yang lama dan beresiko menyebabkan out of memory. Dalam skenario umum, data harus diringkas terlebih dahulu sebelum digabungkan dengan tabel referensi. Untuk mencobanya, gunakan code ini dalam jupyter atau text editor lainnya :

ringkasan = df_transaksi.groupBy("kategori").agg(
    spark_sum("pendapatan").alias("total_pendapatan")
)

hasil = ringkasan.join(df_produk, on="kategori", how="inner")
hasil = hasil.withColumn(
    "pencapaian_persen",
    (col("total_pendapatan") / col("target_bulanan") * 100)
)

hasil.orderBy(col("pencapaian_persen").desc()).show()

Group by without depreciation

Umumnya, GROUP BY akan menyebabkan penyusutan karena mekanismenya yang mengelompokkan baris data yang memiliki nilai yang sama dan fungsi agresiasinya seperti OUNT(), SUM(), AVG(), MAX(), atau MIN(). Namun ada fitur yang memiliki kemampuan seperti GROUP BY namun tidak mengalami penyusutan yaitu Window Function. Fitur ini umumnya digunakan pada prenkingan pada suatu kelompok. Untuk contoh codenya kira-kira seperti ini

window_spec = Window.partitionBy("kategori").orderBy(col("pendapatan").desc())

df_ranked = df_transaksi.withColumn("rank_dalam_kategori", rank().over(window_spec))

df_ranked.filter(col("rank_dalam_kategori") <= 2) \
    .orderBy("kategori", "rank_dalam_kategori") \
    .show(10)

Spark speaks multiple languages?

Sebenarnya yang dimaksut disini bukan bahasa pemrograman tertentu melainkan 2 cara penulisan yang berbeda. Keunggulan ini membuat user dapat menuliskan query SQL secara langsung terhadap DataFrame sehingga user tidak perlu mengingat sintaks DataFrame API.

Make a DataFrame first

Membuat DataFrame dapat menjadi langkah yang dapat diselesaikan pertama kali. Pada percobaan kali ini, DataFrame akan dibuat dan didaftarkan ke tabel sementara atau temporary view. Untuk contoh kodenya kira-kira seperti ini :

df_transaksi.createOrReplaceTempView("transaksi")
df_produk.createOrReplaceTempView("produk")

print("Kedua tabel sementara berhasil didaftarkan: 'transaksi' dan 'produk'")

Run it

Setelah membuat DataFrame sementara, langkah selanjutnya adalah menjalankannya. Untuk mencobanya cukup gunakan code ini :

hasil_sql = spark.sql('''
    SELECT t.kategori, p.manager, SUM(t.pendapatan) AS total_pendapatan
    FROM transaksi t
    JOIN produk p ON t.kategori = p.kategori
    GROUP BY t.kategori, p.manager
    ORDER BY total_pendapatan DESC
''')
hasil_sql.show()

Try more

Setelah mempelajari hal tersebut, terdapat beberapa hal yang dapat dicoba atau lebih tepatnya soal. Sebelum mengerjakannya, terdapat code yang perlu dijalankan

spark = SparkSession.builder.appName("Latihan5").master("local[*]").getOrCreate()
spark.sparkContext.setLogLevel("ERROR")

np.random.seed(7)
df_produk = spark.createDataFrame(pd.DataFrame(data_produk))
df_transaksi = spark.createDataFrame(pd.DataFrame(data_transaksi))
df_transaksi.createOrReplaceTempView("transaksi")
df_produk.createOrReplaceTempView("produk")
print("Siap untuk latihan.")

First

Menggunakan DataFrame API (join), tampilkan seluruh transaksi kota "Solo" beserta nama manager dari kategorinya masing-masing.

Setelah menjalankan kode tersebut, soal pertama sudah dapat dijawab. Untuk jawabannya kira-kira seperti ini

API = df_transaksi.filter(col("kota") == "Solo")
API.join(df_produk, how="outer").show()

Second

Menggunakan window function, tentukan transaksi dengan pendapatan tertinggi (peringkat 1 saja) di setiap kota (bukan kategori). tidak boleh menggunakan rank().

Setelah menjawab soal tersebut, soal kedua sudah dapat dijawab. Untuk jawabannya kira-kira seperti ini

window_spec = Window.partitionBy("kota").orderBy(col("pendapatan").desc())

df_ranked = df_transaksi.withColumn("rank_dalam_kategori", row_number().over(window_spec))


df_ranked.filter(col("rank_dalam_kategori") == 1) \
    .orderBy("kota", "rank_dalam_kategori") \
    .show()

Third

Menggunakan Spark SQL (bukan DataFrame API), tulis kueri untuk menghitung rata-rata pendapatan per kota, urutkan dari tertinggi.

Setelah menjawab soal tersebut, soal ketiga sudah dapat dijawab. Untuk jawabannya kira-kira seperti ini

df_transaksi.createOrReplaceTempView("transaksi")
df_produk.createOrReplaceTempView("produk")

sql = spark.sql('''
    SELECT kota, AVG(pendapatan) AS rata_rata_kota
    FROM transaksi
    GROUP BY kota 
    ORDER BY rata_rata_kota DESC
''')
sql.show()

Four

Dalam 2–3 kalimat: menurut anda, dalam situasi seperti apa anda akan lebih memilih menulis Spark SQL dibanding DataFrame API pada pekerjaan anda nanti? Tulis jawaban pada markdown cell di bawah ini.

Soal terahir ini bukanlah tentang coding, melainkan tentang pendapat pribadi. Untuk menjawabnya kira-kira seperti ini

Situasi yang dinilai cocok untuk beralih menggunakan Spark SQL dari DataFrame 
API adalah ketika ukuran data memungkinkan untuk diolah dengan cara yang 
simpel. Umumnya, data yang disimpan menggunakan SQL memiliki ukuran yang bisa 
dinilai wajar. Sementara data yang ada pada spark biasanya berukuran masif

Another try

Setelah mengerjakan soal tersebut, ada beberapa soal lagi yang dapat dikerjakan. Namun sebelum mengerjakan soal tersebut, terdapat code yang perlu dijalankan terlebih dahulu

import numpy as np
import pandas as pd

# Tabel 1: Target & PIC per cabang kota (tabel referensi, dibuat langsung sebagai DataFrame)
data_target_cabang = {
    "kota": ["Magelang", "Yogyakarta", "Semarang", "Solo", "Purworejo"],
    "target_bulanan": [45000000, 60000000, 55000000, 40000000, 30000000],
    "pic_cabang": ["Rani", "Joko", "Sari", "Bayu", "Fitri"],
}

# Tabel 2: Data transaksi (disimpan sebagai CSV, lalu diunggah ke HDFS)
np.random.seed(55)
n = 500
kategori_list = ["Elektronik", "Fashion", "Makanan & Minuman", "Kesehatan & Kecantikan", "Rumah Tangga"]
kota_list = ["Magelang", "Yogyakarta", "Semarang", "Solo", "Purworejo"]
data_transaksi_t5 = {
    "order_id": [f"TRX-{i}" for i in range(n)],
    "kategori": np.random.choice(kategori_list, size=n),
    "kota": np.random.choice(kota_list, size=n),
    "unit_terjual": np.random.randint(1, 10, size=n),
    "harga_satuan": np.random.choice([25000, 50000, 75000, 100000, 150000], size=n),
}
pd.DataFrame(data_transaksi_t5).to_csv("transaksi_tugas5.csv", index=False)

!hdfs dfs -mkdir -p /home/plont/Documents/Big_Data/Tugas
!hdfs dfs -put -f transaksi_tugas5.csv /home/plont/Documents/Big_Data/Tugas
print("Dataset siap. Tabel transaksi sudah diunggah ke HDFS: home/plont/Documents/Big_Data/Tugas/transaksi_tugas5.csv")
print("Simpan juga 'data_target_cabang' di atas — kalian akan membuatnya menjadi DataFrame sendiri di notebook tugas.")

Fisrt

A. Join & Perbandingan Target (bobot 25%)

Ringkas total pendapatan per kota dari df_transaksi, lalu join dengan df_target. Tambahkan kolom pencapaian_persen. Urutkan hasil dari pencapaian tertinggi.

Setelah menjalankan code tersebut, soal pertama sudah dapat dikerjakan. Untuk jawabannya kira-kira seperti ini :

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, sum, round
import pandas as pd

spark = SparkSession.builder.appName("Tugas5").getOrCreate()

target_cabang = {
    "kota": ["Magelang", "Yogyakarta", "Semarang", "Solo", "Purworejo"],
    "target_bulanan": [45000000, 60000000, 55000000, 40000000, 30000000],
    "pic_cabang": ["Rani", "Joko", "Sari", "Bayu", "Fitri"],
}
df_target = spark.createDataFrame(pd.DataFrame(target_cabang))

path_hdfs = "/home/plont/Documents/Praktikum_Big_Data/tugas/transaksi_tugas5.csv"
df_transaksi = spark.read.csv(path_hdfs, header=True, inferSchema=True)

df_transaksi = df_transaksi.withColumn("pendapatan", col("unit_terjual") * col("harga_satuan"))
df_pendapatan_kota = df_transaksi.groupBy("kota").agg(sum("pendapatan").alias("total_pendapatan"))

df_hasil = df_pendapatan_kota.join(df_target, on="kota", how="inner") \
    .withColumn("pencapaian_persen", round((col("total_pendapatan") / col("target_bulanan")) * 100, 2)) \
    .orderBy(col("pencapaian_persen").desc())

df_hasil.show()

Second

B. Window Function — Kategori Terlaris per Kota (bobot 25%)

Menggunakan window function, tentukan kategori dengan pendapatan tertinggi di setiap kota (top-1 saja, gunakan row_number()).

Setelah mengerjakan soal pertama, soal kedua sudah dapat dikerjakan. Untuk jawabannya kira-kira seperti ini :

from pyspark.sql.window import Window
from pyspark.sql import SparkSession
from pyspark.sql.functions import col, sum as spark_sum, avg, count, rank, row_number, when, expr, col, sum

spark = SparkSession.builder \
    .appName("transaksi_tugas5") \
    .getOrCreate()

!hdfs dfs -get /home/plont/Documents/Praktikum_Big_Data/tugas/transaksi_tugas5.csv transaksi.csv

df = pd.read_csv("transaksi.csv")

dtf = spark.createDataFrame(pd.DataFrame(df))

df_pendapatan = dtf.groupBy("kota", "kategori") \
                  .agg(expr("sum(unit_terjual * harga_satuan)").alias("total_pendapatan"))

windowSpec = Window.partitionBy("kota").orderBy(col("total_pendapatan").desc())

df_tertinggi = df_pendapatan.withColumn("rn", row_number().over(windowSpec)) \
                            .filter(col("rn") == 1) \
                            .drop("rn")

df_tertinggi.show()

Third

C. Spark SQL (bobot 25%)

Daftarkan df_transaksi dan df_target sebagai temporary view, lalu tulis satu kueri SQL (bukan DataFrame API) yang menampilkan: kota, pic_cabang, dan jumlah transaksi (COUNT) di kota tersebut, diurutkan dari jumlah transaksi terbanyak.

Setelah mengerjakan soal kedua, soal ketiga sudah dapat dikerjakan. Untuk jawabannya kira-kira seperti ini :

df_transaksi.createOrReplaceTempView("transaksi")
df_target.createOrReplaceTempView("target")

spark.sql("""
    SELECT 
        transaksi.kota, 
        target.pic_cabang, 
        COUNT(transaksi.order_id) AS jumlah_transaksi
    FROM transaksi 
    JOIN target ON transaksi.kota = target.kota
    GROUP BY transaksi.kota, target.pic_cabang
    ORDER BY jumlah_transaksi DESC
""").show()

Four

D. Kesimpulan (bobot 25%)

Tulis pada markdown cell (minimal 100 kata): berdasarkan hasil bagian A dan B, cabang mana yang berkinerja paling baik dan cabang mana yang paling perlu perhatian manajemen? Sertakan angka-angka pendukung dari hasil analisis kalian, bukan opini tanpa dasar data.

Setelah mengerjakan soal ketiga, soal keempat sudah dapat dikerjakan. Untuk jawabannya kira-kira seperti ini :

Menurut data yang dihasilkan dari code bagian A dan code bagian B, cabang yang 
memiliki kinerja paling baik jika dihitung dari target bulanan adalah cabang 
yang berada di kota purworejo dengan Fitri sebagai penanggung jawab telah 
pencapaian mencapai 152.17 persen, jauh melampaui cabang lain. Cabang 
dibawahnya hanya mampu mencapai 83.69 persen saja, jarak antar keduanya bahkan 
mencapai 68.48 persen, hampir mendekati target dari cabang terendah.

Menurut data yang dihasilkan dari code bagian A dan code bagian B, cabang yang 
masih perlu diatur atau di manajemen lagi adalah cabang yang berada di kota 
semarang dengan Sari sebagai penanggung jawab. Target yang berhasil dipenuhi 
cabang ini hanya sekitar 69.41 persen, dinilai cukup jauh dari target yang 
telah ditetapkan yaitu cabang ini masih perlu memenuhi 16825000.

Terkadang, terdapat sebuah pertanyaan random seperti “Bagaimana cara mengatur Wi-Fi?” Well, hal ini bisa dilakukan di software bernama Cisco Packet Tracer

How?

Sebagai awalan, software yang akan digunakan adalah Cisco Packet Tracer. Singkatnya, ini merupakan sebuah software yang berfungsi untuk membuat simulasi jaringan secara visual, software ini umumnya digunakan untuk membantu dalam merancang, mengkonfigurasi serta memecahkan masalah topologi jaringan tanpa perangkat kerasnya sama sekali.

Sebagai langkah pertama, hal yang perlu dilakukan adalah mengumpulkan berbagai perangkat yang akan digunakan. Terdapat sekitar 8 perangkat yang diperlukan untuk membuat sistem wireless yaitu

• Laptop berjumlah 1 dengan peran sebagai Admin

• PC berjumlah 1 dengan peran sebagai Client

• Tablet berjumlah 1 dengan peran sebagai Client

• Ponsel berjumlah 1 dengan peran sebagai Client

• Printer berjumlah 1 dengan peran sebagai Client

• Wireless dervice berjumlah 1 dengan tipe WRT300N yang merupakan simulasi dari perangkat router Linksys WRT300N Wireless-N Broadband Router.

Connect via wired

Sebagai permulaan, Hubungkan laptop dengan WRT300N dengan kabel copper straight-trought melewati port FastEthernet0 yang ada pada Laptop dengan port Ethernet 1

Configure the laptop

Setelah menghubungkan perangkat laptop dengan perangkat router WRT300N, langkah selanjuntya adalah melakukan konfigurasi pada Laptop yang akan digunakan sebagai laptop administrator. Untuk melakukannya, klik LMB 2 kali pada perangkat Laptop lalu cari sub menu IP configuration pada menu Dekstop

Setelah menemukan menu tersebut, langkah selanjutnya adalah mengubah sistemnya dari Static menjadi DHCP

Setelah selesai, langkah selanjutnya adalah lakukan uji coba dengan membuka Command Promt pada laptop tersebut dan gunakan command ini

# untuk melihat ip
ipconfig

# untuk melakukan uji koneksi
ping 192.168.54.1

Wireless Router Configuration

Langkah selanjutnya adalah melakukan konfigurasi perangjat WRT300N. Standarnya, dalam mengkonfigurasi wireless router, terdapat 2 hal yang perlu dikonfigurasi yaitu konfigurasi keamanan dan konfigurasi IP address. Untuk melakukannya, klik LMB 2 kali pada laptop dan cari sub menu Web Browser yang dapat ditemukan pada menu Dekstop

Lalu pada menu pencarian masukkan IP address lalu tekan ENTER. Lalu akan muncul tampilan yang meminta user untuk memasukkan username dan password. Secara default, router WRT300N memiliki username dan password default yang sama yaitu admin

http://192.168.54.1

Setelah berhasil masuk ke menu tersebut, bagian ini adalah konfigurasi router tersebut. Untuk melakukannya, ada beberapa yang harus diatur antara lain mengatur network name (SSID), mengatur SSID Broadcast, Security mode, encryption dan passphrase. Untuk melakukannya klik pada menu wireless dan masukkan Network Name dan Ubah SSID Broadcast menjadi Enable lalu scroll kebawah sampai menemukan tombol Save setting. Setelah itu, cari sub menu Wireless Security dan ubah Security mode menjadi WPA2 Personal, Pilih enkripsi menjadi AES dan Passphrase bebas. Sebagai contoh kira-kira seperti ini

Setelah selesai melakukan penyetelan pada bagian wireless. Langkah selanjutnya adalah masuk ke menu setup dan masuk ke menu basic setup dan lakukan penyetelan pada IP address, subnetmask, DHCP, start IP address dan Maximum number of Users, setelah selesai scroll ke bawah sampai menemukan tombol untuk melakukan save. Sebagai contoh kira-kira seperti ini

Setelah berhasil melakukan konfigurasi, langkah selnajutnya adalah adalah menyetel ulang DHCP pada laptop tersebut dengan masuk ke menu IP configuration, ubah ke static lalu ubah kembali ke DHCP.

Setelah berhasil melakukan konfigurasi ulang, langkah selanjutnya adalah melakukan pengujian dengan masuk ke Command Promt dan masukkan command yang sama.

Configure the PC client

Setelah melakukan konfigurasi pada Router, langkah selanjutnya adalah melakukan konfigurasi pada perangkat client. Sebagai awalan, klik LMB 2 kali pada PC hingga masuk ke menu Physical. Sebagai awalan, matikan terlebih dahulu PC tersebut dengan menekan tombol merah.

Setelah selesai buang port yang ada pada kotak tersebut dan buang ke kolom disamping dengan melakukan drag and drop. Setelah itu drag module bernama WMP300N ke kotak tersebut lalu nyalakan kembali dengan menekan tombol merah hingga lampu hijau menyala

Setelah mengganti port tersebut, langkah selanjutnya adalah masuk ke menu PC wireless yang berada pada menu Dekstop.

Pada menu tersebut, masuk ke menu koneksi, refresh dan tekan Connect pada menu tersebut. Lalu pada menu tersebut, masukkan pre-shared key dengan passphrase yang sebelumnya telah dibuat. Jika sudah selesai, tekan connect.

Setelah selesai, masuk ke menu IP configuration yang ada pada dekstop dan ubah dari Static menjadi DHCP.

Setelah berhasil melakukan konfigurasi tanpa maslaah, langkah selanjutnya adalah menlakukan pengujian dengan memasukkan command yang sama pada Command Promt

# untuk melihat ip
ipconfig

# untuk melakukan uji koneksi ke perangkat router
ping 192.168.54.1

# untuk melakukan uji koneksi ke laptop administrator
ping 192.168.54.10

Configure the printer client

Setelah melakukan konfigurasi pada PC client, langkah selanjutnya adalah melakukan konfigurasi pada perangkat printer. Untuk melakukannya, klik LMB 2 kali pada printer. Setelah muncul menu Physical, langkah selanjutnya adalah matikan printer dengan menekan tombol hijau sampai lampu indikator tersebut mati. Setelah mematikan printer, langkah selanjuntya adalah mengganti port RJ45 tersebut dengan melakukan drag and drop pada kolom di sisi kiri dan ganti dengan menggunakan modul WMP300N dan nyalakan kembali printer tersebut.

Setelah mengganti module, langkah selanjutnya adalah melakukan konfigurasi pada printer. Cari menu Wireless0 dan ubah SSID sesuai dengan yang sebelumnya telah dibuat, ubah autentikasi menjadi WPA2-PSK, isi PSK PassPhrase sesuai dengan yang dibuat sebelumnya, ubah IP configuration menjadi DHCP. Sebagai contoh kira-kira seperti ini

Configure the tablet

Langkah selanjutnya yang dapat diselesaikan adalah melakukan konfigurasi pada tablet. Untuk melakukannya, cari menu yang sama seperti printer yaitu menu Wireless0. Gunakan setelan yang sama seperti printer

Setelah melakukan penyetelan, langkah selanjutnya adalah melakukan pengetesan apakah tablet telah terkoneksi dengan sempurna. Untuk melakukannya, cari Command Promt dan gunakan command yang sama

# untuk melihat ip
ipconfig

# untuk melakukan uji koneksi ke perangkat router
ping 192.168.54.1

# untuk melakukan uji koneksi ke laptop administrator
ping 192.168.54.10

# untuk melakukan uji koneksi ke printer
ping 192.168.54.12

Configure the smartphone

Langkah selanjutnya yang dapat diselesaikan adalah melakukan konfigurasi pada ponsel. Untuk melakukannya, cari menu yang sama seperti printer yaitu menu Wireless0. Gunakan setelan yang sama seperti printer

Setelah selesai melakukan konfigurasi, langkah selanjutnya adalah melakukan uji coba dengan command yang sama

# untuk melihat ip
ipconfig

# untuk melakukan uji koneksi ke perangkat router
ping 192.168.54.1

# untuk melakukan uji koneksi ke laptop administrator
ping 192.168.54.10

# untuk melakukan uji koneksi ke printer
ping 192.168.54.12

# untuk melakukan uji koneksi ke tablet
ping 192.168.54.13

Sebagai penutup, lakukan uji koneksi ke berbagai perangkat menggunakan Laptop Administrator. Cukup gunakan command yang sama

# untuk melihat ip
ipconfig

# untuk melakukan uji koneksi ke perangkat router
ping 192.168.54.1

# untuk melakukan uji koneksi ke printer
ping 192.168.54.12

# untuk melakukan uji koneksi ke tablet
ping 192.168.54.13

# untuk melakukan uji koneksi ke ponsel
ping 192.168.54.15