Pengantar Maximum Likelihood Estimation (MLE)

Mengestimasi parameter adalah langkah mendasar dalam analisis statistik dan pembelajaran mesin. Di antara berbagai metode yang tersedia, Maximum Likelihood Estimation (MLE) merupakan salah satu pendekatan yang paling banyak digunakan karena sifatnya yang intuitif, ketelitian matematis, dan penerapannya yang luas pada berbagai jenis data dan model.

Dalam artikel ini, Anda akan mempelajari apa itu MLE, menelusuri landasan matematisnya melalui penurunan rumus dan contoh rinci, serta mengetahui metode komputasi praktis untuk mengimplementasikan MLE secara efektif.

Apa itu Maximum Likelihood Estimation (MLE)?

Maximum likelihood estimation (MLE) adalah sebuah metode statistik penting yang digunakan untuk mengestimasi parameter suatu distribusi probabilitas dengan cara memaksimalkan fungsi likelihood.

Dalam hal posisi MLE dalam inferensi statistik, ini adalah salah satu metode paling umum yang kita miliki untuk mengestimasi parameter.

Namun, di sini Anda mungkin punya pertanyaan lain. Apa itu fungsi likelihood? Mari kita bahas lebih lanjut.

Apa itu Fungsi Likelihood?

Kita dapat memandang fungsi likelihood sebagai cara untuk mengukur seberapa baik suatu set parameter tertentu menjelaskan data yang telah Anda amati.

Dengan kata lain, ini menjawab pertanyaan: “Diberikan nilai parameter ini, seberapa mungkin saya akan melihat data ini?” Namun ada kesalahpahaman umum di sini antara Probabilitas dan Likelihood:

• Probabilitas berkaitan dengan memprediksi data dari parameter
• Likelihood mengukur seberapa masuk akal nilai-nilai parameter yang berbeda, mengingat data yang diamati. Ini adalah fungsi dari parameter untuk data yang tetap. Sebaliknya, probabilitas adalah fungsi dari data untuk parameter yang tetap.

Jadi, singkatnya, fungsi likelihood mengambil parameter model Anda sebagai masukan dan memberikan sebuah angka yang merepresentasikan seberapa masuk akalnya parameter tersebut, mengingat data Anda.

Semakin tinggi nilai fungsi likelihood, semakin baik parameter tersebut menjelaskan data Anda.

Lebih sederhananya lagi, fungsi likelihood membantu kita “memberi skor” pilihan parameter yang berbeda, sehingga kita dapat memilih yang membuat data teramati kita paling mungkin.

Sekarang setelah kita memahami perbedaan antara Probabilitas dan Likelihood, serta untuk apa MLE digunakan, mari lanjut ke matematika yang mendasarinya. 

Cara Menurunkan Rumus MLE

Sebelum kita masuk ke contoh spesifik, mari lihat bagaimana estimator maksimum likelihood (MLE) diturunkan secara umum. Kita akan melalui setiap langkah dan juga menjelaskan alasannya.

Langkah 1: Definisikan model probabilitas

Misalkan kita memiliki sebuah dataset: x₁, x₂, ..., xₙ. Kita percaya bahwa titik-titik data ini dihasilkan dari sebuah distribusi probabilitas yang bergantung pada suatu parameter tak diketahui θ (theta). Tujuan utama kita adalah mengestimasi θ. 

Sebagai contoh, jika dataset kita tentang pelemparan koin, θ bisa berupa probabilitas munculnya sisi gambar (heads). Jika datasetnya kontinu, seperti tinggi badan siswa di kelas, θ bisa berupa mean dari distribusi normal.

Langkah 2: Menuliskan fungsi likelihood

Fungsi likelihood mengukur seberapa mungkin Anda mengamati data Anda untuk nilai θ yang berbeda-beda. Fungsi ini didefinisikan sebagai:

Secara intuitif, kita menanyakan, dengan asumsi parameter θ mengambil nilai tertentu, berapa probabilitas mengamati dataset tertentu ini? 

Dataset ini direpresentasikan sebagai probabilitas gabungan (joint probability) untuk mengamati titik-titik data individual (x₁, x₂, ..., xₙ), dengan asumsi bahwa data tersebut dihasilkan di bawah model yang diparameterisasi oleh θ. 

Dengan menggunakan aturan rantai (chain rule) probabilitas, kita dapat menguraikan persamaan di atas menjadi ini:

Namun, ini persamaan yang cukup rumit! Jadi kita membuat asumsi bahwa titik-titik data tersebut independen — lebih spesifiknya, independen bersyarat (conditionally independent). 

Dengan demikian, kita dapat menjadikan probabilitas gabungan sebagai hasil kali dari probabilitas individual:

Karena titik-titik data teramati kita independen bersyarat terhadap θ, kita tahu persamaan berikut benar:

Ini karena kita mengasumsikan bahwa setelah kita mengetahui nilai θ, titik data x₁ dan x₂ bersifat independen bersyarat.

Langkah 3: Temukan nilai θ yang memaksimalkan likelihood

Kita berada pada tahap di mana kita harus menemukan nilai θ yang memaksimalkan fungsi likelihood (yaitu, membuat data teramati menjadi paling mungkin):

Namun, ingat bahwa fungsi likelihood kita berupa hasil kali. Bekerja dengan hasil kali bisa merepotkan, terutama dengan banyak titik data. Untuk menyederhanakan, kita mengambil logaritma dari fungsi likelihood karena ini mengubah hasil kali menjadi penjumlahan.

Hal ini memberikan kita log-likelihood, yang memiliki beberapa sifat yang menguntungkan:

• Fungsi log mengubah perkalian menjadi penjumlahan, yang jauh lebih mudah dikerjakan, terutama saat melakukan diferensiasi.
• Fungsi log bersifat monoton, sehingga memaksimalkan log-likelihood memberikan θ yang sama dengan memaksimalkan likelihood.

Langkah 4: Menemukan nilai optimal

Sekarang kita berada pada tahap di mana kita dapat melakukan diferensiasi, namun dalam pembelajaran mesin, kita cenderung menginginkan fungsi loss untuk diminimalkan. Untungnya, ini cukup mudah diperbaiki. 

Dengan menambahkan tanda minus (yaitu mengalikan dengan -1) di awal fungsi kita, kini kita perlu meminimalkan fungsi loss kita, yang sekarang disebut Fungsi Loss Negative Log-Likelihood.

Sekarang, kita dapat menggunakan kalkulus untuk memperoleh nilai θ. Dengan mengambil turunan log-likelihood terhadap θ, menyetarakannya dengan nol, dan menyelesaikan untuk θ. Ini karena nilai minimum suatu fungsi terjadi saat turunannya nol (dan turunan keduanya positif).

Oleh karena itu, persamaan akhir untuk MLE adalah:

Contoh MLE yang Dikerjakan

Karena kita telah berhasil menurunkan Persamaan MLE, mari lihat beberapa contoh yang dikerjakan untuk memantapkan pemahaman kita.

Contoh lempar dadu

Mari mulai dengan contoh diskret yang sederhana: mengestimasi probabilitas mendapat angka enam dengan dadu yang mungkin tidak seimbang.

Misalkan kita melempar dadu 12 kali dan mencatat hasilnya. Kita ingin memodelkan data ini menggunakan distribusi kategorikal, tetapi mari fokus pada pengestimasian probabilitas θ (theta) untuk mendapatkan angka enam. Dalam contoh ini:

• Parameter (θ): Nilai yang ingin Anda estimasi — Probabilitas mendapatkan angka enam
• Data (x): Hasil yang kita amati — 4 kali angka enam dari 12 lemparan

Sekarang kita menghitung fungsi Likelihood, yang, karena kita mendapat 4 angka enam dari 12 lemparan, kita peroleh:

Kita memperoleh ini karena dari 12 kali, kita mendapat angka enam 4 kali — maka muncul θ⁴ dan kita mendapat bukan angka enam 8 kali — maka muncul suku (1 - θ)⁸. 

Ingat, kita mengalikan ini karena kita mengasumsikan bahwa kejadian-kejadian tersebut independen bersyarat. 

Sekarang kita mengambil negative log-likelihood seperti yang telah kita bahas sebelumnya, sehingga memberikan persamaan ini:

Terakhir, kita mendiferensiasikan persamaan tersebut terhadap θ dan menyetarakannya dengan 0 (karena kita ingin menemukan titik minimum):

Dan melalui persamaan ini, kita dapat menyimpulkan bahwa θ sama dengan ⅓ . 

Catatan: Jika kita memperoleh banyak solusi untuk θ, maka kita juga harus mencari turunan kedua dan melihat nilai θ mana yang memberikan hasil positif (untuk memastikan kita menemukan titik minimum). Hal ini dapat dikonfirmasi melalui contoh fungsi pada gambar di bawah:

Contoh tinggi badan

Sekarang mari lihat contoh kontinu — mengestimasi mean dari distribusi normal (Gaussian).

Misalkan kita memiliki dataset tinggi badan 5 orang: 160, 165, 170, 175, 180 (dalam cm). Kita juga akan mengasumsikan bahwa data ini diambil dari distribusi normal dengan mean μ (mu) yang tidak diketahui dan varians σ² yang diketahui (misalnya σ² = 25 demi kesederhanaan).

• Parameter (μ): Nilai yang ingin Anda estimasi (rata-rata tinggi badan)
• Data (x₁, x₂, ..., x₅): Tinggi badan yang diamati

Fungsi likelihood untuk distribusi normal (dengan varians diketahui) adalah. 

Ini sangat rumit tetapi mengambil log negatif membuatnya lebih mudah. Semoga sekarang Anda dapat melihat kekuatan penggunaan fungsi log dalam persamaan kita. Persamaan yang kita peroleh adalah ini:

Kita memperoleh dua suku di sini, tetapi perhatikan bagaimana suku kedua dapat diabaikan saat kita melanjutkan diferensiasi, karena kita mendiferensiasikan terhadap μ, dan suku kedua tidak mengandung μ. 

Kita hampir selesai, tetapi perhatikan μ dalam tanda kurung. 

Karena itu merupakan konstanta, kita dapat cukup mengalikannya dengan n, karena menjumlahkan μ sebanyak n kali, sama dengan n*μ. 

Jawaban akhir yang kita peroleh seharusnya masuk akal secara intuitif, karena secara matematis dinyatakan menjumlahkan semua nilai x dan membaginya dengan n (yaitu jumlah observasi yang kita miliki), dan ini juga merupakan definisi mean!

Dengan demikian, dengan memasukkan nilai data kita ke persamaan ini, kita dapat memperoleh mean sebesar 170 cm. 

Agar lebih visual, berikut animasi yang menunjukkan bagaimana likelihood berubah saat kita mengubah μ:

Dalam kedua contoh, menggunakan MLE memberikan kita nilai parameter yang membuat data teramati kita paling mungkin di bawah model yang dipilih. Tentu saja, MLE juga dapat bekerja dengan memberikan banyak nilai parameter pula, meski perhitungannya akan sedikit lebih panjang!

Ngoding MLE

Sekarang setelah kita memahami struktur dasar MLE, mari lihat cara menulis kodenya di Python. Kita akan mengodekan penyelesaian contoh sebelumnya (tinggi badan). 

# Importing libraries 
import numpy as np # used for handling arrays and mathematical operations.
from scipy.optimize import minimize # function that minimizes another function

# This is our sample data 
data = np.array([160, 165, 170, 175, 180])

# This was the variance we had assumed before
sigma_squared = 25

# Negative Log-Likelihood function
def negative_log_likelihood(mu):
    n = len(data) # Number of data points
    return 0.5 * n * np.log(2 * np.pi * sigma_squared) + \
           np.sum((data - mu)**2) / (2 * sigma_squared) # The NLL is for the Univariate Gaussian Distribution

# Optimizing the NLL
result = minimize(negative_log_likelihood, x0=170)  # initial guess

# Our final estimated mean
estimated_mu = result.x[0]
print(f"MLE estimate of mu: {estimated_mu}")

Strategi dan Algoritme Komputasional

Perhatikan saat kita mengodekan contoh sebelumnya, kita membuat fungsi negative_log_likelihood() yang memuat logika utama untuk menghitung MLE dari Distribusi Gaussian Univariat. 

Di satu sisi, bisa dikatakan bahwa pada akhirnya kita mengodekan rumus ini secara langsung, dan kita menggunakan scipy.optimize untuk meminimalkan fungsi tersebut. Tentu saja, ini masih merupakan solusi yang sepenuhnya layak, karena Distribusi Gaussian memiliki solusi bentuk tertutup. 

Mari kita telusuri metode lain untuk menghitung solusi MLE.

Solusi bentuk tertutup dan kapan berlaku

Seperti yang kita bahas di atas, dalam beberapa kasus yang beruntung, kita dapat menyelesaikan persamaan MLE secara analitik, yang berarti kita dapat menurunkan rumus tepat untuk estimasi parameter. Ini dikenal sebagai solusi bentuk tertutup (closed-form), dan sering kali sederhana, intuitif, serta cepat dikodekan dan dihitung.

Pertanyaan penting untuk diajukan sekarang adalah, kapan solusi bentuk tertutup ada?

1. Ketika fungsi log-likelihood terdiferensialkan, cekung, dan dapat ditangani secara aljabar.
2. Ketika modelnya cukup sederhana; biasanya melibatkan satu atau dua parameter dan tanpa variabel tersembunyi.

Teknik optimisasi numerik

Untuk model yang lebih kompleks, solusi analitik tidak ada atau terlalu rumit untuk diturunkan. Dalam kasus ini, kita menggunakan metode optimisasi numerik — algoritme iteratif yang mencari parameter yang memaksimalkan log-likelihood. Mari kita jelaskan secara singkat:

1. Metode Newton-Raphson: Metode ini menggunakan:

• Turunan pertama (gradien) untuk menentukan kemiringan, dan
• Turunan kedua (Hessian) untuk menilai kelengkungan dan menyesuaikan ukuran langkah seperlunya.
• Aturan pembaruannya sebagai berikut:
• Keuntungan utamanya adalah konvergensi yang cepat di dekat optimum.
• Namun, ini memerlukan perhitungan turunan kedua, yang bisa tidak stabil atau mahal di dimensi tinggi.

2. Metode Quasi-Newton (mis., BFGS):

• Mendekati matriks Hessian hanya menggunakan turunan orde pertama
• Digunakan dalam pustaka populer seperti scipy.optimize.minimize di Python (dengan BFGS sebagai default).
• Lebih stabil secara numerik dan lebih luas penerapannya dibanding Newton-Raphson.

3. Algoritme Expectation-Maximization (EM):

• Teknik optimisasi khusus yang digunakan ketika data melibatkan variabel laten (tersembunyi)—nilai yang tidak kita amati secara langsung tetapi memengaruhi data.
• Ada dua langkah dalam algoritme ini:
• Langkah E (Expectation): Hitung nilai harapan dari log-likelihood menggunakan estimasi parameter saat ini dan data yang diamati.
• Langkah M (Maximization): Maksimalkan log-likelihood harapan ini untuk memperbarui estimasi parameter.

Sifat-Sifat MLE

Dari contoh dan perhitungan kita, jelas bahwa MLE bermanfaat. Secara formal, MLE memiliki sifat-sifat berikut: 

1. Konsistensi: Saat ukuran sampel meningkat, MLE mendekati nilai parameter yang sebenarnya.
2. Normalitas Asimtotik: Untuk sampel besar, distribusi MLE menjadi kira-kira normal (berbentuk lonceng) di sekitar nilai parameter sebenarnya. Ini menjadi dasar untuk membangun interval kepercayaan.
3. Efisiensi: Di antara semua estimator tak bias, MLE mencapai varian serendah mungkin (mencapai batas bawah Cramér-Rao, setidaknya secara asimtotik).
4. Invariansi: Jika θ̂ adalah MLE untuk θ, maka untuk setiap fungsi g, g(θ̂) adalah MLE untuk g(θ). Dengan kata lain, MLE tetap terjaga di bawah transformasi.

Namun, ada skenario di mana menggunakan MLE mungkin bukan pilihan terbaik:

1. Sampel kecil: MLE dapat bias saat ukuran sampel kecil. Misalnya, MLE untuk varians (σ̂²) cenderung mengestimasi lebih rendah dari varians sebenarnya (σ²).
2. Ketangguhan (robustness): MLE sensitif terhadap pencilan dan kesalahan spesifikasi model. Alternatif seperti M-estimator dapat memberikan estimasi yang lebih tangguh.
3. Alternatif Bayesian: Maximum a posteriori (MAP) menggabungkan informasi prior dengan likelihood, menawarkan perspektif Bayesian dan kadang estimasi yang lebih stabil, terutama dengan data terbatas.

Aplikasi di Berbagai Pemodelan Statistik

Pada bagian ini, mari jelajahi di mana MLE benar-benar digunakan dalam Machine Learning dan AI.

Regresi dan klasifikasi

Salah satu tempat terpenting munculnya MLE adalah dalam regresi logistik. Di sini, kita mengestimasi probabilitas bahwa suatu keluaran termasuk dalam kelas tertentu (seperti churn pelanggan) dan kita melakukannya dengan menyesuaikan parameter untuk memaksimalkan likelihood dari keluaran yang diamati.

Bahkan dalam regresi linear, jika kita mengasumsikan galat berdistribusi normal, maka solusi kuadrat terkecil ternyata juga merupakan MLE. 

Pengujian hipotesis dan pemilihan model

MLE juga dapat digunakan untuk membandingkan model. 

Sebagai contoh, likelihood ratio test (LRT) membantu kita memeriksa apakah menambahkan variabel ekstra ke model secara signifikan meningkatkan kinerjanya. Ini bekerja dengan membandingkan likelihood dari dua model: satu lebih sederhana (nol), satu lebih kompleks (alternatif).

Kita juga memiliki Akaike Information Criterion (AIC), yang memberi penalti pada kompleksitas untuk menghindari overfitting. Alat-alat ini banyak digunakan di bidang seperti keuangan, kedokteran, dan pemasaran.

Jika Anda tertarik untuk mengeksplorasi lebih jauh cara mengukur perbedaan antar distribusi probabilitas di luar likelihood saja, lihat tutorial saya: Penjelasan KL-Divergence.

Keterbatasan dan Alternatif MLE

Walaupun kuat, metode ini juga memiliki kekurangan. Mari kita bahas secara singkat di mana ia kesulitan, dan apa yang dapat kita gunakan sebagai gantinya.

Keterbatasan utama MLE

• Sensitif terhadap kesalahan spesifikasi model: Jika model kita salah (mis., menggunakan distribusi normal untuk data yang miring), MLE akan memberikan hasil yang menyesatkan.
• Sensitivitas terhadap pencilan: Beberapa titik data yang buruk dapat sepenuhnya mengacaukan estimasi Anda.
• Biaya komputasi: Untuk model besar, terutama dengan banyak parameter atau kendala, mengoptimalkan likelihood bisa lambat atau tidak stabil.
• Banyak solusi: Terkadang permukaan likelihood memiliki beberapa puncak (maksimum lokal), yang membuat pencarian solusi terbaik menjadi rumit.

Alternatif untuk maximum likelihood estimation

Saat MLE tidak bekerja dengan baik, berikut beberapa opsi:

• MAP (Maximum a Posteriori): Mirip dengan MLE, tetapi menambahkan keyakinan prior. Ini dapat membantu menstabilkan estimasi saat data terbatas.
• Metode Momen (Method of Moments): Mencocokkan momen sampel (seperti mean atau varians) dengan momen teoretis. Kurang presisi dibanding MLE tetapi sangat mudah dihitung.
• Kuadrat Terkecil (Least Squares): Dalam kasus seperti regresi linear dengan galat Gaussian, kuadrat terkecil dan MLE adalah sama. Namun kuadrat terkecil tetap berguna saat MLE terlalu kompleks.

Metode yang berbeda bekerja lebih baik dalam situasi yang berbeda. MLE mungkin tidak selalu menjadi jawabannya, tetapi sering kali merupakan titik awal yang bagus.

Kesimpulan

Maximum Likelihood Estimation adalah salah satu metode paling alami dan banyak digunakan untuk estimasi parameter. Idenya adalah membuat data teramati semungkin mungkin terjadi, dan karenanya dapat digunakan dalam banyak skenario berbeda, seperti pelemparan koin, tinggi badan Gaussian, dan lain-lain. 

MLE dapat beradaptasi di berbagai model dan diskalakan dengan data, menawarkan keanggunan matematis sekaligus kekuatan praktis. Walaupun memiliki kekurangan sendiri, terutama pada dataset kecil atau berantakan, MLE tetap menjadi alat fundamental saat mempelajari Machine Learning dan AI. 

Jika Anda sedang menapaki perjalanan pembelajaran mesin, pastikan untuk melihat career track Machine Learning Scientist in Python kami, yang membahas supervised, unsupervised, dan deep learning. 

Siap memperdalam pemahaman tentang Maximum Likelihood Estimation dengan latihan praktis? Sumber daya berikut dapat membantu Anda menerapkan pengetahuan dan mendapatkan pengalaman langsung:

• Memaksimalkan Likelihood, Bagian 1 (Python): Hitung dan visualisasikan log-likelihood untuk melihat dengan jelas bagaimana estimasi parameter ditentukan dalam praktik.
• Regresi OLS: Gagasan Kunci Dijelaskan: Jelajahi keterkaitan antara regresi Ordinary Least Squares dan MLE saat mengasumsikan galat Gaussian, untuk memperkuat konsep statistik inti.
• Memahami Regresi Logistik di Python: Dalami bagaimana regresi logistik memanfaatkan MLE untuk klasifikasi yang efektif dan estimasi parameter.