13- EM算法与GMM高斯混合 (聚类算法) (算法)

原创

已于 2023-02-14 15:48:39 修改 · 1.5k 阅读

于 2023-02-14 14:05:26 首次发布

EM算法是一种处理含有隐变量的概率模型的参数估计方法，常用于学习GMM。GMM假设数据由多个高斯分布混合而成，EM算法通过迭代的E步和M步进行参数估计。文章还提到了最大似然估计的概念以及Jensen不等式在凸函数中的应用，并通过KMeans和GMM的对比展示了GMM在聚类中的效果。

最大期望算法(EM算法) ，曾入选“数据挖掘十大算法”中，是最常见的隐变量估计方法，在机器学习中有极为广泛的用途，例如常被用来学习高斯混合模型的参数。EM算法是在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐性变量。通常分两步实现:
- 第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然估计值；
- 第二步是最大化（M），最大化在E步上求得的最大似然值来计算参数的值。M步上找到的参数估计值被用于下一个E步计算中，这个过程不断交替进行。
GMM (高斯混合模型) 是一个用于聚类的概率模型，其使用了EM算法进行迭代计算，高斯混合模型假设每个簇的数据都是符合高斯分布（又叫正态分布）的，当前数据呈现的分布就是各个簇的高斯分布叠加在一起的结果。

from sklearn.mixture import GaussianMixture
# GMM高斯混合模型聚类
gmm = GaussianMixture(n_components=3)
y_ = gmm.fit_predict(X)

最大期望算法（Expectation-maximization algorithm，又译为期望最大化算法），曾入选“数据挖掘十大算法”中，可见EM算法在机器学习、数据挖掘中的影响力。EM算法是最常见的隐变量估计方法，在机器学习中有极为广泛的用途，例如常被

标签

#算法 #聚类