KMeans聚类，GMM算法，EM算法通俗详解

首先推荐两个链接
1 刘建平博客园：https://www.cnblogs.com/pinard/category/894692.html【具体内容自行查看】
2，来自sklearn官方文档的一段叙述：
Gaussian mixture models, useful for clustering, are described in another chapter of the documentation dedicated to mixture models. KMeans can be seen as a special case of Gaussian mixture model with equal covariance per component.
注：本文基本没有公式推导，写这篇博客的起因是我注意到一些机器学习算法岗位面试提到了GMM与KMeans聚类算法的联系，另外GMM里面主要使用了EM算法思想，我索性就拿到一块来讲。

KMeans聚类

通俗理解：有10w个无标签样本，假设它们分为k个类（当然你并不知道，这k个类具体怎么分布，每个类的特征是什么）。那么问题来了，该怎么把这无标签的样本分成k个类呢-----> 物以类聚，人以群分。打个比方，如果咱们两人聊得来，那么我们之间肯定存在共同语言，也就是我们之间相似之处有很多：我们之间的特征距离相比其他人而言更近。在数学当中这个距离一般用欧几里得距离表示，原始KMeans就是通过计算观测值之间的距离进行比较，找出距离最小的那一部分并将其归为一类：具体算法步骤可以参阅 周志华机器学习P202 或者github代码
注：实际当中一般讲样本属性进行编码成为特征向量，在进行距离计算 一般有one-hot编码

其次了解一下混合模型(Mixture Model)

#A，General mixture model（常规混合模型，有限维度的层次模型 hierarchical model）有以下属性：
1，N random variables that are observed, each distributed according to a mixture of K components, with the components belonging to the same parametric family of distributions (e.g., all normal, all Zipfian, etc.) but with different parameters（N个已知的随机变量，都服从于一个混合模型（大模型），此模型包含k个分布模型（小模型），每个模型都是已知的并且属于同一种类但参数不同）
2，N random latent variables specifying the identity of the mixture component of each observation, each distributed according to a K-dimensional categorical distribution（N个随机隐变量确定了已知随机变量的分布特征，也就是隐变量明确的告诉你 第i个观察到的随机变量/第i个观测值属于哪个混合模型中的哪个小模型）
3，A set of K mixture weights, which are probabilities that sum to 1（每个小模型的权重之和为1：${\sum }_k=1$）
4， A set of K parameters, each specifying the parameter of the corresponding mixture component. In many cases, each “parameter” is actually a set of parameters. For example, if the mixture components are Gaussian distributions, there will be a mean and variance for each component. （每个小模型里的参数都确定了这个小模型的特征，事实上这里说的参数有可能是参数的集合，例如高斯分布的参数是均值和方差(协方差)的集合）
5，一般整个混合模型数学表示及结构如下

#B，GMM便是常规混合模型中小模型种类是高斯分布的特例 参数$\theta$是均值${\mu }_i$和方差${\sigma }_i^2$，即${\theta }_i$ = $\left\{{\mu }_i,{\sigma }_i^2\right\}$，高斯混合模型可表示为：$P(y|\theta )={\sum }_{k=1}^K{\alpha }_k\varphi \left(y|{\theta }_k\right)$。
其中$\theta =\left({\alpha }_1,{\alpha }_2,...{\alpha }_k;{\theta }_1,{\theta }_2,...{\theta }_k\right)$, 然后利用EM算法估计高斯混合模型的参数$\theta$，
那么对应EM算法中的隐变量是什么：反映观测数据$y_i$是来自第k个小模型是未知的，用${\gamma }_{ik}$表示，其定义很简单，如下

${\gamma }_{ik}=\{\begin{array}{ll}1,& 第i个观测值来自第k个小模型\\ 0,& 否则\end{array}$ i = 1,2,…N;k = 1,2,…,K;${\gamma }_{ik}$是0,1随机变量
下面的公式推导我不再叙述，读者可翻阅 统计学习方法P163

通俗理解：GMM它也是在不断的通过EM迭代寻找最佳参数$\theta$来将整个观测样本进行分割在通过权重$\alpha$组合成为混合模型;废话不多说先上图了解一下优化过程


与KMeans一样，先初始化参数：
我们先假设这是有标签的观测值
先随便猜一组参数，然后将观测值扔进去得出第一次模型，你会发现跟标签概率分布误差较大，接下来再调整参数得到更好的模型，这样一步一步迭代下去直至误差最小。
当然我们得讨论聚类无监督学习，不存在已知的标签，所以你无法根据以往监督学习的误差函数来进行一个优化，这个时候便想到了EM算法

----------------------------------------------------------------------------5.21分割线-----------------------------------------
十几天前写的一直忙就存为草稿没动，准备接下来写EM算法的详解，先发布再说然后慢慢添加就当做一种督促