33、高斯网络模型详解

高斯网络模型详解

1. 引言

在概率模型的研究中，虽然很多时候关注的是离散变量，但贝叶斯网络框架以及与之相关的独立性与分布分解的结果同样适用于连续变量，马尔可夫网络也是如此。对于离散变量，表格形式的条件概率分布（CPD）可以描述任何离散分布，然而连续变量的可能参数化空间几乎是无界的。本文聚焦于一类特别有趣的连续分布——多元高斯分布。高斯分布是一类相对简单的分布，它有很强的假设，比如分布远离均值时呈指数衰减，变量间的交互是线性的。尽管这些假设在很多情况下不成立，但高斯分布对许多现实世界的分布来说仍是很好的近似。而且，高斯分布在很多方面得到了推广，如非线性交互或高斯混合模型，研究高斯分布能为处理更广泛的分布类打下良好基础。

2. 多元高斯分布

2.1 基本参数化

一元高斯分布由均值和方差两个参数定义。在最常见的表示中，关于(X_1, \cdots, X_n)的多元高斯分布由一个(n)维的均值向量(\mu)和一个对称的(n \times n)协方差矩阵(\Sigma)来表征，其密度函数通常定义为：
[p(x) = \frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}} \exp\left[-\frac{1}{2}(x - \mu)^T \Sigma^{-1}(x - \mu)\right]]
其中(|\Sigma|)是(\Sigma)的行列式。

标准高斯分布在多维情况下，其均值是全零向量(0)，协方差矩阵是单位矩阵(I)（对角线上为(1)，其余为(0)），多维标准高斯分布是每个维度上独立标准高斯分布的乘积。

为了使上述方程能定义一个良好的密度（积分结果为(1)），矩阵(\Sigma