边缘概率与条件概率

1、边缘概率

当$P(x,y)$的每个值被写在由每行表示不同的$x$值，每列表示不同的$y$值形成的网格中时，对网格中的每行求和是很自然的事情，然后将求和的结果$P(x)$写在每行右边的纸的边缘处。

对于连续型变量，我们需要用积分替代求和：

$$p(x)=\int p(x,y)dy.$$

2、条件概率

在很多情况下，我们感兴趣的是某个事件，在给定其他事件发生时出现的概率。这种概率叫做条件概率。
我们将给定$\mathrm{x}=x$ 时，$\mathrm{y}=y$发生的条件概率记为$P(\mathrm{y}=y|\mathrm{x}=x)$。
这个条件概率可以通过下面的公式计算：
$$P(\mathrm{y}=y|\mathrm{x}=x)=\frac{P(\mathrm{y}=y,\mathrm{x}=x)}{P(\mathrm{x}=x)}$$
条件概率只在$P(\mathrm{x}=x)>0$时有定义。
我们不能计算给定在永远不会发生的事件上的条件概率。

2.1 条件概率的链式法则

任何多维随机变量的联合概率分布，都可以分解成只有一个变量的条件概率相乘的形式：
$$P(x^{(1)},\dots ,x^{(n)})=P(x^{(1)}){\Pi }_{i=2}^{n}P(x^{(i)}\mid x^{(1)},\dots ,x^{(i-1)})$$

这个规则被称为概率的链式法则或者乘法法则。例如，使用两次定义可以得到

$$
P(a, b, c) = P(a \mid b, c) P(b, c)

P(b, c) = P(b \mid c) P©

P(a, b, c) = P(a \mid b, c) P(b \mid c) P©
$$

3、条件的独立性

两个$x$和$y$，如果它们的概率分布可以表示成两个因子的乘积形式，并且一个因子只包含$x$另一个因子只包含$y$，我们就称这两个随机变量是相互独立的：

$$\forall x\in x,y\in y,p(x=x,y=y)=p(x=x)p(y=y).$$

如果关于$x$和$y$的条件概率分布对于$z$的每一个值都可以写成乘积的形式，那么这两个随机变量$x$和$y$在给定随机变量$z$时是条件独立的：

$$\forall x\in x,y\in y,z\in z,p(x=x,y=y\mid z=z)=p(x=x\mid z=z)p(y=y\mid z=z)$$

我们可以采用一种简化形式来表示独立性和条件独立性：$x\perp y$表示$x$和$y$相互独立，$x\perp y\mid z$表示$x$和$y$在给定$z$时条件独立。