高斯分布期望的推导

1. 高斯概率密度函数的积分

令

$$I = \int_{-\infty}^{+\infty}exp(-\frac{1}{2\sigma^2}x^2)dx$$
它的平方则为：
$$I^2 = \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}exp(-\frac{1}{2\sigma^2}x^2 - \frac{1}{2\sigma^2}y^2)dxdy$$
将坐标 $(x,y)$转为极坐标 $(r, \theta)$，则有：
$$x = rcos(\theta)\\y = rsin(\theta)$$
所以：
$$\begin{align} I^2 &= \int_0^{2\pi}\int_0^{\infty}exp(-\frac{r^2}{2\sigma^2})rdrd\theta\\ &= 2\pi \int_0^{\infty}exp(-\frac{u}{2\sigma^2})\frac{1}{2}du \\ &= \pi[exp(-\frac{u}{2\sigma^2})(-2\sigma^2)]_0^\infty\\ &=2\pi\sigma^2 \end{align}$$
从而我们有
$$\int_{-\infty}^{+\infty}\mathcal{N}(x|\mu, \sigma^2)dx = 1$$

2. 高斯分布的期望

该推导来自http://math.stackexchange.com/

高斯分布的概率密度函数为：

$$f_X(x) =\frac{1}{\sigma\sqrt{2\pi}}\exp\left\{-\frac{(x-\mu)^2}{2\sigma^2}\right\}$$
其中 $\sigma > 0$。根据期望的定义，我们有：
$$E(X) = \int_{-\infty}^{\infty}x\frac{1}{\sigma\sqrt{2\pi}}\exp\left\{-\frac{(x-\mu)^2}{2\sigma^2}\right\}dx$$
根据积分原理， $令y = x - \mu$
$$\begin{align} E(X) &=\int_{-\infty}^{\infty}(y+\mu)\frac{1}{\sigma\sqrt{2\pi}}\exp\left\{-\frac{y^2}{2\sigma^2}\right\}dy \\ &=\int_{-\infty}^{\infty}y\frac{1}{\sigma\sqrt{2\pi}}\exp\left\{-\frac{y^2}{2\sigma^2}\right\}dy + \int_{-\infty}^{\infty}\mu\frac{1}{\sigma\sqrt{2\pi}}\exp\left\{-\frac{y^2}{2\sigma^2}\right\}dy \qquad [1] \end{align}$$
第一部分用 $I_1$表示：
$$I_1 = \int_{-\infty}^{\infty}x\frac{1}{\sigma\sqrt{2\pi}}\exp\left\{-\frac{x^2}{2\sigma^2}\right\}dx$$
显然函数
$$f(x) = x\frac{1}{\sigma\sqrt{2\pi}}exp\left\{-\frac{x^2}{2\sigma^2}\right\}$$
是一个奇函数(因为 $f(x) = -f(-x)$)，其对称区间的积分等于0。因此我们有
$$I_1 = 0$$

所以我们有

$$\begin{align}E(X) &= \int_{-\infty}^{\infty}\mu\frac{1}{\sigma\sqrt{2\pi}}\exp\left\{-\frac{x^2}{2\sigma^2}\right\}dx \\&=\mu \int_{-\infty}^{\infty}\frac{1}{\sigma\sqrt{2\pi}}\exp\left\{-\frac{x^2}{2\sigma^2}\right\}dx \end{align}$$
运用 第一节的证明 我们就有
$$E(x) = \mu\int_{-\infty}^{+\infty}\mathcal{N}(x|\mu' = 0, \sigma^2)dx = \mu$$

3. 高斯分布的方差

$$\text {Var}(X) = \int_{-\infty}^{\infty}(x-\mu)^2\frac{1}{\sigma\sqrt{2\pi}}\exp\left\{-\frac{(x-\mu)^2}{2\sigma^2}\right\}dx$$
$$\int_{-\infty}^{\infty}(x-\mu)^2\frac{1}{\sigma\sqrt{2\pi}}\exp\left\{-\frac{(x-\mu)^2}{2\sigma^2}\right\}dx = \int_{-\infty}^{\infty}x^2\frac{1}{\sigma\sqrt{2\pi}}\exp\left\{-\frac{x^2}{2\sigma^2}\right\}dx$$

$$=\sigma \sqrt2\int_{-\infty}^{\infty}(\sigma \sqrt2x)^2\frac{1}{\sigma\sqrt{2\pi}}\exp\left\{-\frac{(\sigma \sqrt2x)^2}{2\sigma^2}\right\}dx = \sigma^2\frac{4}{\sqrt{\pi}}\int_{0}^{\infty}x^2e^{-x^2}dx$$
令 $t=x^2$，则有 $dt = 2xdx = 2\sqrt tdx \Rightarrow dx = (2\sqrt t)^{-1}dt$，带入上式：
$$V(X) = \sigma^2\frac{4}{\sqrt{\pi}}\int_{0}^{\infty}(\sqrt t)^2(2\sqrt t)^{-1}e^{-t}dt = \sigma^2\frac{4}{\sqrt{\pi}}\frac 12 \int_{0}^{\infty}t^{\frac 32 -1}e^{-t}dt= \sigma^2\frac{4}{\sqrt{\pi}}\frac 12 \Gamma\left(\frac 32\right)$$
$$\Rightarrow V(X) = \sigma^2\frac{4}{\sqrt{\pi}}\frac 12 \frac {\sqrt \pi}{2} = \sigma^2$$
$\Gamma()$为 伽马函数