期望值、方差、标准差、协方差

1、期望值

函数 $f(x)$关于某分布$P(x)$的期望(expectation)或者期望值(expected value)是指，当$x$由$P$产生时，$f$作用于$x$的平均值。其实可以简单理解为$f(x)$在某种分布$P(x)$下的加权平均值。

对于离散型随机变量，可以通过求和得到期望值：

$$E_{x-P}[f(x)]=\sum _{x}P(x)f(x)$$
举个简单的例子，P(x)的值只有0和1 2种，而出现的概率都为1/2，而$f(x)=2x+1$，则

$$E_{x-P}[f(x)]=\frac{1}{2}\ast f(0)+\frac{1}{2}\ast f(1)=2$$

对于连续型随机变量可以通过求积分得到

$$E_{x-P}[f(x)]=\int p(x)f(x)dx$$

2、方差、标准差

方差是指当我们对$x$依据它的概率分布进行采样时，随机变量$x$的函数值会呈现多大的差异：

$$Var(f(x)=E[(f(x)-E[f(x)]{)}^2]$$
当方差很小时，$f(x)$的值形成的簇比较接近它们的期望值。
方差的平方根就是标准差。

其实对于随机分布的$x$,$f(x)$的方差就是每个值减去均值的平方和，即：

$$\frac{1}{n}\sum _n{f}_n(x)-\overline{f(x)}$$

3、协方差

协方差在某种意义上给出来2个变量线性相关性的强度以及这些变量的尺度：

见《深度学习》P51
协方差的绝对值如果很大则意味着变量值变化很大并且它们同时距离各自的均值很远。如果协方差是正的，那么两个变量都倾向于同时取得相对较大的值。如果协方差是负的，那么其中一个变量倾向于取得相对较大的值的同时，另一个变量倾向于取得相对较小的值，反之亦然。其他的衡量指标如相关系数（correlation）将每个变量的贡献归一化，为了只衡量变量的相关性而不受各个变量尺度大小的影响。