信息论概念记录

信息论概念记录

信息量和熵

有随机信源$\mathcal{X}$，符号集{x0,x1,x2,x3,x4⋯xn−1}\{x_0, x_1,x_2,x_3,x_4\cdots x_{n-1}\}{x0​,x1​,x2​,x3​,x4​⋯xn−1​}, 取得任意一个符号的概率为p(x_i), 则符号的信息量表示为
$$I(x_i)=-lo{g}_2(p(x_i))$$
则此信源的熵表示为
$$H(\mathcal{X})=-\sum _{i=0}^{n-1}p(x_i)lo{g}_2(p(x_i))$$
就是信源的平均信息量，$\mathcal{X}$表示信源，H($\mathcal{X}$)不是表示是一个随机变量的函数，它是信源符号概率的函数，不是随机变量。

联合熵

两个随机信源$\mathcal{X},\mathcal{Y}$ , 对应符号集为{x0,x1,x2,x3,x4⋯xn−1}\{x_0, x_1,x_2,x_3,x_4\cdots x_{n-1}\}{x0​,x1​,x2​,x3​,x4​⋯xn−1​}, {y0,y1,y2,y3,y4⋯ym−1}\{y_0, y_1,y_2,y_3,y_4\cdots y_{m-1}\}{y0​,y1​,y2​,y3​,y4​⋯ym−1​},则它们的联合熵为：
$$\begin{gathered} H(\mathcal{X},\mathcal{Y})=-\sum _{i=0}^{n-1}\sum _{j=0}^{m-1}p(x,y)lo{g}_{2}p(x,y) \\ H(\mathcal{X},\mathcal{Y})=-E(lo{g}_{2}p(X,Y)) \end{gathered}$$

转移概率

离散无记忆信道，输入符号是随机变量X,输入字符集是
X={x0,x1,x2,x3,x4⋯xJ−1} \mathcal{X}=\{x_0, x_1,x_2,x_3,x_4\cdots x_{J-1}\} X={x0​,x1​,x2​,x3​,x4​⋯xJ−1​}
输出符号是随机变量Y, 输出字符集是
Y={y0,y1,y2,y3,y4⋯yK−1} \mathcal{Y}=\{y_0, y_1,y_2,y_3,y_4\cdots y_{K-1}\} Y={y0​,y1​,y2​,y3​,y4​⋯yK−1​}
一组转移概率
$$p(y_k|x_j)=P(Y=y_k|X=x_j)对于所有的j和k$$
转移概率矩阵
$$P=\left[\begin{array}{cccc}p(y_0|x_0)& p(y_1|x_0)& \cdots & p(y_{K-1}|x_0)\\ p(y_0|x_1)& p(y_1|x_1)& \cdots & p(y_{K-1}|x_1)\\ \cdots & \cdots & \cdots & \cdots \\ p(y_0|x_{J-1})& p(y_1|x_{J-1})& \cdots & p(y_{K-1}|x_{J-1})\end{array}\right]$$

条件熵和互信息

条件熵

定义给定的输出$Y=y_k$,选自$\mathcal{X}$的随机变脸X的条件熵。条件熵定义为：
$$H(\mathcal{X}|Y=y_k)=-\sum _{j=0}^{J-1}p(x_j|y_k)lo{g}_2(p(x_j|y_k))$$
$H(\mathcal{X}|Y)$本身就是随机变量，注意这里是Y不是$\mathcal{Y}$，该随机变量的期望可以表示为：
$$\begin{gathered} H(\mathcal{X}|\mathcal{Y})=\sum _{k=0}^{K-1}H(\mathcal{X}|Y=y_k)p(y_k) \\ =-\sum _{k=0}^{K-1}\sum _{j=0}^{J-1}p(x_j|y_k)lo{g}_2(p(x_j|y_k))p(y_k) \\ =-\sum _{k=0}^{K-1}\sum _{j=0}^{J-1}p(x_j{y}_k)lo{g}_2(p(x_j|y_k)) \end{gathered}$$

互信息

互信息, 表示$\mathcal{X}$排除观察到输出$\mathcal{Y}$确定信息量后的信息。也就是排除掉信道对$\mathcal{X}\to \mathcal{Y}$产生的不确定性（信息）。
$$\begin{gathered} I(\mathcal{X},\mathcal{Y})=H(\mathcal{X})-H(\mathcal{X}|\mathcal{Y})=-(\sum _{j=0}^{J-1}p(x_j)lo{g}_2(p(x_j))-\sum _{k=0}^{K-1}\sum _{j=0}^{J-1}p(x_j{y}_k)lo{g}_2(p(x_j|y_k))) \\ =-(\sum _{j=0}^{J-1}\sum _{k=0}^{K-1}p(x_j{y}_k)lo{g}_2(p(x_j))-\sum _{k=0}^{K-1}\sum _{j=0}^{J-1}p(x_j{y}_k)lo{g}_2(p(x_j|y_k))) \\ =-(\sum _{j=0}^{J-1}\sum _{k=0}^{K-1}p(x_j{y}_k)lo{g}_2(\frac{p(x_j)p(y_k)}{p(x_j{y}_k)})) \\ =\sum _{j=0}^{J-1}\sum _{k=0}^{K-1}p(x_j{y}_k)lo{g}_2(\frac{p(x_j{y}_k)}{p(x_j)p(y_k)}) \end{gathered}$$

熵的链式法则

$H(\mathcal{X},\mathcal{Y})=H(\mathcal{X})+H(\mathcal{Y}|\mathcal{X})$
$H(\mathcal{X})-H(\mathcal{X}|\mathcal{Y})=H(\mathcal{Y})-H(\mathcal{Y}|\mathcal{X})$

相对熵（KL散度）

表征两个分布的距离

在统计上也叫KL散度。