对机器学习中信息熵的理解 交叉熵损失函数

刚开始看ID3、C4.5、CART等算法时，不怎么理解信息熵，后来看了几篇博客时才发现可以拿来解释我们常用的二分类损失函数。
参考：
信息熵
L1\L2正则化与交叉熵、相对熵
机器学习（四）从信息论交叉熵的角度看softmax/逻辑回归损失

一、信息熵

信息熵是拿来消除系统不确定性的，指代的是信息的含量
信息熵的定义公式：

其中，我们一般log以2为底，指代的是单位为bit的信息量

（若对数函数以e为底，单位为奈特(nat)；若对数函数以10为底，单位为哈特(hartly)）

如英语有26个字母，假如每个字母在文章中出现次数平均的话，每个字母的信息量为

而汉字常用的有2500个，假如每个汉字在文章中出现次数平均的话，每个汉字的信息量为

二、损失函数

熵，对于二值事件来说,

H(x)= - [p * log( p )+(1 - p)* log(1 - p)]

交叉熵

同样是衡量两个分布之间的相似性。X代表样本集合，p(x)表示真实，q(x)表示预测

如果是0-1事件，则：

这是一个样本的损失，将所有样本的损失组合起来就是我们用的很多的逻辑回归损失函数了