熵、信息增益、信息增益比

熵是表示随机变量不确定性的度量，变量$X$是一个取有限值的离散属性，其概率分布为

$P(X = {x_i}) = {p_i}{\rm{ i = 1,2,}} \cdot \cdot \cdot {\rm{,n}}$

其中$n$为变量取值个数，那么变量 $X$的熵定义为

$H(X) = - \sum\limits_{i = 1}^n {{p_i}\log {p_i}}$

熵越小，随机变量$X$的不确定性就越小。
信息增益的定义为：集合$D$的经验熵 $H(D)$与特征$A$给定条件下 $D$的经验熵$H(D|A)$ 之差，即

$g(D,A) = H(D) - H(D|A)$

其中
$H(D) = - \sum\limits_{k = 1}^K {{p_k}\log {p_k}}$ $K$为类别数，${p_k} = {{|D(y = k)|} \over {|D|}}$

信息增益比定义为：信息增益$g(D,A)$与训练数据集$D$关于特征$A$ 的值的熵${H_A}(D)$之比，即

${g_r}(D,A) = {{g(D,A)} \over {{H_A}(D)}}$

其中

${H_A}(D) = - \sum\limits_{i = 1}^n {{{|{D_i}|} \over {|D|}}} {\log _2}{{|{D_i}|} \over {|D|}}$