2、测试修改后的混淆熵作为决策树的分裂准则

测试修改后的混淆熵作为决策树的分裂准则

1. 引言

在数据挖掘过程中，为了从原始数据中提取知识，需要经历多个步骤，具体如下：
- 业务/研究理解阶段
- 数据理解阶段
- 数据准备阶段
- 建模阶段
- 评估阶段
- 部署阶段

本文聚焦于评估阶段，此阶段主要对机器学习模型的性能进行评估。经典的评估指标有准确率（Accuracy）、精确率（Precision）、ROC曲线下面积得分（Area Under ROC Curve score）、马修斯相关系数（Matthews correlation coefficient，MCC）等。近年来，基于香农熵提出的混淆熵（Confusion Entropy，CEN）也被用作评估指标。

CEN相较于准确率和MCC具有更强的区分能力。它不仅考虑了正确分类对象的百分比，还考虑了错误分类对象在各个类别中的分布情况。CEN的取值范围是0到1，其中0表示完美分类。

近期，提出了修改后的混淆熵（Modified Confusion Entropy，MCEN），它修正了CEN在计算二元混淆矩阵时出现的异常情况。本文将之前使用CEN作为剪枝准则的决策树分类器进行改进，用MCEN替代CEN。

2. 混淆熵相关工作

2.1 混淆熵（CEN）

CEN是基于混淆矩阵和香农熵提出的分类评估指标。CEN = 0表示最佳分类（所有值都落在混淆矩阵的主对角线上），CEN = 1表示最差的错误分类（所有值都在混淆矩阵的主对角线之外且均匀分布）。

设混淆矩阵$C = (C_{i,j}) {i,j=1,\c