机器学习12：分类 Classification

分类（Classification）是一个有监督的学习过程，目标数据集（示例集）中具有的类别是已知的，分类过程需要做的就是把每一条记录归到对应的类别下。由于必须事先知道各个类别的信息，并且所有待分类的数据条目都默认有对应的类别，因此分类算法也有其局限性，当上述条件无法满足时，我们就需要尝试聚类（后面介绍）分析。

在【机器学习11】中，笔者介绍了逻辑回归（Logistic Regression），它就是一种分类分析，它有正向类和负向类，即：y ∈ {0, 1}，其中 0 代表负向类，1 代表正向类。

当面对一个分类问题：y = 0 或 1，可能出现的情况是： hθ(x) > 1 或 < 0，就无法进行结果的归纳。此时就需要采用逻辑回归，得到的结果可以满足： 0≤ hθ(x) ≤1 。可以说逻辑回归是一种特殊的分类算法，同理，更普遍的分类算法中可能有更多的类别，即：y ∈ {0, 1, 2, 3 ...} 。

目录

1. 阈值 Thresholding

2.混淆矩阵

3.准确性 Accuracy

4.精确度和召回率: Precision and Recall

4.1 精确度

4.2 召回率

4.3 精确度和召回率：一场拉锯战

5.ROC 曲线和 AUC

5.1 ROC曲线

5.2 AUC：ROC 曲线下的面积

6.预测偏差

6.1 分桶和预测偏差

7.参考文献

1. 阈值 Thresholding

在【机器学习11】中，我们介绍了逻辑回归。逻辑回归返回一个概率，我们可以 “按原样” 使用返回的概率（例如，用户点击此广告的概率为 0.00023），也可以将返回的概率转换为二进制值（例如，这封电子邮件是垃圾邮件（或者不是垃圾邮件））。

对于某一电子邮件，如果逻辑回归模型返回的预测结果为 0.9995，那么，该电子邮件很可能是垃圾邮件。相反，在同一逻辑回归模型上预测得分为 0.0003 的另一封电子邮件很可能不是垃圾邮件。但是，对于预测分数为 0.6 的电子邮件又该如何区分呢？

为了将逻辑回归值映射到二元类别，我们必须定义 分类阈值（也称为决策阈值）。高于该阈值的值表示“垃圾邮件”；低于阈值表示 “不是垃圾邮件”。人们很容易假设分类阈值应始终为 0.5，