近邻分析：数据预测

文章目录

一、引言

最小距离分类器: 它将各类训练样本划分成若干子类，并在每个子类中确定代表点。测试样本的类别则以其与这些代表点距离最近的样本类别作为决策类别。该方法的缺点是所选择的代表点并不一定能很好地代表各类，其后果将使错误率增加。

近邻法: 最小距离分类器的一种极端的情况，以全部训练样本作为代表点，计算测试样本与所有样本的距离，并以最近邻者的类别作为决策。

最初的近邻法是由Cover和Hart于1967年提出的，随后得到理论上深入的分析与研究，是非参数法中最重要的方法之一。

二、最近邻法

1.最近邻法-决策规则

最近邻法：nearest neighborhood classifier (nnc)，将与测试样本最近邻样本的类别作为决策的结果。 对一个C类别问题，每类有Ni个样本，i＝1，…，C，则第i类ωi的判别函数为：

决策规则:

        最近邻法在原理上最直观，方法上也十分简单只要比较x与                        个已知类别的样本之间的欧氏距离，并决策x与离它最近的样本同类。明显的缺点就是计算量大，存储量大。