k-近邻算法

原创 已于 2022-03-02 14:58:19 修改 · 409 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
机器学习

当前文章被收录于：

机器学习
6 篇文章 0 人学习
订阅专栏 查看详情
于 2021-09-16 22:34:44 首次发布
本文详细介绍了K-近邻算法在爱情片动作片分类、约会匹配和手写体识别中的应用，探讨了其工作原理、优缺点，并通过实例展示了如何实现和调整k值的影响。

K-近邻算法

一、K-近邻算法的简介

工作原理：K-近邻算法财通测量不同特征值之间的距离方法进行分类。
伪代码如下：

1. 计算已知类别数据集中的点与当前点之间的距离。
2. 按照距离递增次序排序。（需要返回的是列表索引）
3. 选取与当前点距离最小的k个点。
4. 确定前k个点所在类别的出现频率。（k的数值会影响到分类的正确率）
5. 返回前k个点出现频率最高的类别作为当前点的预测分类。

优点：精度高、对异常值不敏感、无数据输入假定。
缺点：计算复杂度高、空间复杂度高。
适用数据范围：数值型和标称型。

二、测试算法

1.爱情片or动作片

主要思路：事先准备数据，即准备打斗镜头和接吻镜头的次数及其所属类型。根据两点间距离公式，计算出该点与其它点的距离，取前k个值，返回前k个点中出现次数最多的类型。

from numpy import *
import operator


def createDataSet():
    group = array([[10, 0], [10, 1], [0, 10], [1, 10]])
    labels = ['动作片1', '动作片2', '爱情片1', '爱情片2']
    return group, labels

def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet
    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances ** 0.5
    sortedDistIndicies = distances.argsort()
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]
    
if __name__ == '__main__':
    group, labels = createDataSet()
    # print(group,end="\n")
    # print(labels)
    inp = [0, 0]
    print("样本:" + str(inp))
    print(classify0(inp, group, labels, 3))

测试样例：

2
3
4

2.约会配对

主要思路：从文件中读取样例并将其转化为归一化特征值后，通过改变变量m，设置训练样本和测试样本各自的数量，将这两部分数据导入KNN分类器函数classify0()，最后计算错误率并输出。 
def file2matrix(filename):
    fr = open(filename)
    arrayOfLines = fr.readlines()
    numberOfLines = len(arrayOfLines)
    returnMat = zeros((numberOfLines, 3))
    classLabelVetor = []
    index = 0
    for line in arrayOfLines:
        line = line.strip()
        listFromLine = line.split('\t')
        returnMat[index, :] = listFromLine[0:3]
        classLabelVetor.append(int(listFromLine[-1]))
        index += 1
    fr.close()
    return returnMat, classLabelVetor


def autoNorm(dataSet):
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals
    normDataSet = zeros(shape(dataSet))
    m = dataSet.shape[0]
    normDataSet = dataSet - tile(minVals, (m, 1))
    normDataSet = normDataSet / tile(ranges, (m, 1))
    return normDataSet, ranges, minVals


def datingClassTest():
    hoRatio = 0.05
    datingDateMat, datingLabels = file2matrix('D:\python\PyCode\machinelearninginaction\Ch02\datingTestSet2.txt')
    normMat, ranges, minVals = autoNorm(datingDateMat)
    m = normMat.shape[0]
    numTestVecs = int(m * hoRatio)
    errorCount = 0.0
    for i in range(numTestVecs):
        classifierResult = classify0(normMat[i, :], normMat[numTestVecs:m, :], datingLabels[numTestVecs:m], 3)
        print("the classifier came back with:%d, the real answer is:%d" % (classifierResult, datingLabels[i]))
        if (classifierResult != datingLabels[i]):
            errorCount += 1.0
    print("the total error rate is: %f" % (errorCount / float(numTestVecs)))
    
if __name__ == '__main__':
    group, labels = createDataSet()
    # print(group,end="\n")
    # print(labels)
    # inp = [5,5.6]
    # print("样本:" + str(inp))
    # print(classify0(inp, group, labels, 3))

    # datingDateMat, datingLabels = file2matrix('D:\python\PyCode\machinelearninginaction\Ch02\datingTestSet2.txt')
    # fig = plt.figure()
    # ax = fig.add_subplot(111)
    # ax.scatter(datingDateMat[:, 1], datingDateMat[:, 2], 15.0 * array(datingLabels), 15.0 * array(datingLabels))
    # plt.show()
    datingClassTest()

测试样例：
5

3.手写体识别

主要思路：将32*32的图像统一格式化为1*1024的格式，将训练样本读入创建的训练矩阵中，从文件名中提取出该数字的正确答案，存储在标签向量中。随后，对测试样本试用classify0()函数测试结果与误差。 
def img2vector(filename):
    returnVect = zeros((1, 1024))
    fr = open(filename)
    for i in range(32):
        lineStr = fr.readline()
        for j in range(32):
            returnVect[0, 32 * i + j] = int(lineStr[j])
    return returnVect


def handwritingClassTest():
    hwLabels = []
    trainingFileList = listdir('D:\python\PyCode\machinelearninginaction\Ch02\\testDigits')
    m = len(trainingFileList)
    trainingMat = zeros((m, 1024))
    for i in range(m):
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        hwLabels.append(classNumStr)
        trainingMat[i, :] = img2vector('D:\python\PyCode\machinelearninginaction\Ch02\\testDigits/%s' % fileNameStr)
    testFileList = listdir('D:\python\PyCode\machinelearninginaction\Ch02\\testDigits')
    errorCount = 0.0
    mTest = len(testFileList)
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        vetorUnderTest = img2vector('D:\python\PyCode\machinelearninginaction\Ch02\\testDigits/%s' % fileNameStr)
        classifierResult = classify0(vetorUnderTest, trainingMat, hwLabels, 3)
        print("the classifier came backwith: %d,the real answer is:%d" % (classifierResult, classNumStr))
        if classifierResult != classNumStr:
            errorCount += 1.0
    print("\n the total number of errors is:%d" % errorCount)
    print("\n the total error rate is: %f" % (errorCount / float(mTest)))


if __name__ == '__main__':
    group, labels = createDataSet()
    # print(group,end="\n")
    # print(labels)
    # inp = [5,5.6]
    # print("样本:" + str(inp))
    # print(classify0(inp, group, labels, 3))

    # datingDateMat, datingLabels = file2matrix('D:\python\PyCode\machinelearninginaction\Ch02\datingTestSet2.txt')
    # fig = plt.figure()
    # ax = fig.add_subplot(111)
    # ax.scatter(datingDateMat[:, 1], datingDateMat[:, 2], 15.0 * array(datingLabels), 15.0 * array(datingLabels))
    # plt.show()
    # datingClassTest()

    handwritingClassTest()

k=3时：
6
k=10时：
7
k=2时：
8

总结

k-近邻算法时分类数据的最简单最有效方法，是最近邻算法的延伸和进步。使用算法时我们必须有接近实际数据的大量的训练集，对数据集的每个数据也需要计算距离，这决定了k-近邻算法会是一个耗时耗空间的算法；k-近邻算法的另一个缺陷是它无法给出任何数据的基础结构信息，因此我们无法得知平均实际样本和典型实例样本具有什么特征。

标签
#算法 #机器学习 #人工智能
k-近邻（knn）算法
Wwwwwww527的博客
11-22 7480
k近邻（knn）算法的简介和实现 一、k近邻算法的概述二、用python实现k近邻算法三、k近邻算法案例应用四、总结二级目录三级目录 最近小阿奇在学习机器学习算法，所以决定把相关原理和代码整理出来和小伙伴们一起分享 一、k近邻算法的概述 k-近邻算法（k-Nearest Neighbour algorithm），又称为KNN算法。KNN的工作原理：给定一个已知标签类别的训练数据集，输入没有标签的新数据后，在训练数据集中找到与新数据最邻近的k个实例，如果这k个实例的多数属于某个类别，那么新数据就属于这个类别。
【k近邻】 K-Nearest Neighbors算法原理及流程
Frost_Descent的博客
08-13 812
（K-Nearest Neighbors，简称KNN）是一种常用的监督学习算法，可以用于分类和回归问题。在OpenCV中，KNN算法的函数为`cv.ml.KNearest_create()。
保姆级教程：在Windows电脑上给ROC-RK3588S-PC开发板刷机并配置ADB环境
最新发布
weixin_33730836的博客
05-02 101
本文提供了一份详细的Windows环境下为ROC-RK3588S-PC开发板刷机并配置ADB环境的保姆级教程。从驱动安装、固件烧录到ADB连接测试，逐步指导开发者完成环境搭建，特别针对常见问题提供了实用解决方案。教程还介绍了RKNN工具链的模型部署流程，帮助开发者充分利用这款高性能开发板的AI算力。
K-近邻算法（kNN）
weixin_55773387的博客
11-03 2166
如何确定上图中问号处电影的类型呢?首先我们需要先确定电影中存在的打斗镜头和接吻镜头的个数。上面则是各个电影的打斗和接吻镜头的个数以及其电影类型，可以以其镜头个数进行坐标的定位，即问号出的坐标为（18，90）因此可以将问号处与各个电影之间的距离计算出来，如下图现在我们知道了样本集中所有电影与未知电影的距离，并且从小到大排序，因此我们可以找到k个距离最近的电影，来判断其类型，
K-近邻算法
PCGuo999的博客
07-21 2万+
学习笔记
K近邻（KNN）算法（算法原理＋简单的实现）
m0_63180382的博客
10-09 6718
根据选择的距离度量（如曼哈顿距离或欧氏距离），可计算测试实例与训练集中的每个实例点的距离，根据k值选择k个最近邻点，最后根据分类决策规则将测试实例分类。因为在k近邻算法中，预测结果是通过与目标数据点距离最近的k个邻居的标签值来确定的。如下图，根据欧氏距离，选择k=4个离测试实例最近的训练实例（红圈处），再根据多数表决的分类决策规则，即这4个实例多数属于“-类”，可推断测试实例为“-类”。平均法：在回归问题中，KNN算法采用平均法来预测待回归样本的输出值，即选择K个邻居的输出值的平均值作为待回归样本的输出。
【机器学习】K-近邻算法（KNN）全面解析
鑫宝的博客
05-28 6510
K-近邻算法（K-Nearest Neighbors, KNN）是一种基于实例的学习方法，属于监督学习范畴。它的工作原理简单直观：给定一个训练数据集，对新的输入实例，KNN算法通过计算其与训练集中每个实例的距离，找出距离最近的K个邻居，然后根据这些邻居的类别（对于分类任务）或值（对于回归任务）来预测新实例的类别或值。KNN因其简单高效和无需训练过程的特点，在众多领域中得到广泛应用，如模式识别、推荐系统、图像分类等。KNN算法的核心思想是“物以类聚”，即相似的数据应有相似的输出。
K-邻近算法(KNN)
wangprince2017
08-12 1万+
1. KNN 算法原理 k-近邻算法（k-Nearest Neighbour algorithm）的工作原理：给定一个已知标签类别的训练数据集，输入没有标签的新数据后，在训练数据集中找到与新数据最邻近的 k 个实例，如果这 k 个实例的多数属于某个类别，那么新数据就属于这个类别。即由那些离新数据最近的 k 个实例来投票决定新数据归为哪一类。 最邻近分类算法是数据挖掘分类（classificat...
K近邻算法（k-nearest neighbor，KNN）
天泽28的专栏
04-27 6172
K近邻算法（k-nearest neighbor，KNN） 经过一周昏天黑地的加班之后，终于到了周末，又感觉到生活如此美好，遂提笔写一写KNN，这个也许是机器学习众多算法中思想最为简单直白的算法了，其分类思想，总结起来就一句话：近朱者赤，近墨者黑。当然，KNN也可以用于回归任务，在回归任务中，采用“平均法”，即把离预测样本最近的K个样本的label（连续值）取平均作为预测结果，也可以根据距离远近进...
K近邻算法（KNN）的概述与实现
m0_62710548的博客
10-20 2169
KNN是一种简单但功能强大的算法，适用于分类和回归任务。然而，其计算成本和对K值的敏感性使其在处理大规模数据集或高维数据时存在一定的局限性。随着数据规模的增加，优化KNN的计算速度和性能成为一个值得探索的方向。你是否有使用KNN算法进行项目的经验？在实践中你会选择什么样的距离度量方法？欢迎分享你的看法和经验！
11、K近邻算法（KNN）
m0_56642803的博客
11-23 1170
本文首先介绍了KNN算法的直观理解、算法三大要素、优缺点，并说明了如何实现KNN算法，最后讲解了sklearn中的KNN使用。
K-近邻算法（KNN)
热门推荐
Running Snail
03-25 6万+
​ K近邻（K-Nearest Neighbor, KNN）是一种最经典和最简单的*有监督学习*方法之一
k近邻算法K-Nearest Neighbors（KNN）
2401_88885149的博客
03-28 1823
KNN算法的核心思想以及相关优化
K近邻算法(knn)及R实现
古韦的专栏
07-30 5875
K近邻算法，即K-Nearest Neighbor algorithm，简称KNN算法，单从名字来猜想，可以简单粗暴的认为是：K个最近的邻居，当K=1时，算法便成了最近邻算法，即寻找最近的那个邻居。为何要找邻居？打个比方来说，假设你来到一个陌生的村庄，现在你要找到与你有着相似特征的人群融入他们，所谓入伙。     用官方的话来说，所谓K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练
K-近邻算法(KNN)
if_Echo_else的博客
05-20 1739
欧几里得距离二维：​。
K-邻近算法（kNN）python3.X
NanoScale_livelife的博客
11-22 885
k-邻近算法（kNN）学习笔记 机器学习主要任务 在机器学习（Machine Learning）的主要任务就是实现数据的分类，通过给算法输入大量已分类的数据作为算法训练集，使机器能够找到特征与目标变量之间的关系，对未知特征的数据做出正确的判断，这就是分类。机器学习的另外一个重要的任务就是回归，用来预测数值型数据。 kNN（K-邻近算法）概念 k-邻近算法是给算法一个训练样本集，每个样本集都给出了
KNN算法（K近邻算法）
pan13360344415的博客
08-29 1942
KNN算法是一种基于相似度的分类和回归方法，通过计算样本距离进行分类预测。关键要素包括k值选择（影响模型复杂度）、距离度量（欧氏/曼哈顿/切比雪夫距离）和特征预处理（归一化/标准化）。应用流程包含数据分割、模型训练、预测评估等步骤，案例演示了鸢尾花分类和手写数字识别。算法优势是简单直观，但需注意k值选择和特征缩放对结果的影响。
K 邻近算法（k-Nearest Neighbor，KNN）
01-10 635
文章目录一、前置假设二、K近邻法基本思想三、K近邻法的三个要素1. K 值的选择2. 距离的度量3. 分类决策的规则四、特征归一化五、对异常值敏感六、参考 一、前置假设 输入空间：χ⊆Rn\chi \subseteq R^nχ⊆Rn 训练集：T=[(x1,y1),(x2,y2),⋯ ,(xN,yN)]T=[(x_1, y_1), (x_2, y_2), \cdots,...
机器学习笔记九：K近邻算法（KNN）
谢小小XH
03-18 7219
KNN原理和实战
k-邻近算法kNN及其python实现
zonghengyuzhou的博客
09-20 935
k-邻近算法kNN    邻近法kNN是1967年提出的一种基本分类与回归方法。kNN中输入测试数据和训练样本，然后计算测试数据到每个训练样本之间的距离，接着选出距离最小的k个样本，根据k个样本的类别投票决定。K个样本中占多数的类别即为测试数据的类别。 一．k-邻近算法的优缺点： 1.优点：简单好用，容易理解，精度高，理论成熟，既可以用来做分类也可以用来做回归、适合于多分类问题、可用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值