决策数算法进阶：属性测试条件、最佳划分度量、过拟合现象的处理

最新推荐文章于 2022-07-27 15:53:52 发布
原创 最新推荐文章于 2022-07-27 15:53:52 发布 · 1.9k 阅读 · 4
标签
#决策树 #剪枝 #属性测试条件 #不纯性度量 #纯度
本文深入探讨决策树算法，包括表示属性测试条件的方法，如二元属性、标称属性和连续属性的处理；选择最佳划分的度量，如增益率和信息增益；以及处理过拟合现象，如先剪枝和后剪枝策略。通过理解这些概念，有助于构建更加精准和高效的决策树模型。

我们在先前博文中已经简要介绍了决策树的思想和几个经典算法来构造决策树：《决策树算法简介及其MATLAB实现代码》。今天我们要针对决策树继续深入探讨一些的问题，目录如下：

目录

一、表示属性测试条件的方法

二、选择最佳划分的度量

三、处理决策树归纳中的过分拟合现象

一、表示属性测试条件的方法

决策树在增长过程中的每个递归步都要选择一个属性测试条件，将数据划分成更小的子集。为了实现这个步骤，算法必须为不同类型的属性指定测试条件的方法及其相应的输出方法。

二元属性

二元属性的测试条件产生两个可能的输出，如下图所示。

标称属性

有多个属性值，测试条件可以用两种方法表示：多路划分和二元划分。在某些决策树算法如CART中，只产生二元划分，所以我们需要在有多个属性值的情况下也支持或者说提供二元划分的方法。

序数属性

也可以产生二元或者多路划分，只要不违背数据属性值的有序性。如下图所示是序数属性的不同的分组方式。

连续属性

最低0.47元/天 解锁文章
机器学习算法（3）之决策树算法
不曾走远的博客
08-25 12万+
前言：首先，在了解树模型之前，自然想到树模型和线性模型有什么区别呢？其中最重要的是，树形模型是一个一个特征进行处理，之前线性模型是所有特征给予权重相加得到一个新的值。决策树与逻辑回归的分类区别也在于此，逻辑回归是将所有特征变换为概率后，通过大于某一概率阈值的划分为一类，小于某一概率阈值的为另一类；而决策树是对每一个特征做一个划分。另外逻辑回归只能找到线性分割（输入特征x与logit之间是线性的，除...
决策树
jason_cuijiahui的博客
07-03 5875
决策树的工作原理从树的根节点开始，将测试条件用于检验记录，根据测试结果选择适当的分支。沿着该分支或者到达另一个内部结点，使用新的测试条件，或者到达一个叶结点。到达叶结点以后，叶节点的类称号就被赋值给该检验记录。如何建立决策树原则来讲，对于给定的属性集，可以构造的决策树的数目达到指数级。尽管某些决策树比其他决策树更准确，但是由于搜索空间是指数规模的，找出最佳决策树在计算上是不可行的。尽管如此，人们还是
[DataAnalysis]数据挖掘导论——决策树详解
TOMACAT的博客
09-09 2万+
Hunt算法 Hunt是许多决策树算法的基础，包括ID3、C4.5和CART。 Hunt：递归地使用属性测试条件直至中所有记录属于同一类。 （1）如果中所有记录都属于同一类，则是叶结点，用标记。 （2）如果中包含属于多个类的记录，则选择一个属性测试条件，将记录划分为较小的子集。对于测试条件的每个输出，创建一个子女结点，并根据测试结果将中的记录分布到子女结点中。然后，对于每个子女结点，递归...
经典机器学习系列(五)【决策树详解】
小小何先生的学习之旅
01-31 2153
我的微信公众号名称：深度学习先进智能决策 微信公众号ID：MultiAgent1024 公众号介绍：主要研究强化学习、计算机视觉、深度学习、机器学习等相关内容，分享学习过程中的学习笔记和心得！期待您的关注，欢迎一起学习交流进步！ ...
数据挖掘——最佳划分度量（1）
VictoriaYuri的博客
10-08 1918
前言 有很多度量可以用来确定划分记录的最佳方法。选择最佳划分的度量通常是根据划分后子女结点不纯性的程度。不纯的程度越低，类分布就会越倾斜。 例子： 类分布为（0,1）的结点具有零不纯性（是比较好的） 均衡分布（0.5,0.5）的结点具有最高的不纯性 提示：以下是本篇文章正文内容，下面案例可供参考 一、不纯性度量的公式 注意：p(i|t)表示给定结点t中属于i类的比例 ①熵（信息论中使用较多） Entropy（t）=②基尼值 Gini（t）= ③分类误差 Classification error（t）=
【数据挖掘】第4章 分类：基本概念、决策树与模型评估
小羊咩咩的博客
04-16 2792
4 分类：基本概念、决策树与模型评估 目录一、解决分类问题的一般方法二、决策树归纳1）决策树工作原理2）如何建立决策树3）ID3决策树4）表示属性测试条件的方法 一、解决分类问题的一般方法 分类: 分类任务就是通过学习得到一个目标函数f，把每个属性集x映射到一个预先定义的类标号y中。 目标函数也称分类模型。 解决分类问题的一般方法 基本概念 训练集：数据库中为建立模型而被分析的数据...
数据挖掘导论学习笔记 第四章 分类：基本概念、决策树与模型评估
C_P_J_M的博客
02-22 1524
4.1预备知识 分类任务的输入数据是记录的集合 每条记录也称实例或者样例，用元组(x,y)(x,y)(x,y)表示，xxx是属性的集合，y是样例的类标号（也成为分类属性或目标属性） 类标号必须是离散的，但属性值可以是连续的 分类(classfication)的任务就是得到一个目标函数，将每个属性集映射到一个y上 目标函数也称分类模型 分为描述性建模和预测性建模两种 4.2解决问题的一般方法 分...
决策树算法
qq_39110198的博客
12-29 2413
决策树的起源： 1、最早的决策树算法是由Hunt等人于1966年提出，Hunt算法是许多决策树算法的基础，包括ID3、C4.5和CART等 2、Hunt算法通过将训练记录相继划分为较纯的子集，以递归方式建立决策树。设Dt是与结点t相关联的训练记录集，而y = { y1, y2, …, yc}为类标号 3、Hunt算法的递归定义如下： （1）如果Dt中所有的记录都属于同一个类yt，则结点t是...
数据分类分析
ZhuiZhuDream5的博客
03-18 1272
分类分析 一、决策树算法 首先，顾名思义，决策树是基于树结构来进行决策的。树可以表达类和属性的关系。 1.决策树的基本组成部分：决策结点、分支和叶子。 2.如何选择叶子结点——选择最佳划分（属性）的度量 选择最佳划分的度量通常是根据划分后子结点不纯性的度量。不纯的程度越低，类分布就越倾斜。 3.采用熵来说明划分后子结点不纯性的度量，如下： Entropy(t)=−∑i=0c−1(p(i∣t)log2p(i∣t))Entropy(t)=-\sum_{i=0}^{c-1}(p(i|t)log_{2}p(i|t)
机器学习之决策树模型最优属性选择方法
qq_38680752的博客
03-11 7948
决策树模型是用于解决分类问题的一个模型，它的特点是简答、逻辑清晰、可解释性好。 决策树是基于“树”结构进行决策的。 每个“内部结点”对应于某个属性上的“测试”； 每个分支对应于该测试的一种可能结果（也就是该属性的某个取值） 每个“叶子结点”对应于一个“预测结果” 决策树的学习过程：通过对训练样本的分析来确定“划分属性” 决策树预测过程：将预测示例从根结点开始，沿着划分属性所构成的“判定测试序列”往...
决策树算法原理（三种最优属性划分方法）
Sherry沫小阳的博客
04-04 1万+
大家好，今天，我们来介绍一下决策树的原理。 决策树算法在当今机器学习中经常用到，它既可以作为分类算法，也可以作为回归算法，下面我会和大家对这个算法中的一些理论进行一一介绍。 1.决策树ID3算法 决策树算法通俗来讲，就是一种按照重要性（信息增益）层层分类的分类方法，此文章借西瓜书中的例子来为大家讲解 信息增益：“信息熵”是度量样本集合纯度最常用的一种指标，假设当前样本集合D中第k类样本所占...
分类之决策树分类
Hacker_ccc的博客
07-27 2856
决策树分类的理论，里面设计传统的Hunt算法，信息增益算法ID3；计算数据纯度的计算方法——信息熵，GINI指数，分类错误等；同时提及对决策树算法过拟合的解决。
决策树3: 特征选择之寻找最优划分
木东居士
12-15 2916
0x00 前言 决策树算法的三个步骤：特征选择、决策树生成、决策树剪枝。其中特征选择要解决的核心问题就是：每个节点在哪个维度上做划分？某个维度在哪个值上做划分？划分的依据是： 要让数据划...
机器学习-决策树属性分类方法公式
天天学习的博客
07-29 647
主要简单介绍了ID3、C4.5、CART决策树如何确定不同属性的顺序。 ID3:信息熵增益 C4.5:增益率 CART:gini不纯度 1. ID3 信息熵计算： H = sum(-Pi*log2(Pi)) 例子： sex age label 0 5 0 1 10 1 0 5 1 0 10 0 首先看label的信息熵:label分为两类：概率都是1/2,则：-2/4log2(2/4)+(-2/4)log(2/4)=1 age的信息熵：age主要有5,10两类，对于age=5
机器学习之决策树（Decision Tree）
weixin_36488653的博客
06-19 849
文章目录1. 决策树概念2. 决策树实操2.1 决策树多分类2.2 决策树回归2.3 决策树调参案例(Tatanic) 1. 决策树概念 决策树是根据特征进行树的构造，主要内容如下： 通过属性构造节点： （1）二元属性 #mermaid-svg-5oCGWpPERyBOfdNk .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#merma
决策树的基本原理与经典算法(1)
清风佐鸣琴
05-18 1010
概念 分类：分类任务就是通过学习得到一个目标函数（target function）f，把每个属性集x映射到一个预先定义的类标号y。 注意：类标号必须是离散属性，这是区别分类与回归（regression）的关键特征。回归是一种预测建模任务，其中目标属性y是连续的。 解决分类问题的一般方法 首先，需要一个训练集（training set），其由类标号已知的记录组成。使用训练集建立分类模型，该模型随后将用于检验集（test set），检验集由类标号未知的记录组成。 分类模型的性能根据模型正确和错误预测的检验记录计
决策树(decision tree)——(1)生成与度量指标
君莫笑的博客
04-20 2186
**注：本博客为李航《统计学习方法》与周志华《机器学习》读书笔记，虽然有一些自己的理解，但是其中仍然有大量文字摘自李老师和周老师的书籍内容。 决策树(decision tree）是一种基本的分类与回归方法． 本章主要讨论用于分类的决策树. 决策树模型呈树形结构， 分类时，可以认为是定义在特征空间与类空间上的条件概率分布.其主要优点是模型具有可读性，分类速度快。 学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。 预测时，对新的数据，利用决策树模型进行分类。 决策树学习通常包括3个步
字体属性测试
qq_39787515的博客
10-28 921
<head> <meta charset="UTF-8"> <title>字体属性测试</title> <link rel="stylesheet" href="test.css"> </head> <body> <
决策树(Decision Tree)
热门推荐
yinjieer379的博客
03-02 4万+
1. 决策树的基本概念 我们这里介绍一下一个比较简单的机器学习系统----决策树. 它的概念最容易理解, 因为人类的许多决策实际上就是一个决策树. 通常使用的分类回归树（class and regress tree）是一个二叉树。它的形式一般为： 每个方框代表一个节点. 每个非叶子节点有2个分支, 一个是判定True, 一个判定False. 分别走两个不同的分支. 叶子节点具有决策权. 任何一个输入从root出发, 总是会达到且唯一到达一个叶子节点. 这就是决策树的工作原理. 决策树有两种节点： 中间节点
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值