数据挖掘——变量选择

最新推荐文章于 2026-04-06 09:40:01 发布
原创 最新推荐文章于 2026-04-06 09:40:01 发布 · 7.3k 阅读 · 9
数据挖掘过程中，变量过多可能导致维数灾难，影响模型速度而不利于精度提升。特征规约成为必要，包括主成分分析和特征选择。主成分分析通过保留一定比例的方差贡献度来减少变量，而特征选择如向前选择和向后淘汰策略，可在不破坏数据结构下精简变量。

大多数数据集需要我们对之进行“清洗”工作，包括数据转换、数据离散化、数据缺失替换和数据异常点处理

在实际的挖掘分析中，过多的变量对模型精度的提升十分有限，但是对于挖掘速度的影响确实十分巨大的，维数灾难就是描述这一情况的。

我们需要多少变量来进行分析挖掘？

特征规约：特征规约即针对特定数据集进行变量数目的减少，在P较大时，特征规约显得有很强的必要性

特征规约方法：

  • 主成分分析：较为常用的特征规约方法，可以在保留数据集一定信息的同时大规模减少变量数目，应用较广
  •         主要细节：决定主成分分析结果的是我们要保留多少百分比的方差贡献度
  • 特征选择：可以在不破坏数据结构的前提下精简变量，目前越来越流行，是主成分分析的一个极佳的补充
  •         向前选择+向后淘汰
                      
主成分分析是对变量的重新组合，特征选择是对变量的单纯意义上的精简。

特征选择评
最低0.47元/天 解锁文章
数据科学导论——问题分析与数据处理
Junds0的博客
02-16 417
为了顺利完成实训，介绍一下数据集，本数据集来自 Kaggle 预测房价挑战，包含 4 个文件，train 和 test 是主要的文件，train 有 81 个属性，test 有 80 个（ test 少了房价）。类似于这样的实际数据往往有各种异常，以及一些非数值类的数据，我们对数据进行严格过滤，对属性进行筛选，只选用数值类型的属性。读入数据，csv 是逗号分隔的文件，使用 pandas 库里的方法，然后用 describe 方法观察数据属性。由索引和数据组成：索引在左，数据在右；
Python数据分析之数据预处理
m0_74942241的博客
08-15 2144
在数据挖掘中，海量的原始数据中存在着大量不完整(有缺失值)、不–致、有异常的数据，严重影响到数据挖掘建模的执行效率，甚至可能导致挖掘结果的偏差，所以进行数据清洗就显得尤为重要，数据清洗完成后接着进行或者同时进行数据集成、转换、规约等–系列的处理，该过程就是数据预处理。
【机器学习实战】SMOTE算法优化：解决不平衡数据分类难题（Python实现）
最新发布
weixin_28716769的博客
04-06 206
本文详细介绍了SMOTE算法在解决不平衡数据分类问题中的应用与优化。通过Python实现，展示了SMOTE的核心原理、参数调优技巧及进阶优化方法如Borderline-SMOTE和SMOTE+ENN，并结合金融风控案例进行实战演示，帮助开发者有效提升模型对少数类的识别能力。
数据挖掘（1）知识点总结
weixin_41259130的博客
05-24 2993
详细文章转自：https://blog.csdn.net/sinat_22594309/article/details/74923643数据挖掘的一般过程包括以下这几个方面：1、 数据预处理2、 数据挖掘3、 后处理一、数据预处理主要手段分为两种：选择分析所需的数据对象和属性；创造或改变属性。1.常见的几种预处理方法：聚集、抽样、维归约、特征子集的选择、特征的创建、离散化和二元化、变量变换。聚集：...
数据挖掘——数据变换
weixin_45902007的博客
12-18 2057
数据挖掘概览：
22、统计与机器学习数据挖掘中的变量选择与探索性数据分析
snow3的博客
07-25 78
本文探讨了统计与机器学习数据挖掘中的两个关键环节：变量选择和探索性数据分析（EDA）。文章介绍了变量选择的重要性及其构建简单和复杂变量的方法，同时深入解析了EDA的核心思想、自然七步循环以及其与经典方法的对比。此外，还提出了一种利用CHAID方法解释逻辑回归模型的框架，为分析预测变量对二元响应变量的影响提供了实用思路。通过这些方法的结合，能够更好地从数据中提取有意义的信息，以构建更准确和有效的模型，解决实际问题。
21、回归分析中的变量选择与数据挖掘技术
snow3的博客
07-24 65
本文探讨了回归分析中的变量选择问题，对比了传统变量选择方法与基于探索性数据分析（EDA）的增强型解决方案。重点分析了传统方法如向前选择、向后消除和逐步选择的局限性，以及它们在大数据环境下的表现问题。同时，介绍了抑制变量的概念及其对模型预测能力的影响。为提升模型性能，提出了一种基于 EDA 的七步循环解决方案，涵盖问题定义、数据收集、数据可视化、变量选择、模型构建、模型评估和模型改进的完整流程。该方法强调数据驱动和迭代优化，适用于复杂问题和大规模数据场景。最后，总结了增强型变量选择方法的优势，并建议避免盲目依
数据挖掘方法（5）：多重共线性及变量选择方法
风起于青萍之末，折秀于林
03-08 7129
一  概念        多重共线性： 也即使用的多个预测变量之间存在线性相关。多重共线性会导致解的不稳定，进而可能导致意外的结果。在线性代数中，基坐标必须是相互正交的，也即不相关的，此处在做多元回归预测时，必须保证预测变量之间是不相关的。    避免手段：       （1）分析之前：     a. 逐个计算预测变量之间的相关系数。  > cor(sugar$sugars,sugar$
数据挖掘之降维
huobanjishijian的专栏
10-22 2405
自变量维度过多会给所有数据挖掘方法带来麻烦：（1）自变量过多会导致建模算法的运行速度慢。（2）自变量的维度增加时，过度拟合的可能性也会随之增大。（3）自变量维度越多，数据在整个输入空间的分布越稀疏，越难以获得对整个输入空间有代表性的样本。例如，如果只有一个均匀分布的二分自变量，那么1000个观测意味着平均每种取值对应于500个观测；但如果有10个均匀分布的二分自变量，总共有210=1024种取值，
R语言——数据集操作
weixin_58587297的博客
10-20 1455
基本思想为选择变量，具体方法为在[ ]中使用判断符“==，,=”进行判断筛选，左式为“数据集名$判断属性名”，右式为判断值（可为数值或字符变量）。r代表行，c代表列，r和c的取值若是单个数字，代表某个特点位置上的变量。若为一个数组，代表数组区域所选中的一系列行或列。a代表想要删除变量的数据集，b代表想要删除的变量的列属性值，结果生成一个只含有b所包含属性的数据集，再使用“！”符号便能删除属性列。a代表一个字符集，由一个或多个数据集的属性值变量组成，输出数组内所包含的属性值变量所在的列。
数据挖掘笔记(2)-数据规约
weixin_34268753的博客
01-01 386
数据规约 　　　　对于中小型数据集而言，前面提到的数据挖掘准备中的预处理步骤通常足够了。但对于真正意义上的大型数据集，在应用数据挖掘技术之前，还需要执行一个中间的、额外的步骤—数据规约。本次主要说维规约。 　　3.1 大型数据的维度 　　　　数据规约过程的3个基本操作是删除列、删除行、减少列中值的数量。 　　　　全面分析下述参数：计算时间、预测/描述精度、数据挖掘模型的描述 　　3.2 ...
变量选择详解与源码实现
WGS.
11-22 3989
文章目录1.过滤法变量选择1.1缺失情况变量筛选1.2方差变量筛选1.3预测能力变量筛选1.4业务理解的变量筛选（IV、PSI）1.5相关性指标变量筛选（最大相关最小冗余）2.包装法变量选择3.嵌入法变量选择4.一般变量选择过程1.基于IV值进行初步筛选2.聚类分析3.相关性分析4.逐步回归变量选择（包装法）5.随机森林或 Xgboost 模型变量重要性排序，得到最终的变量筛选结果5.过滤法、包装法、嵌入法源码1.读取数据区分离散变量与连续变量2.对连续变量和离散变量分箱（删除分箱数只有1的）3.对训练数据
系统学习机器学习之特征工程（一）--维度归约
工作笔记
12-18 2万+
这里，我们讨论特征选择和特征提取，前者选取重要的特征子集，后者由原始输入形成较少的新特征，理想情况下，无论是分类还是回归，我们不应该将特征选择或特征提取作为一个单独的进程，分类或者回归方法应该能够利用任何必要的特征，而丢弃不相关的特征。但是，考虑到算法存储量和时间的复杂度，或者输入不必要的特征等原因，还是需要降维。较简单的模型在小数据上更为鲁棒，有小方差，模型的变化更依赖于样本的特殊性，包括噪声，...
第五章 网络安全数据预处理
lupa1521的博客
10-02 1492
5.1 引言 现实世界数据是“肮脏的”，主要体现在数据不完整、含有噪声、不一致、重复、高维度等方面； 5.2 数据预处理的主要内容 5.2.1 数据审核 准确性审核 适用性审核 及时性审核 一致性审核 5.2.2 数据筛选 5.2.3 数据排序 5.3 数据预处理办法 网络安全数据的预处理至少包括三个过程：一是数据清洗；二是数据融合；三是数据关联。 我们常常用完整性、一致性...
数据分析 数据规约
weixin_46131409的博客
01-29 8663
一.概念 "数据规约"(Data Reduction)是指在尽可能保持数据原貌的前提下,最大限度地精简数据集.数据规约又分为2类:"属性规约"和"数值规约" 二.属性规约 1.概念: "属性规约"(Attributes Reduction)是指通过减少数据集中的属性来精简数据集,目的是减少系统资源的消耗并降低无效/错误数据的影响.这相当 于降低表示成向量的数据的维度,因此又称"数据降维".由于不同属性包含了不同的信息量,需要选择舍弃哪些属性才能最小化信息损失.降维方法有2大 类:"特征选择"和"特征提取"
数据规约
weixin_45736186的博客
10-17 6265
什么是数据归约 　　数据归约是指在对挖掘任务和数据本身内容理解的基础上、寻找依赖于发现目标的数据的有用特征，以缩减数据规模，从而在尽可能保持数据原貌的前提下，最大限度地精简数据量。 数据归约的途径 　　数据归约主要有两个途径：属性选择和数据采样，分别针对原始数据集中的属性和记录。 假定在公司的数据仓库选择了数据，用于分析。这样数据集将非常大。在海量数据上进行复杂的数据分析扣挖掘将需要很长时间，使得...
数据预处理-数据规约-属性规约
见贤思齐
08-04 2747
原数据： #-*- coding: utf-8 -*- import pandas as pd from sklearn.decomposition import PCA #PCA主成分分析函数 inputfile = '../data/principal_component.xls' outoutfile = './dimention_reducted.xls' #降维后...
机器学习中的变量选择——进阶篇
热门推荐
管他叫大靖
03-03 2万+
机器学习中的变量选择变量选择回顾单变量筛选通过模型选择变量变量选择进阶只用模型就能选好变量么数据处理模型介绍实验结果认识伪相关两步法估计 变量选择回顾 符号说明： p:p:p: 特征数量 n:n:n: 样本数量 变量选择在机器学习中扮演着重要的角色，无论是对于构建一个可解释的模型，还是提升模型的预测能力。 单变量筛选 在高维情况下，有时候我们需要预先筛选部分变量，然后再训练模型。筛选过程需要做到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值