【Feature Selection】1-特征递归消除 Recursive Feature Elimination

最新推荐文章于 2026-07-04 16:27:26 发布
原创 最新推荐文章于 2026-07-04 16:27:26 发布 · 451 阅读 · 0
本文介绍了特征递归消除（Recursive Feature Elimination, RFE）及其变体RFE-CV在特征选择中的应用，特别是在gradient boosting machine和support vector machine中的实践。RFE基于特征重要性进行排序，而RFE-CV则通过交叉验证预先确定最佳特征数量。在全数据集上训练最终模型后，观察到随着特征减少，性能先提升，去除关键特征后会下降。RFE-CV通过在每个重采样迭代中运行RFE并选择平均性能最佳的特征数量，从而确定最优特征集合。" 105838870,7761967,计算机原理：从图灵机到现代计算机,"['计算机历史', '计算机原理', '操作系统', '性能优化', '计算设备']

开发板推荐：天空星STM32F407VET6开发板

超高性价比 STM32主控 | 超高主频 | 一板兼容百芯 | 比赛神器 | 沉金彩色丝印

点击查看

合理的特征选择（feature set selection）有时能给模型表现与解释性、简洁性带来益处。本文以gradient boosting machine和support vector machine为例展示此过程。

Applied Machine Learning Using mlr3 in R - 6  Feature Selection

mlr-org - Recursive Feature Elimination on the Sonar Data Set

‘Currently, RFE works with support vector machines (SVM), decision tree algorithms and gradient boosting machines (GBM). Supported learners are tagged with the "importance" property.’（RFE是基于重要度排序的）

RFE-CV是RFE的一种变体。‘RFE-CV estimates the optimal number of features with cross-validation first. Then one more RFE is carried out on the complet

开发板推荐：天空星STM32F407VET6开发板

超高性价比 STM32主控 | 超高主频 | 一板兼容百芯 | 比赛神器 | 沉金彩色丝印

点击查看
标签
#机器学习 #r语言
最低0.47元/天 解锁文章
R语言使用caret包的rfe函数进行特征筛选、选择、特征消除RFE（Recursive Feature Elimination）进行特征筛选（feature selection）
data+scenario+science+insight
04-07 3531
R语言使用caret包的rfe函数进行特征筛选、选择、特征消除RFE（Recursive Feature Elimination）进行特征筛选（feature selection）
R语言基于递归特征消除RFE（Recursive Feature Elimination）进行特征筛选（feature selection）
data+scenario+science+insight
08-17 3823
R语言基于递归特征消除RFE（Recursive Feature Elimination）进行特征筛选（feature selection） 对一个学习任务来说，给定属性集，有些属性很有用，另一些则可能没什么用。这里的属性即称为“特征”(feature)。对当前学习任务有用的属性称为“相关特征”(relevant feature)、没什么用的属性称为“无关特征”(irrelevant feature)。从给定的特征集合中选择出相关特征子集的过程，即“特征选择”(feature selection)
转载--几本R语言机器学习新书
u011375991的博客
08-10 313
mlr3是一个R语言机器学习生态系统，为回归、分类和其他机器学习任务提供了一个通用的、面向对象的和可扩展的框架。mlr3的总体目标与R的caret和tidymodels、Python的scikit learn和Julia的MLJ相似。一般来说，mlr3的设计目的是提供比其他ML框架更大的灵活性，同时仍然提供使用高级功能的简单办法。和前两本偏重于应用和实践的书比起来，这本书更侧重于使用R语言介绍机器学习的一些基础（且很重要的）知识和概念。这本书是R另一个现代的机器学习框架mlr3的技术手册，
特征工程-特征选择
weixin_43242479的博客
05-21 1243
降维之外的所有特征选择的方法。过滤法更快速，但更粗糙。包装法和嵌入法更精确，比较适合具体到算法去调整，但计算量比较大，运行时间长。当数据量很大的时候，优先使用方差过滤和互信息法调整，再上其他特征选择方法。使用逻辑回归时，优先使用嵌入法。使用支持向量机时，优先使用包装法。迷茫的时候，从过滤法走起，看具体数据具体分析。
利用支持向量机进行癌症分类的基因选择
DaMeng999的博客
11-02 1951
文献标题:Gene Selection for Cancer Classifification using Support Vector Machines 1. SVM 递归特征消除（SVM-RFE） SVM-RFE 是一种以权重大小作为排序标准的 REFE 应用。 1.1 算法流程 输入：训练样本集 初始化： 幸存特征子集： 特征排序列表： 开始循环直到 s = []： 限制训练数据集从而得到一个良好的特征指标 采用 SVM 进行分类（对偶方式）获得值 计算...
特征选择之支持向量机递归特征消除（SVM-RFE）
热门推荐
littlely_ll的博客
05-15 6万+
支持向量机递归特征消除(下文简称SVM-RFE)是由Guyon等人在对癌症分类时提出来的，最初只能对两类数据进行特征提取。它是一种基于Embedded方法。支持向量机支持向量机广泛用于模式识别，机器学习等领域，SVM采用结构风险最小化原则，同时最小化经验误差，以此提高学习的性能。详细的SVM介绍请看我的另一篇博文《 线性支持向量机》在这简单介绍一下SVM。 设训练集{(xi,yi)}Ni=1\{(
递归特征消除Recursive feature elimination （RFE）
Python开发工程师
09-06 1万+
递归特征消除的主要思想是反复的构建模型（如SVM或者回归模型）然后选出最好的（或者最差的）的特征（可以根据系数来选），把选出来的特征选择出来，然后在剩余的特征上重复这个过程，直到所有特征都遍历了。这个过程中特征被消除的次序就是特征的排序。因此，这是一种寻找最优特征子集的贪心算法。 RFE的稳定性很大程度上取决于在迭代的时候底层用哪种模型。例如，假如RFE采用的普通的回归，没有经过正则化的回归是...
机器学习的特征选择(feature selection)
selous的专栏
11-30 6693
写在开头：刚开始接触机器学习，选择了周志华教授的《机器学习》作为入门教材，很不错的书籍，受益良多。没有使用matlab去编写代码，而是选择了使用python的scikit-learn的开发包，大致看了一下开发包的特征选择方法，结合周志华教授的书，想先总结总结feature selection的方法特征选择filter(过滤式)思路通过评估自变量与目标变量之间的关联，也就是量化两者之间的关系，我们暂且
【特征工程】特征选择Feature Selection
weixin_43615654的博客
01-06 622
正好在写这部分，就顺带练习一下吧。 一如既往地，来源：https://towardsdatascience.com/feature-selection-techniques-1bfab5fe0784 数据集：https://www.kaggle.com/uciml/mushroom-classification 减少特征数量的好处有： 准确性提高。 减少过度拟合。 加快训练速度。 改进数据可视化...
scikit-learn（工程中用的相对较多的模型介绍）：1.13. Feature selection
mmc2015的专栏
08-07 3864
参考：http://scikit-learn.org/stable/modules/feature_selection.html The classes in the sklearn.feature_selection module can be used for feature selection/dimensionality reduction on sample sets, e
1.13. 特征选择(Feature selection)
u010016927的博客
08-11 1866
1.13. 特征选择(Feature selection) sklearn.feature_selection 模块中的类能够用于数据集的特征选择/降维，以此来提高预测模型的准确率或改善它们在高维数据集上的表现。 1.13.1. 移除低方差的特征(Removing features with low variance) VarianceThreshold 是特征选择中的一项基
特征选择
shanji513513的博客
04-26 478
特征选择 (feature_selection) 目录 特征选择 (feature_selection) Filter 1. 移除低方差的特征 (Removing features with low variance) 2. 单变量特征选择 (Univariate feature selection) Wrapper 3. 递归特征消除 (Recursive Fe...
python特征选择内存错误_机器学习中常见问题-特征选择
weixin_34377037的博客
02-10 184
特征选择方法的三大类型 [1]：1.filter method ：利用一些统计指标进行特征选择，和模型没有关系2.wrapper method：结合模型来做，每次加入或者减少特征看对模型的准确度是否有提升，如果有提升，那么就增加或者减少，所以需要不断构建模型来判断是否要加入特征3.embedded method：结合模型来做，和模型训练一起做，即模型训练完，特征就出来了；所以，wrapper me...
特征选择实战手册：5种可落地方法与工程避坑指南
weixin_30333885的博客
06-25 379
特征选择是机器学习工程中决定模型稳定性与业务可解释性的关键环节，其本质是从原始特征中识别并保留真正驱动目标变量的子集，同时剔除冗余、噪声及高共线性干扰项。不同于数学导向的降维技术（如PCA），特征选择强调业务语义保留与生产环境适配，核心原理涵盖统计显著性检验、信息论度量（如互信息）、模型感知重要性（如排列重要性）及正则化约束（如Lasso）。它直接支撑金融风控、IoT边缘推理、医疗AI等对实时性、合规性与归因能力有严苛要求的场景。本文聚焦数据工程师真实工作流，系统拆解方差阈值、单变量检验、Permutati
高度相关特征处理实战：从VIF到PCA的五种方法详解
turnRound
06-16 436
高度相关特征（Highly-Correlated Features）是机器学习中影响模型稳定性、可解释性与泛化能力的关键隐患。其本质是特征空间的几何坍缩，导致设计矩阵条件数激增、梯度优化失稳、特征重要性失真。技术价值在于提升模型鲁棒性、降低线上延迟、增强业务可解释性，并直接改善交叉验证方差与部署可靠性。典型应用场景涵盖金融风控（收入/资产强相关）、工业预测（多传感器冗余）、航运建模（吨位/船长/载客量耦合）等存在物理或业务强关联的领域。本文聚焦VIF诊断、PCA降维、ElasticNet嵌入式选择等五种工程
Scikit-learn
qq_32381773的博客
06-15 245
Scikit-learn is an open source machine learning library that supports supervised and unsupervised learning. It also provides various tools for model fitting, data preprocessing, model selection, model evaluation, and many other utilities.
Boruta特征选择：R语言中高维非线性数据的稳健变量筛选方法
最新发布
weixin_33709219的博客
07-04 106
特征选择是机器学习建模的关键预处理步骤，旨在从原始变量中识别真正携带预测信息的子集，以提升模型稳定性、可解释性与泛化能力。其核心原理在于区分信号与噪声，避免共线性、过拟合及偶然相关性干扰。相比LASSO（依赖线性假设）和递归特征消除（RFE，易受随机性影响），Boruta采用基于随机森林与影子变量对比的非参数检验机制，通过多轮Z值显著性判定实现统计鲁棒的变量决策。该方法特别适用于高维小样本、强非线性关系及需审计证据链的场景，如生物信息学标志物筛选、金融风控变量验证与工业故障诊断。本文聚焦Boruta在R语言
基于(SVM-RFE-BP)支持向量机递归特征消除特征选择算法结合BP神经网络多变量回归预测(多输入单输出)
small_ccb的博客
01-07 200
摘要：该程序采用SVM-RFE-BP算法实现多变量回归预测，通过支持向量机递归特征消除进行特征选择后，结合BP神经网络进行预测。更新后采用6+6可视化模式展示结果（6个误差分析图+6个统计分布图），并附带详细解释文档。程序已调试完成，支持Excel格式数据，适用于FO工艺数据库分析（输入特征包括膜面积、流速等参数）。运行环境需MATLAB 2018b及以上版本，提供R2、MAE等多种评价指标。代码注释清晰，附带测试数据集，适合新手直接使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值