数据预处理第2讲：非线性变换

在每个数据集中，不能使用对数和平方根变换，因为每个数据都可能具有不同的模式和复杂性。根据数据的领域知识，可以应用自定义变换将数据变换为正态分布。这里的自定义变换可以是任何函数或参数，如sin、cos、tan、cube等。

数据预处理是机器学习流程中的关键环节，其中分布变换技术能有效提升模型性能。分位数变换通过概率积分变换原理，将任意分布的特征映射到标准正态或均匀分布，解决了数据偏态、异常值等常见问题。这种非线性变换特别适用于依赖距离度量的算法（如KNN、SVM）和需要满足正态假设的线性模型。在实际工程中，分位数变换常与特征缩放、异常值处理等技术组合使用，在金融风控、电商推荐等场景展现显著效果。Scikit-learn的QuantileTransformer实现支持并行计算和内存优化，配合Pipeline使用可有效预防数据泄漏

引言 在之前介绍的分类问题中，所涉及的分类的模型都是线性的，在非线性变换这一节中，我们将模型延伸到非线性的情况下来进行数据的分类。 二次假设(Quadratic Hypotheses) 我们看到上面的例子，在左图中，圆圈和红叉的数据无法用一条直线将其分成两类，那么这这个例子中，我们其实可以用一个大圆圈将数据分类，所以现在我们考虑假设，该假设hSEP(x)是一个过原点的

数值型特征无量纲化 我们的数据一般都是有单位的，比如身高的单位有m，cm，这个无量纲化并不是说把m变成cm，而是说，无论是m还是cm，最后都会变成1，也就是没有了单位。 无量纲化使不同规格的数据转换到同一规格。常见的无量纲化方法有标准化和归一化。 数据标准化的原因： 某些算法要求样本具有零均值和单位方差； 需要消除样本不同属性具有不同量级时的影响。 归一化有可能提高精度； 数量级的差异将导致量级较大的属性占据主导地位，从而与实际情况相悖（比如这时实际情况是值域范围小的特征更重要）； 数量级的差

概率积分变换（probability integral transformation）是进行概率转换的有效方法之一，即将一个具有连续密度函数的随机变量转换为标准均匀分布。 引理1.2.1 概率转换 假设（X1，X2）和（Y1，Y2）的边际分布均已知，两个数据集均可以转化为服从标准均匀分布的随机变量，从而使得两者的相关性的比较更为合理。 令（X1，X2）的边缘分布分别为F1和F2，且F1=F2 均服从N(0,1) （Y1，Y2）的边缘分布分别为G1和G2，且G1=G2, 均服从Exp（1）。 则，可以得到F1

前言 数据预处理的工具有许多，在我看来主要有两种：pandas数据预处理和scikit-learn中的sklearn.preprocessing数据预处理。 前面更新的博客中，我已有具体的根据pandas来对数据进行预处理，原文请点击这里。其中主要知识点包括一下几个方面： 数据的集成：merge、concat、join、combine_first； 数据类型转换：字符串处理（正则表达式）、数据类...

Python sklearn学习之数据预处理——非线性转换 文章目录Python sklearn学习之数据预处理——非线性转换1. 两种常见的非线性转换1.1 分位数转换1.2 幂变换2. sklearn中非线性变换的实现2.1 映射到均匀分布2.1.1QuantileTransformer类2.2 映射到高斯分布2.2.1 Yeo-Johnson transform变换2.2.2 the Box...

本文章涉及数据变换的目的与局限性，以及标准化、归一化、离散化等变换方法的基本过程，便于了解不同方法的使用场景。如有错误，希望大家指正！

本文详细介绍了几种常见的单变量非线性变换方法，包括对数变换、平方根变换、Box-Cox变换和Yeo-Johnson变换。通过这些变换，我们可以使数据分布更加接近正态分布，减少异常值的影响，并提高模型的拟合能力。每种变换方法都有其特定的优势和局限性，选择合适的变换方法取决于具体的数据特性和应用场景。通过合理的数据预处理，我们可以显著提高模型的性能。

机器学习训练营——机器学习爱好者的自由交流空间（qq群号：696721295） sklearn.preprocessing包提供了几个常用的函数和转换类，用它们将一个原始的特征向量转化为一个更适于数据分析的表示形式。一般来说，学习算法收益于数据集的标准形式。如果数据中存在异常点，稳健的数据规范或转换是更适合的。 数据标准化 对于大多数机器学习算法来说，数据集的标准化是基本要求。这是因...

摘要：本文探讨了线性回归模型预测效果不佳时的一个常见原因——数据偏态问题。当数据呈现右偏态时，会导致残差分布不均和异质变异数，影响模型准确性。文章介绍了Box-Cox变换这一解决方案，它能通过幂次参数λ自动调整数据分布，使其更符合线性模型的假设条件。针对包含零值的数据，推荐使用BoxCox1p（数据+1）变换方法。文章还通过Python代码演示了变换过程，展示了变换前后数据分布的变化，并讨论了Box-Cox变换的最佳适用场景和局限性，如对树模型无效、影响可解释性等。最后指出对于负数数据应改用Yeo-John

使用C++、opencv实现对图像的对数变换及非线性变换，实现图像增强 相关API： void normalize(InputArray src, OutputArray dst, double alpha=1, double beta=0, int norm_type=NORM_L2, int dtype=-1, InputArray mask=noArray() ) normaliz...

FLIRT（FMRIB 的线性图像配准工具）是用于线性（仿射）模态内和模态间脑图像配准的全自动稳健且准确的工具。 什么是配准 在这两张图片上，很容易看出它们没有对齐，左边相对右边倾斜，虽然我们人类视觉系统还是能把对应的解剖关系连系在一起，但是我们使用计算机分析时确不能够 因此，我们希望相同的解剖结构对齐，用坐标表示的话，希望他们在相同的坐标上。如下图 对齐这些解剖结构的过程就叫做配准（register） 因此，配准的目的也是使相同的解剖结构在同一个位置，便于分析。可以将CT和MRI配准，看同一结构在两个

数据标准化是机器学习预处理的关键步骤，传统方法如Z-score标准化依赖于线性变换，难以处理非正态分布数据。分位数变换通过基于概率分布的映射机制，将任意分布的特征转换为均匀或正态分布，有效解决了偏态数据和异常值问题。这种非线性变换技术在保持特征单调性的同时，显著提升了树模型和神经网络的预测性能。在金融风控、医疗数据分析等场景中，分位数变换展现出独特优势，特别是在处理右偏的金额数据或实验室指标时。Scikit-learn等主流库提供了高效实现，通过调整n_quantiles等参数可平衡计算精度与效率。与Box

线性变换是一种数学操作，将输入向量通过线性函数映射到另一个向量空间。在线性变换中，输出是输入的线性组合，其一般形式为：其中，( W ) 是权重矩阵，( x ) 是输入向量，( b ) 是偏置向量，( y ) 是输出向量。非线性变换是指将线性变换后的输出通过非线性激活函数进行处理，激活函数是非线性的，使得输出不再是输入的简单线性组合。常见的激活函数包括 ReLU、sigmoid 和 tanh 等。线性变换和非线性变换在神经网络中各自发挥着重要的作用。

非线性转换是处理非正态分布、偏态数据的强大工具。使用 PowerTransformer 进行参数化幂变换（推荐用于回归、线性模型）使用 QuantileTransformer 进行分位数映射（适用于分布未知或复杂情况）合理使用非线性转换可显著提升模型性能，尤其在数据分布不理想时。始终记得在训练集上拟合变换器，并应用于测试集，避免数据泄露。

数据预处理过程会占用很多时间，虽然麻烦但也是必不可少且非常重要的一步。在数据能用于计算的前提下，我们希望数据预处理过程能够提升分析结果的准确性、缩短计算过程，这是数据预处理的目的。本文只说明这些预处理方法的用途及实施的过程，并不涉及编程方面内容，预处理的过程可以用各种各样的语言编程实现来实现。我个人始终是秉持着这样的观点：没有任何一种方法可以一成不变的被应用于任何任务中，依据实际任...

为什么要标准化处理？什么情况下需要对数据标准化处理？ 哪些模型对标准化处理比较敏感？