【机器学习】特征工程

特征清洗

清洗异常样本

目的:不筛选出这些异常数据很可能让我们后面的数据分析模型有很大的偏差

方法:

• 聚类 用KMeans聚类将训练样本分成若干个簇，如果某一个簇里的样本数很少，而且簇质心和其他所有的簇都很远，那么这个簇里面的样本极有可能是异常特征样本了。我们可以将其从训练集过滤掉
• 异常点检测方法 主要是使用isolation Forest或者one class SVM，使用异常点检测的机器学习算法来过滤所有的异常点

采样

数据不均衡

数据不均衡的现象:绝大多数的数据在一个范围/属于一个类别，而在另外一个范围或者另外一个类别中，只有很少的一部分数据

方法:
https://www.jianshu.com/p/f170d72f6fb6

样本权重

比如我们有合法用户和非法用户的二元样本数据10000条，里面合法用户有9995条，非法用户只有5条，如果我们不考虑权重，则我们可以将所有的测试集都预测为合法用户，这样预测准确率理论上有99.95%，但是却没有任何意义

调节样本权重的方法有两种，第一种是在class_weight使用balanced。第二种是在调用fit函数时，通过sample_weight来自己调节每个样本权重

预处理

单个特征

归一化

对数据的数值范围进行特定缩放，但不改变其数据分布的一种线性特征变换

我们假设模型只需要两个变量，年收入和年龄，模型用的是逻辑回归。很显然，收入的量级以万为单位，年龄的量级在100以内。如果不作任何处理，收入的量级远远大于年龄，在模型训练的过程中，收入的重要性很有可能远远大于年龄，但这不一定是真实的规律，而是因为收入