COMP 9417 T2_2021 Lesson 3

判断模型是否合适：
如果分割完后正好是一半正的一半副的，就表示是个很好的模型。
如果一个数据点为离群值，同时也意味着它对应的残差具有较大的方差，因此数据中的离群值数量较多的话，残差一般也会出现明显的异方差性。
残差应显示近似对称的钟形频率分布，平均值为0

一些非线性关系可以通过转换来变成线性模型。作业1a。

如果模型过于复杂，我们可以考虑简化模型。

1. 通过子集来估计整体。会产生多个模型，需要做选择。
2. 正则将不重要的系数归零或者接近0。
3. 降维。

对于第一种方法：
在得到很多子特征集之后。都是greedy的
前向选择：该过程从一个空的特性集合开始，并逐个添加最优特征到集合中。
向后消除：该过程从所有特征集开始。通过逐步删除集合中剩余的最差特征。
这些Greedy的选择方式其实就是在计算R^ 2。决定系数 coefficient of determination。用于度量因变量的变异中可由自变量解释部分所占的比例，以此来判断回归模型的解释力。也就来逐个的判断每个子模型的影响力，解释力度，特征强度。就是通过删除或者添加来对比。

一两个数据的变化不会对mean X和mean Y造成很大影响，只会稍微改变slope

模型只能在与收集数据时保持的条件大致相同的条件下工作

线性回归总结以及线性模型应用场景：

Chapter 2 机器学习处理分类问题

Pg: 1-24

之前的回归问题中我