多元线性回归（高斯分布---＞最小二乘法）

多元线性回归

1、基本概念

  线性回归是机器学习中有监督机器学习下的一种算法。 回归问题主要关注的是因变量(需要预测的值，可以是一个也可以是多个)和一个或多个数值型的自变量(预测变量)之间的关系。

  需要预测的值:即目标变量，target，y，连续值预测变量。

  影响目标变量的因素：$X_1$…$X_n$，可以是连续值也可以是离散值。

  因变量和自变量之间的关系:即模型，model，是我们要求解的。

1.1、连续值

1.2、离散值

1.3、简单线性回归

  前面提到过，算法说白了就是公式，简单线性回归属于一个算法，它所对应的公式。

  $y=wx+b$

  这个公式中，y 是目标变量即未来要预测的值，x 是影响 y 的因素，w,b 是公式上的参数即要求的模型。其实 b 就是咱们的截距，w 就是斜率嘛！ 所以很明显如果模型求出来了，未来影响 y 值的未知数就是一个 x 值，也可以说影响 y 值 的因素只有一个，所以这是就叫简单线性回归的原因。

  同时可以发现从 x 到 y 的计算，x 只是一次方，所以这是算法叫线性回归的原因。 其实，大家上小学时就已经会解这种一元一次方程了。为什么那个时候不叫人工智能算法呢？因为人工智能算法要求的是最优解！

1.4、最优解

  Actual value:真实值，一般使用 y 表示。

  Predicted value:预测值，是把已知的 x 带入到公式里面和猜出来的参数 w,b 计算得到的，一般使用 $\hat{y}$ 表示。

   Error:误差，预测值和真实值的差距，一般使用 $\epsilon$ 表示。

  最优解:尽可能的找到一个模型使得整体的误差最小，整体的误差通常叫做损失 Loss。

  Loss:整体的误差，Loss 通过损失函数 Loss function 计算得到。

1.5、多元线性回归

  现实生活中，往往影响结果 y 的因素不止一个，这时 x 就从一个变成了 n 个，$X_1$…$X_n$ 同时简单线性回归的公式也就不在适用了。多元线性回归公式如下：

  $\hat{y}=w_1{X}_1+w_2{X}_2+\dots \dots +w_n{X}_n+b$

  b是截距，也可以使用$w_0$来表示

  $\hat{y}=w_1{X}_1+w_2{X}_2+\dots \dots +w_n{X}_n+w_0$

  $\hat{y}=w_1{X}_1+w_2{X}_2+\dots \dots +w_n{X}_n+w_0\ast 1$

  使用向量来表示，X表示所有的变量，是一维向量；W表示所有的系数（包含$w_0$），是一维向量，根据向量乘法规律，可以这么写：

  $\hat{y}=W^{T}X$

2、线性回归算法推导

2.1、深入理解回归

  回归简单来说就是“回归平均值”(regression to the mean)。但是这里的 mean 并不是把 历史数据直接当成未来的预测值，而是会把期望值当作预测值。 追根溯源回归这个词是一个叫高尔顿的人发明的，他通过大量观察数据发现:父亲比较高，儿子也比较高；父亲比较矮，那么儿子也比较矮！正所谓“龙生龙凤生凤老鼠的儿子会打洞”！但是会存在一定偏差~

  父亲是 1.98，儿子肯定很高，但有可能不会达到1.98
  父亲是 1.69，儿子肯定不高，但是有可能比 1.69 高

  大自然让我们回归到一定的区间之内，这就是大自然神奇的力量。

  高尔顿是谁?达尔文的表弟，这下可以相信他说的十有八九是对的了吧！

  人类社会很多事情都被大自然这种神奇的力量只配置：身高、体重、智商、相貌……

  这种神秘的力量就叫正态分布。大数学家高斯，深入研究了正态分布，最终推导出了线性回归的原理：最小二乘法！

  接下来，我们跟着高斯的足迹继续向下走~

2.2、误差分析

  误差 ${\epsilon }_i$ 等于第 i 个样本实际的值 $y_i$ 减去预测的值 $\hat{y}$ ，公式可以表达为如下：

  ${\epsilon }_i=|y_i-\hat{y}|$

  ${\epsilon }_i=|y_i-W^T{x}_i|$

  假定所有的样本的误差都是独立的，有上下的震荡，震荡认为是随机变量，足够多的随机变量叠加之后形成的分布，它服从的就是正态分布，因为它是正常状态下的分布，也就是高斯分布！均值是某一个值，方差是某一个值。 方差我们先不管，均值我们总有办法让它去等于零 0 的，因为我们这里是有截距b， 所有误差我们就可以认为是独立分布的，1<=i<=n，服从均值为 0，方差为某定值的高斯分布。机器学习中我们假设误差符合均值为0，方差为定值的正态分布！！！

2.3、最大似然估计

  最大似然估计(maximum likelihood estimation, MLE)一种重要而普遍的求估计量的方法。最大似然估计明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然估计是一类完全基于统计的系统发生树重建方法的代表。

  是不是，有点看不懂，太学术了，我们举例说明~

  假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。我们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球再放回罐中。这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？

请告诉我答案！

很多小伙伴，甚至不用算，凭感觉，就能给出答案：70%！

下面是详细推导过程：

• 最大似然估计，计算

• 白球概率是p，黑球是1-p（罐子中非黑即白）

• 罐子中取一个请问是白球的概率是多少？

  • $$p$$

• 罐子中取两个球，两个球都是白色，概率是多少？

  • $$p^2$$

• 罐子中取5个球都是白色，概率是多少？

  • $$p^5$$

• 罐子中取10个球，9个是白色，一个是黑色，概率是多少呢？

• $C_{10}^1=C_{10}^1$ 这个两个排列组合公式是相等的~

• $$C_{10}^9{p}^9(1-p)=C_{10}^1{p}^9(1-p)$$

• 罐子取100个球，70次是白球，30次是黑球，概率是多少？

  • $$P=C_{100}^{30}{p}^{70}(1-p{)}^{30}$$

• 最大似然估计，什么时候P最大呢？

  $C_{100}^{30}$是常量，可以去掉！

  p > 0，1- p > 0，所以上面概率想要求最大值，那么求导数即可！

• $$P^{\prime }=70\ast p^{69}\ast (1-p{)}^{30}+p^{70}\ast 30\ast (1-p{)}^{29}\ast (-1)$$

  令导数为0：

• $$0=70\ast p^{69}\ast (1-p{)}^{30}+p^{70}\ast 30\ast (1-p{)}^{29}\ast (-1)$$

  公式化简：

• $$0=70\ast (1-p)-p\ast 30$$

• $$0=70-100\ast p$$

• p = 70%

2.4、高斯分布-概率密度函数

最常见的连续概率分布是正态分布，也叫高斯分布，而这正是我们所需要的，其概率密度函数如下:

公式如下：

f ( x ∣ μ , σ 2 ) = 1 2 π σ e − ( x − μ ) 2 2 σ 2 f(x|\mu,\sigma^2) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x - \mu)^2}{2\sigma^2}} f(x∣μ,σ2)=2π ​σ1​e