DW打卡第一次——线性回归

最新推荐文章于 2023-02-01 22:08:48 发布

原创

最新推荐文章于 2023-02-01 22:08:48 发布 · 807 阅读

收录于

当前文章被以下社区和专栏收录：

本文详细介绍了线性回归的原理，包括线性回归的一般形式和均方误差作为性能度量。讨论了损失函数、代价函数和目标函数的概念，并概述了优化方法，如梯度下降法、最小二乘法、牛顿法和拟牛顿法。同时，提到了线性回归的评价指标和sklearn.linear_model库的参数详解。

线性回归

内容包括五方面，get之后便可开始实践啦

1、线性回归的原理

2、线性回归损失函数、代价函数、目标函数

3、优化方法(梯度下降法、牛顿法、拟牛顿法等)

4、线性回归的评估指标

5、sklearn参数详解

1、线性回归的原理

在这里插入图片描述
进而我们可以得到线性回归的一般形式：
有数据集 {(𝑥1,𝑦1),(𝑥2,𝑦2),…,(𝑥𝑛,𝑦𝑛)} ,其中, 𝑥𝑖=(𝑥𝑖1;𝑥𝑖2;𝑥𝑖3;…;𝑥𝑖𝑑),𝑦𝑖∈𝑅
其中n表示变量的数量，d表示每个变量的维度。
可以用以下函数来描述y和x之间的关系：
在这里插入图片描述
如何来确定 𝜃 的值，使得 𝑓(𝑥) 尽可能接近y的值呢？均方误差是回归中常用的性能度量，即：

我们可以选择 𝜃 ，试图让均方误差最小化，如何进行参数估计呢？
我们用最大似然估计（从概率角度）的方法。
在这里插入图片描述