利用高中知识求解最小二乘法

使用配方法求解最小二乘拟合函数参数的推导过程

函数原型

函数原型：y = w*x + b
其中x是自变量，y是因变量，w是斜率，b是截距。

样本说明

(x1, y1)代表第1个样本点的数据，
(x2, y2)代表第2个样本点的数据，
以此类推
(xn, yn)代表第n个样本点的数据。
这些都是已知量。

x’代表样本在x轴的平均值，
y’代表样本在y轴的平均值。
这两个变量通过已知量计算平均值求出。

问题

求出能使
(wx1 + b - y1)² + (wx2 + b - y2)² +…+(wxn + b - yn)²
的结果最小的w和b的值

第一步，对b进行配方法，配成b的完全平方式

将上式转换为：
(b - (y1-wx1))² + (b - (y2-wx2))² +(b - (y3-wx3))² （式1）

展开式1：
b² -2b（y1-wx1）+ （y1-wx1)²
+b² -2b（y2-wx2）+ （y2-wx2)²
+…
+b² -2b（yn-wxn）+ （yn-wxn)²

合并b的同类项：
nb² -2b(y1-wx1 + y2-wx2 + …+yn-wxn) + 其他不含b的项

将上式中的第二项中的y1 + y2 +…+yn合并，那么这就是y的和，如果将y’定义为y的平均值，那么y的和也等于ny’,同理，x的和也等于nx’。

上式转换为：nb² -2b(ny’ - nx’) + 其他不含b的项

将n提取出来：n(b² - 2b(y’ - wx’)) + 其他不含b的项

利用配方法配平平方式，上式就转换为：
n(b - (y’ - wx’))² + 其他不含b的项
要让整个式子的值最小，n(b - (y’