卡尔曼滤波器学习之一最小二乘法

近期对卡尔曼滤波器很感兴趣，想趁着假期的时候好好学习一下。选择的教材是《Fundamentals of Kalman Filtering A Practical Approach, Third Edition》。本系列按照数据的章节顺序安排内容，本文的内容是书籍的第二章，最小二乘法。

最小二乘法

综述

我们的目标是尽可能的逼近真实信号，通过处理采集来的被噪声污染的信号。主要分为两步：
1. 使用一个多项式模型用于模拟真实信号。可用如下公式来描述模型：

$$a_nx^n + a_{n-1}x^{n-1} + ... + a_1x^1 + a_0x^0$$
2. 根据最小二乘法的准则，估计模型中的参数

零阶滤波器

假设有一组测量数据描述一个固定值，如何通过最小二乘法获得该固定值的最优估计。从多项式模型而言，即根据现实情况确定的模型是$a_0x^0$ = $a_0$，需要根据最小二乘法估计参数$a_0$的值。
假设有$n$个测量数据$x_k^*$，假设最优估计为$a_0$，则

$$R = \sum_{k=1}^n(a_0 - x_k^*)^2$$
R为估计值与测量值差值平方的求和，如果使 $R$取到最小值，则认为估计值 $a_0$为最优估计。当 $R$的一阶导数等于零，二阶导数大于零时 $R$取到最小值。
$$R = \sum_{k=1}^n(a_0 - x_k^* )^2 = (a_0 - x_1^* )^2 + (a_0 - x_2^* )^2 + ...+(a_0 - x_n^* )^2$$
对 $R$求一阶导：
$$\frac{\partial{R}}{\partial{a_0}} = 0 = 2(a_0 - x_1^*) + 2(a_0 - x_2^*) + ... + 2(a_0 - x_n^*)$$
令 $R$的一阶导数为零，则
$$a_0 = \frac{\sum_{k=1}^nx_k^* }{n}$$
求二阶导：