AR(1)的参数估计——公式推导

原创

已于 2023-06-17 13:19:48 修改 · 5.1k 阅读

于 2023-06-10 17:13:21 首次发布

本文介绍了AR(1)模型的参数估计方法，包括使用最小二乘法和极大似然估计。通过这两个方法，可以求解出模型中的参数(phi_0)、(phi_1)和(sigma_epsilon^2)。文章详细展示了计算过程，解释了为何在给定条件下，序列(y_t)服从正态分布，并提供了条件极大似然估计的推导。

Problem

设 $A R (1)$ 模型为 $yt=ϕ0+ϕ1yt−1+ϵty_t=\phi_0+\phi_1y_{t-1}+\epsilon_t$ ， $ϵt∼i.i.d.N(0,σϵ2)\epsilon_t\mathop{\sim}\limits^{i.i.d.} N(0,\sigma_\epsilon^2)$ ，求解参数 $ϕ0,ϕ1,σϵ2\phi_0,\phi_1,\sigma_\epsilon^2$ 。

最小二乘法

假设观测样本为 $y1,y2,…,yT}\{y_1,y_2,\ldots,y_T\}$ ，则可通过最小二乘求解参数 $ϕ0\phi_0$ 和 $ϕ1\phi_1$ 。

$L(ϕ0,ϕ1)=∑t=2T(yt−ϕ0−ϕ1yt−1)2\mathop{min}\limits_{\phi_0,\;\phi_1}\;L(\phi_0,\phi_1)=\sum\limits_{t=2}^T\left(y_t-\phi_0-\phi_1y_{t-1}\right)^2$

分别对 $ϕ0\phi_0$ 和 $ϕ1\phi_1$ 求偏导，可得：

$∂L∂ϕ0=−2∑t=2T(yt−ϕ0−ϕ1yt−1)=0∂L∂ϕ1=−2∑t=2Tyt−1(yt−ϕ0−ϕ1yt−1)=0\begin{cases} \dfrac{\partial L}{\partial\phi_0}=-2\sum\limits_{t=2}^T\left(y_t-\phi_0-\phi_1 y_{t-1}\right)=0 \\ \dfrac{\partial L}{\partial\phi_1}=-2\sum\limits_{t=2}^Ty_{t-1}\left(y_t-\phi_0-\phi_1y_{t-1} \right)=0 \end{cases}$

求解可得。

若令 $ϕ=(ϕ0,ϕ1)′\phi=(\phi_0,\phi_1)'$ ， $Xt=(1,Yt−1)′X_t=(1,Y_{t-1})^\prime$ ，则有

$t=2,…,TY_t=X_t^\prime\phi+\epsilon_t,\;t=2,\ldots,T$ 且 $ϕ^=argminϕ E(Yt−Xt′ϕ)2\hat{\phi}=\mathop{argmin}\limits_{\phi}\;E(Y_t-X_t^\prime\phi)^2$

求偏导可得：

$∂∂ϕE(Yt−Xt′ϕ)2=−2E(Yt−Xt′ϕ)∂∂ϕXt′ϕ=−2E(Yt−Xt′ϕ)Xt=−2EXt(Yt−Xt′ϕ)=−2EXtYt+2EXtXt′ϕ=0\dfrac{\partial}{\partial\phi}E(Y_t-X_t^\prime\phi)^2=-2E(Y_t-X_t^\prime\phi)\dfrac{\partial}{\partial\phi}X_t^\prime\phi=-2E(Y_t-X_t^\prime\phi)X_t=-2EX_t(Y_t-X_t^\prime\phi)=-2EX_tY_t+2EX_tX_t^\prime\phi=0$