08.第三章 点估计(3)

第三章 点估计(3)

1.一致最小均方误差估计

均方误差MSE：均方误差值样本偏离参数实际值平方的大小，即$(\hat{g}(X)-g(\theta ){)}^2$，它与偏差$\hat{g}(X)-g(X)$的区别是，可以消除偏差正负相互抵消的影响，也可以直接用数值大小判断优劣。显然我们希望估计量$\hat{g}(X)$的均方误差越小越好。

如果对于任何$\theta \in \Theta$，都有$E_{\theta }({\hat{g}}_1(X)-g(\theta ){)}^2\le E_{\theta }({\hat{g}}_2(X)-g(\theta ){)}^2$，且至少存在一个${\theta }_0$使得不等号成立，那么就说估计量${\hat{g}}_1(X)$在MSE意义下优于${\hat{g}}_2(X)$；如果存在某个${\hat{g}}^{\ast }(X)$在MSE意义下优于一切其他估计量$\hat{g}(X)$，就说${\hat{g}}^{\ast }(X)$是参数$g(\theta )$的一致最小均方误差估计。

可惜一致最小均方误差估计常常不存在，因此将参与比较的估计量缩小范围，在无偏估计类中寻找。此时
$$\begin{gathered} E_{\theta }(\hat{g}(X))=g(\theta ) \\ \begin{array}{rl}& E_{\theta }(\hat{g}(X)-g(\theta ){)}^2\\ =& E_{\theta }([\hat{g}(X){]}^2+[g(\theta ){]}^2-2[\hat{g}(X)g(\theta )])\\ =& E_{\theta }[\hat{g}(X){]}^2-(E_{\theta }[\hat{g}(X)]{)}^2\\ =& D_{\theta }[\hat{g}(X)]\end{array} \end{gathered}$$
均方误差便成为了方差。只要参数的无偏估计存在，就可以找到这样的无偏估计类，而含有无偏估计的参数称为可估参数，含有无偏估计的参数函数便称为可估函数。

• 有些参数函数就是不可估的，如二项分布$b(n,p)$中，$1/p$没有无偏估计。

  假设存在这样一个估计量$g(X)$，由于二项分布可以取到的样本观测值$x$至多可以为{0,1,2,⋯ ,n}\{0,1,2,\cdots,n\}{0,1,2,⋯,n}，所以估计量$g(X)$也至多只有$n+1$个观测值，记$g(X=i)=a_i$，根据题意有
  $$\begin{gathered} \sum _{i=0}^n{C}_n^i{p}^i(1-p{)}^{n-i}=\frac{1}{p} \\ \sum _{i=1}^n{C}_n^i{p}^{i+1}(1-p{)}^{n-i}-1=0 \end{gathered}$$
  这是一个关于$p$的$n+1$次方程，满足方程的根至多有$n+1$个，然而$p$可以在$(0,1)$中任意取值，因此这个方程不可能对任何$p$成立，也就是说$E_p(g(X))=1/p$不可能对所有$p$存在，因此$1/p$没有无偏估计。

2.一致最小方差无偏估计

将一致最小MSE估计的估计类进行无偏的限制，就得到了一致最小方差无偏估计UMVUE的定义。

设F={f(x,θ),θ∈Θ}\mathscr F=\{f(x,\theta),\theta\in\Theta\}F={f(x,θ),θ∈Θ}是一个参数分布族，$g(\theta )$是定义在$\Theta$上的可估函数，设${\hat{g}}^{\ast }(X)={\hat{g}}^{\ast }(X_1,\cdots ,X_n)$是$g(\theta )$的一个无偏估计，如果对任何$g(\theta )$的无偏估计$\hat{g}(X)$，都有$D_{\theta }({\hat{g}}^{\ast }(X))\le D_{\theta }(\hat{g}(X)),\forall \theta \in \Theta$，则称${\hat{g}}^{\ast }(X)$是$g(\theta )$的UMVUE。

在寻找UMVUE之前，有一个基于充分统计量的改进无偏估计的方法。设$T=T(X)$是一个充分统计量，$\hat{g}(X)$是$g(\theta )$的一个无偏估计，则$h(T)=E(\hat{g}(X)|T)$是$g(\theta )$的一致最小方差意义下更好的无偏估计。

首先证明$h(T)$是一个统计量，由于$T$是充分的，因此在给定$T$时$X$的条件分布与参数无关，所以$h(T)=E(\hat{g}(X)|T)$首先是一个统计量，给定样本观测值就可以求出。且$E_{\theta }(h(T))=E_{\theta }[E(\hat{g}(X)|T)]=E(\hat{g}(X))=g(\theta )$（条件期望），是无偏的。
Dθ(g^(X))=Eθ{[g^(X)−h(T)]+[h(T)−g(θ)]}2=Eθ[g^(X)−h(T)]2+Eθ[h(T)−g(θ)]2+2Eθ[g^(X)−h(T)][h(T)−g(θ)]=Eθ[g^(X)−h(T)]2+Dθ(h(T))+2Eθ[g^(X)−h(T)][h(T)−g(θ)]Eθ[g^(X)−h(T)][h(T)−g(θ)]=Eθ{[Eθ[g^(X)−h(T)][h(T)−g(θ)]}=Eθ{[h(T)−g(θ)]Eθ[[g^(X)−h(T)]∣T]}=Eθ{[h(T)−g(θ)]Eθ[g^(X∣T)]−h(T)}=0 \begin{aligned} D_\theta(\hat g(X))=&E_\theta\{[\hat g(X)-h(T)]+[h(T)-g(\theta)]\}^2\\ =&E_\theta[\hat g(X)-h(T)]^2+E_\theta[h(T)-g(\theta)]^2+2E_\theta[\hat g(X)-h(T)][h(T)-g(\theta)]\\ =&E_\theta[\hat g(X)-h(T)]^2+D_\theta(h(T))+2E_\theta[\hat g(X)-h(T)][h(T)-g(\theta)]\\ \\ &E_\theta[\hat g(X)-h(T)][h(T)-g(\theta)]\\ =&E_\theta\{[E_\theta[\hat g(X)-h(T)][h(T)-g(\theta)]\}\\ =&E_\theta\{[h(T)-g(\theta)]E_\theta[[\hat g(X)-h(T)]|T]\}\\ =&E_\theta\{[h(T)-g(\theta)]E_\theta[\hat g(X|T)]-h(T)\}\\ =&0 \end{aligned} Dθ​(g^​(X))=======​Eθ​{[g^​(X)−h(T)]+[h(T)−g(θ)]}2Eθ​[g^​(X)−h(T)]2+Eθ​[h(T)−g(θ)]2+2Eθ​[g^​(X)−h(T)][h(T)−g(θ)]Eθ​[g^​(X)−h(T)]2+Dθ​(h(T))+2Eθ​[g^​(X)−h(T)][h(T)−g(θ)]Eθ​[g^​(X)−h(T)][h(T)−g(θ)]Eθ​{[Eθ​[g^​(X)−h(T)][h(T)−g(θ)]}Eθ​{[h(T)−g(θ)]Eθ​[[g^​(X)−h(T)]∣T]}Eθ​{[h(T)−g(θ)]Eθ​[g^​(X∣T)]−h(T)}0​
所以有$D_{\theta }(\hat{g}(X))=E_{\theta }[\hat{g}(X)-h(T){]}^2+D_{\theta }(h(T))\ge D_{\theta }(h(T))$。

这个改进方法指出，如果原估计$\hat{g}(X)$不是统计量$T$的函数，则可以改进为方差更小的无偏估计量。因此，UMVUE一定是充分统计量的函数。但这样的改进是否是UMVUE仍不确定，因此需要寻找UMVUE的方法。

3.寻找UMVUE的方法

零无偏估计法是基于零无偏估计量的寻找方法，零无偏估计量即期望为0的统计量$l(X),E_{\theta }l(X)=0,\forall \theta \in \Theta$。如果对于任何零无偏估计量$l(X)$，都有
$$Co{v}_{\theta }(\hat{g}(X),l(X))=E_{\theta }[\hat{g}(X)\cdot l(X)]=0$$
成立，则$\hat{g}(X)$是$g(\theta )$的UMVUE。即$E_{\theta }[\hat{g}(X),l(X)]=0$是UMVUE的充分条件，事实上也是必要条件。

假设还有其他的无偏估计$g(X)$，则$l(X)=g(X)-\hat{g}(X)$是一个零无偏估计量，那么
$$\begin{array}{rl}{D}_{\theta }(g(X))=& D_{\theta }(\hat{g}(X)+l(X))\\ =& D_{\theta }(\hat{g}(X))+D_{\theta }(l(X))+2Co{v}_{\theta }(\hat{g}(X),l(X))\\ =& D_{\theta }(\hat{g}(X))+D_{\theta }(l(X))\\ \ge & D_{\theta }(\hat{g}(X))\end{array}$$
说明$\hat{g}(X)$就是UMVUE。

定理的内容并没有提及如何寻找这个$\hat{g}(X)$，只给了验证$\hat{g}(X)$是UMVUE的方法，对于UMVUE的寻找需要用直观的想法提出，如通过矩估计或极大似然估计等方法获得一个估计量，再对其是否为UMVUE加以验证。

在实际应用中，由于UMVUE一定是充分统计量$T$的函数，因此零无偏估计法还可以加以改动。如果$h(T(X))$是$g(\theta )$的一个无偏估计，$D_{\theta }(h(T))<\infty$，如果对任何$E_{\theta }\delta (T)=0,\forall \theta \in \Theta$的统计量$\delta (T)$，都有$Co{v}_{\theta }(h(T),\delta (T))=E_{\theta }[h(T)\delta (T)]=0,\forall \theta \in \Theta$，则$h(T)$是$g(\theta )$的UMVUE。

对于零无偏估计的处理，如果是连续的，可以尝试将密度函数对参数求导；如果是离散的，可以尝试写出求和式。

零无偏估计量法适用于验证某一统计量是UMVUE，而充分完全统计量法则是求UMVUE的方法。

Lehmann-Scheff定理（L-S定理）：设X∼{f(x,θ),θ∈Θ}X\sim \{f(x,\theta), \theta\in \Theta\}X∼{f(x,θ),θ∈Θ}，$T(X)$是一个充分完全统计量。如果$\hat{g}(T(X))$是$g(\theta )$的一个无偏估计，则$\hat{g}(T(X))$是$g(\theta )$唯一的UMVUE。这里的唯一，指仅存在一个概率为0的集合上有$\hat{g}\ne g$，就将$g,\hat{g}$视为同一个统计量。

设${\hat{g}}_1(T(X))$是$g(\theta )$的任一无偏估计，令$\delta (T(X))=\hat{g}(T(X))-{\hat{g}}_1(T(X))$，则$E_{\theta }\delta (T(X))=0$，因为$T(X)$是完全统计量，所以$\delta (T(X))=0,\text{a.s.}{P}_{\theta }$，即唯一。

现设$\phi (X)$是$g(\theta )$的任一无偏估计，令$h(T(X))=E[\phi (X)|T]$，由于$T(X)$是充分统计量，所以$h(T(X))$与参数无关，是统计量。并且$h(T(X))$是一个比$\phi (X)$更好的无偏估计。由唯一性就得到$\hat{g}(T(X))=h(E(X))\text{ a.e.}{P}_{\theta }$。这样就有
$$D_{\theta }(\hat{g}(T(X)))=D_{\theta }(h(T(X))\le D_{\theta }(\phi (X))$$
说明$\hat{g}(T(X))$是$g(\theta )$的UMVUE。

从正面过程也可以看出，利用充分完全统计量法求UMVUE，需要先找到一个无偏估计$\phi (X)$与一个充分完备统计量$T(X)$，再求$E_{\theta }[\phi (X)|E]$。

对于自然形式的指数族而言，样本的概率密度函数为
$$f(\mathbf{x},\mathbf{\theta })=C(\mathbf{\theta })\text{exp}\left\{\sum _{j=i}^k{\theta }_j{T}_j(\mathbf{x})\right\}h(\mathbf{x}),\mathbf{\theta }=({\theta }_1,\cdots ,{\theta }_k)\in {\Theta }^{\ast }$$
令$T(\mathbf{X})=(T_1(\mathbf{X}),\cdots ,T_k(\mathbf{X}))$（这样$T$是充分统计量），如果自然参数空间${\Theta }^{\ast }$作为${\mathbf{R}}^k$的子集有内点（这样$T$是完备统计量），且$h(T(\mathbf{X}))$为$g(\theta )$的无偏估计，则$h(T(\mathbf{X}))$是$g(\mathbf{\theta })$的唯一UMVUE。