最优估计理论方法

1. 最小二乘估计

假设估计量是$t$维未知的参数向量$X$，观测向量为$\underset{n\times1}{L}(n>t)$，其观测误差（或称为噪声）向量为$\underset{n\times1}{\Delta}$，观测方程为：

$$L=BX + \Delta$$

其中，$\underset{n \times t}{B}$的秩$rk(B)=t,E(\Delta)=0,D(\Delta)=D_{\Delta}$，设$X$的估计值为$\hat{X}$，则有：

$$V=B \hat{X}-L$$

所谓最小二乘估计，就是要求估计值$\hat{x}$使得下列二次型达到最小值，即：

$$\Psi(\hat{X})=V^TPV=(B\hat{X}-L)^TP(B\hat{X}-L)=min$$

其中，$\underset{n \times n}{P}$是一个适当选取的对称正定常数矩阵，$\hat{X}$称为$X$的最小二乘估值，记为$\hat{X}_{LS}$或者$\hat{X}_{LS}(L)$。

当参数$X$的各个分量$X_i$之间没有确定的函数关系，即他们是函数独立的参数时，可将$\Psi(\hat{X})$对$\hat{X}$求自由极值，令其一阶导数为零，得：

$$\frac{\partial\psi\left(\hat{X}\right)}{\partial\hat{X}}=2V^{\mathrm{T}}P\frac{\partial V}{\partial\hat{X}}=2V^{\mathrm{T}}PB=0$$

转置后，得：

$$B^TPV=B^TP(B\hat{X}-L)=0$$

或：

$$B^TPB\hat{X}=B^TPL$$

解得：

$$\hat{X}=(B^TPB)^{-1}B^TPL$$

又因为：

$$\frac{\partial^{2}\psi\left(\hat{X}\right)}{\partial\hat{X}^{2}}=2B^{\mathrm{T}}PB>0$$

所以$\hat{X}$使得$\Psi(\hat{X})$达到极小值。

最小二乘估计量$\hat{X}$的估计误差为：

$$\Delta_{\hat{X}} = X - \hat{X} = X - ( B^{\mathrm{T}}PB )^{-1}B^{\mathrm{T}}P( BX + \Delta ) = - ( B^{\mathrm{T}}PB )^{-1}B^{\mathrm{T}}P\Delta$$

由此按照协方差传播定律可得$\hat{X}$的误差方差阵为：

$$D\left(\Delta_{\hat{X}}\right)=\left(B^{\mathrm{T}}PB\right)^{-1}B^{\mathrm{T}}PD_{\Delta}PB\left(B^{\mathrm{T}}PB\right)^{-1}$$

将对称正定阵$D_{\Delta}$表示为$D_{\Delta}=R^T R$（$R$为可逆矩阵），并令：

$$\begin{aligned}&a=B^{T}R^{-1}\\&b=RPB\left(B^{T}PB\right)^{-1}\end{aligned}$$

则有：

$$ab=B^{T}R^{-1}RPB\left(B^{T}PB\right)^{-1}=E$$

且由矩阵形许瓦茨不等式可得：

$$D\left(\Delta_{\widehat{x}}\right)=b^{\mathrm{T}}b\geqslant\left(ab\right)^{\mathrm{T}}\left(aa^{\mathrm{T}}\right)^{-1}\left(ab\right)=\left(aa^{\mathrm{T}}\right)^{-1}$$

即：

$$D\left(\Delta_{\hat{x}}\right)=\left(B^{\mathrm{T}}PB\right)^{-1}B^{\mathrm{T}}PD_{\Delta}PB\left(B^{\mathrm{T}}PB\right)^{-1}\geqslant\left(B^{\mathrm{T}}D_{\Delta}^{-1}B\right)^{-1}$$

只有当$P=P_{\Delta}=D_{\Delta}^{-1}$或者$P=P_{\Delta}=D_{\Delta}^{-1}\sigma_{0}^{2}$（$\sigma_{0}^{2}$为常数时)，上列才去等号，而使$\hat{X}$的误差方差阵达到最小，此时有：

$$D\left(\Delta_{\hat{X}}\right)=\mathrm{Var}\left(\Delta_{\hat{X}}\right)=\left(B^{\mathrm{T}}D_{\Delta}^{-1}B\right)^{-1}=\left(B^{\mathrm{T}}PB\right)^{-1}\sigma_{0}^{2}$$

有时将$P$取为$D_{\Delta}^{-1}$或$D_{\Delta}^{-1}\sigma_{0}^{2}$时的估计称为马尔科夫估计，此时可以将：

$$\Psi(\hat{X})=V^TPV=(B\hat{X}-L)^TP(B\hat{X}-L)=min$$

表达为：

$$V^TP_{\Delta}V=min$$

可以看到，最小二乘估计具有如下性质：

1. 最小二乘估计是一种线性估计，即$X$的估计量是$\hat{X}_{LS}$观测值的线性函数。

2. 当观测误差的数学期望为$E(\Delta)=0$时，因$E(L)=BX$,所以有：

   $$E\left(\hat{X}_{LS}\right)=\left(B^{T}PB\right)^{-1}B^{T}PE\left(L\right)=\left(B^{T}PB\right)^{-1}B^{T}PBX=X$$

即$\hat{X}_{LS}$具有无偏性。

3. 当观测误差的方差阵为$D_{\Delta}$，而取$P=D_{\Delta}^{-1}$或者$P=D_{\Delta}^{-1}\sigma_{0}^{2}$时，$\hat{X}_{LS}$的误差方差阵达到最小值。

4. 最小二乘估计不需要$X$的任何先验统计信息，当$X$是非随机量，或$X$虽然是随机量，但完全不考虑其先验统计信息时，按照误差传播定律可知：

   $$\begin{aligned}D_{L}&=D_{\Delta}\\D_{\hat{X}_{LS}}&=D(\Delta\hat{X}_{LS})\end{aligned}$$