前言

随机向量正交投影定理（Orthogonal Projection Theorem, OPT） 是理解和推导卡尔曼了滤波（Kalman Filtrering, KF） 重要理论工具，简化卡尔曼最优滤波方程推导过程并提供数学严密性。本文介绍该定理内容及证明过程，并给出该定理的4个推论，其中推论4是最重要的更新信息定理，并给出其证明过程。

随机向量正交定义

设$X$为$n$维随机向量，$Z$为$m$维随机向量，如果存在：
$$\begin{array}{r}E[X{Z}^T]=0\end{array}\text{\hspace{1em}(1)}$$
则称$X$与$Z$正交。
注意：
$$\begin{array}{r}X=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right],Z=\left[\begin{array}{c}{z}_1\\ z_2\\ ⋮\\ z_m\end{array}\right]\end{array}\text{\hspace{1em}(2)}$$
$$\begin{array}{r}X{Z}^T=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]\left[\begin{array}{c}{z}_1{z}_2\cdots z_m\end{array}\right]=\left[\begin{array}{cccc}{x}_1{z}_1& x_1{z}_2& \cdots & x_1{z}_m\\ x_2{z}_1& x_2{z}_2& \cdots & x_2{z}_m\\ ⋮& ⋮& ⋮& ⋮\\ x_n{z}_1& x_n{z}_2& \cdots & x_n{z}_m\end{array}\right]\end{array}\text{\hspace{1em}(3)}$$
式(1)等价于：
$$\begin{array}{r}E[X{Z}^T]=E\left[\left[\begin{array}{cccc}{x}_1{z}_1& x_1{z}_2& \cdots & x_1{z}_m\\ x_2{z}_1& x_2{z}_2& \cdots & x_2{z}_m\\ ⋮& ⋮& ⋮& ⋮\\ x_n{z}_1& x_n{z}_2& \cdots & x_n{z}_m\end{array}\right]\right]=\left[\begin{array}{cccc}0& 0& \cdots & 0\\ 0& 0& \cdots & 0\\ ⋮& ⋮& ⋮& ⋮\\ 0& 0& \cdots & 0\end{array}\right]=0\end{array}\text{\hspace{1em}(4)}$$
这里给出正交、独立和不相关的关系结论[2]：

1. 独立一定不相关，但不相关不一定独立。特殊情况：当都服从正态分布时不相关等价于独立。
2. 如果其中至少一个随机向量的数学期望为零，则不相关与正交等价。
3. 如果都服从正态分布，且至少有一个数学期望为零，则正交、独立和不相关三者等价。

随机向量正交投影定义

设$X$为$n$维随机向量，$Z$为$m$维随机向量，如果存在某个$n\times m$阶矩阵$A^{\ast }$和某个$n$维常数向量$b^{\ast }$，对任意$n\times m$阶矩阵$A$和任意的$n$维向量$b$能使下式恒成立：
$$\begin{array}{r}E[(X-(A^{\ast }Z+b^{\ast }))(AZ+b{)}^T]=0\end{array}\text{\hspace{1em}(5)}$$
则称$A^{\ast }Z+b^{\ast }$为$X$在$Z$上的正交投影。
将式(5)改写为：
$$\begin{array}{r}E[(X-(A^{\ast }Z+b^{\ast }))(AZ+b{)}^T]=E[((X-(A^{\ast }Z+b^{\ast }))Z^T]A^T+E[X-(A^{\ast }Z+b^{\ast })]b^T=0\end{array}\text{\hspace{1em}(6)}$$
由于A为任意$n\times m$阶矩阵，b为$n$维任意向量，要使上式恒成立，须有：
$$\begin{array}{r}\begin{array}{cc}E[(X-(A^{\ast }Z+b^{\ast }))Z^T]=0& \\ E[X-(A^{\ast }Z+b^{\ast })]=0& \end{array}\}\end{array}\text{\hspace{1em}(7)}$$
式(7)是正交投影的另一种形式。
如果$X$作为被估向量，$Z$作为观测向量，对于定义的理解：

1. 正交投影$A^{\ast }Z+b^{\ast }$为观测向量$Z$和常数向量$b$的线性组合；
2. 由任意$n\times m$阶矩阵$A$和任意$n$维向量$b$及观测向量$Z$的所有线性组合$AZ+b$构成$Z$张成的量测空间；
3. 对应式 (5)，若用正交投影$A^{\ast }Z+b^{\ast }$作为$X$的估计，则估计误差与量测空间$AZ+b$正交；
4. 对应式 (7)，若用正交投影$A^{\ast }Z+b^{\ast }$作为$X$的估计，则估计误差与观测向量$Z$正交，实际上观测向量$Z$本身也位于量测空间$AZ+b$上；
5. 对应式 (7)，若用正交投影$A^{\ast }Z+b^{\ast }$作为$X$的估计，则其为无偏估计。

随机向量正交投影定理

设$X$和$Z$具有二阶矩，则$X$在$Z$上的正交投影$A^{\ast }Z+b^{\ast }$即为$X$在$Z$上的线性最小方差估计$E^{\ast }[X|Z]$，反之亦然，即：
$$\begin{array}{r}{A}^{\ast }Z+b^{\ast }=E^{\ast }[X|Z]\end{array}\text{\hspace{1em}(8)}$$
充分性证明：
若正交投影$A^{\ast }Z+b^{\ast }$作为$X$在$Z$上的估计，由式(7)的估计误差的无偏性，得
$$\begin{array}{rl}E[X-(A^{\ast }Z+b^{\ast })]& =E[X]-A^{\ast }E[Z]-b^{\ast }=0\\ b^{\ast }& =E[X]-A^{\ast }E[Z]\\ A^{\ast }Z+b^{\ast }& =A^{\ast }Z+E[X]-A^{\ast }E[Z]=E[X]+A^{\ast }(Z-E[Z])\\ X-(A^{\ast }Z+b^{\ast })& =X-E[X]-A^{\ast }(Z-E[Z])\end{array}\text{\hspace{1em}(9)(10)(11)(12)}$$
由式(7)的估计误差与观测向量$Z$正交，得
$$\begin{array}{rl}E[(X-(A^{\ast }Z+b^{\ast }))Z^T]& =0\\ E[(X-E[X]-A^{\ast }(Z-E[Z]))Z^T]& =0\\ E[(X-E[X]-A^{\ast }(Z-E[Z]))((Z-E[Z])+E[Z]{)}^T]& =0\\ E[(X-E[X]-A^{\ast }(Z-E[Z]))((Z-E[Z])+E[Z]{)}^T]& =0\\ E[(X-E[X]-A^{\ast }(Z-E[Z]))(Z-E[Z]{)}^T]+E[(X-E[X]-A^{\ast }(Z-E[Z]))E[Z{]}^T]& =0\\ E[(X-E[X])(Z-E[Z]{)}^T-A^{\ast }(Z-E[Z])(Z-E[Z]{)}^T]& =0\\ E[(X-E[X])(Z-E[Z]{)}^T]-A^{\ast }E[(Z-E[Z])(Z-E[Z]{)}^T]& =0\\ Cov(X,Z)-A^{\ast }Var(Z)& =0\\ A^{\ast }& =Cov(X,Z)Var(Z{)}^{-1}\end{array}\text{\hspace{1em}(13)}$$
将式(13)带入式(10)，得
$$\begin{array}{rl}{b}^{\ast }& =E[X]-A^{\ast }E[Z]\\ & =E[X]-Cov(X,Z)Var(Z{)}^{-1}E[Z]\end{array}\text{\hspace{1em}(14)}$$
由式(13)和(14)，正交投影即为：
$$\begin{array}{rl}{A}^{\ast }Z+b^{\ast }& =Cov(X,Z)Var(Z{)}^{-1}Z+E[X]-Cov(X,Z)Var(Z{)}^{-1}E[Z]\\ & =E[X]+Cov(X,Z)Var(Z{)}^{-1}(Z-E[Z])\end{array}\text{\hspace{1em}(15)}$$
又由线性最小方差估计为：
$$\begin{array}{rl}{E}^{\ast }[X|Z]& =E[X]+Cov(X,Z)Var(Z{)}^{-1}(Z-E[Z])\end{array}\text{\hspace{1em}(16)}$$
故证明式(8)成立，即
$$\begin{array}{rl}{A}^{\ast }Z+b^{\ast }& =E^{\ast }[X|Z]\end{array}$$
充分性证毕。
必要性证明：
由线性最小方差估计的无偏性，可直接得，
$$\begin{array}{rl}E[X-E^{\ast }[X|Z]]& =E[X-E[X]-Cov(X,Z)Var(Z{)}^{-1}(Z-E[Z])]\\ & =E[X-E[X]]-Cov(X,Z)Var(Z{)}^{-1}E[Z-E[Z]]\\ & =0\end{array}\text{\hspace{1em}(17)}$$
又
$$\begin{array}{rl}E[(X-E^{\ast }[X|Z])Z^T]& =E[(X-E[X]-Cov(X,Z)Var(Z{)}^{-1}(Z-E[Z]))Z^T]\\ & =E[(X-E[X])Z^T]-Cov(X,Z)Var(Z{)}^{-1}E[(Z-E[Z])Z^T]\\ & =E[X{Z}^T]-E[X]E[Z{]}^T-Cov(X,Z)Var(Z{)}^{-1}E[Z{Z}^T]+Cov(X,Z)Var(Z{)}^{-1}E[Z]E[Z{]}^T\end{array}\text{\hspace{1em}(18)}$$
其中
$$\begin{array}{rl}E[X{Z}^T]& =E[(X-E[X]+E(X))(Z-E[Z]+E(Z){)}^T]\\ & =E[(X-E[X])(Z-E[Z]{)}^T]+E[X-E[X]]E[Z{]}^T+E[X]E[Z-E[X]{]}^T+E[X]E[Z{]}^T\\ & =Cov(X,Z)+E[X]E[Z{]}^T\end{array}\text{\hspace{1em}(19)}$$
$$\begin{array}{rl}E[Z{Z}^T]& =E[(Z-E[Z]+Z(Z))(Z-E[Z]+E(Z){)}^T]\\ & =E[(Z-E[Z])(Z-E[Z]{)}^T]+E[Z-E[Z]]E[Z{]}^T+E[Z]E[Z-E[Z]{]}^T+E[Z]E[Z{]}^T\\ & =Var(Z)+E[Z]E[Z{]}^T\end{array}\text{\hspace{1em}(20)}$$
式(19)(20)带入式(18)，得
$$\begin{array}{rl}E[(X-E^{\ast }[X|Z])Z^T]& =E[X{Z}^T]-E[X]E[Z{]}^T-Cov(X,Z)Var(Z{)}^{-1}E[Z{Z}^T]+Cov(X,Z)Var(Z{)}^{-1}E[Z]E[Z{]}^T\\ & =Cov(X,Z)+E[X]E[Z{]}^T-E[X]E[Z{]}^T-Cov(X,Z)Var(Z{)}^{-1}(Var(Z)+E[Z]E[Z{]}^T)+Cov(X,Z)Var(Z{)}^{-1}E[Z]E[Z{]}^T\\ & =Cov(X,Z)-Cov(X,Z)-Cov(X,Z)Var(Z{)}^{-1}E[Z]E[Z{]}^T+Cov(X,Z)Var(Z{)}^{-1}E[Z]E[Z{]}^T\\ & =0\end{array}\text{\hspace{1em}(21)}$$
线性最小方差估计定义可知，$E^{\ast }[X|Z]$为观测向量$Z$的线性组合，由式(17)和(21)，$E^{\ast }[X|Z]$为观测向量$Z$上的正交投影，即
$$\begin{array}{rl}{E}^{\ast }[X|Z]& =A^{\ast }Z+b^{\ast }\end{array}$$
必要性证毕

图1 正交投影定理几何示意图

如图1所示，从几何上理解为通过调整矩阵$A^{\ast }$和常数向量$b^{\ast }$，使得被估向量$X$落入量测空间$AZ+b$中并与其正交投影$A^{\ast }Z+b^{\ast }$重合，那么$X$在该量测空间上的正交投影$A^{\ast }Z+b^{\ast }$就是$X$在观测向量$Z$条件下的线性最小方差估计，估计误差$X-(A^{\ast }Z+b^{\ast })$正交于量测空间$AZ+b$，正交于观测向量$Z$，且估计误差的数学期望为$0$。

推论

推论1
设$X$和$Y$为具有二阶矩的随机向量，则$X$在$Z$上的正交投影与$X$在$Z$上的线性最小方差估计等价具有唯一性。
推论2
设$X$和$Y$为具有二阶矩的随机向量，$A$为非随机矩阵，其列数等于$X$的维数，则
$$\begin{array}{rl}{E}^{\ast }[AX|Z]& =A{E}^{\ast }[X|Z]\end{array}\text{\hspace{1em}(22)}$$
推论3
设$X$、$Y$和$Z$为具有二阶矩的随机向量，$A$和$B$为具有相应维数的非随机矩阵，则
$$\begin{array}{rl}{E}^{\ast }[AX+BY|Z]& =A{E}^{\ast }[X|Z]+B{E}^{\ast }[Y|Z]\end{array}\text{\hspace{1em}(23)}$$
推论4
设$X$、$Z_1$和$Z_2$为具有二阶矩的随机向量，且$Z=\left[\begin{array}{c}{Z}_1\\ Z_2\end{array}\right]$，则
$$\begin{array}{rl}{E}^{\ast }[\tilde{X}|{\tilde{Z}}_2]& =E[\tilde{X}{\tilde{Z}}_2^T]E[{\tilde{Z}}_2{\tilde{Z}}_2^T{]}^{-1}{\tilde{Z}}_2\\ E^{\ast }[X|Z]& =E^{\ast }[X|Z_1]+E^{\ast }[\tilde{X}|{\tilde{Z}}_2]\\ & =E^{\ast }[X|Z_1]+E[\tilde{X}{\tilde{Z}}_2^T]E[{\tilde{Z}}_2{\tilde{Z}}_2^T{]}^{-1}{\tilde{Z}}_2\end{array}\text{\hspace{1em}(24)(25)}$$
其中$\tilde{X}$为$X$在$Z_1$条件下的线性最小方差估计误差，${\tilde{Z}}_2$为$Z_2$在$Z_1$条件下的线性最小方差估计误差：
$$\begin{array}{rl}\tilde{X}& =X-E^{\ast }[X|Z_1]\\ {\tilde{Z}}_2& =Z_2-E^{\ast }[Z_2|Z_1]\end{array}\text{\hspace{1em}(26)(27)}$$
证明：
由$E^{\ast }[\tilde{X}|{\tilde{Z}}_2]$是$\tilde{X}$在${\tilde{Z}}_2$条件下的线性最小方差估计：
$$\begin{array}{rl}{E}^{\ast }[\tilde{X}|{\tilde{Z}}_2]& =E[\tilde{X}]+Cov(\tilde{X},{\tilde{Z}}_2)Var({\tilde{Z}}_2{)}^{-1}[{\tilde{Z}}_2-E[{\tilde{Z}}_2]]\end{array}\text{\hspace{1em}(28)}$$
又$E[\tilde{X}]=0$，$E[{\tilde{Z}}_2]=0$，上式为
$$\begin{array}{rl}{E}^{\ast }[\tilde{X}|{\tilde{Z}}_2]& =Cov(\tilde{X},{\tilde{Z}}_2)Var({\tilde{Z}}_2{)}^{-1}{\tilde{Z}}_2\\ & =(E[\tilde{X}{\tilde{Z}}_2^T]-E[\tilde{X}]E[{\tilde{Z}}_2])(E[{\tilde{Z}}_2{\tilde{Z}}_2^T]-E[{\tilde{Z}}_2]E[{\tilde{Z}}_2^T]{)}^{-1}{\tilde{Z}}_2\\ & =E[\tilde{X}{\tilde{Z}}_2^T]E[{\tilde{Z}}_2{\tilde{Z}}_2^T{]}^{-1}{\tilde{Z}}_2\end{array}\text{\hspace{1em}(29)}$$
式(24)证毕。
由于$E^{\ast }[X|Z_1]$和${\tilde{Z}}_2$均为$Z_1$的线性组合，而$Z_1=\left[\begin{array}{cc}1& 0\end{array}\right]Z$，故$E^{\ast }[X|Z]$也是$Z$的线性组合。
又因为$E^{\ast }[X|Z_1]$的估计误差的数学期望为：
$$\begin{array}{rl}E[X-E^{\ast }[X|Z]]& =E[X-E^{\ast }[X|Z]]\\ & =E[X-(E^{\ast }[X|Z_1]+E[\tilde{X}{\tilde{Z}}_2]E[{\tilde{Z}}_2{\tilde{Z}}_2^T{]}^{-1}{\tilde{Z}}_2)]\\ & =E[X]-E[E^{\ast }[X|Z_1]]-E[\tilde{X}{\tilde{Z}}_2^T]E[{\tilde{Z}}_2{\tilde{Z}}_2^T{]}^{-1}E[{\tilde{Z}}_2]\\ & =E[X]-E[X]-0\\ & =0\end{array}\text{\hspace{1em}(30)(31)}$$
式(31)满足正交投影定义中式(7)估计误差数学期望为$0$。
接下来，只需证明$E^{\ast }[X|Z]$估计误差与$Z$满足正交，即$E^{\ast }[X|Z]$为$X$在$Z$上的正交投影：
$$\begin{array}{rl}E[(X-E^{\ast }[X|Z])Z^T]& =E[(X-(E^{\ast }[X|Z_1]+E[\tilde{X}{\tilde{Z}}_2^T]E[{\tilde{Z}}_2{\tilde{Z}}_2^T{]}^{-1}{\tilde{Z}}_2))Z^T]\\ & =E[(X-E^{\ast }[X|Z_1])Z^T]-E[\tilde{X}{\tilde{Z}}_2^T]E[{\tilde{Z}}_2{\tilde{Z}}_2^T{]}^{-1}E[{\tilde{Z}}_2{Z}^T]\\ & =E[\tilde{X}{Z}^T]-E[\tilde{X}{\tilde{Z}}_2^T]E[{\tilde{Z}}_2{\tilde{Z}}_2^T{]}^{-1}E[{\tilde{Z}}_2{Z}^T]\\ & =E[\tilde{X}\left[\begin{array}{cc}{Z}_1^T& Z_2^T\end{array}\right]]-E[\tilde{X}{\tilde{Z}}_2^T]E[{\tilde{Z}}_2{\tilde{Z}}_2^T{]}^{-1}E[{\tilde{Z}}_2\left[\begin{array}{cc}{Z}_1^T& Z_2^T\end{array}\right]]\\ & =\left[\begin{array}{cc}E[\tilde{X}{Z}_1^T]& E[\tilde{X}{Z}_2^T]\end{array}\right]-E[\tilde{X}{\tilde{Z}}_2^T]E[{\tilde{Z}}_2{\tilde{Z}}_2^T{]}^{-1}\left[\begin{array}{cc}E[{\tilde{Z}}_2{Z}_1^T]& E[{\tilde{Z}}_2{Z}_2^T]\end{array}\right]\end{array}\text{\hspace{1em}(32)}$$
由$\tilde{X}$、${\tilde{Z}}_2$与$Z_1$正交，有：
$$\begin{array}{rl}E[\tilde{X}{Z}_1^T]& =0\\ E[{\tilde{Z}}_2{Z}_1^T]& =0\end{array}\text{\hspace{1em}(33)(34)}$$
又因为$E^{\ast }[X|Z_1]$与$E^{\ast }[Z_2|Z_1]$分别为$X$和$Z_2$在$Z$上的正交投影，根据正交投影定义式(6)，有:
$$\begin{array}{rl}E[\tilde{X}(E^{\ast }[Z_2|Z_1]{)}^T]& =0\\ E[{\tilde{Z}}_2(E^{\ast }[Z_2|Z_1]{)}^T]& =0\end{array}\text{\hspace{1em}(35)(36)}$$
于是由式(27)(35)(36)，得：
$$\begin{array}{rl}E[\tilde{X}{Z}_2^T]& =E[\tilde{X}({\tilde{Z}}_2+E^{\ast }[Z_2|Z_1]{)}^T]\\ & =E[\tilde{X}{\tilde{Z}}_2^T]+E[\tilde{X}(E^{\ast }[Z_2|Z_1]{)}^T]\\ & =E[\tilde{X}{\tilde{Z}}_2^T]\\ E[{\tilde{Z}}_2{Z}_2^T]& =E[{\tilde{Z}}_2({\tilde{Z}}_2+E^{\ast }[Z_2|Z_1]{)}^T]\\ & =E[{\tilde{Z}}_2{\tilde{Z}}_2^T]+E[{\tilde{Z}}_2(E^{\ast }[Z_2|Z_1]{)}^T]\\ & =E[{\tilde{Z}}_2{\tilde{Z}}_2^T]\end{array}\text{\hspace{1em}(37)(38)}$$
将式(34)(34)(37)(38)代入式(32)，得：
$$\begin{array}{rl}E[(X-E^{\ast }[X|Z])Z^T]& =\left[\begin{array}{cc}E[\tilde{X}{Z}_1^T]& E[\tilde{X}{Z}_2^T]\end{array}\right]-E[\tilde{X}{\tilde{Z}}_2^T]E[{\tilde{Z}}_2{\tilde{Z}}_2^T{]}^{-1}\left[\begin{array}{cc}E[{\tilde{Z}}_2{Z}_1^T]& E[{\tilde{Z}}_2{Z}_2^T]\end{array}\right]\\ & =\left[\begin{array}{cc}0& E[\tilde{X}{\tilde{Z}}_2^T]\end{array}\right]-E[\tilde{X}{\tilde{Z}}_2^T]E[{\tilde{Z}}_2{\tilde{Z}}_2^T{]}^{-1}\left[\begin{array}{cc}0& E[{\tilde{Z}}_2{\tilde{Z}}_2^T]\end{array}\right]\\ & =\left[\begin{array}{cc}0& E[\tilde{X}{\tilde{Z}}_2^T]\end{array}\right]-\left[\begin{array}{cc}0& E[\tilde{X}{\tilde{Z}}_2^T]\end{array}\right]\\ & =\left[\begin{array}{cc}0& 0\end{array}\right]\\ & =0\end{array}\text{\hspace{1em}(39)}$$
以上证毕。
由式 (31)(39)，式(25)中的$E^{\ast }[X|Z]$为$X$在$Z$上的正交投影，即为$X$在$Z$条件下的最小方差估计，将式(27)代入式(25)，得
$$\begin{array}{rl}{E}^{\ast }[X|Z]& =E^{\ast }[X|Z_1]+E[\tilde{X}{\tilde{Z}}_2^T]E[{\tilde{Z}}_2{\tilde{Z}}_2^T{]}^{-1}(Z_2-E^{\ast }[Z_2|Z_1])\end{array}\text{\hspace{1em}(40)}$$
推论4也被称为更新信息定理。

参考文献

[1] 《最优估计理论》，刘胜，张红梅著，2011，科学出版社。
[2] 《卡尔曼滤波与组合导航原理》第4版，秦永元，张洪越，汪叔华著，2021，西北工业大学出版社。