最小二乘估计理论
（1）随机变量的统计理论
加权最小二乘估计是卫星导航算法的基本工具。本文档讨论的随机变量默认为离散随机变量，对于一个随机变量，在估计理论中常用的统计特征包括数学期望，方差，标准差等等。 数学期望/均值：随机变量取值的加权平均
E(X)?X??xi?p(xi)
i?1n方差：随机变量与其均值的偏离程度
var(X)?E((X?E(X))2)?E(X2?E2(X)?2X?E(X))?E(X)?E(X)?2E(X)?E(X)?E(X)标准差：方差开平方根即可得到标准差
22222
??var(X)
2??如果知道随机变量X的期望x和方差，根据中心极限定理，
可认为X近似服从正态分布
X?N(?x,?2)
TX?[X,X]对于二维随机变量，除了讨论两个变量各自的期12望和方差之外，还需要讨论两者之间关系的数学期望——协方差和相关系数。
X1和X2的协方差定义为
Cov(X1,X2)?E((X1?E(X1)?(X2?E(X2))?E(X1?X2?X1?E(X2)?X2?E(X1)?E(X1)?E(X2))?E(X1?X2)?E(X1)?E(X2)??x1x2
X1和X2相关系数定义为：
?xx12?xx??x??x
1212相关系数的取值范围为[-1,1]之间，其绝对值越小表明两随机变量的相关性越小。
则二维随机变量X的均值和方差为：
?X1??E(X1)?E(X)?E(??)???
XE(X)?2??2?D(X)?E((X?E(X))?(X?E(X))T)?X1?E(X1)??E(??[X1?E(X1)X2?E(X2)])??X2?E(X2)??E((X1?E(X1))2),E((X1?E(X1)?(X2?E(X2))???2? ??E((X1?E(X1)?(X2?E(X2)),E((X2?E(X2)))??2??x,?x1,x2?1???2???x1,x2,?x2??同理对于多维随机变量X?[X1,X2,X3......Xn]T同理有
?X1??E(X1)??X??E(X)?2?E(X)?E(?2?)???.??.? ?????Xn??E(Xn)?Dxx?E((X?E(X))?(X?E(X))T)?E((X1?E(X1))2),E((X1?E(X1)?(X2?E(X2))...E((X1?E(X1)?(Xn?E(Xn))???2E((X1?E(X1)?(X2?E(X2)),E((X2?E(X2)))...E((X2?E(X2)?(Xn?E(Xn))????.........???2??E((X1?E(X1)?(Xn?E(Xn)).....................................................E((X1?E(X1)))??2??x,?x1,x2,......?x1,xn?1??2??x1,x2,?x2,......?x2,xn?????.....?（实对称矩阵） ??,..............?2?xn??x1,xn现在讨论多维随机变量函数的期望和方差 现在假设函数
Z?k1?X1?k2?X2?........?kn?Xn?k0,
可令
X?[X1,X2,X3......Xn]T
K?[k1,k2,k3......kn]
则函数值Z可表示为
Z?K?X?k0
则随机变量Z的期望和方差可表示为
E(Z)?E(K?X?k0)?K?E(X)?k0
Dzz?E((Z?E(Z))?(Z?E(Z))T)?E(K(X?E(X))?(K(X?E(X))T)?K?E((X?E(X))?(X?E(X))T)?KT ?K?Dxx?KT已知随机变量的方差，可以求得随机变量函数的方差这个过程称为误差传播定律。
需要注意的是协方差是相对多个变量而言的，而方差则是相对单个变量而言的
进一步讨论多维随机变量函数间的协方差
T在上面一种情景中我们对随机变量X?[X1,X2,X3......Xn]引进
了一个函数关系Z?K?X?k0，其中K?[k1,k2,k3......kn]， 现在我们对X引进另外一个函数
Y?G?X?g0，其中G?[g1,g2,g3......gn]
则有Y和Z是同一多维随机变量X的函数，它们之间必然存在着相关关系由协方差的定义可知
Cov(Y,Z)?E((Y?E(Y))?(Z?E(Z))T)?E(G(X?E(X))?(K(X?E(X)))T)?G?(E((X?E(X))?(X?E(X))T)?KT?G?Dxx?KT（2）最小二乘理论公式推导
引论：在大多数情况下，我们所感兴趣的变量不能直接得到，得不到的永远在骚动，所以我们要想尽一切办法去求得它，虽然不可以直接得到，但是能够通过待求变量和已知量之间的函数关系间接求得。
数学模型的建立要考虑到观测值和待估参数的确定性关系和随机关系，用函数模型表征这种确定性关系，用随机模型表征这种
不确定的关系。在任何估计问题中，都要考虑函数模型和随机模型，两者一起构成了高斯-马尔可夫模型。最小二乘估计的准则是参数估计使得观测值残差平方和最小。
观测方程：zi?hiX??i i=1，2……..
其中X为待估参数，一般设为一个n维列向量
X?[X1,X2,X3......Xn]T
其中i是一个n维系数行向量，?i表示第i次观测中误差。 假设经过多次观测的方程分别为
hz1?h1X??1 z2?h2X??2
.
zk?hkX??k
写成矩阵的形式表示为：
?z1??h1???1??z??h?????2???2??X??2??.??.??.? ???????zk??hk???k?函数模型：Z?H?X??
观测误差的随机特征由它的统计特征来描述，在大多数情况下观测噪声服从期望值为零的高斯分布
??N(0,D)
在函数模型中H?X为确定的部分，而?为随机部分，观测值的
最小二乘估计理论
