实用标准文案
1最小二乘法的理论基础
1.1最小二乘法
设单输入单输出线性定长系统的差分方程表示为：
其中δ(k)为服从N(0,1)的随机噪声,现分别测出n+N个输出输入值y(1),y(2),…,y(n+N),u(1),u(2),…,u(n+N),则可写出N个方程，写成向量－矩阵形式n??y?n?1????y?
y?k???a1y?k?1??a2y?k?2??L?any?k?n??b0u?k??b1u?k?1??L?bnu?k?n????k????yn?2L???????y?n?1??M??M???yn?N?????????y?n?N?1?L?a1??M???n?1???????an????n?2???????M??b0???M????n?N?????????bn??L?y?1??y?2?u?n?1?u?n?2?M?y?N?u?n?N?u?1???Lu?2????M?Lu?N???L精彩文档
实用标准文案
(4.1.1)
?a1??M??y?n?1?????n?1??????????yn?2a?n?2????n?,????,????y????M?b0?M???????M?yn?N?n?N????????????????bn??L??y?n???y?n?1?L????M????y?n?N?1?L?y?1??y?2?u?n?1?u?n?2?Mu?1???Lu?2???M?Lu?N???L?y?N?u?n?N????则式(1.1.1)可写为 y ? ? （4.1.2）
式中：y为N维输出向量；ξ为N为维噪声向量；θ为（2n+1）维参数向量；Φ为N×（2n+1）测量矩阵。因此，式（4.1.1）是一个含有（2n+1）个未知参数，由N个方程组成的联立方程组。
????1y???1?
在给定输出向量y和测量矩阵Φ的条件下求参数θ的估计，这就是系统辨识问题。
设 ? 表示 ? 的估计值，?表示y的最优估计，则有 （4.1.3） 式中：
??????y?1??a?M??yn?1??????????n?y?n?2????a???y,????? ??M?b0????M??yn?N???????????bn??精彩文档
实用标准文案
设e(k)=y(k)- ?(k), e(k)称为残差，则有e=y- ?=y-Φθ 最小二乘估计要求残差的平方和最小，即按照指数函数
T?J?ee?y??????y?????T（4.1.4）
求Ｊ对 的偏导数并令其等于0可得：
???J??0??2?Ty???????????Ty?T??由式（4.1.5）可得的 ? 最小二乘估计：
（4.1.5）
????T???Ty??1（4.1.6）
J为极小值的充分条件是：
即矩阵ΦTΦ为正定矩阵，或者说是非奇异的。 1.1.1最小二乘法估计中的输入信号
当矩阵ΦTΦ的逆阵存在是，式（1.1.6）才有解。一般地，如果u(k)是随机序列或伪随机二位式序列，则矩阵ΦTΦ是非奇异的，即（ΦTΦ）－1存在，式（1.1.6）有解。 现在从ΦTΦ必须正定出发，讨论对u(k)的要求。
?2JT????02??????Tn?N?1?k?n??yy???uy?yu??uu??（4.1.7）
当N足够大时有
?Ry1TW.P.1???????N?RyuRuy??RRu??（4.1.8）
精彩文档
实用标准文案
如果矩阵ΦTΦ正定，则Ru是是对称矩阵，并且各阶主子式的行列式为正。当N足够大时，矩阵Ru才是是对称的。
由此引出矩阵ΦTΦ正定的必要条件是u(k)为持续激励信号。如果序列{u(k)}的n+1阶方阵Ru是正定的，则称{u(k)}的n+1阶持续激励信号。 下列随机信号都能满足Ru正定的要求 1. 有色随机信号 2. 伪随机信号 3.
白噪声序列
1.1.2最小二乘估计的概率性质 最小二乘估计的概率性质 1） 无偏性
由于输出值y是随机的，所以?)是随机的，但注意θ不是随机值。
如果E?????E?????，则称??是?无偏估计 2）一致性
估计误差?)的方差矩阵为
??2???1??1Var????NE?????N?T??????2lim??1N??Var??lim?N??NR?0,w.p.1上式表明当N→∞时，?)以概率1趋近于θ。
当ξ(k)为不相关随机序列时，最小二乘估计具有无偏性和一致性 3)有效性
如果式（1.1.2）中的ξ的均值为0且服从正态分布的白噪声向量，则最小二乘参数估计值 估计偏差的方差达到Cramer-Rao不等式的下界，即
精彩文档
（4.1.9）
为有效值，参数
?? 实用标准文案
?12T?Var???E?????M?1??（4.1.10）
式中M为Fisher矩阵，且
4）渐近正态性
??????lnpy/?M?E??????????????T???lnpy/??????????????????（4.1.11）
?服从正态分布，如果式（4.1.2）中的ξ是均值为0且服从正态分布的白噪声向量，则最小二乘参数估计值?即
?:N?,?2E??T??????1??（4.1.2）
1.2递推最小二乘法
为了实现实时控制，必须采用递推算法，这种辨识方法主要用于在线辨识 设已获得的观测数据长度为N，则
估计方差矩阵为 式中 于是
?12T%Var?????N?N???2PNYN??N???N（4.2.1）
????T???TY?NNNN?1NPN????N?TN?1??N?PN?TNYN如果再获得1组新的观测值，则又增加1个方程
得新的参数估计值 式中
精彩文档
T????N?PN?1???T??N?1????TyN?1??N?1???N?1??P??TY??y??N?1N?1NNN?1N?1??N???1??1T?P???????T??NN?1N?1N?1?????1
应用最小二乘一次完成法和递推最小二乘法算法地系统辨识
