第六章 回归问题
——线性方程组求解的迭代法
6.1 回归问题
6.1.1 问题的引入
在数理统计中,把研究对象的全体称为总体,而把组成总体的每个单元称为个体,要了解总体的规律性,必须对其中的个体进行统计观测。但若对全部个体进行观测,这样能对总体有充分的了解,但实际上行不通,而且也不经济。所以对整体进行随机抽样观测,再根据抽样观察的结果来推断总体的性质成为一种重要的方法。许多数理统计建模的实际问题中,一个随机变量与另一个随机变量的关系不是线性关系,而是曲线关系,那么如何确定回归方程呢?
下表给出了某种产品每件平均单价y(元)与批量x(件)之间的关系的一组数据,试确定y与x的函数关系。
表6.1.1 已知数据
x 20 25 30 35 40 50 60 65 70 75 80 90 y 1.81 1.70 1.65 1.55 1.48 1.40 1.30 1.26 1.24 1.21 1.20 1.18 6.1.2 模型的分析
先将表6.1.1中的数据进行曲线拟合,然后根据经过拟合的曲线形状确定回归方程的次数。用MATLAB做出拟合图如下,由下图知,可建立二次回归多项式模型。
图6.1.1 散点图
6.1.3 模型的假设
136 / 18
假设上表给出的数据是真实的,且以上数据是随机抽取的可以较准确地推断
单位与批量的关系,假设单价与批量的函数关系是一个多项式函数,可用多项回归来建立模型。
6.1.4 模型的建立
根据模型的分析,可以建立多项式模型y??0??1x??2x2??,?N(0,?2),
令x1?x,x2?x2,则回归方程可写成y??0??1x1??2x12??,?个二元线性回归模型。且?XTX???XTY,其中:
N(0,?2),这是一
?1?1??1??1?1?1X???1??1?1??1??1??1202530354050606570758090400??1.18??1.70?625?????1.65?900????1225?1.55???1.48?1600??????0?2500??1.40? ?=??? Y??1.30??1?3600???????2??4225?1.26???1.24?4900?????1.21?5625????6400?1.20????1.18??8100??6.2 线性方程组迭代法概述
迭代法:即用某种极限过程逐步逼近线性方程组精确解的方法。迭代法具有
需要计算机存储较少、程序设计简单、原始系数矩阵在计算过程中始终不变等优点,但有收敛性或收敛速度的问题。迭代法是解大型稀疏矩阵方程组的重要方法。 迭代法能保持矩阵的稀疏性,具有计算简单、编制程序容易的优点,并在许多情况下收敛较快。故能有效地解一些高阶方程组。
迭代法的基本思想是构造一串收敛到解的序列,即建立一种从已有近似解计算新的近似解的规则。由不同的计算规则得到不同的迭代法。
A??aij?非奇异矩阵,b??b1,对线性方程组AX?b,其中,n?n,bn?。
T构造其形如x?Mx?g的同解方程组,其中M为n阶方阵,g?Rn。
任取初始向量x0?Rn,代入迭代公式x?k?1??Mx?k??g?k?0,1,2,?产生向量
kk序列x??,当k充分大时,x??作为方程组AX?b的近似解,这就是求解线性
??方程组的单步定长线性迭代法。M称为迭代矩阵。
137 / 18
6.3 迭代法 6.3.1 Jacobi迭代法
对Ax?b,设det(A)?0,aii?0(i?1n)(6.3.1),将A改写成:
?a11?a22A??????0??0?a12?a13????0?a23???a210??????a31?a320???????????ann???an1?an2?an,n?10??????a1n??a2n????D?L?U (6.3.2) ??an?1,n?0??又将A分裂为:A?M?N,则(6.3.1)等价于Mx?Nx?b (6.3.3) 其中M应选择为一个非奇异阵,并使Mz?f容易求解。 对应(6.3.3)可构造一个迭代过程:初始向量x(0),
x(k?1)?M?1Nx(k)?M?1b,(k?0,1,) (6.3.4)
特别地,若选取M?D,则N?M?A?L?U,从而(6.3.1)化为:
Dx?(L?U)x?b
可得:Jacobi迭代公式:x(0)(初始向量),x(k?1)?Jx(k)?f,其中:
J?D?1(L?U),f?D?1b (6.3.5)
J称为Jacobi迭代的迭代矩阵。
Jacobi迭代的分量形式:
引进记号:x?k??x1,x2,??k??k??为第k次近似,由(6.3.5)有:
x????x??,x??,x???
xn0?k?T01020nTxi?k?1???n1?k???bi??aijx?j??, i?1~n,k?0,1,aii?j?1?j?i?? (6.3.6)
Jacobi迭代公式简单,由公式(6.3.5), (6.3.6)可知,每迭代一次只需计算一次矩阵与向量乘法,计算机中只需要两组工作单元用来保存x(k)及x(k?1)且可用
x(k?1)?x(k)???来控制迭代终止。由迭代计算公式可知,迭代法一个重要特征
是计算过程中原来矩阵A数据始终不变。
例6.3.1 用Jacobi迭代法求下面线形方程组,其精确解是x*?(1,2,?1,1)T:
138 / 18
回归问题——线性方程组求解的迭代法
![](/skin/haowen/images/icon_star.png)
![](/skin/haowen/images/icon_star.png)
![](/skin/haowen/images/icon_star.png)
![](/skin/haowen/images/icon_star.png)