第六章 回归问题
——线性方程组求解的迭代法
6.1 回归问题
6.1.1 问题的引入
在数理统计中，把研究对象的全体称为总体，而把组成总体的每个单元称为个体，要了解总体的规律性，必须对其中的个体进行统计观测。但若对全部个体进行观测，这样能对总体有充分的了解，但实际上行不通，而且也不经济。所以对整体进行随机抽样观测，再根据抽样观察的结果来推断总体的性质成为一种重要的方法。许多数理统计建模的实际问题中，一个随机变量与另一个随机变量的关系不是线性关系，而是曲线关系，那么如何确定回归方程呢？
下表给出了某种产品每件平均单价y（元）与批量x（件）之间的关系的一组数据，试确定y与x的函数关系。
表6.1.1 已知数据
x 20 25 30 35 40 50 60 65 70 75 80 90 y 1.81 1.70 1.65 1.55 1.48 1.40 1.30 1.26 1.24 1.21 1.20 1.18 6.1.2 模型的分析
先将表6.1.1中的数据进行曲线拟合，然后根据经过拟合的曲线形状确定回归方程的次数。用MATLAB做出拟合图如下，由下图知,可建立二次回归多项式模型。
图6.1.1 散点图
6.1.3 模型的假设
136 / 18
假设上表给出的数据是真实的，且以上数据是随机抽取的可以较准确地推断
单位与批量的关系，假设单价与批量的函数关系是一个多项式函数，可用多项回归来建立模型。
6.1.4 模型的建立
根据模型的分析，可以建立多项式模型y??0??1x??2x2??,?N(0,?2)，
令x1?x,x2?x2，则回归方程可写成y??0??1x1??2x12??,?个二元线性回归模型。且?XTX???XTY，其中：
N(0,?2)，这是一
?1?1??1??1?1?1X???1??1?1??1??1??1202530354050606570758090400??1.18??1.70?625?????1.65?900????1225?1.55???1.48?1600??????0?2500??1.40? ?=??? Y??1.30??1?3600???????2??4225?1.26???1.24?4900?????1.21?5625????6400?1.20????1.18??8100??6.2 线性方程组迭代法概述
迭代法：即用某种极限过程逐步逼近线性方程组精确解的方法。迭代法具有
需要计算机存储较少、程序设计简单、原始系数矩阵在计算过程中始终不变等优点，但有收敛性或收敛速度的问题。迭代法是解大型稀疏矩阵方程组的重要方法。 迭代法能保持矩阵的稀疏性，具有计算简单、编制程序容易的优点，并在许多情况下收敛较快。故能有效地解一些高阶方程组。
迭代法的基本思想是构造一串收敛到解的序列，即建立一种从已有近似解计算新的近似解的规则。由不同的计算规则得到不同的迭代法。
A??aij?非奇异矩阵，b??b1,对线性方程组AX?b，其中，n?n,bn?。
T构造其形如x?Mx?g的同解方程组，其中M为n阶方阵，g?Rn。
任取初始向量x0?Rn，代入迭代公式x?k?1??Mx?k??g?k?0,1,2,?产生向量
kk序列x??，当k充分大时，x??作为方程组AX?b的近似解，这就是求解线性
??方程组的单步定长线性迭代法。M称为迭代矩阵。
137 / 18
6.3 迭代法 6.3.1 Jacobi迭代法
对Ax?b，设det(A)?0，aii?0(i?1n)(6.3.1)，将A改写成：
?a11?a22A??????0??0?a12?a13????0?a23???a210??????a31?a320???????????ann???an1?an2?an,n?10??????a1n??a2n????D?L?U (6.3.2) ??an?1,n?0??又将A分裂为：A?M?N，则(6.3.1)等价于Mx?Nx?b (6.3.3) 其中M应选择为一个非奇异阵，并使Mz?f容易求解。 对应(6.3.3)可构造一个迭代过程：初始向量x(0)，
x(k?1)?M?1Nx(k)?M?1b,(k?0,1,) (6.3.4)
特别地，若选取M?D，则N?M?A?L?U，从而(6.3.1)化为：
Dx?(L?U)x?b
可得：Jacobi迭代公式：x(0)（初始向量），x(k?1)?Jx(k)?f，其中：
J?D?1(L?U),f?D?1b (6.3.5)
J称为Jacobi迭代的迭代矩阵。
Jacobi迭代的分量形式：
引进记号：x?k??x1,x2,??k??k??为第k次近似，由(6.3.5)有：
x????x??,x??,x???
xn0?k?T01020nTxi?k?1???n1?k???bi??aijx?j??, i?1~n,k?0,1,aii?j?1?j?i?? (6.3.6)
Jacobi迭代公式简单，由公式(6.3.5), (6.3.6)可知，每迭代一次只需计算一次矩阵与向量乘法，计算机中只需要两组工作单元用来保存x(k)及x(k?1)且可用
x(k?1)?x(k)???来控制迭代终止。由迭代计算公式可知，迭代法一个重要特征
是计算过程中原来矩阵A数据始终不变。
例6.3.1 用Jacobi迭代法求下面线形方程组，其精确解是x*?(1,2,?1,1)T：
138 / 18
回归问题——线性方程组求解的迭代法
