（重点）一元线性回归分析

一元线性回归分析

一．变量之间的关系：函数关系：确定性关系

相关关系：不确定性关系相关关系的测度：散点图

线性相关关系的测度：相关系数相关关系不等于因果关系

二．回归的含义：

回归这一术语最早来源于生物遗传学，由高尔顿（Francis Galton）引入。

回归的现代解释：回归分析是研究某一变量（因变量）与另一个或多个变量（解释变量、自变量）之间的依存关系，用解释变量的已知值或固定值来估计或预测因变量的总体平均值。

因变量：Y

自变量：X或X1，X2，…等

高尔顿的兴趣在于寻找为什么总体身高分布趋向稳定。现在我们所关心的已不是这个问题，而是想知道在已知父亲身高的情况下，儿子的身高的平均变化如何。换句话说，就是已知父亲身高来预测儿子的平均身高。

假设进行抽样试验，得以下结果：

父亲身高（X） 1.50 1.60 1.70 1.80 1.90

儿子身高（Y） 1.52 1.65 1.68 1.81 1.89

Y vs. X1.91.81.7Y1.61.51.41.51.61.7X1.81.92.0

假设进行多次抽样（5次），则对于同一个X值，会有多个Y值与之对应，即Y有多个取值。假设作出的散点图如下：

Y vs. X2.01.91.81.71.61.51.41.4

Y1.51.61.7X1.81.92.0

为了找出X与Y的关联关系，一个自然的想法是取X=Xi时，所有Y值的平均值作为对应X=Xi时Y的代表值，亦即取：

E (Y1)?E(Y/X?X1) (Y)?E(Y/X?X)E22LL对于任何一个X的可能值Xi，我们都可以相应的取： E(Y)?E(Y/X?X)

ii

当X变化时，上式左边是X的一个确定的函数，可以记为：

E(Yi)?E(Y/X?Xi)?f(Xi)于是，我们可以用一个确定的函数 E(Y)

?f(X)来大体描述Y与X之间的变化规律。

E(Y)?f(X)为Y对X的回归方程，它反映了X固定的条件下Y的平均状态的变化情况。Y对X的回归就是Y对X的条件期望函数。

三．相关分析和回归分析之间的关系

相关分析的主要目的在于度量两个变量之间的线性关系的程度。

回归分析，已如前述，我们首先并不对这种度量有兴趣，而主要是想根据一些有关变量的已知值来估计或预测某一变量的平均值。

相关分析与回归分析在技术上的区别：

相关分析同等对待任何两个变量，无自变量和因变量的区别。两个变量都假定为随机变量。

回归分析对自变量和因变量不同对待。因变量是随机变量，而自变量

是非随机的，是给定（固定）变量。四．总体回归函数

定义：每一个条件均值E（Y/X=Xi）（简写为E（Y/Xi）是Xi的一个函数，即：E(Y/Xi)?f(xi)f(xi)：总体回归函数

E(Y/Xi)?f(Xi)

设

)?f(X)?b?bXE(Y/Xii12i （线性总体回归函数） b1 ：截距（intercept）

b2：斜率系数(slope)

五．线性的意义：

变量线性：变量的幂指数为1，没有两个不同变量的乘除运算，也没有自变量作为幂指数运用。

参数线性：参数的幂指数为1。

线性回归一般指的是参数的线性，而变量可能是线性，也可能是非线性。

六．总体回归函数的整体设定：

i

设各个 Y 与其期望值的离差为：即：

ui?Yi? E(Y/Xi)Yi?E(Y/X i)?uiui