(2)样本回归线的几何意义
7、经典线性回归模型(CLRM)的基本假定: 假定1:干扰项的均值为零。即,E(ui|Xi)=0
假定2:同方差性或ui的方差相等。即,Var(ui|Xi)=?2 假定3:各个干扰项无自相关。即,Cov(ui,uj|Xi,Xj)=0 假定4:ui和Xi的协方差为零。即,Cov(ui,Xi)=E(uiXi)=0 假定5: 回归模型对参数而言是线性的 假定6:ui~N(u,?2)
Xi X Y Yi ? Yi ui u?i ?+??X ?=?SRF: Y12iiPRF:E(Y|Xi)=?1+?2Xi E(Y|Xi) §2 估计问题(?和?)
一、 普通最小二乘法 1、问题: PRF:Yi=?1+?2Xi+ui
?+??X+u?+u?i=Y?i SRF:Yi=?12ii?+??X) ?=Yi-(??i=Yi-Yu12ii2
6
2?,??)=min?u?+??X)]2 ??Yminf(?=min?[-(1212iii2、正规方程(Normal equation)
由?=0,以及?=0得到的方程组称为正规方程。即,
??1??2?+???X ?Yi=n?12i ??X+???X2 ?YiXi=?12ii?f?f
二、 ?的估计 1、公式:
?和??估计值: 解上述正规方程组得到?12???2?(Xi?X)(Yi?Y)?xiyi ?22(X?X)?i?xi??Y???X ?21其中X和Y是X和Y的样本均值。
定义离差:xi=Xi-X,yi=Yi-Y。用小写字母表示对均值的离差。 2、对OLS估计量的说明
(1)OLS估计量可由观测值计算; (2) OLS估计量是点估计量;
(3)一旦从样本数据得到OLS估计值,就可画出样本回归线。
3、样本回归线的性质:
?+??X; (1) 通过Y和X的样本均值:Y=?12(2) 估计的Y的均值等于实际的Y的均值:Y?=Y;
?i的均值为零:E(u?i)=0; (3) 残差u
7
?不相关:?u?i与Y?iy?i=0; (4) 残差ui?i与Xi不相关:?u?ixi=0。 (5) 残差u
三、?2的估计
?i?u?? n?2222(xy)?ii??x??y??)??y?????(Yi?Y ?ui2?xi2i22i2i2i2i
四、最小二乘法估计的精度或标准误差
?x22X??i?)? var(?12n?xi?)?var(?2?22i
五、OLS的性质(高斯-马尔可夫定理)(补充内容)
?和??是BLUE(Best Linear Unbiased Estimator)的。OLS估计量? 12(1)线性:它是一个随机变量,如因变量Y的线性函数。
?)=?2 (2)无偏:它的均值等于真值,E(?2(3)最小方差:在所有线性无偏估计量中OLS下的估计量有最小方差。 注:有最小方差的无偏估计量叫有效估计量。
§3 拟合优度检验
拟合优度检验是指样本回归线与样本观测值之间拟合程度的检验。度量拟合程度的指标是判定系数R2。
8
Y Yi ?+??X SRF:?12i(Yi-Y)=总离差 ?i=来自残差 u? YiY ?-Y)=来自回归 (Yi O Xi X 一、 平方和公式
总平方和(TSS):?yi2??(Yi?Y)2=实测的Y值围绕其均值的总变异;
??Y?)2=估计的Y值围绕其均值的总变?i2??(Y解释平方和(ESS):?yi异;
?)2=未被解释的围绕回归线的Y值?i2??(Yi?Y残差平方和(RSS):?ui的变异。
二、 R2公式
222???y(Y?Y)uRSSESS???iii,或R2?1? R2????222TSS?yiTSS?yi?(Yi?Y)性质:0?R2?1;
三、 R2与相关系数r不同
在回归分析中,R2是一个比r更有意义的度量,因为前者告诉我们在因变量的变异中由解释变量解释的部分占怎样一个比例,因而对一个变量的变异在多大程度上决定另一个变量的变异,提供了一个总的度量。
9
§4 置信区间
?是一个点估计值,本节要解决的问题: OLS估计值?它离真实值?2有2多近?
一、 区间估计的一些基本概念
为了回答上述问题,我们试求两个正数?和?,?位于0与1之间,使
?-?,??+?)包含?的概率为1-?。用符号表示, 得随机区间(?222?-??????+?)=1-? Pr(?222这样的一个区间如果存在的话,就称为置信区间(Confidence interval);
1-?称为置信系数(Confidence coefficient);
?(0<1)称为显著(性)水平(Level of significance); 置信区间的端点称为置信限(Confidence limits);
?-?为置信下限?+?为置信上限??(Lower Confidence limit);(Upper 22Confidence limit)。
二、回归系数?1和?2的置信区间
?和??本身就是正态分布的, 在ui的正态性假定下,OLS估计量?12?????222?ui~N(0,?)??2~N(?2,~N(0,1) )?Z?222?xi?/?xi2?2来代替,则统计量t但是?2很少能知道,在实践中用无偏估计量?服从自由度为n-2的t分布:
10