www.100xuexi.com 圣才电子书 十万种考研考证电子书、题库视频学习平台
第7章 多元回归分析:估计问题
7.1 复习笔记
考点一:三变量模型:符号与假定 ★★★
1.三变量模型
三变量模型的总体回归函数(PRF)为:Yi=β1+β2X2i+β3X3i+ui。其中,β1是截距项,给出了模型中所有未包含的变量对Y的平均影响;系数β2和β3是偏回归系数。
2.模型假定(见表7-1)
表7-1 模型假定
3.对无完全共线性假定的理解
1 / 40
www.100xuexi.com 圣才电子书 十万种考研考证电子书、题库视频学习平台 (1)无完全共线性是指不存在一组不全为零的数λ2和λ3,使得λ2X2i+λ3X3i=0成立。 (2)存在完全共线性的后果
当X3i=2X2i时,回归变成:Yi=β1+(β2+2β3)X2i+ui=β1+αX2i+ui。α衡量X2与X3对Y的联合影响,从而无法估计出每个变量的单独影响。
(3)现实中的共线性问题
①当为经验分析搜集数据时,不能保证回归元之间不存在相关。 ②多重共线性并不排除变量间存在的非线性关系。
考点二:对多元回归方程的解释 ★
给定经典回归模型的假定,对Y求条件期望可得:E(Yi|X2i,X3i)=β1+β2X2i+β3X3i。因此,多元回归分析是以多个解释变量的固定值为条件的回归分析,得到的是给定回归元值时Y的平均值。
考点三:偏回归系数的含义 ★
β2度量在X3保持不变的情况下,X2每变化1单位导致E(Y)变化程度。β3度量在保持X2不变的情况下,X3每变化1单位导致E(Y)的变化程度。
考点四:偏回归系数的OLS与ML估计 ★★★★
1.OLS估计量
与方程的PRF相对应的样本回归函数为:Yi=β1+β2X2i+β3X3i+ui,其中ui是残差项。OLS估计的基本思想是选择未知参数的值使残差平方和(RSS)∑ui2尽可能小,即min∑ui2
2 / 40
∧
∧
∧
∧
∧
∧
∧
www.100xuexi.com ∧
∧
∧
圣才电子书 十万种考研考证电子书、题库视频学习平台 =∑(Yi-β1-β2X2i-β3X3i)2。可得正规方程为:
????X???X
Y??122332??YX??X??X?i2i1?2i2?2i???3?X2iX3i
2???YX??X??XX??X?i3i1?3i2?2i3i3?3i
得到β1的OLS估计量:β1=Y-β2X2-β3X3。
用小写字母表示对样本均值离差,系数β2和β3的OLS估计量为:
2yxx??i2i???3i????yix3i???x2ix3i?∧_∧_∧_
?=?2??x???x????x22i23i2ix3i?2
?=?3
2yxx??i3i???2i????yix2i???x2ix3i???x???x????x22i23i2ix3i?2
2.OLS估计量的方差和标准误
计算标准误的目的是为了建立置信区间和假设检验。有关的公式如下:
?1X2x2?X2x2?2XX?xx2?3i3?2i23?2i3i?????2var?1??222 ?n?xx?xx???2i?3i?2i3i???????var??se?11??var?2∧
??22i??
??2x?3i??x???x????x23i 3 / 40
2i3ix?2??2
等价地有:var(β2)=σ2/[∑x2i2(1-r232)]。其中r23是X2和X3的样本相关系数。
www.100xuexi.com 圣才电子书 十万种考研考证电子书、题库视频学习平台 ???var??se?22??22i??
??var?3∧
??2x?2i??x???x????x23i2ix3i?2??2
等价地:var(β3)=σ2/[∑x3i2(1-r232)]。
???var??se?33????
?, ??=cov?23在这些公式中
∧
???r23?221?r?23?2x?2i∧
2x?3i∧
σ2是
∧
ui的方差。σ2的一个无偏估计量是:σ2=∑ui2/(n-3)。其中,∑u
∧
22
i=∑yi-β2∑yix2i-β3∑yix3i。
3.OLS估计量的性质
(1)三变量回归线(面)通过样本均值Y、X2和X3。 (2)估计的Yi均值等于真实的Yi均值。 (3)
_
_
_
?u∧∧
i?ui?0。
∧
∧
(4)残差ui与X2i和X3i不相关,即∑uiX2i=∑uiX3i=0。 (5)残差ui与Yi不相关,即∑uiYi=0。
(6)当r23逐渐趋于1时,对于给定的σ2和∑x2i2或∑x3i2,β2和β3的方差不断增大。 (7)对于给定的r23和∑x2i2或∑x3i2值,OLS估计值的方差与σ2成正比。类似地,对于给定的σ2和r23值,β2的方差与∑x2i2成反比。关于β3的方差也有类似变化。
(8)偏回归系数的OLS估计量是最优线性无偏估计量(BLUE)。
4 / 40
∧
∧
∧
∧
∧
∧∧
www.100xuexi.com
4.ML估计量
圣才电子书 十万种考研考证电子书、题库视频学习平台 在随机干扰项服从零均值和同方差σ2的正态分布假定下,双变量模型回归系数的ML估计量和OLS估计量是相等的。这种关系对于包含任意多个变量的模型也适用。对于σ2的OLS估计量和ML估计量则是不一致的。不管模型中有多少个变量,σ2的ML估计量都是∑ui2/n;而OLS估计量却随变量个数的变化而变化,因为k变量模型的σ2的OLS估计量为∑ui2/(n-k)。
考点五:多元判定系数R2与多元相关系数R ★★★
在三变量模型中,Y的变异中由变量X2和X3联合所能解释的比例,被称为多元判定系数R2。因为ESS=yi=β2∑yix2i+β3∑yix3i,所以R2=ESS/TSS=(β2∑yix2i+β3∑yix3i)/∑yi2。R2和r2一样,介于0与1之间。R2越靠近1,模型“拟合”得越好。多元相关系数R度量Y和所有解释变量的共同相关程度,永远取正值。实际上,R没有多大重要性,更有意义的量是R2。
R2与多元回归模型中的偏回归系数的方差var(βj)之间的关系为:var(βj)=[σ2/(∑xj2)]·[1/(1-Rj2)]。其中βj是回归元Xj的偏回归系数,而Rj2是Xj对其余k-2个回归元进行回归的R2。
考点六:从多元回归的角度看简单回归:设定偏误初探 ★
与“真实”的多元回归相比,设定偏误会导致的后果主要包括:①参数估计值相差很多倍;②标准误不同;③截距值不同;④r2值明显不同,而随着模型中回归元个数的增加,r2值通常都会提高。可见,错误拟合一个模型将会导致严重后果。
5 / 40
∧
∧
∧
∧
∧
∧
∧
∧
∧∧