浙江工商大学金融学院姚耀军讲义系列
第二讲 普通最小二乘估计量 一、基本概念:估计量与估计值
对总体参数的一种估计法则就是估计量。例如,为了估计总体均值为u,我们可以抽取一个容量为N的样本,令Yi为第i次观测值,则u的一个很自然的
??Y?估计量就是u?Y。A、B两同学都利用了这种
iNA估计方法,但手中所掌握的样本分别是(y1A,y2A,...,yN)B与(y1B,y2B,...,yN)。A、B两同学分别计算出估计值
?A?u?yiAN?B?与u?yiBN? 。因此,在上例中,估计量u?A,u?B是该随机变量可能的取值。是随机的,而u估计量
所服从的分布称为抽样分布。
如果真实模型是:y??0??1x??,其中?0,?1是待估计的参数,而相应的OLS估计量就是:
???1?(x?x)y?(x?x)i2ii??y???x ;?01我们现在的任务就是,基于一些重要的假定,来考察上述OLS估计量所具有的一些性质。
二、高斯-马尔科夫假定
1
浙江工商大学金融学院姚耀军讲义系列
●假定一:真实模型是:y??0??1x??。有三种
情况属于对该假定的违背:(1)遗漏了相关的解释变量或者增加了无关的解释变量;(2)y与x间的关系是非线性的;(3)?0,?1并不是常数。
●假定二:在重复抽样中,(x1,x2,...,xN)被预先固定
下来,即(x1,x2,...,xN)是非随机的(进一步的阐释见附录),显然,如果解释变量含有随机的测量误差,那么该假定被违背。还存其他的违背该假定的情况。
笔记:
(x1,x2,...,xN)是随机的情况更一般化,此时,高斯-马尔科夫假定二被更改为:对任意i,j,xi与?j不相关,此即所谓的解释变量具有严格外生性。显然,当(x1,x2,...,xN)非随机时,xi与?j必定不相关,这是因为?j是随机的。
●假定三:误差项期望值为0,即
E(?i)?笔记:
1、当(x1,x2,...,xN)随机时,标准假定是:
E(?ix1,x2,...,xN)?0,i?1,2,...,N
0i?,1,。N2
根据迭代期望定律有:E[E(?ix1,x2,...,xN)]?E(?i),因
此,如果E(?ix1,x2,...,xN)?0成立,必定有:E(?i)?0。
2
浙江工商大学金融学院姚耀军讲义系列
另外,根据迭代期望定律也有:
E[E(?ixjx1,x2,...,xN)]?E(?ixj)
而E(?ixjx1,x2,...,xN)?xjE(?ix1,x2,...,xN)。故有:?E(?i)?0E(?ix1,x2,...,xN)?0???E(?ixj)?0?Cov(?i,xj)?E(?ixj)?E(?i)E(xj)?0
因此,在(x1,x2,...,xN)是随机的情况下,假定二、三可以
修正为一个假定:E(?ix1,x2,...,xN)?0。
2、所谓迭代期望定律是指:如果信息集???,则有
?)?]?E[E(XE(X?)。为了理解上述等式,考虑一个极端
情况:?包含了全部的信息,此时X丧失了随机性,故
E(X?)?X,因此必有E[E(X?)?]?E(X?)。无条件期
望所对应的信息集是空集,因此E[E(X?)]?E(X)。
3、回忆第一讲,对模型y??0??1x??,在OLS法下
我们一定能保证:(1)残差均值为零;(2)残差与x样本不相关。残差是对误差的近似,如果假定二、三不成立,即误差项与解释变量相关,误差项期望值不为零,显然此时残差并不是对误差项的有效的近似,换句话说,此时OLS估计量是有严重问题的。因此,假定二、三非常重要。
●假定四:??2??2,即所谓的同方差假定。
i笔记:
3
浙江工商大学金融学院姚耀军讲义系列
在(x1,x2,...,xN)是随机的情况下,该假定修订为:
Var(?ix1,x2,...,xN)??
2●假定五:Cov(?i,?j)?0,i?j,即所谓的序列不
相关假定。
笔记:
在(x1,x2,...,xN)是随机的情况下,该假定修订为:
Cov(?i,?jx1,x2,...,xN)?0 ,i?j
●假定六:?(xi?x)2?0,在多元回归中,该假
定演变为X?X的逆存在,即各解释变量不完全共线。
三、高斯-马尔科夫定理
当高斯-马尔科夫假定成立时,在所有线性无偏估计量中,OLS估计量方差最小。或者说,OLS估计量是最优线性无偏估计量(best linear unbiased estimator,BLUE)。这被称为高斯-马尔科夫定理。 (一)OLS估计量是线性估计量
所谓OLS估计量是线性估计量,是指它能够被表示为yi的线性函数。例如:
??[?1?xi?x?(xi?x)2]yi??kiyi
注意,在假定二下,ki是非随机的。
4
浙江工商大学金融学院姚耀军讲义系列
?表示成y的线性函数。 练习:把?0i笔记:
线性意味着简单,简单意味着普通。因此有称谓“普通最小二乘法”。二乘即为平方,故OLS即为“简单的最小平方法”。
?)?? ?)??;E(?(二)OLS估计量具有无偏性:E(?0011?)??: 证明E(?11??[?1?xi?x?(xi?x)2]yi??kiyi??ki(???1xi??i)
0?)???E(?k??1?kixi??kiE(?i)
0?i1而?ki?0;?kixi?1。因此在重要假定三:E(?i)?0
?)??。 下,有:E(?11笔记:
在(x1,x2,...,xN)是随机的情况下,我们需证:
?x,x,...,x)?? E(?112N1
?)?? 练习:证明E(?00(三)在所有线性无偏估计量中,OLS估计量方差最小
5