第七章 带有线性约束的多元线性回归模型及其假设检验
在本章中，继续讨论第五章的模型，但新的模型中，参数β满足J个线性约束集，Rβ=q，矩阵R有和β相一致的K列和总共J个约束的J行，且R是行满秩的，我们考虑不是过度约束的情况，因此，J＜K。
带有线性约束的参数的假设检验，我们可以用两种方法来处理。第一个方法，我们按照无约束条件求出一组参数估计后，然后我们对求出的这组参数是否满足假设所暗示的约束，进行检验，我们在本章的第一节中讨论。
第二个方法是我们把参数所满足的线性约束和模型一起考虑，求出参数的最小二乘解，尔后再作检验，后者就是参数带有约束的最小二乘估计方法，我们在本章的第二节中讨论。
第一节 线性约束的检验 从线性回归模型开始，
y?X??? （1）
我们考虑具有如下形式的一组线性约束，
r11?1?r12?2???r1K?K?q1r21?1?r22?2???r2K?K?q2
?rJ1?1?rJ2?2???rJK?K?qJ这些可以用矩阵改写成一个方程
R??q （2）
作为我们的假设条件H0。
R中每一行都是一个约束中的系数。矩阵R有和β相一致的K列和总共J个约束的J行，且R是行满秩的。因此，J一定要小于或等于K。R的各行必须是线性无关的，虽然J=K的情况并不违反条件，但其唯一决定了β，这样的约束没有意义，我们不考虑这种情况。
给定最小二乘估计量b，我们的兴趣集中于“差异”向量d=Rb－q。d精确等于0是不可能的事件（因为其概率是0），统计问题是d对0的离差是否可归因于抽样误差或它是否是显著的。
1
由于b是多元正态分布的，且d是b的一个线性函数，所以d也是多元正态分布的，若原假设为真，d的均值为0，方差为
Var[d]?Var[Rb?q]?R(Var[b])R???2R(X?X)?1R? （3）
对H0的检验我们可以将其基于沃尔德（Wald）准则：
W??2(J)?d?(Var[d])?1d
X)R?](Rb?q) （4）=(Rb?q)?[?R(X?
在假设正确时将服从自由度为J的?分布(为什么?)。
22?1?1直觉上，d越大，即最小二乘满足约束的错误越大，则?统计量越大，所以，一个大的?值将加重对假设的怀疑。
22(n?K)s2?2?e?e?2??????????M?? （5） ??????由于σ未知，（4）中的统计量是不可用的，用s2替代σ2，我们可以导出一个F[J，（n－K）]样本统计量，令
(Rb?q)?[?2R(X?X)?1R?]?1(Rb?q)/JF? （6） 22[(n?K)s/?]/(n?K)分子是（1/J）乘（4）中的W，分母是1/（n－K）乘（5）中的幂等二次型。所以，F是两个除以其自由度的卡方变量的比率。如果它们是独立的，则F的分布是F[J，（n－K）]，我们前边发现b是独立于s2分布的，所以条件是满足的。
我们也可以直接推导。利用（5）及M是幂等的这一事实，我们可以把F写为
{R(b??)/?}?[R(X?X)?1R?]?1{R(b??)/?}/JF? （7）
[M(?/?)]?[M(?/?)]/(n?K)由于
R(b??)????????R(X?X)?1X????T??
??????F统计量是(?/?)的两个二次型的比率，由于M(?/?)和T(?/?)都服从正态分布且它们的协方差TM为0，所以二次型的向量都是独立的。F的分子和分母都是独立随机向量
2
的函数，因而它们也是独立的。这就完成了证明。
消掉（6）中的两个σ2，剩下的是检验一个线性假设的F统计量，
(Rb?q)?[R(X?X)?1R?]?1(Rb?q)/JF?
?ee/(n?K)(Rb?q)?[s2R(X?X)?1R?]?1(Rb?q) （8） ?J我们将检验统计量
(Rb?q)?{R[s2(X?X)?1]R?}?1(Rb?q) F[J,n?K]?J和F分布表中的临界值相比较，一个大的F值是反对假设的证据。
注意：将wald统计量中的?用s去替代，相应的就将J维的卡方分布转换为维度为（J,n-K）的F分布。
第二节 参数带有约束的最小二乘估计 一、带有约束的最小二乘函数
在许多问题中，要求其中的未知参数β满足某特定的线性约束条件：Rβ=q，这里R是
22?，使得 J×K矩阵（J＜K），并假定它的秩为J维向量，常常希望求β的估计??Y?X?2?minY?X? （9）
{?:R??q}2满足条件（9）的称为β的具有线性约束Rβ=q的最小二乘估计。
?的问题实际上是在约束条件 解?Rβ=q
下求 f?Y?X?的限制极值点问题。
这个问题的一个拉格朗日解可写作
2m?????Y?x??i?ijj?? i?1?j?1?n2S*?(y?X?)?(y?X?)?2??(R??q)
解b*和λ将满足必要条件
3
?S*??2X?(y?Xb*)?2R???0 ???S*?2(Rb*?q)?0 ??展开可以得到分块矩阵方程
?X?X?R?或
R???b*??X?y??????q? 0??????Wd*=v
假定括号中的分块矩阵是非奇异的，约束最小二乘估计量
d*=W-1v
?b*? ???
???where
W?1?(X'X)?1?(X'X)?1R'(R(X'X)?1R')?1R(X'X)?1???(R(X'X)?1R')?1R(X'X)?1?
(X'X)?1R'(R(X'X)?1R')?1???1?1??(R(X'X)R')?的解。此外，若X′X是非奇异的，则用分块逆公式可以得到b*和λ的显示解
b*?(X'X)?1X'y?(X'X)?1R'(R(X'X)?1R')?1R(X'X)?1X'y?(X'X)?1R'(R(X'X)?1R')?1q?(X'X)?1X'y?(X'X)?1R'(R(X'X)?1R')?1R(X'X)?1X'(Xb?e)?(X'X)?1R'(R(X'X)?1R')?1q?(X'X)?1X'y?(X'X)?1R'(R(X'X)?1R')?1Rb?(X'X)?1R'(R(X'X)?1R')?1q?b?(X?X)?1R?[R(X?X)?1R?]?1(Rb?q)
和
??[R(X?X)?1R?]?1(Rb?q)
格林和西克斯（1991）表明b*的协方差矩阵简单地就是?乘以W-1的左上块，在X′X是非奇异的通常情况下，再一次可以得到一个显性公式
2Var[b*]??2(X?X)?1??2(X?X)?1R?[R(X?X)?1R?]?1R(X?X)?1，
4
这样，
， Var[b*]?Var[b]?（一个非负定矩阵）
Var[b*]的方差比Var[b]小的一个解释是约束条件提供了更多的信息价值。
二、对约束的检验的另一个方法
?e*。 令e*?y?Xb*，我们来计算新的离差平方和e*e*?y?Xb?X(b*?b)?e?X(b*?b)
则新的离差平方和是
?e*?e?e?(b*?b)?X?e*X(b*?b)?e?e
e'e2~?n?k
e*'e*?2?22~?n?(k?J)
因为新的模型中参数的个数为k-J个，J个榆树条件是原模型中的J个参数可以被其他k-J个表示。
（此表达式中的中间项含有X′e，它是0）。这说明我们可以将一个约束检验基于拟合的损失。这个损失是，
?e*?e?e?(Rb?q)?[R(X?X)?1R?]?1(Rb?q) e*这出现在前边推导的F统计量的分子上，我们得到统计量的另一个可选形式。 可选形式是
F[J,n?K]?2?e*?e?e)/J(e*
e?e/(n?K)最后，以SST=?(y?y)除F的分子和分母，我们得到第三种形式，
F[J,n?K]?(R2?R*2)/J(1?R2)/(n?K)
由于两个模型的拟合之差直接体现在检验统计量中，这个形式具有一些直观吸引力。
[实例]对数变换生产函数
所有科布—道格拉斯模型的一般化是如下的对数变换模型，
5
第七章 带有线性约束的多元线性回归模型及其假设检验(金融计量-浙大 蒋岳祥)
