概率论与数理统计第七章 参数估计

第七章 参数估计

参数估计是数理统计研究的主要问题之一. 假设总体X~N（μ，σ2），μ，σ2是未知参数，X1，X2，…，Xn是来自X的样本，样本值是x1，x2，…，xn，我们要由样本值来确定μ和σ2的估计值，这就是参数估计问题，参数估计分为点估计（Point estimation）和区间估计(Interval estimation).

第一节 点估计

所谓点估计是指把总体的未知参数估计为某个确定的值或在某个确定的点上，故点估计又称为定值估计.

定义7.1 设总体X的分布函数为F（x，θ），θ是未知参数，X1，X2，…，Xn是X的一样本，样本值为x1，x2，…，xn，构造一个统计量（X1，X2，…，Xn），用它的观察值 （x1，x2，…，xn）作为θ的估计值，这种问题称为点估计问题.习惯上称随机变量（X1，X2，…，Xn）为θ的估计量,称（x1，x2，…，xn）为的估计值.

构造估计量（X1，X2，…，Xn）的方法很多，下面仅介绍矩法和极大似然估计法. 1.矩法

矩法（Moment method of estimation）是一种古老的估计方法.它是由英国统计学家皮尔逊（K.Pearson）于1894年首创的.它虽然古老，但目前仍常用.

矩法估计的一般原则是：用样本矩作为总体矩的估计，若不够良好，再作适当调整. 矩法的一般作法：设总体X~F（X；θ1,θ2，…，θl）其中θ1,θ2,…,θl均未知. （1） 如果总体X的k阶矩μk=E(Xk) (1≤k≤l)均存在，则

μk=μk(θ1,θ2,…,θl)，（1≤k≤l）.

??1(?1,?2,?,?l)A1,??(?,?,?,?)A,?212l2(2) 令?

??????l(?1,?2,?,?l)Al.其中Ak（1≤k≤l）为样本k阶矩.

?,?????求出方程组的解?12,?,?l,我们称?k??k(X1,X2,?,Xn)为参数θk(1≤k≤l)的矩估????(x,x,?,x)为参数θk的矩估计值. 计量, ?kk12n例7.1 设总体X的密度函数为：

?(??1)x?,0?x?1,(???1),f（x）=?

其他.?0,其中α未知，样本为（X1，X2，…，Xn），求参数α的矩法估计.

解 A1=X.由μ1=A1及

??1μ1=E（X）=

???xf(x)dx??x(??1)x?dx?0??1， ??2有X???11?2X??，得?.

??2X?1例7.2 设X~N（μ，σ2），μ，σ2未知，试用矩法对μ，σ2进行估计. 解

?1n?1?E(X)?A1??Xi,??ni?1 ?n1??2?E(X2)?A2??Xi2.?ni?1?又 E(X)=μ, E(X2)=D(X)+(EX)2=σ2+μ2,

??X,??2?A2???2?那么 ?序号 分数 n?12S.. n例7.3 在某班期末数学考试成绩中随机抽取9人的成绩.结果如下：

1 2 3 4 5 6 7 8 9 94 89 85 78 75 71 65 63 55 试求该班数学成绩的平均分数、标准差的矩估计值.

解 设X为该班数学成绩，μ=E（X）,σ2=D（X）

191x??xi?(94?89???55)=75;

9i?19?82?819s????(xi?x)2?9?98i?1?1/2=12.14.

?19??E(X)?A1??Xi,??19i?1 ?912??2?E(X2)?A2??Xi.?9i?1?由于E（X2）=D（X）+（EX）2=σ2+μ2，那么，

??X,??2?A2???2?A2?(x)2?S2. ?89??x=75分，标准差的矩估计值所以，该班数学成绩的平均分数的矩估计值????82s=12.14. 9作矩法估计时无需知道总体的概率分布，只要知道总体矩即可.但矩法估计量有时不惟

一，如总体X服从参数为λ的泊松分布时，X和B2都是参数λ的矩法估计.

2.极（最）大似然估计法

极大似然估计法(Maximum likelihood estimation)只能在已知总体分布的前提下进行，为了对

它的思想有所了解，我们先看一个例子.

例7.4 假定一个盒子里装有许多大小相同的黑球和白球，并且假定它们的数目之比为3∶1，但不知是白球多还是黑球多，现在有放回地从盒中抽了3个球，试根据所抽3个球中黑球的数目确定是白球多还是黑球多.

解 设所抽3个球中黑球数为X，摸到黑球的概率为p，则X服从二项分布

kk

P{X=k}=C3p（1-p）3-k， k=0，1，2，3.

问题是p=1/4还是p=3/4？现根据样本中黑球数，对未知参数p进行估计.抽样后，共有4种

可能结果，其概率如表7-1所示.

表7-1 X p=1/4时，P{X=k} p=3/4时，P{X=k} 0 27/64 1/64 1 27/64 9/64 2 9/64 27/64 3 1/64 27/64 假如某次抽样中，只出现一个黑球，即X=1，p=1/4时，P{X=1}=27/64；p=3/4时，P{X=1}=9/64，这时我们就会选择p=1/4，即黑球数比白球数为1∶3.因为在一次试验中，事件“1个黑球”发生了.我们认为它应有较大的概率27/64（27/64＞9/64），而27/64对应着参数p=1/4，同样可以考虑X=0，2，3的情形，最后可得

?1?4,当x?0,1时,p=?

3?,当x?2,3时.?4（1） 似然函数

在极大似然估计法中，最关键的问题是如何求得似然函数（定义下文给出），有了似然函数，问题就简单了，下面分两种情形来介绍似然函数. （a） 离散型总体

设总体X为离散型，P{X=x}=p（x，θ），其中θ为待估计的未知参数，假定x1，x2，…，xn为样本X1，X2，…，Xn的一组观测值.

P{X1=x1，X2=x2，…，Xn=xn}=P{X1=x1}P{X2=x2}…P{Xn=xn}

=p（x1，θ）p（x2，θ）…p（xn，θ）

=

n?p(x,?).

ii?1n将

，即 ?p(x,?)看作是参数θ的函数，记为L（θ）

ii?1nL（θ）=

?p(x,?). （7.1）

ii?1（b） 连续型总体

设总体X为连续型，已知其分布密度函数为f（x，θ），θ为待估计的未知参数，则样本（X1，X2，…，Xn）的联合密度为：

f（x1，θ）f（x2，θ）…f（xn，θ）=

?f(x,?).

ii?1n

将它也看作是关于参数θ的函数，记为L（θ），即

L（θ）=

?f(x,?). （7.2）

ii?1n由此可见：不管是离散型总体，还是连续型总体，只要知道它的概率分布或密度函数，我们总可以得到一个关于参数θ的函数L（θ），称L（θ）为似然函数.

(2) 极大似然估计

极大似然估计法的主要思想是：如果随机抽样得到的样本观测值为x1，x2，…，xn，则我们应当这样来选取未知参数θ的值，使得出现该样本值的可能性最大，即使得似然函数L(θ)取最大值，从而求参数θ的极大似然估计的问题，就转化为求似然函数L（θ）的极值点的问题，一般来说，这个问题可以通过求解下面的方程来解决

dL(?)?0. （7.3）

d?然而，L（θ）是n个函数的连乘积，求导数比较复杂，由于ln L（θ）是L（θ）的单调增函数，所以L（θ）与ln L（θ）在θ的同一点处取得极大值.于是求解（7.3）可转化为求解

dlnL(?)?0.（7.4） d?

称ln L（θ）为对数似然函数，方程（7.4）为对数似然方程，求解此方程就可得到参数θ的估计值.

如果总体X的分布中含有k个未知参数：θ1，θ2，…，θk，则极大似然估计法也适用.此时，所得的似然函数是关于θ1，θ2，…，θk的多元函数L（θ1，θ2，…，θk），解下列方程组，就可得到θ1，θ2，…，θk的估计值,

??lnL(?1,?2,?,?k)?0,???1???lnL(?1,?2,?,?k)?0, （7.5） ???2?????lnL(?1,?2,?,?k)?0.???k?例7.5 在泊松总体中抽取样本，其样本值为：x1，x2，…，xn，试对泊松分布的未知

参数λ作极大似然估计.

解 因泊松总体是离散型的，其概率分布为：

P{X=x}=

故似然函数为：

L（λ）=

?xx!e??,

?x!i?1in?xie???e??n??i?1?xin??i?1nn1. xi!ln L(λ)=?n???xln??ln?(x!),

iii?1i?1n

dln(?)1n??n??xi. d??i?1dln?1n令=0，得： ?n??xi=0.

d??i?11n???X（为了和λ的矩法估计区别起所以?L??xi?x，λ的极大似然估计量为?Lni?1?）. 见，我们将λ的极大似然估计记为?L例7.6 设一批产品含有次品，今从中随机抽出100件，发现其中有8件次品，试求次

品率θ的极大似然估计值.

解 用极大似然法时必须明确总体的分布，现在题目没有说明这一点，故应先来确定总体的分布.

设 Xi=??1,第i次取次品，i?1,2,?,100,

0,第i次取正品，?表7-2 则Xi服从两点分布： Xi P 1 θ 0 1-θ 设x1，x2，…，x100为样本观测值，则： p（xi，θ）=P{Xi=xi}=θ xi（1-θ）1-xi，

xi=0，1，

故似然函数为：

L（θ）=

100??i?1i100100xi(1??)1?xi??i?1(1??)?xi100??xii?1100

由题知：

?x =8，

i?1所以 L（θ）=θ8（1-θ）92. 两边取对数得：

ln L（θ）=8lnθ+92ln（1-θ）.

对数似然方程为：

dlnL(?)892??=0.

d??1???=0.08. 解之得θ=8/100=0.08.所以?L例7.7 设x1，x2，…，xn为来自正态总体N（μ，σ2）的观测值，试求总体未知参数

μ，σ2的极大似然估计.

解 因正态总体为连续型，其密度函数为