第三章 习 题
1．甲乙两人进行某种比赛，设每局比赛中甲胜的概率为p，乙胜的概率为q，平局的概率
为r，其中p,q,r?0,p?q?r?1，设每局比赛后，胜者得1分，负者得?1分，平局不记分，当两个人中有一个人得到2分时比赛结束，以Xn表示比赛至第n局时甲获得的分数，则{Xn,n?1}是一齐冯马尔可夫链.
（1）写出状态空间；
（2）求一步转移概率矩阵；
（3）求在甲获得1分的情况下，再赛2局甲胜的概率. 解（1）{Xn,n?0}的状态空间为
S?{?2,?1,0,1,2}
（2）{Xn,n?0}的一步转移概率矩阵为
??10000?qrp00?P????0qrp0???00qrp? ???00001??（3）因为两步转移概率矩阵为
??1000q?rqr2?pq2prp2P(2)?P2???q22rqr2??2pq2pr?0q22qrpq?r2??0000所以在甲获得1分的情况下，再赛2局甲胜的概率为
p(2)12?p?pr?p(1?r)
2．设{Yi,i?1,2,L}为相互独立的随机变量序列，则 （1）{Yi,i?1,2,L}是否为Markov链？ n（2）令Xn??Yi，问{Xi,i?1,2,L}是否为Markov链？
i?1解（1）由于
0?0?p2??
p?pr??1?? P(Yn?jY1?i1,Y2?i2,L,Yn?1?i)??P(Y1?i1,Y2?i2,L,Yn?1?i,Yn?j)P(Y1?i1,Y2?i2,L,Yn?1?i)P(Y1?i1)P(Y2?i2)LP(Yn?1?i)P(Yn?j)?P(Yn?j)?P(Yn?jYn?1?i)P(Y1?i1,Y2?i2,L,Yn?1?i)因此，{Yn,n?1,2,L}是马尔可夫链.
（2）取f1(U1)?X1?U1，当U1?i1时，X2?U1?U2是U2的函数，记为f2(U2).依次类推，Xn?1?U1?U2?L?Un?1为Un?1的函数，记为fn?1(Un?1),Xn?U1?U2?L?Un为Un的函数，记为fn(Un).由于U1,U2,L,Un,L相互独立，则其相应的函数
f1(U1),f2(U2),L,fn(Un),L也相互独立，从而
P(Xn?jX1?i1,X2?i2,L,Xn?1?i)?P(?Yi?jX1?i1,X2?i2,L,Xn?1?i)i?1n?P(Xn?1?Yn?jX1?i1,X2?i2,L,Xn?1?i)?P(Yn?j?i)?P(Xn?jXn?1?i)因此{Xn,n?1,2,L}是马尔可夫链.
3 设Xi,i?1,2,L是相互独立的随机变量，且使得P(Xi?j)?aj,j?0,1,L，如果
Xn?max{Xi,i?1,2,L,n?1}，其中X0???，就称在时刻n产生了一个记录.若在时刻n产生了一个记录，就称Xn为记录值，以Rn表示第n个记录值. （1）证明，{Rn,n?1,2,L}是Markov链，并求其转移概率；
（2）以Ti表示第i个与第i?1记录之间的时间，问{Tn,n?1,2,L}是否是Markov链，若是，则计算其转移概率.
证明：（a）根据题意有：R1?Xn1,R2?Xn2,....Rk?Xnk，……满足
Xn1?Xn2....?Xnk.... 且1?n1?n2....?nk....
故P{Rk?1?z|Rk?ik,Rk?1?ik?1,...R1?i1}?P{Rk?1?z|j?ik?ik?1?...?i1} ?P{Rk?1?z|j?ik}?P{Rk?1?z|Rk?ik} 故{Ri,i?1}是一个马尔可夫链且
?aj,j?i P{Rk?1?z|Rk?ik}?P{Xnk?1?z|Xnk?ik}???0,j?i（由于Xi的独立性）
（b）记Ti为第i个记录与第i?1个记录之间的时间，Ti是相互独立的随
机变量，因为
P{Ti?t}?P{Ri?1?Xni?t?z|Ri?Xni?i,且Xni?k?i,k?1,2...,t?1}
?P{Ri?1?Xni?t?aj,j?i?z}=?（由于Xi的独立性）
?0,j?i故{Ti，i?1}是一个马尔可夫链 令Zi?(Ri,Ti),i?1 则P?Zi?1Zi,Zi?1,…,Z1?
?P?(Ri?1,ti?1)(Ri,ti),(Ri?1,ti?1),…,(R1,t1)?
?P(X1?t1?…+ti?1,ti?1)(X1?t1??+ti,ti),(X1?t1??+ti?1,ti?1),…,(X1?t1?t2,t2),(X1,t1) ?P(X1?t1?…+ti?1,ti?1)(X1?t1??+ti,ti)? ?P(X1?t1?…+ti?1?z,ti?1)(X1?t1??+ti?i,ti)?
??????j,j?i?? ?0,j?i故?(Ri,Ti),i?1?是一个马尔可夫链。
4考虑一个具有状态0,1,2,L的Markov链，其转移概率满足pi,i?1?pi?1?pi,i?1，其中
p0?1，请找出为了使该Markov链正常返，所有的pi所应该满足的充要条件，并计算其在
这种情况下的转移概率.
解：根据题意知，要满足马尔可夫链为正常返约，当且仅当
??j???iPy j=0，1，2...
i有一组解?j>0, ??j?1
j根据Pi,i?1?Pi?1?Pi,i?1 ，方程可重写为
?0??1q1
?i??i?1Pi?1??i?1qi?1,i?1 则
?i?1qi?1??iPi,i?0 因此?i?1??0P0....Pi,i?0
q1....qi?1?从而，随机游动为正常返约的充要条件是?i?0P0....Pi??
q1....qi?1
5 捕捉苍蝇的一只蜘蛛依循一个Markov链在位置1，2之间移动，其初始位置是1，转移矩阵为??0.40.6??0.70.3?，未觉察到蜘蛛的苍蝇的初始位置是2，并依照转移矩阵为??的?0.60.40.30.7????Markov链移动，只要它们在同一个位置相遇，蜘蛛就会捉住苍蝇而结束捕捉.
（1）证明：在捕捉的过程中，除非知道它结束的位置，否则都必须用三个状态的Markov链来描述，其中一个是吸收状态，表示结束捕捉，另外两个代表蜘蛛与苍蝇处在不同位置，对此求转移矩阵；
（2）求在时刻n蜘蛛与苍蝇都处在各自初始位置的概率； （3）求捕捉过程的平均持续时间.
证明：捕捉过程中，除非知道它结束时的位置，可用三个状态的马尔可夫链来描述，其中一个是吸收状态代表捕捉结束，而另外的两个代表植蜘蛛与苍蝇处在不同的位置，对此链求转移概率矩阵。
求在时刻n蜘蛛与苍蝇都处于各自的出事位置的概率，捕捉过程的平均持续时间是多少？
解：（1）根据题意可知，在捕捉过程中共有三个状态，我们分别令为1，2，3
则1={蜘蛛为1，苍蝇在2} 2={蜘蛛为2，苍蝇在1} 3={蜘蛛，苍蝇在同一位置}
?0.280.180.54?? 0.180.280.54其中状态3也代表着捕捉结束，则转移概率矩阵为????01??0?（2）分别设Xn，Yn代表时刻n蜘蛛和苍蝇的位置。 令Pn?P{Xn?1,Yn?2} Pn'?P{Xn?2,Yn?1} 则有Pn?P{Xn?1,Yn?2}=
P{Xn?1,Yn?2|Xn?1?1,Yn?1?2}Pn?1+P{Xn?1,Yn?2|Xn?1?1,Yn?1?2}Pn'?1
=0.28Pn?1+0.18Pn'?1
同理Pn'=0.28Pn'?1+0.18Pn?1 且P1=0.28,P1'=0.18
(3)苍蝇被吃掉的概率为P=P{蜘蛛不动，苍蝇动}＋P{苍蝇不动，蜘蛛动} 故P＝0.7*0.6+0.4*0.3=0.54 故捕捉过程的平均时间为1.85
6 在一个分枝过程中，每个个体的后代个数服从参数为（2，p）的二项分布，从一个个体开始，计算： （1）灭绝概率；
（2）到第三代群体灭绝的概率；
（3）若开始时不是一个个体，初始的群体总数Z0是一个随机变量，服从均值为?的泊松分布，证明：此时对于p?12，灭绝概率为exp{?(1?2p)/p}. 22解 （a）设?0=P{灭绝的概率}= ?p{灭绝的概率|X1?j}P{X1?j}
j?0?2? ???0j??pj(1?p)2?j
j?0?j?2故有?0?(1?p)2?2p(1?p)?0?p2?02
?11?2p(1?p)?1?4p(1?p)?|1?2p|?1?2p?2p2????(p?1)2 解得?0?222p2p?p2?因为E[X]?2p，根据定理4.5.1可知， 若P?0.5 时 ，?0=1
(p?1)2 P>0.5 时 ，?0= 2p
（完整版）上海大学随机过程第六章习题及答案
