随机过程复习
(3)
P{X(t?h)?X(t)?1}??(t)h?o(h)
P{X(t?h)?X(t)?2}?o(h)非齐次泊松过程的均值函数为：
mX(t)???(s)ds
0t定理3.5 设{X(t),t?0}是具有均值函数mX(t)?有
??(s)ds的非齐次泊松过程，则
0tP{X(t?s)?X(t)?n}?或
[mX(t?s)?mX(t)]n!nexp{?[mX(t?s)?mX(t)]},(n?0)
nn!上式表明P{X(t?s)?X(t)?n}不仅是t的函数，也是s的函数。
P{X(t)?n}?[mX(t)]exp{?mX(t)}
3.4 复合泊松过程
定义3.5 设{N(t),t?0}是强度为?的泊松过程，{Yk,k?1,2,...}是一列独立同分布随机变量，且与{N(t),t?0}独立，令
x(t)??Yt?0,
kk?1N(t)则称{X(t),t?0}为复合泊松过程。
N(t) 定理3.6 设x(t)??k?1Ykt?0,是复合泊松过程，则
（1）。{X(t),t?0}是独立增量过程；
（2）X(t)的特征函数gX(t)(u)?exp{其中gY(u)是随机变量Y1的特?t[gY(u)?1]}，
征函数；?是事件的到达率。
（3）若E(Y12)??,则E[X(t)]??tE[Y1],D[X(t)]??tE[Y12].
第4章 马尔可夫链
§4.1 马尔可夫链的概念及转移概率
一、马尔可夫键的定义
定义1 设有随机过程{Xn,n?T}，若对于任意的整数n?T和任意的i0,i1,?,in?1?I，条件概率满足
P{Xn?1?in?1X0?i0,X1?i1,?,Xn?in}?P{Xn?1?in?1Xn?in}则称{Xn,n?T}为马尔可夫链，简称马氏链。
二、转移概率
定义2 称条件概率
pij(n)?P{Xn?1?j|Xn?i}
为马尔可夫链{Xn,n?T}在时刻n的一步转移概率，其中i,j?I，简称为转移概率。 定义 3 若对任意的i,j?I，马尔可夫链{Xn,n?T}的转移概率pij(n)与n无关，则称马尔可夫链是齐次的，并记pij(n)为pij。
定义4 称条件概率
(n)pij?P{Xm?n?j|Xm?i}(i,j?I,m?0,n?1)
6
随机过程复习
为马尔可夫链{Xn,n?T}的n步转移概率，
定理 1 设{Xn,n?T}为马尔可夫链，则对任意整数n?0,0?l?n和i,j?I，n步
(n)转移概率pij具有下列性质：
(n)(l)(n?l)(1)pij??pikpkj;k?I(n)(2)pij???k1?Ikn?1?I?pik1pk1k2?pkn?1j;
(3)P(n)?PP(n?1);(4)P(n)?Pn.定义5 设{Xn,n?T}为马尔可夫链，称
pj?P{X0?j}和Pj(n)?P{Xn?j},(j?I)
为{Xn,n?T}的初始概率和绝对概率，并分别称{pj,j?I}和{pj(n),j?I}为{Xn,n?T}的初始分布和绝对分布，简记为{pj}和{pj(n)}。
定理2 设{Xn,n?T}为马尔可夫链，则对任意j?I和n?1，绝对概率pj(n)具有下列性质：
(n)(1)pj(n)??pipiji?I(2)pj(n)??pi(n?1)piji?I
(3)PT(n)?PT(0)P(n)(4)PT(n)?PT(n?1)P定理3 设{Xn,n?T}为马尔可夫链，则对任意i1,i2,?,in?I和n?1，有
P{X1?i1,X2?i2,?,Xn?in}??pipii1pi1i2?pin?1in
i?I§4.2 马尔可夫链的状态分类
一、状态分类
假设{Xn,n?0}是齐次马尔可夫链，其状态空间I?{0,1,2,?}，
转移概率是pij,i,j?I, 初始分布为{pj,i,j?I} 。
(n)定义4.6 如集合{n:n?1,pii?0}非空，则称该集合的最大公约数(n)d?d(i)?G.C.D{n:pii?0}为状态i的周期。如d?1就称i为周期的，如d?1就称i为(n)非周期的。（若对每一个不可被d整除的n，有pii=0，且d是具有此性质的最大正整数，
则称d为状态i的周期。）
(nd)引理4.1 如i的周期为d，则存在正整数M，对一切n?M，有pii?0。
定义 对i,j?S,记 fij(0)1)?0,fij(?P{X1?j|X0?i}
fij(n)?P{Xn?j,Xk?j,k?1,2,?,n?1|X0?i},n?2 （4.15） fij??fij(n)
n?T(n)(?)称fij是系统在0时从i出发经过n步转移后首次到达状态j的概率，而fij则是在0时从(n)i出发，系统在有限步转移内不可能到达状态j的概率。我们将fij和fij统称为首达概率（又 7
随机过程复习
称首中概率）。
引理
（1） 0?fij(n)?fij ?i,j,n （2） 首达概率可以用一步转移概率来表示： fij(n)?????pii1pi1i2?pin?1j
i1?ji2?jin?1?j定义4.7 若fii=1，则称状态i为常返的；若fii<1，则称状态i为非常返的。 定义4.8 如
?i??，则称常返态i为正常返的；如?i??，则称常返态i为零常返的，非周期的正常返态称为遍历状态。
从状态是否常返，如常返的话是否正常返，如正常返的话是否非周期等三层次上将状态区分为以下的类型：
?非常返态(fii?1)??零常返态(?ii=?)?? 状态????常返态(fii?1)??有周期(d?1)正常返态(?
p(n)ij??fk?1n(k)ijp(n?k)jj??fij(n?k)p(jjk). （4.16）
k?0n(n)引理4.2 G.C.D{n:n?1,pii?0}?G.C.D{n:n?1,fii(n)?0}.
二、常返态的性质及其性质
定理4.5 状态i常返的充要条件为
如i非常返，则
?pn?0?ii?? （4.18）
?pii?n?0?1. 1?fiid.
（4.26）
定理4.7 设i常返且有周期d，则
(nd)limp?ii
n???i其中?i为i的平均返回时间。当?i??时，推论 设i常返，则
d?i?0.
1(n)(1) i零常返?limpii?0；（2）i遍历?limpii?(n)n??n???i?0。
定理4.8 可达关系与互通关系都具有传递性，即
如果i?j，j?k，则i?k； 如果i?k，j?k，则i?k。 定理4.9 如i?j,则
（1） i与j同为常返或非常返，若为常返，则它们同为正常返或零常返； （2） i与j有相同的周期。
8
随机过程复习
§4.3 状态空间的分解
定义4.9 状态空间I的子集C称为（随机）闭集，如对任意i?C及k?C都有pik?0。闭集C称为不可约的，如C的状态互通。马氏链{Xn}称为不可约的，如其状态空间不可约。
(n) 引理4.4 C是闭集的充要条件为对任意i?C及k?C都有pik=0，n≥1。 称状态i为吸收的，如pii=1。显然状态i吸收等价于单点集{i}为闭集。 定理4.10 任一马氏链的状态空间I，可唯一地分解成有限个或可列个互不相交的子集D,C1,C2,?之和，使得
① 每一Cn是常返态组成的不可约闭集。
② Cn中的状态同类，或全是正常返，或全是零常返。它们有相同的周期且
fjk?1, i,k?Cn。
③ D由全体非常返状态组成。自Cn中的状态不能到达D中的状态。
定义4.10 称矩阵（aij）为随机矩阵，如其元素非负且每i有?aij＝1。
j(k)显然k步转移矩阵P(k)＝（pij）为随机矩阵。
(k)引理4.5 设C为闭集，又G＝（pij）, i,j∈C,是C上所得的（即与C相
应的）k步转移子矩阵，则G仍是随机矩阵。
定理4.11 周期为d的不可约马氏链，其状态空间C可唯一地分解为d个互不相交地子集之和，即
C??G （4.31） ? ,sr,Gr?GS??,rr?0d?1且使得自Gr中任一状态出发，经一步转移必进入Gr?1中（其中Gd?G0）。 定理4.12 设{Xn,n?0}是周期为d的不可约马氏链，则在定理4.11的结论下有
(1)如只在时刻0,d,2d,?上考虑{Xn}，即得一新马氏链，其转移阵
(d)P(d)?(pij)，对此新链，每一Gr是不可约闭集，且Gr中的状态是非周期的。
(2)如原马氏链 {Xn}常返，{Xnd}也常返。
(n)p§4.4 ij的渐近性质与平稳分布
(n)一、pij的渐近性质
(n)定理4.13 如j非常返或零常返，则limpij＝0，?i?I （4.33）
n??推论1 有限状态的马氏链，不可能全是非常返状态，也不可能含有零常返状态，从而不可约的有限马氏链必为正常返的。
推论2 如马氏链有一个零常返状态，则必有无限多个零常返状态。 定理4.14 如j正常返，周期为d，则对任意i及0?r?d?1有
d(nd?r) limpij?fij(r) （4.37）
n???j推论 设不可约、正常返、周期d的马氏链，其状态空间为C，则对一切i,j?C,有
9
随机过程复习
n??0(nd)limpij?d??,如i与j同属于子集Gs,??j （4.38） ?0,否则，?其中C?UGs为定理4.11中所给出。
s?0d－1(n)?特别，如d=1，则对一切i,j有limpijn??1?j. (4.39)
定理 4.15 对任意状态i,j,有
?0,若j是非常返或零常返1?(k) lim?pij??fijn??n,若j是正常返k?1???j推论 如{Xn}不可约，常返，则对任意i,j,有
1n(k)1 lim? pij?n??n?jk?1 ?j＝?时，理解
1＝0 ? j 定义4.11 称概率分布{?j,j?I}为马尔可夫链的平稳分布，若它满足
??j???ipij,?i?I? ? （4.41）
???1,??0.ij???j?I值得注意的是，对平稳分布{?j,j?I}，有
(n) (4.42) ?j???ipiji?I定理4.16 不可约非周期马尔可夫链是正常返的充要条件是存在平稳分1布，且此平稳分布就是极限分布{,j?I}。
uj推论1 有限状态的不可约非周期马尔可夫链必存在平稳分布。
推论2 若不可约马尔可夫链的所有状态是非常返或零常返的，则不存在平稳分布.
推论3 若{?j,j?I}是马尔可夫链的平稳分布，则
pj(n)?1??j uj第五章 连续时间的马尔可夫链
§5.1连续时间的马尔可夫链
定义5.1 设随机过程{X(t),t≥0},状态空间I?{n,若对于任意i,n?0}0?t1?t2???nt?及1i1,i2,?,in?1?I有
P{X(tn?1)?in?1|X(t1)?i1,X(t2)?i2,?,X(tn)?in}
= P{X(tn?1)?in?1|X(tn)?in} (5.1)
则称{X(t),t≥0}为连续时间的马尔可夫链。
记(5.1)式条件概率的一般形式为
pij(s,t)?P{X(s?t)?j|X(s)?i} (5.2)
10
随机过程知识点
