马尔科夫预测

第6章 马尔可夫预测

第6章 马尔可夫预测

马尔可夫预测方法不需要大量历史资料，而只需对近期状况作详细分析。它可用于产品的市场占有率预测、期望报酬预测、人力资源预测等等，还可用来分析系统的长期平衡条件，为决策提供有意义的参考。

6.1 马尔可夫预测的基本原理

马尔可夫（A.A.Markov）是俄国数学家。二十世纪初，他在研究中发现自然界中有一类事物的变化过程仅与事物的近期状态有关，而与事物的过去状态无关。具有这种特性的随机过程称为马尔可夫过程。设备维修和更新、人才结构变化、资金流向、市场需求变化等许多经济和社会行为都可用这一类过程来描述或近似，故其应用范围非常广泛。

6.1.1 马尔可夫链

为了表征一个系统在变化过程中的特性（状态），可以用一组随时间进程而变化的变量来描述。如果系统在任何时刻上的状态是随机的，则变化过程就是一个随机过程。

设有参数集T?(??,??)，如果对任意的t?T，总有一随机变量Xt与之对应，则称

{Xt,t?T}为一随机过程。

如若T为离散集（不妨设T?{t0,t1,t2,...,tn,...}），同时Xt的取值也是离散的，则称

{Xt,t?T}为离散型随机过程。

设有一离散型随机过程，它所有可能处于的状态的集合为S?{1,2,L,N}，称其为状态空间。系统只能在时刻t0,t1,t2,...改变它的状态。为简便计，以下将Xtn等简记为Xn。

一般地说，描述系统状态的随机变量序列不一定满足相互独立的条件，也就是说，系统将来的状态与过去时刻以及现在时刻的状态是有关系的。在实际情况中，也有具有这样性质的随机系统：系统在每一时刻（或每一步）上的状态，仅仅取决于前一时刻（或前一步）的状态。这个性质称为无后效性，即所谓马尔可夫假设。具备这个性质的离散型随机过程，称为马尔可夫链。用数学语言来描述就是：

马尔可夫链 如果对任一n?1，任意的i1,i2,?,in?1,j?S恒有

P?Xn?jX1?i1,X2?i2,L,Xn?1?in?1??P?Xn?jXn?1?in?1? (6.1.1)

则称离散型随机过程{Xt,t?T}为马尔可夫链。

例如，在荷花池中有N张荷叶，编号为1,2,...,N。假设有一只青蛙随机地从这张荷叶上跳到另一张荷叶上。青蛙的运动可看作一随机过程。在时刻tn，青蛙所在的那张荷叶，称为青蛙所处的状态。那么，青蛙在未来处于什么状态，只与它现在所处的状态i?i?1,2,?,N?有关，与它以前在哪张荷叶上无关。此过程就是一个马尔可夫链。

由于系统状态的变化是随机的，因此，必须用概率描述状态转移的各种可能性的大小。

6.1.2 状态转移矩阵

马尔可夫链是一种描述动态随机现象的数学模型，它建立在系统“状态”和“状态转移”的概念之上。所谓系统，就是我们所研究的事物对象；所谓状态，是表示系统的一组记号。当确定了这组记号的值时，也就确定了系统的行为，并说系统处于某一状态。系统状态常表示为向量，故称之为状态向量。例如，已知某月A、B、C三种牌号洗衣粉的市场占有率分别是0.3、0.4、0.3，则可用向量P??0.3,0.4,0.3?来描述该月市场洗衣粉销售的状况。

129

第6章 马尔可夫预测

当系统由一种状态变为另一种状态时，我们称之为状态转移。例如，洗衣粉销售市场状态的转移就是各种牌号洗衣粉市场占有率的变化。显然，这类系统由一种状态转移到另一种状态完全是随机的，因此必须用概率描述状态转移的各种可能性的大小。

如果在时刻tn系统的状态为Xn?i的条件下，在下一个时刻tn?1系统状态为Xn?1?j的概率

pij?n?与n无关，则称此马尔可夫链是齐次马尔可夫链，并记

pij?P?Xn?1?jXn?i?,i,j?1,2,L,N

称pij为状态转移概率。显然，我们有

pij?0,i,j?1,2,L,N,?pij?1,i?1,2,Lj?1N,N.

1,2,?,N?有限，状转移矩阵 设系统的状态转移过程是一齐次马尔可夫链，状态空间 S??态转移概率为pij，则称矩阵

?p11?pP??21????pN1为该系统的状态转移概率矩阵，简称转移矩阵。

为了论述和计算的需要，引入下述有关概念。

p12p22????pN2?p1N?p2N?? (6.1.2) ???pNN?概率向量 对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向概率矩阵 由概率向量作为行向量所构成的方阵称为概率矩阵。

对于一个概率矩阵P，若存在正整数m，使得Pm的所有元素均为正数，则称矩阵P为正规

量为概率向量。

概率矩阵。

例如，矩阵

?0.70.3? A????0.50.5?中每个元素均非负，每行元素之和皆为1，行数和列数相同，为2?2方阵，故矩阵A为概率矩阵。

概率矩阵有如下性质：如果A、B皆是概率矩阵，则AB也是概率矩阵；如果A是概率矩阵，则A的任意次幂Am(m?0)也是概率矩阵。

对k?1，记

pij???P?Xn?k?jXn?i?,kP称pij?k??k??pij??k??N?N, (6.1.3)

为k步状态转移概率，P?k?为k步状态转移概率矩阵，它们均与n无关（从下面的式(6.1.4)

也可看出）。

1特别，当k?1时，pij???pij为1步状态转移概率。马尔可夫链中任何k步状态转移概率都

可由1步状态转移概率求出。

由全概率公式可知对k?1有（其中P?0?表示单位矩阵）：

kpij???P?Xn?k?jXn?i?

130

第6章 马尔可夫预测

??P?Xn?k?1?lXn?i??P?xn?k?jXn?k?1?l?

(k?1)??pilplj,i,j?1,2,...,N l?1l?1NN其中用到马尔可夫链的“无记忆性”和齐次性。用矩阵表示，即为P(k)?P(k?1)P，从而可得

P?k??Pk,k?1 (6.1.4)

记t0为过程的开始时刻，pi?0??P?X0?X?t0??i?，则称

P?0???p1?0?,p2?0?,...,pN?0??

为初始状态概率向量。

如已知齐次马尔可夫链的转移矩阵P?pij以及初始状态概率向量P?0?，则任一时刻的状态概率分布也就确定了：

对k?1，记pi?k??P?Xk?i?，则由全概率公式有

??Npi?k???pj?0??pji??,i?1,2,L,N,k?1 (6.1.5)

kj?1若记向量P?k???p1?k?,p2?k?,L,pN?k??，则上式可写为

P?k??P?0?P(k)?P?0?Pk (6.1.6)

由此可得，

P?k??P?k?1?P (6.1.7)

例6.1 考察一台机床的运行状态。机床的运行存在正常和故障两种状态。由于出现故障带有随机性，故可将机床的运行看作一个状态随时间变化的随机系统。可以认为，机床以后的状态只与以前的状态有关，而与过去的状态无关，即具有无后效性。因此，机床的运行可看作马尔可夫链。

设正常状态为1，故障状态为2，即机床的状态空间由两个元素组成。机床在运行过程中出现故障，这时从状态1转移到状态2；处于故障状态的机床经维修，恢复到正常状态，即从状态2转移到状态1。

现以一个月为时间单位。经观察统计，知从某月份到下月份机床出现故障的概率为0.2，即p12?0.2。其对立事件，保持正常状态的概率为p11?0.8。在这一时间，故障机床经维修返回到正常状态的概率为0.9，即p21?0.9；不能修好的概率为p22?0.1。机床的状态转移情形见图6.1。

0.8 1 0.2 2 0.9 图6.1 机床的状态转移

0.1 由机床的一步转移概率得状态转移概率矩阵

p12??0.80.2??pP??11???0.90.1? pp??22??21若已知本月机床的状态向量P(0)?(0.850.15)，现要预测机床两个月后的状态。先求出两步转移概率矩阵

131