第
4.1 马尔可夫链的的概念及转移概率 一、知识回顾
二、马尔可夫链的的定义 三、转移概率
四、马尔可夫链的一些简单例子 五、总结
四章
一、知识回顾
1. 条件概率
定义:设A,B为两个事件,且 ,称
为事件A发生条件下B事件发生的条件概率。
将条件概率公式移项即得到所谓的乘法公式:
2.全概率公式
设试验E的样本空间为S,A为E的事件,若 , , 为S的一个完备事件组,既满足条件:
1) , , 两两互不相容,即 , 2). ,且有 ,则 此式称为全概率公式。 3.矩阵乘法 矩阵乘法的定义
,
如果
那么矩阵C叫做矩阵A和B的乘积,记作
4.马尔可夫过程的分类
马尔可夫过程按其状态和时间参数是连续的或离散的,可分为三类: (1) 时间、状态都是离散的马尔科夫过程,称为马尔可夫链;
(2) 时间连续、状态离散的马尔科夫过程称为连续时间的马尔可夫链的; (3) 时间、状态都连续的马尔科夫过程。
二、马尔科夫链的定义
定义4.1 设有随机过程 ,若对于任意的整数 和任意的 ,条件概率都满足
则称 为马尔科夫链,简称马氏链。
已知的条件下, 的条件概率与 无关,而仅与 所处的状态 有关。
式是马尔科夫链的马氏性(或无后效性)的数学表达式。由定义知
=
= =
可见,马尔科夫链的统计特性完全由条件概率
所决定。如何确定这个条件概率,是马尔科夫链理论和应用中的重要问题之一。
现举一例说明上述概念:
例4.1.1 箱中装有c个白球和d个黑球,每次从箱子中任取一球,抽出的球要到从箱子中再抽出一球后才放回箱中,每抽出一球作为一次取样试验。
现引进随机变量序列为 ,每次取样试验的所有可能结果只有两个,即白球或黑球。若以数 代表白球,以数 代表黑球则有
,第 次抽球结果为黑球 ,第 次抽球结果为白球由上所述的抽球规则可知,任意第n次抽到黑球或白球的概率只与第n-1次抽得球的结果有关,而与第 次,第 次, ,第 次,抽的球的结果无关, 由此可知上述随机变量序列 ,为马氏链。
三、转移概率
定义4.2 称条件概率
为马尔科夫链 在时刻N的一步转移概率,其中 ,简称为转移概率。
马尔可夫链的概念及转移概率
![](/skin/haowen/images/icon_star.png)
![](/skin/haowen/images/icon_star.png)
![](/skin/haowen/images/icon_star.png)
![](/skin/haowen/images/icon_star.png)