第
4.1 马尔可夫链的的概念及转移概率 一、知识回顾
二、马尔可夫链的的定义 三、转移概率
四、马尔可夫链的一些简单例子 五、总结
四章
一、知识回顾
1. 条件概率
定义：设A，B为两个事件，且 ，称
为事件A发生条件下B事件发生的条件概率。
将条件概率公式移项即得到所谓的乘法公式：
2.全概率公式
设试验E的样本空间为S，A为E的事件，若 ， ， 为S的一个完备事件组，既满足条件：
1) ， ， 两两互不相容，即 ， 2). ，且有 ，则 此式称为全概率公式。 3.矩阵乘法 矩阵乘法的定义
，
如果
那么矩阵C叫做矩阵A和B的乘积，记作
4.马尔可夫过程的分类
马尔可夫过程按其状态和时间参数是连续的或离散的，可分为三类： （1） 时间、状态都是离散的马尔科夫过程，称为马尔可夫链；
（2） 时间连续、状态离散的马尔科夫过程称为连续时间的马尔可夫链的； （3） 时间、状态都连续的马尔科夫过程。
二、马尔科夫链的定义
定义4.1 设有随机过程 ，若对于任意的整数 和任意的 ，条件概率都满足
则称 为马尔科夫链，简称马氏链。
已知的条件下， 的条件概率与 无关，而仅与 所处的状态 有关。
式是马尔科夫链的马氏性（或无后效性）的数学表达式。由定义知
=
= =
可见，马尔科夫链的统计特性完全由条件概率
所决定。如何确定这个条件概率，是马尔科夫链理论和应用中的重要问题之一。
现举一例说明上述概念：
例4.1.1 箱中装有c个白球和d个黑球，每次从箱子中任取一球，抽出的球要到从箱子中再抽出一球后才放回箱中，每抽出一球作为一次取样试验。
现引进随机变量序列为 ,每次取样试验的所有可能结果只有两个，即白球或黑球。若以数 代表白球，以数 代表黑球则有
，第 次抽球结果为黑球 ，第 次抽球结果为白球由上所述的抽球规则可知，任意第n次抽到黑球或白球的概率只与第n-1次抽得球的结果有关，而与第 次，第 次， ，第 次，抽的球的结果无关， 由此可知上述随机变量序列 ,为马氏链。
三、转移概率
定义4.2 称条件概率
为马尔科夫链 在时刻N的一步转移概率，其中 ，简称为转移概率。
马尔可夫链的概念及转移概率
