哈尔滨医科大学生物信息科学与技术学院
第一章 绪论
1、什么是信息？香农对于信息是如何定义的。
答：信息是事物运动状态或存在方式的不确定性的描述(Information is a measure of one's freedom of choice when one selects a message)。
2、简述通信系统模型的组成及各部分的含义。
答：（1）、信源：信源是产生消息的源。信源产生信息的速率---熵率。
（2）、编码器：编码器是将消息变成适合于信道传送的信号的设
备。包括信源编码器（提高传输效率）、信道编码器（提高传输可靠性）、调制器。
（3）、信道：信道是信息传输和存储的媒介。
（4）、译码器：译码是编码的逆变换，分为信道译码和信源译码。 （5）、信宿：信宿是消息的接收者（人或机器）。
3、简述香农信息论的核心及其特点。
答：（1）、香农信息论的核心：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。
（2）、特点：①、以概率论、随机过程为基本研究工具。
②、研究的是通信系统的整个过程，而不是单个环节，并以编、译码器为重点。 ③、关心的是最优系统的性能和怎样达到这个性能（并不具体设计系统）。 ④、要求信源为随机过程，不研究信宿。
第二章 信息的度量
2.1 自信息和互信息
1、自信息（量）：
（1）、定义：一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。某个消息xi出现的不确定性
的大小定义为自信息，用这个消息出现的概率的对数的负值来表示：
I?xi???logp?xi??log1p?xi?信息论基础 第 - 1 - 页 共 11 页
哈尔滨医科大学生物信息科学与技术学院
（2）、性质：①、I?xi?是p?xi?的严格递减函数。当p?x1??p?x2?时
I?x1??I?x2?概率越小，事件发生的不确定性越大，事件发生以后所包
含的自信息量越大。
②、极限情况下，当
p?xi??0时I?xi???；当
p?xi??1时，I?xi??0。
③、两个相对独立的不同的消息所提供的信息量应等于它们分别提供的信息量之和，即自信息论满足可加性。（3）、例2.1：
①、英文字母中“a”出现的概率为0.064，“c”出现的概率为0.022，分别计算他们的自信息量。 ②、假定前后字母出现是互相独立的，计算“ac”的自信息。
③、假定前后字母出现不是互相独立的，当“a”出现以后， “c”出现的概率为0.04，计算“a”出现以后， “c”出现的自信息量。
p?x1x2??p?x1?p?x2?;I?x1x2??I?x1??I?x2?。
2、互信息：一个事件yj所给出关于另一个事件xi的信息定义为互信息，用I?xi;yj?表示：
I?xi;yj??I?xi??I?xi|yj??logp?xi|yj?p?yj|xi?p?xi?yj? ?I?yj??I?yj|xi??log?logp?xi?p?yj?p?xi??p?yj?2.2 平均自信息
1、定义：随机变量X的每一个可能取值的自信息I?xi? H(X)?E[I(xi)]??的统计平均值定义为随机变量X的平均自信息量。 2、熵函数的性质：
（1）、对称性： H(p1,?p(x)logii?1q2p(xi)p2,???pq)?H(p2,p1,???pq)?????H(pq,p1,???pq?1)（2）、确定性： H(1,0)?H(1,0，0)?????H(1,0,???0)=0（3）、非负性： H(p)?H(p1,p2,???pq)?0（4）、扩展性： limHq?1(p1,p2,???pq??,?)?Hq(p1,p2,???pq)??0（5）、连续性： limH(p1,p2,???pq?1??,pq??)?H(p1,p2,???pq)??0（6）、递推性： H(p1,p2,???pn?1,q1,q2???qm)?H(p1,p2,???pn)?pnH(q1,q2,???qm)pnpnpn（7）、极值性： H(p,p,???p)?pH(1,1,???1)?logn12n2nnn（8）、上凸性： f[?x1?(1??)x2]??f(x1)?(1??)f(x2)3、联合熵：联合自信息的 数学期望。它是二维随机 变量XY的不确定性的度量。
H(XY)???p(xiyj)I(xiyj)????p(xiyj)log2p(xiyj)i?1j?1i?1j?1nmnm4、条件熵：
由于不同的xi，H(Y/xi)是变化的，对H(Y/xi)的所有可能值进行统计平均，就得出给定X时，Y的条件熵ijH(Y/X)????p(xiyj)log2p(yj/xi) H(X/Y)????p(xiyj)log2p(xi/yj)信息论基础 第 - 2 - 页 共 11 页
ij哈尔滨医科大学生物信息科学与技术学院
5、各类熵之间的关系：
（1）、联合熵与信息熵、条件熵之间的关系：H(XY) 推广：H?H(X)?H(Y/X)。
?X1X2???XN??H?X1??H?X2/X1??????H?XN/X1X2???XN?1?;
?H(X)?H(Y)。
当二维随机变量X,Y相互独立时，联合熵等于X,Y各自熵之和。H(XY) （2）、条件熵与信息熵的关系：H(X/Y)?H(X);H(Y/X)?H(Y) 。
?H(X)?H(Y)当X、Y相互独立时等号成立。
（3）、联合熵与信息熵的关系：H(XY)推广到N个随机变量：H?X1X2???XN??H?X1??H?X2??????H?XN?。
?XY?和条件熵H?Y|X?。 ?Y|X?
2.3 平均互信息
6、例2.5：随机变量X，Y的联合概率分布如表2.1所示，求联合熵H表2.1 X,Y的联合概率分布P X 0 1 Y 0 1 1/4 1/4 1/2 0 3/4 1/4 ?XY? p?xi? 1/2 1/2 1 表2.2 条件概率分布P Y X 0 1 0 1 1/2 1/2 1 0 p?yj? 1、定义：从整体上表示从一个随机变量Y所给出关于另一个随机变量X的信息量，定义互信息I?xi;yj?在XY的联合空间中的统计平均值为随机变量X和Y间的平均互信息。
I?X;Y???i?1n?p?xi;yj?I?xi;yj???j?1i?1mnp?xi|yj?np?xi;yj?log???p?xi?j?1i?1m?p?xi;yj?logj?1m1p?xi???i?1n?p?xi;yj?logj?1m1?H?X??H?X|Y?p?xi|yj?条件熵H?X|Y?表示给定随机变量Y后，对随机变量X仍然存在的不确定度。所以Y关于X的平均互
信息是收到Y前后关于X的不确定度减少的量，也就是从Y获得的关于X的平均信息量。
2、平均互信息的性质：
（1）、非负性：I?X;Y??0；
信息论基础 第 - 3 - 页 共 11 页
信息论基础复习提纲
