2.1 莫尔斯电报系统中，若采用点长为0.2s，1划长为0.4s，且点和划出现的概率分别为2/3和1/3，试求它的信息速率(bits/s)。
214?0.2??0.4?秒 3315231 每个符号的熵为?log??log3?0.9183比特/符号
32315所以，信息速率为0.9183??3.444比特/秒
4解: 平均每个符号长为:
2.2 一个8元编码系统，其码长为3，每个码字的第一个符号都相同(用于同步)，若每秒产生1000个码字，试求其信息速率(bits／s)。 解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特；
所以，信息速率为
6?1000?6000比特/秒
2.3 掷一对无偏的骰子，若告诉你得到的总的点数为：(a) 7；(b) 12。试问各得到了多少信息量?
66 所以，得到的信息量为 log2()?2.585 比特
363611 (b) 一对骰子总点数为12的概率是 所以，得到的信息量为 log2?5.17 比特
3636 解: (a)一对骰子总点数为7的概率是
2.4
经过充分洗牌后的一付扑克(含52牌)，试问：(a) 任何一种特定排列所给出的信息量是多少? (b) 若从中抽取13牌，所给出的点数都不相同时得到多少信息量?
解: (a)任一特定排列的概率为
11?225.58 比特 , 所以，给出的信息量为 ?log252!52!13!?413413 (b) 从中任取13牌,所给出的点数都不相同的概率为 ?1313A52C5213C52所以，得到的信息量为 log213?13.21 比特.
4
2.5 设有一个非均匀骰子，若其任一面出现的概率与该面上的点数成正比，试求各点出现时所给出的信息量，并求掷一次平均得到的信息量。
i,i?1,2,3,4,5,621I(x?1)?4.392比特I(x?i)??log2I(x?2)?3.392比特I(x?3)?2.807比特i 解:易证每次出现i点的概率为,所以
I(x?4)?2.392比特21I(x?5)?2.070比特I(x?6)?1.807比特H(X)???i?16
iilog2?2.398比特21212.6 园丁植树一行，若有3棵白、4棵白桦和5棵梧桐。设这12棵树可随机地排列，且每一种排列都是等可能的。若告诉你没有两棵梧桐树相邻时，你得到了多少关于树的排列的信息?
解: 可能有的排列总数为
12!?277203!4!5! 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X
Y X Y X Y X Y X Y 图中X表示白或白桦，它有
?7??8???种排法，Y表示梧桐树可以栽种的位置，它有??种
?5??3?????排法，所以共有
?8??7???5??*??3??=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的????=3.822 比特
信息为log227720?log219602.7 某校入学考试中有1/4考生被录取，3/4考生未被录取。被录取的考生中有50%来自本市，而落榜考生中有10％来自本市，所有本市的考生都学过英语，而外地落榜考生中以及被录取的外地考生中都有40%学过英语。 (a) 当己知考生来自本市时，给出多少关于考生是否被录取的信息? (b) 当已知考生学过英语时，给出多少有关考生是否被录取的信息? (c) 以x表示是否落榜，y表示是否为本市学生，z表示是否学过英语，x、y和z取值为0或1。试求H(X)，H(Y|X)，H(Z|YZ)。
解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地；Z=0表示学过英语，Z=1表示未学过英语，由此得
31p(x?0)?,p(x?1)?,44p(y?0)?p(x?0)p(y?0x?0)?p(x?1)p(y?0x?1)31111?????,41042514p(y?1)?1??,55p(z?0)?p(y?0)p(z?0y?0)?p(y?1)p(z?0y?1)144013????,55100251312p(z?1)?1??,2525
(a)p(x?0y?0)?p(y?0x?0)p(x?0)/p(y?0)?1313?/?104581115p(x?1y?0)?p(y?0x?1)p(x?1)/p(y?0)??/?2458p(x?0y?0)p(x?1y?0)I(X;y?0)?p(x?0y?0)log2?p(x?1y?0)log2
p(x?0)p(x?1)3535?log28?log28381844?0.4512比特(b)p(x?0z?0)?(p(z?0y?0,x?0)p(y?0x?0)?p(z?0y?1,x?0)p(y?1x?0))p(x?0)/p(z?0)19431369?(??)?/?101010425104p(x?1z?0)?(p(z?0y?0,x?1)p(y?0x?1)?p(z?0y?1,x?1)p(y?1x?1))p(x?1)/p(z?0)11211335?(??)?/?225425104I(X;z?0)?p(x?0z?0)log2p(x?0z?0)p(x?1z?0)?p(x?1z?0)log2p(x?0)p(x?1)69356935?log2104?log21043104110444?0.02698比特341(c)H(X)?log2?log24?0.8113比特434H(YX)?p(x?0)p(y?0x?0)log2p(y?0x?0)?p(x?0)p(y?1x?0)log2p(y?1x?0)p(x?1)p(y?0x?1)log2p(y?0x?1)?p(x?1)p(y?1x?1)log2p(y?1x?1)3139101111??log210??log2??log22??log2241041094242?0.6017比特2.8 在A、B两组人中进行民意测验，组A中的人有50%讲真话(T)，30%讲假话(F)，20%拒绝回答(R)。而组B中有30%讲真话，50%讲假话和20%拒绝回答。设选A组进行测验的概率为p，若以I(p)表示给定T、F或R条件下得到的有关消息来自组A或组B的平均信息量，试求I(p)的最大值。 解:令
X??A,B?,Y??T,F,R?，则
信息与编码理论课后习题答案
