信息论与编码理论习题解
第二章-信息量和熵
2.1解:平均每个符号长为：2 0.2 - 0.4二兰秒
3
3
15
每个符号的熵为-log - 1 Iog3 = 0.9183比特/符号
3
2 3
所以信息速率为0.9183
3.444比特/秒 4
2.2解：同步信号均相同不含信息，其余认为等概，
每个码字的信息量为 3*2=6比特; 所以信息速率为6 1000 =6000比特/秒
2.3 解:(a) —对骰子总点数为7的概率是-
36
所以得到的信息量为 Iog2(~6) = 2.585比特
36
(b) 一对骰子总点数为12的概率是1
36
所以得到的信息量为 Iog2丄=5.17比特
36
2.4 解：(a)任一特定排列的概率为古,所以给出的信息量为
1
-Iog2
52!
225.58 比特
(b)从中任取13张牌,所给出的点数都不相同的概率为
13! 413 413 A13 C13 A52 C 52
C13
log2C? =13.21比特. 4
所以得到的信息量为
2.5解:易证每次出现i点的概率为丄,所以
21
I(^i^-log2-,i =1,2,3,4,5,6
21 I (x = 1) = 4.392 比特 I (x =2) =3.392 比特 I (x =3) =2.807 比特 I (x =4)=2.392 比特 I (x =5) =2.070 比特 I (x =6) =1.807 比特
6
H(X)
? i
log 2.398比特
2
i
i4
21 21
2.6解：可能有的排列总数为
27720
3! 4! 5!
没有两棵梧桐树相邻的排列数可如下图求得, YXYXYXYXYXYXYXY
一
(7 \\
7
一
图中X表示白杨或白桦，它有种排法，Y表示梧桐树可以栽
(8\\
种的位置，它有种排法，所以共有
I5丿
8
8
d f八
*
=佃60种排法保证没有
&八3丿
两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时， 得到关于树 排列的信息为Iog227720-Iog21960=3.822比特 2.7解：X=0表示未录取，X=I表示录取；
Y=0表示本市，Y=I表示外地；
Z=O表示学过英语，Z=I表示未学过英语，由此得
3 ,I,
P(X=O) P(X=)
4
1
1 4
p( y = O) = P(X=O)P(y = O x = 0)十 P(X=I)P(y = O X = 1) 4 2 4 10 5 1 4
p(y =1) =1 -
5 5
P(Z=O)= P(^O)P(Z = Oy=O) p(y =1)p(z=0y = 1)
— J
=—X — +— × —
113
=
1 4
P(Z=I) =1 -
5 5 100
13 12 25
25
+ X:
40 _ 13 _ 25
,
_ 3
/ - 10 4 5 8 1 1 1 5 2 4 5
8
1 3 1
(a) P(X=Oy=O) =p(y = Ox = 0)p(x = 0) / p(y =0)=
P(X=Iy= O)= p(y=0x=1)p(x= 1)∕p(y=0) =—-/- =
P(X=Oy =0) P(X = Iy =0)
I (X ; y = 0) = P(X=Oy=O) Iog2 p(x =1 y =O)log2 -
P(X=O) P(X=I)
3
3 8
5 5 log8
2θ
4 = 0.4512
(b) P(X=OZ = O)
4 比特
= (p(z=Oy=O,x=O)p(y=Ox=O)+p(z = Oy = 1,x = O)p(y=1x=O))p(x = O)∕p(z = O) 1 9 4 3,13 =(———)-/
1O 1O 1O 4 25 P(X=IZ =O)
= (P(Z=Oy=O, x = 1)p(y=0x = 1) +p(z = O y = 1, x =1) p( y =1 x = 1)) p(x = 1)/ P(Z = O) =(1.1 Z) 1
69 1O4
虎一—
2
2 5
4 25
35
104
P(X=OZ = 0)
I (X ; z = O) = P(X=OZ= O) log 2 -- --------------- +
P(X = O)
69 35 1Z O)P(X=IZ=O)log2 PX( P(X = I)
(単og2马亜g马
104
2
44
3 104
2
1
4
4
= 0.02698 比特
3 4 1
(C) H(X)= log23 Jog24 =0?8113 比特
H(YX)=P(X= O) p( y = O X = 0) l0g2 p(y = Ox = 0)十 p(x = O)p(y =1 X = O)log2 p(y = 1x = 0)十
P(X=I)P(y = Ox =1)log2 p(y = Ox 3 1
=——log 210 4 10
= 1) + p(x =1) p(y =1 X =1) l0g2 p( y = 1 X = 1)
3 9 10 1 1 1 1 31
— log2 — — log2 2 一 一 log 2 2 4 10 9 4 2 4 2
《信息论与编码理论》(王育民李晖梁传甲)课后习题答案高等教育出版社.docx
