第3章信道容量
习题解答
3-1设二进制对称信道的转移概率矩阵为
2/3 1/3 1/3 2/3
解:⑴若 P(aJ 3/4,P(a2)
1/4，求 H(X), H(Y), H(X |Y), H(Y|X)和H(X)=
P(a3 3 1 1
i )log p(aj
log( —) log(—) 0.8113(bit/ i=1
4 4 4 4
符号)
3 2 11
7 p(b1)=p(a1)p(b1|aj+p(a2)p(b1|&)=
4 3 4 3 12 3 112 5 p(b2)=p(a1)p(b2|aj+p(a2)p(b2|a2)= 4 3 4 3
12
H(Y)=
p(bj)log(bj)=
0.9799(bit/ 符号)
j=1
2
2
H(Y|X)=
p(q ,bj)logp(bj|aj
p(bj|aj)logp(bj|aj
i,j
j
I log(|) 1 log(1) 0.9183(bit/符号)
I(X;Y)=H(Y) H(Y|X)=0.9799 0.9183 0.0616(bit/ 符号) H(X|Y)=H(X)
I(X;Y)=0.8113
0.0616 0.7497(bit/ 符号)
(2)求该信道的信道容量及其达到信道容量时的输入概率分布 二进制对称信息的信道容量
H(P)= -plog(p) -(1-p)log(1-p) C=1-H(P)=1+
丄1 1 2 2
3 log( -) + log( )=0.0817(bit/ 3 3 3
符)
BSC信道达到信道容量时，输入为等概率分布，即： ｛，｝ 注意单位
。
l(X;Y)
3-4设BSC信道的转移概率矩阵为
1)写出信息熵 H (Y )和条件熵 H (Y |X) 的关于 H( 1) 和 H( 2 )表达式，其中
H( ) log (1 )log(1 ) 。
2)根据 H ( ) 的变化曲线，定性分析信道的容道容量，并说明当 1 信道容量。
解：(1)设输入信号的概率颁布是 {p,1-p}
2
的
p(b1) p(a1) p(b1 |a1) p(a2) p(b1 |a2) p (1 1) (1 p) 2
p(b2)
p1
p(a1) p(b2 |a1) p(a2)
p(b2 |a2)
(1 p) (1 2)
p(b1)log p(b1) p(b2)log p(b2)
1
H(Y) [p 1
[p (1 H[p (1 H(Y|X)
i ,j 1
) (1 p) ) (1 p)
2
2
]log[ p
(1 1) (1 p) 2 ] (1 p)
(1 2 )]
(1 p) (1 2)]log[ p 1
1
2
]
p(bj |ai )
p(ai )p(bj |ai )log 1log( 1)] 2) 2 log( 2)]
p [(1 1)log(1 1) (1 p)[(1 2)log(1 p H ( 1) (1 p) H( 2)
(2) H ( )的变化曲线，是一个上凸函数，当输入等概率分布时达到信道 容量。
C mp(ax)x{I(X;Y)} mp(ax)x{ H (Y ) H(Y |X)}
mp(ax)x{ H [ p (1 1) (1 p) 2] p H( 1) (1 p) H ( 2)} 由于函数H (&)是一个凸
函数，有一个性质：
f ( 1 (1 ) 2) f( 1) (1 ) f( 2)
可知：C 假设1
1 Q
2
时此信道是一个二元对称信道，转移概率分布为：
1
信道容量：
1 2
C 1- log -(1- )log(1-) 1-H()
3-10电视图像由30万个像素组成，对于适当的对比度，一个像素可取 10 个可辨别的亮度电平，假设各个像素的10个亮度电平都以等概率出现，实 时传送电视图像每秒发送30帧图像。为了获得满意的图像质量，要求信号 与噪声的平均功率比值为30dB,试计算在这些条件下传送电视的视频信号 所需的带宽。 解：
I (X) log10
3.32bit/ 像素
1秒内可以传送的信息量为：
3.3219bit/ 像素 30 10000像 素 30=2.9897 107bit C Blog(1 善),已知:10log1°(善)30dB
103 2.9897 107
Blog(1 103)可得：B 2.9995 106HZ
3-11 一通信系统通过波形信道传送信息，信道受双边功率谱密度
N°/2
0.5 10 8 W / Hz的加性高斯白噪声的干扰，信息传输速率
R 24 kbit/s，信号功率 P 1W。
1)若信道带宽无约束，求信道容量； 解：带限的加性高斯白噪声波形信道的信道容量为
信息论与编码理论-第3章信道容量-习题解答-071102
