信息论与编码理论第章信道容量习题解答

由天下分享时间：2024/12/13 20:36:29 加入收藏我要投稿点赞

信息论与编码理论

第3章信道容量

习题解答

?2/31/3?3-1 设二进制对称信道的转移概率矩阵为?? 1/32/3??解: (1) 若P(a1)?3/4,P(a2)?1/4，求H(X),H(Y),H(X|Y),H(Y|X)和

I(X;Y)。

3311H(X)=??p(ai)log p(ai)???log()?log()?0.8113(bit/符号)

I(X;Y)=H(Y)?H(Y|X)=0.9799?0.9183?0.0616(bit/符号) H(X|Y)=H(X)?I(X;Y)=0.8113?0.0616?0.7497(bit/符号)

(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

二进制对称信息的信道容量

H(P)=-plog(p)-(1-p)log(1-p) 1122C=1-H(P)=1+log()+log()=0.0817(bit/符)3333BSC信道达到信道容量时，输入为等概率分布，即：{，}

第3章信道容量

注意单位

3-4 设BSC信道的转移概率矩阵为

?1??1??1Q??? ?1???22?1）写出信息熵H(Y)和条件熵H(Y|X)的关于H(?1)和H(?2)表达式，其中H(?)???log??(1??)log(1??)。

2）根据H(?)的变化曲线，定性分析信道的容道容量，并说明当?1??2的信道容量。

解：（1）设输入信号的概率颁布是{p,1-p}

p(b1)?p(a1)?p(b1|a1)?p(a2)?p(b1|a2)?p?(1??1)?(1?p)??2p(b2)?p(a1)?p(b2|a1)?p(a2)?p(b2|a2)?p??1?(1?p)?(1??2)H(Y)??p(b1)logp(b1)?p(b2)logp(b2)

??[p?(1??1)?(1?p)??2]log[p?(1??1)?(1?p)??2]?[p??1?(1?p)?(1??2)]log[p??1?(1?p)?(1??2)]?H[p?(1??1)?(1?p)??2]2

H(Y|X)???p(ai)p(bj|ai)logp(bj|ai)i,j?1??p?[(1??1)log(1??1)??1log(?1)]?(1?p)[(1??2)log(1??2)??2log(?2)]?p?H(?1)?(1?p)?H(?2)

（2）H(?)的变化曲线，是一个上凸函数，当输入等概率分布时达到信道容量。

信息论与编码理论

C?max{I(X;Y)}?max{H(Y)?H(Y|X)}p(x)p(x)?max{H[p?(1??1)?(1?p)??2]?p?H(?1)?(1?p)?H(?2)}

p(x)由于函数H（ε）是一个凸函数，有一个性质：

f(???1?(1??)??2)???f(?1)?(1??)?f(?2)

可知：C??

假设?1??2??时此信道是一个二元对称信道，转移概率分布为：

???1??Q??? ?1????信道容量：

?1??2??C?1-?log?-(1-?)log(1-?) ?1-H(?)3-10 电视图像由30万个像素组成，对于适当的对比度，一个像素可取10个可辨别的亮度电平，假设各个像素的10个亮度电平都以等概率出现，实时传送电视图像每秒发送30帧图像。为了获得满意的图像质量，要求信号与噪声的平均功率比值为30dB，试计算在这些条件下传送电视的视频信号所需的带宽。解：

p(xi)=1 10I(X)?log10?3.32bit/像素1秒内可以传送的信息量为：

3.3219bit/像素?30?10000像素?30=2.9897?107bit