各章习题及解答
第1章 绪论
1—1 设英文字母E出现的概率为0.105,x出现的概率为0.002。试求E及x的信息量。 解:英文字母E的信息量为
IE?log21=3.25bit 0.1051=8.97bit 0.002 英文字母x的信息量为
Ix?log21—2 某信息源的符号集由A、B、C、D和E组成,设每一符号独立出现,其出现概率分别为1/4、l/8、l/8/、3/16和5/16。试求该信息源符号的平均信息量。
解:平均信息量,即信息源的熵为
H???i?1nP(xi)log2P(xi)=?1111113355 log2?log2?log2?log2?log244888816161616=2.23bit/符号
1—3 设有四个消息A、BC、D分别以概率1/4、1/8、1/8和l/2传送,每一消息的出现是相互独立的,试计算其平均信息量。
解:平均信息量
H???i?1nP(xi)log2P(xi)=?11111111log2?log2?log2?log2 44888822=1.75bit/符号
1—4 一个由字母A、B、C、D组成的字。对于传输的每一个字母用二进制脉冲编码,00代替A,01代替B,10代替C,11代替D,每个脉冲宽度为5ms。 (1)不同的字母是等可能出现时,试计算传输的平均信息速率。 (2)若每个字母出现的可能性分别为
PA=l/5,PB=1/4,PC=1/4,PD=3/10 试计算传输的平均信息速率。
解:(1)不同的字母是等可能出现,即出现概率均为1/4。
每个字母的平均信息量为
H???11P(xi)log2P(xi)=?4?log2=2 bit/符号
44i?1n
因为每个脉冲宽度为5ms,所以每个字母所占用的时间为 2×5×10-3=10-2s
每秒传送符号数为100符号/秒 (2)平均信息量为
H???11111133=1.985 bit/符号 P(xi)log2P(xi)=?log2?log2?log2?log25544441010i?1n平均信息速率为 198.5 比特/秒
1—5 国际莫尔斯电码用点和划的序列发送英文字母,划用持续3单位的电流脉冲表示,点用持续1个单位的电流脉冲表示;且划出现的概率是点出现概率的l/3; (1)计算点和划的信息量; (2)计算点和划的平均信息量。
解:(1)因为划出现的概率是点出现概率的1/3,所以,点出现的概率为P1=3/4, 划出现的概率为P2=l/4。故,点的信息量为
I1??log23=0.415bit 4划的信息量为
I1??log21=2bit 414(2)平均信息量
H=?0.415+?2=0.81 bit/符号
1—6 设一信息源的输出由128个不同符号组成,其中16个符号出现的概率为l/32,其余112个出现概率为1/224。信息源每秒发出1000个符号,且每个符号彼此独立。试计算该信息源的平均信息速率。
解:平均信息量
H=?16?
平均信息速率
第2章 随机信号分析
1111=6.405 bit/符号 log2?112?log2323222422434