好文档 - 专业文书写作范文服务资料分享网站

信息论与编码理论第二章习题答案

天下 分享 时间: 加入收藏 我要投稿 点赞

部分答案,仅供参考。

信息速率是指平均每秒传输的信息量 点和划出现的信息量分别为log3,log3,

2一秒钟点和划出现的次数平均为

0.2?121?0.4?3344?15

4一秒钟点和划分别出现的次数平均为10.5

那么根据两者出现的次数,可以计算一秒钟其信息量平均为10log3?5log3?15log3?5

42442

解:

(a)骰子A和B,掷出7点有以下6种可能:

A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6,所以信息量

-log(1/6)=1+log3≈ bit

(b) 骰子A和B,掷出12点只有1种可能: A=6,B=6

概率为1/36,所以信息量

-log(1/36)=2+log9≈ bit 解:

出现各点数的概率和信息量:

1点:1/21,log21≈ bit; 2点:2/21,log21-1≈ bit; 3点:1/7,log7≈; 4点:4/21,log21-2≈; 5点:5/21,log(21/5)≈; 6点:2/7,log(7/2)≈ 平均信息量:

(1/21)×+(2/21)×+(1/7)×+(4/21)×+(5/21)×+(2/7)×≈ 解:

X=1:考生被录取; X=0:考生未被录取; Y=1:考生来自本市;Y=0:考生来自外地; Z=1: 考生学过英语;Z=0:考生未学过英语

P(X=1)=1/4, P(X=0)=3/4; P(Y=1/ X=1)=1/2; P(Y=1/ X=0)=1/10; P(Z=1/ Y=1)=1, P(Z=1 / X=0, Y=0)=, P(Z=1/ X=1, Y=0)=, P(Z=1/Y=0)= (a) P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)=

P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)=

P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=

I(X ;Y=1)=?P(x/Y?1)I(x;Y?1)??P(x/Y?1)logxxP(x/Y?1)

P(x)=P(X?0/Y?1)logP(X?0/Y?1)P(X?1/Y?1) ?P(X?1/Y?1)logP(X?0)P(X?1)=+=(5/8)log5-1≈

(b) 由于P(Z=1/ Y=1)=1, 所以 P(Y=1,Z=1/X=1)= P(Y=1/X=1)= P(Y=1,Z=1/X=0)= P(Y=1/X=0)= 那么P(Z=1/X=1)= P(Z=1,Y=1/X=1)+ P(Z=1,Y=0/X=1)=+ P(Z=1/Y=0,X=1)P(Y=0/X=1)=+*=

P(Z=1/X=0)= P(Z=1,Y=1/X=0)+ P(Z=1,Y=0/X=0)=+P(Z=1/Y=0,X=0)P(Y=0/X=0)=+*= P(Z=1,X=1)= P(Z=1/X=1)*P(X=1)=*= P(Z=1,X=0)= P(Z=1/X=0)*P(X=0)= *= P(Z=1) = P(Z=1,X=1)+ P(Z=1,X=0) = P(X=0/Z=1)==69/104 P(X=1/Z=1)=35/104

I(X ;Z=1)=?P(x/Z?1)I(x;Z?1)??P(x/Z?1)logP(x/Z?1)

P(x)xx=P(X?0/Z?1)logP(X?0/Z?1)?P(X?1/Z?1)logP(X?1/Z?1)

P(X?0)P(X?1)=(69/104)log(23/26)+( 35/104)log(35/26) ≈

(c)H(X)=*log(1/+*log(1/=2-(3/4)log3=

H(Y/X)=-P(X=1,Y=1)logP(Y=1/X=1) -P(X=1,Y=0)logP(Y=0/X=1)

-P(X=0,Y=1)logP(Y=1/X=0) -P(X=0,Y=0)logP(Y=0/X=0)

=* H(XY)=H(X)+H(Y/X)=9/4+(3/4)log10-(21/10)log3= P(X=0,Y=0,Z=0)= P(Z=0 / X=0, Y=0)* P( X=0, Y=0)=* P(X=0,Y=0,Z=1)= P(Z=1 / X=0, Y=0)* P( X=0, Y=0)=*=

P(X=1,Y=0,Z=1)= P(Z=1/ X=1,Y=0)* P(X=1,Y=0)=* P(X=1,Y=0,Z=0)= P(Z=0/ X=1,Y=0)* P(X=1,Y=0)=*=

P(X=1,Y=1,Z=1)=P(X=1,Z=1)- P(X=1,Y=0,Z=1)= P(X=1,Y=1,Z=0)=0 P(X=0,Y=1,Z=0)=0

P(X=0,Y=1,Z=1)= P(X=0,Z=1)- P(X=0,Y=0,Z=1)= H(XYZ)=* =+++++= bit

H(Z/XY)=H(XYZ)-H(XY)= -28/25+(4/5)log10-12/25log3 =

解:

A,B,C分别表示三个筛子掷的点数。 X=A, Y=A+B, Z=A+B+C

由于P(A+B+C/ A+B)=P(C/A+B)=P(C)

所以H(Z/Y)=H(A+B+C/ A+B)=H(C)=log6 =

H(X/Y)= H(A/Y)

Y 12 11 10 9 8 组合数目 1 2 3 4 5 组合情况(A+B) 6+6 5+6,6+5 4+6,5+5,6+4 3+6,4+5,5+4,6+3 ... P(A=a/Y=y) 1 1/2 1/3 1/4 ... 7 6 5 4 3 2 6 5 4 3 2 1 1+6,2+5,3+4,4+3,5+2,6+1 ... ... ... ... 1+1 1/6 ... ... ... ... 1 一共36种情况,每种情况的概率为1/36,即P(A=a,Y=y)=1/36 H(X/Y)=H(A/Y)=(1/36)[(-1*log1-2*log(1/2)-3*log(1/3)-4*log(1/4)-5*log(1/5) )*2-6*log(1/6)]=

由于P(A+B+C/ A+B,A)=P(C/A+B,A)=P(C) H(Z/XY)=H(C) =log6 =

由于P(A=x,A+B+C=z/A+B=y)=P(A=x,C=z-y/ A+B=y)=P(A=x/A+B=y)P(C=z-y/A+B=y)= P(A= x / A+B=y)P(C=z-y)=P(A/Y)P(C) P(A/Y)上面已经给出。 Y 12 11 10 9 8 7 6 5 4 3 2 组合数目 6 12 18 24 30 36 30 24 18 12 6 组合情况(A+B+C) 6+6+1, 6+6+2,...., 6+6+6 ... ... ... ... ... ... ... ... ... ... P(A=x,A+B+C=z/A+B=y) 1/6 1/12 1/18 1/24 ... 1/36 ... ... ... ... 1/6 一共216种情况,每种情况的概率为1/216,即P(XYZ)=1/216 H(XZ/Y)=

(1/216)[(-6*log(1/6)-12*log(1/12)-18*log(1/18)-24*log(1/24)-30*log(1/30))*2-36*log(1/36)]=

(1/36)*[(log6+2log12+3log18+4log24+5log30)*2+6log36]= bit

由于P(Z/X)=P(B+C/A)=P(B+C) B+C的组合共36种:

B+C 12 11 10 9 组合数目 1 2 3 4 组合情况(B+C) 6+6 5+6,6+5 4+6,5+5,6+4 3+6,4+5,5+4,6+3 P(Z/X) 1/36 2/36 3/36 4/36

6jjlm8ipda9pg7z7hdvh6c4rp7oyx100ssi
领取福利

微信扫码领取福利

微信扫码分享