多媒体期末思考
1、 多媒体数据的主要构成部分是哪些？多媒体同步主要研究哪些问题？ 主要构成部分：（1）多媒体数据构成的主体部分是不同媒体的数据，即成分数据（2）多媒体数据之间的约束关系，即同步规范 多媒体同步所研究的主要问题：
（1） 如何表示（描述）多媒体数据的时域特征
（2） 在处理多媒体数据的过程中（如采集，传输，播放等），如何维持时域特征。完成第
二项工作的机制称为同步机制。
2、一个远端数据库内存有一个60s的、帧率为30帧/s的视频短节目。该节目以MPEG-1压缩方式存储，每帧平均数据量为50 kb。此节目经由一条带宽为512 kb/s的通信线路传送到接收端（见图1）
（1）在数据库内此节目所需的存储空间（ MB ）是多大？
（2）此线路能否实时地传输节目？如果不，应如何解决这个问题？计算接收端的起始延迟时间以及为保证接收端正常播放所需要的缓存器大小。 答：（1）60*30*50=90000Kb=90000/8KB=11250KB=11250/1024MB=11MB （3）不能。在接收端添加一个缓冲器。
设缓冲器大小为x Kb，当缓存完成后经过t1秒播放完毕,起始延迟时间t。则有 x+512*t=30*50*t1=30*50*60 t1=60s, x=59 280Kb t=59280/512=115.8s
x=59280Kb=59280/8/1024MB=7.24MB
3、在图2所示的具有全局时钟的实时多媒体系统中，发送端将压缩后的每一帧图像打在一个包中传送，每个包的包头有表示该包发送时间的时间戳??(??),??=1,2,3??? （1）保证接收端连续播放的条件是什么？
（2）若网络传输延时??(??)∈[Δ??????,Δ??????]，为保证播放的连续性，接收端应该在什么时刻开始播放？其缓存器应为多大？
（3）假设网络传输延时??为一符合正态分布的随机变量，其均值为??，方差为??2，在保证连续播放概率??≥99%的条件下，接收端应该在什么时刻开始播放（用解析式表达）？ 答：（1）接收端解码重建的结果保持发送端原始信号的时间约束关系。且第i个LDU的播放时刻p(i)必须晚于它的到达时刻a(i)=T(i)+d(i)，其实T(i)为第i个LDU的发送时刻，d(i)为第i个LDU的传输延时。
（2）由p(i)>=a(i)，a(i)=T(i)+d(i)
由于播放时刻必须保持数据内部的原有的时间约束关系，所以有 p(i)-p(i-1)=T(i)-T(i-1) ==>p(i)-p(1)=T(i)-T(1)
==>p(i)-a(i)=p(1)-d(i)-T(1)>=0 ==>p(1)>=T(1)+d(i)
取d(i)=Δ??????,所以播放时间为p(1)=T(1)+Δ??????
B=MAX{p(i)-a(i)}=MAX{p(1)-d(i)-T(1)}=Δ??????-Min{d(i)}=Δ??????-Δ?????? (3)由上面可知 p(1)>=T(1)+d(i)
当d~（??，??2）时，要想盲足播放概率??≥99% 即满足 P{p(1)>=T(1)+d(i)}>=??=99%
==> P{d(i)>=p(1)-T(1)}<=0.01,设Φ(A)=0.01 则有p(1)-T(1)>=A??+??, ==>p(1)>=T(1)+A??+??
4、有如图3所示的多媒体信息查询系统，用户所需的信息由视频流和音频流按一定的时间关系复合而成，但这两类信息却分别存储在不同的地点，试问： （1）影响接收端进行同步播放的因素有哪些？ （2）假设收、发端时钟频率无偏差，支路1、2的延时范围分别为[Δ??????,Δ??????]和[????????,????????]，且????????>Δ??????，????????<Δ??????，同时假设每个LDU包头中有记录发送时刻??(??)的时间戳，请给出保证视频和音频数据流在接收端能同步播放的起始延时时间。
（3）如果在播放过程中，发现音频流超前于视频流，你建议如何调整？ 答：（1）延时抖动，时钟频率偏差，不同的采集起始时间或不同的延时时间，不同的播放起始时间，数据丢失，网络传输条件变化
（2）支路一的起始延时时间为D1=Δ??????-Δ??????； 支路二的起始延时时间为D2=????????-????????； 因为????????<Δ??????，所以-????????>-Δ?????? 又因为????????>Δ??????，两式相加得 ????????-???????? >Δ??????-Δ??????，即
D2>D1,所以起始延时时间为 D2=????????-????????
（3）因为通常情况下音频流作为主流，视频流作为从流。所以可以保持音频流速率不变，加速视频流的播放速度或者跳过某些视频流数据单元。
5、试述多媒体时间域信息的描述方法
由时间模型来描述多媒体时间域信息。其中一个描述时域信息的时间模型由基本时间单位、关联信息和时间表示技术三部分组成。 基本时间单位：分为时刻和间隔两种类型。
关联信息：反应时域事件的组织方式。分为定量关联信息（场景中的各时域事件相互独立，可以单独地描述每一个时域事件在场景中的位置，从而间接地反映时间关系）和定性关联信息（场景中的各时域事件彼此相关，关联信息中包含对时域事件约束关系的描述）两类。 时间表示技术：依照关联信息定义场景中各事件与时间轴之间对应关系的方法。 此外，典型的时间模型还有：时间轴模型，需时间轴模型，OCPN模型等。
6、试用时间轴模型和OCPN两种模型描述图4中的时域场景，其中视频和音频数据流之间的同步偏差要求小于等于40 ms（这需要40 ms检查一下同步情况）。 略 7、服务器按自己的时钟向客户端传输一个长度为半小时、帧率为25帧/秒、码率为128 kb/s的视频节目，客户端按本地时钟播放，二者的时钟偏差为10-4秒/秒（服务器慢于客户端的）。假设客户端接收到第一帧数据就开始播放，能否在保证观看质量的情况下连续播放完整的节目？假设累积时间差小于一个帧周期不会明显影响播放的观看质量，试提出一种起始延时最小且实现起来最简单的能保证客户端连续播放质量的方法（不考虑网络延时抖动）。 答：30*60*10-4=0.18s>一个帧周期=0.04s，所以不能保证观看质量。 因为累积时间差小于一个帧周期不会明显影响播放质量
0.18-0.04=0.14s，所以只要能缓存0.14s的数据。就可以实现起始延时最小的客户端连续播
放。此时有0.14*128Kb=17.92Kb。即缓存17.92Kb的数据。
8、什么是同步容限？ITU、ATSC、EBU这三大标准化组织对音频和视频的同步容限做了怎样的规定？
同步容限：表示约束关系所允许的偏差范围，它包含了对同步机制服务质量的要求。 标准化组织 滞后容限 超前容限 ITU BT.1359 -30ms +22.5ms ATSC IS/191 -45ms +15ms EBU R37 -60ms +40ms
9、说明HDTV中媒体流的同步是如何实现的。
HDTV的同步问题主要在于音频流和视频流之间的同步。音频和视频编码器各自独立工作，为了解决两个数据流的同步问题，通过一个90HZ的系统时钟向两个编码器输入当前的时间值。扩充过的TS（Transport Stream）包括时间戳，这些时间戳被包含在编码输出中传送给接收方，借此可以同步音频流和视频流。
10、阐述用于光存储系统的EFM通道编码设计与比特同步的关系。
11、MP3如何实现流内同步？
MP3通过Samples Per Frame 和Sampling Rate 来控制播放时间，从而实现流内同步。
12、如果分布式多媒体系统中每个设备均配置电波钟，设计一套方案支持该系统中音频视频复合流的传输。
将音频数据和视频数据分别进行音频和视频编码，之后分别打包，形成包基本码流PES。在进行视频PES打包时，在包含一帧数据开始的PES包头中插入解码时间戳DTS和显示时间戳PTS，用于表示该帧的显示时刻。对于音频流而言，只需要在其PES包头中插入PTS。之后将以上的1个或多个音视频PES包组合，并加上包头构成大包，然后将大包复接形成复合的节目流PS进行传输。在接收端可以通过PTS进行流间同步。
第七章多媒体传输网络
1、说明多媒体数据流和传统电话网数据流的区别
（1）多媒体数据流信源丰富、数据量大、数据编码压缩方式多样、传输控制复杂，要考虑带宽分配，动态路径选择，网络延时，传输同步的问题 （2）传统电话网数据流信源单一（多为语音信号）、数据量小，信源压缩率有限，传输控制相对简单，信息传输前信道已经建立，传输延时较小，基本无同步问题
2、从通信建立时间、传输延时、延时抖动、带宽利用率、对实时业务的支持、包传输次序及丢失和QoS保障等方面对下列网络进行比较：（1）电路交换网络与分组交换网络；（2）面向连接网络与无连接网络。 （1） 电路交换网络分组交换网络 通信建立时间：需要通信建立时间 虚电路时需要；数据报时不需要 传输延时：建立通信连接需要延时，但连接建立后传输延时短传输延时较长
延时抖动：只限于物理抖动存在延时抖动，且随着网络负荷的增加而恶化 带宽利用率：带宽利用率较低带宽利用率较高
多媒体期末思考题
