- - -..
1. “多媒体”一词来源于英文“multimedia”，multimedia是20世纪80年代处产生的一个
英文名词。1976年首次用到“Multiple Media”一词，其中“Multiple”是“多”的意思，“Media”是“Medium”的复数形式，是媒体的意思。到了80年代就把这两个词复合成“multi-media”，用得多了之后就写成“multimedia”。与multimedia对应的一词是monomedia，其中mono“单一”的意思。
2. 媒体(Medium)在计算机领域中有两种含义，一是指用以存储信息的实体，二是指信息的
载体，如数字、文字、声音、图形和图像。
3. 根据原国际电报咨询委员会(Consultative mittee on International Telephone and Telegraphy，
CCITT)的定义，“媒体”有下列五大类：
i. 感觉媒体（perception medium）。指的是能直接作用于人们的感觉器官，从而
能使人产生直接感觉得媒体。 ii. 表示媒体（representation medium）。为了让更多的人共享媒体，而要进行相互
之间的传送，让传送能更有效、更安全而研究出来的媒体。借助于此种媒体，使能更有效地存储感觉媒体，或者将感觉媒体从一个地方传送到遥远的另一个地方。 iii. 显示媒体(presentationmedium)。指的是用于通信中使电信号和感觉媒体之间产
生转换用的媒体，相当于媒体的嘴巴和表情。显示媒体能把我们很陌生的电信号转换为意思明了的信号。 iv. 存储媒体(storage medium)。指的是用于存放某种信息的媒体，相当于存放媒
体的基地，可以存放各种媒体。 v. 传输媒体(transmission medium)。指的是用于传输某些信息的媒体。媒体的传
输、媒体的交换、媒体的共享都要由它来提供道路。
4. “多媒体”是指能够同时获取、处理、编辑、存储和展示两个以上不同类型信息媒体的
技术，这些信息媒体包括；文字、声音、图形、图像、动画和视频等。 5. 现在人们谈论的多媒体技术往往与计算机联系起来，原因是由于计算机的数字化及它的
交互式处理能力极大地推动了多媒体技术的发展。通常可以把多媒体看作是先进的计算机技术与视频、音频和通信等技术融为—体而形成的新技术或新产品。
6. 多媒体计算机技术(Multimedia puting)是指用计算机综合处理多种媒体信息，如文本、图
形、图像、音频、动画和视频，使多种信息建立逻辑连接，并集成为一个具有交互性系统的技术。
7. 多媒体最显著的特点是具有媒体的多样性、集成性和交互性。
8. 集成性是指以计算机为中心来综合处理多种信息媒体(如文本、图形、图像、音频、动
画和视频等)，它包括多种信息媒体的集成和处理这些信息媒体设备的集成。对于信息媒体设备的集成，则需要具备能够处理多媒体信息的高速及并行CPU系统、大容量的存储、适合多媒体多通道的输入输出能力、外设及宽带的通信网络接口。交互性是指多媒体具有与使用者交互性沟通(interactive munication)的特性，。 9. 多媒体计算机的分类，从开发和生产厂商以及应用的角度出发可以分成两大类。一类是
家电制造厂商研制的电视计算机(teleputer)。另一类是计算机制造厂商研制的计算机电视(puvision)。
10. 多媒体计算机与普通计算机最大的区别是，多媒体计算机有音响和声卡。 11. 要把过去只能处理数和字的普通计算机变成今天的多媒体计算机，需要解决的关键技术
是：
a) 视频音频信号获取技术；
b) 多媒体数据压缩编码和解码技术；
- - 总结资料
- - -..
12.
13.
14.
15.
16.
17.
18. 19.
20. 21. 22. 23.
24.
c) 视频音频数据的实时处理； d) 视频音频数据的输出技术。
所谓通信、娱乐和计算机的融合，即把消费类电子产品，如、电视、传真机、音响、录像仇与计算机融为一体，由计算机完成视频音频信号的采集、压缩和解压缩，实时处理视频和音频，从而形成新一代的产品，为人类的生活和工作提供全新的信息服务。 目的研制的数字高清晰度电视（High-Definition Television， HDTV）有下述几个特点： a) 采用国际标准的压缩编码算法MPEG-II。 b) 采用打包数据结构。 c) 采用双层传输技术。
彩色电视采用YUV方案和黑白电视兼容同等重要。MPEG-II提供了四种工具：空间可扩展性（Spatial Scalability）、时间可扩充性（Temporal Scalability）、信噪比可扩充性（SNR Scalability）及数据分块（Data Partitioning）。
交互式电视系统分为节目内交互和节目间交互两种。最常用的是节目间的交互，有称点播电视（Video On Demand，VOD）。按照点播电视系统服务的规模，将点播底下那是系统划分为三类。
a) 小型点播电视系统。 b) 中型点播电视系统。 c) 大型点播电视系统。
VOD系统主要由四个部分组成： a) 视频服务器 b) 编码器/路由器
c) 用户请求计算机和记账计算机 d) 机顶盒 影视节目制作
a) 一个层次是影视画面的制作 b) 另一个层次是影视的后期制作
NTSC制为352×240×30，PAL制为352×288×25，声音质量可达CD-DA的质量。 目前多媒体数据库的研究主要有以下三条途径：
a) 在现有商用数据库管理系统的基础上增加接口，以满足多媒体应用的需要； b) 建立基于一种或几种应用的专用多媒体信息管理系统； c) 从数据模型人手，研究全新的通用多媒体数据库管理系统。
研究开发多媒体数据库要解决的关键技术问题是数据模型、数据压缩和解压缩。 多媒体数据模型主要采用关系数据模型的扩充和采用面向对象的设计方法。 数据压缩方法要考虑到复杂性、实现速度及压缩质量等问题。 基于内容的检索（content-based retrieval）具有如下特点： a) 从媒体内容中提取信息线索。 b) 提取特征的方法多种多样。 c) 人及交互进行。
d) 基于内容的检索式一种近似匹配。
基于内容的检索可以利用图像处理、语音信号处理、模式识别、计算机视觉等学科中的一些方法作为部分基础技术。基于内容检索需要解决两类关键技术：多媒体特征提取技术和相似检索技术。
基于内容检索的处理过程： a) 提交查询要求
- - 总结资料
- - -..
25. 26.
27.
28.
29. 30.
31. 32.
33. 34.
35. 36. 37.
b) 相似性匹配 c) 返回候选结果 d) 特征调整
社会的文明程度可以用信息交换手段来衡量，愈是发达的社会，信息的产生和交换愈是频繁。
多媒体通信系统的特征： a) 集成性 b) 交互性 c) 同步性
多媒体通信系统的特点： a) 传书速率高 b) 信息的同步
c) 变化较大的误码率 d) 通信系统的动态重构 多媒体通信的分类： a) 信息传输的对称模式
b) 信息传输的不对称模式它的典型应用系统是交互式电视系统（ITV）、点播电视系统
（VOD）、电子图书馆、远程教育等。
多媒体通信要解决的两个关键技术是多媒体数据压缩和高速数据通信问题。 视频会议系统可分为：点对点视频会议系统和多点视频会议系统。
点多点视频会议系统支持两个通信节点间视频会议通信功能，它的主要业务是： a) 可视
b) 桌面视频会议系统 c) 会议室型视频会议系统 多点视频会议系统：多点视频会议系统允许3个或3个以上不同地点的参与者同时参与会议。多点视频会议系统的一个关键技术是多点控制问题。
多媒体创作工具可分成：基于时间的创作工具、基于图符或流线创作工具、基于卡片和页面的创作工具、以传统程序语言为基础的创作工具。
多媒体创作工具应具有下述功能：具有良好的、面向对象的编程环境；具有较强的支持多媒体数据I/O能力；能播放由外部程序制作好的动画，并具有简单的动画制作和处理功能；具有超级连接能力；具有应用程序能够调用另一个处理函数的能力；具有形成安装文件或可执行文件的能力，一击易学易用并有良好的技术支持。
CSCW的含义是计算机支持的协同工作，它是一个非常热门的研究课题。CSCW系统能够适应信息化社会中人们工作方式的群体性、交互性、分布性和协作性的特点。 把多媒体信息实时处理和压缩编码算法作到CPU芯片中要遵循下述几条原则： a) 压缩的算法采用国际标准的设计原则 b) 多媒体功能的单独解决编程几种解决 c) 体系结构设计和算法相结合
这类芯片分成两类：一类是以多媒体和通信功能为主；另一类是以通用CPU计算机功能为主。
声音的种类有语音（言语）和非语音（乐声和杂声）之分。
模拟数据一旦转化为数字信号，即模拟信号数字化。这一过程就叫模/数转换（ADC）。 模拟信号是时间上连续的信号，如果把模拟信号按特定的时间间隔进行分割，就可以得到一系列离散点，即在模拟信号波形上取得一系列离散的幅度值，这种方法叫做“采样”。
- - 总结资料
- - -..
38.
39. 40. 41.
42.
43.
44. 45. 46.
47.
采样频率越高数字化之后得到得声音越逼真。 量化就是使用数字量来表示采样的大小，即用数字量来表示采样的到得离散点的信号幅度值。
量化可以归纳为两类：一类称为均匀量化，另一类称为非均匀量化。
a) 均匀量化采用相等的量化间隔对采样得到的信号做量化就是均匀量化。
b) 非均匀量化的基本思想是对输入信号进行量化时，大的输入信号采用大的量化间
隔，小的输入信号采用小的量化间隔。声音数据还原时，采用相同的规则。 通过采样和量化就是把模拟信号变成了数字信号。把模拟信号转换成数字信号的工作可以有专门的处理芯片来完成，这个芯片称为模/数转换器（A/D转换器）。 MIDI音频是多媒体计算机产生声音的另一种方式。 音频信号处理的特点如下：
a) 音频信号时时间依赖的连续媒体，因此音频处理的时序性要求很高。 b) 由于人接收声音又两个通道（左耳、右耳），因此为使计算机模拟自然声音，也应
有两个声道，即理想的合成声音应是立体声。 c) 由于语音信号不仅仅是声音的载体，同事还携带了感情的一项，固语言信号的处理，
不仅仅是信号处理问题，还要抽取语意等其他信息，因此可能会涉及到语言学、社会学及声学等。
从人与计算机交互的角度来看，音频信号相应的处理如下：
a) 人与计算机通信（计算机接收音频信号）音频获取：语音识别与理解。 b) 计算机与人通信（计算机输出音频）音频合成：包括音乐合成和语音合成。
声音定位：包括立体声模拟以及音频/视频同步。目的是计算机产生真是感声音。 c) 人—计算机—人通信
人通过网络，与异地的人进行语音通信，需要的音频处理包括语音采集、音频编/解码及音频传输等。这里音频编/解码技术是信道利用率的关键。 声卡的功能主要有以下几点：
a) 录制、编辑和回放数字声音文件 b) 控制声音源的音量，混合后再数字化
c) 在记录和回放数字声音文件时进行压缩和解压缩。 d) 文语转换与语音识别 e) MIDI接口和音乐合成
ADPCM（自适应差分脉冲编码调制）和ACM等，压缩比约为4:1~6:1。 声卡根据总线的不同分为两大类：一种是ISA声卡，一种是PCI声卡。
声卡的主要组成部件有：声音的合成与处理、混合信号处理器及功率放大器、计算机总线接口和控制器。声音的合成与处理时声卡的核心。它由数字声音处理器、FM音乐合成器及MIDI控制器组成。它的主要任务是完成声波信号的数/模转换，利用调频技术控制声音的音调、音色和幅度。
语音信号存在着多种冗余度，其罪主要部分可以分别从时域和频域来考虑。 a) 时域信息的冗余度
i. 幅度的非均与分布 ii. 样本间的相关 iii. 周期之间的相关 iv. 基音之间的相关人的说话声音通常分为浊音和清音两种基本类型 v. 静止系数 b) 频域信息的冗余度
- - 总结资料
- - -..
48.
49. 50. 51. 52. 53. 54. 55.
56. 57.
58.
59.
60. 61. 62.
i. 非均匀的长时功率谱密度 ii. 语音特有的短时功率谱密度 音频编码的分类如下：
a) 基于音频数据的统计特性进行编码，其典型技术是波形编码 b) 基于音频的声学参数，进行参数编码，可进一步降低数据率 c) 基于人的听觉特性预测编码
乐声和噪音的区别主要在于它们是否有周期性 音高：音高指声波的基频
音色：具有固定音高和相同谐波的乐音
响度和时值：响度是对声音强度的衡量它是听判乐音的基础，时值是容易理解的，它具有明显的相对性，一个音只有在包含了比它更短的音的旋律中才会显得长。 人类感知客观世界有70%的信息是出现视觉获取的。
空间连续坐标（x,y）的离散化，叫做采样；f(x,y)颜色的离散化，称之为量化。
采样定理阐述了采样间隔与f(x,y)频带之间的依存关系，频带越窄，相应的采样频率就越可以降低，采样频率是图像变化频率二倍时，就能保证由离散图像数据无失真滴重建原图。
量化：采样是对图像函数f(x,y)的空间坐标(x,y)进行离散化处理，而量化时对每个离散点—像素的灰度或颜色样本进行数字化处理。
三基色（RGB）原理：自然界常见的各种彩色光，都可由红（R）、绿（G）、蓝（B）三种颜色光按不同比例相配而成，同样绝大多数颜色也可以分解成红、绿、蓝三种色光，这就是色度学中最基本的原理——三基色原理。
在现代彩色电视系统中，通常采用YUV和YIQ彩色空间来表示彩色图像。其中Y表示亮度信号，而UV和IQ表示色差信号。在PAL彩色电视制式中采用UV彩色空间，在NTSC彩色电视制式中采用YIQ彩色空间。 采用YUV彩色空间的优势如下：
a) 亮度信号Y解决了彩色电视机与黑白电视机的兼容问题； b) 大量实验表明，人眼对彩色图像细节的分辨本领比对黑白的低的得多，因此对色度
信号U、V，可以采用“大面积着色原理”。
在HSO彩色空间中，人们常用H、S、I三参数描述颜色特性，其中H表示色调（Hue），S表示颜色的饱和度（Saturation），I表示光的强度（Intensity）。 电视摄像机把一幅图像信号转变成的输出信号就是全电视信号
在现代彩色电视系统，通常采用YUV彩色空间或YIQ彩色空间，Y为亮度信号，它可以与黑白电视信号兼容，U和V用载波频率
?sc调制加到亮度Y上，最后形成彩色全电
视信号。
63. 多媒体计算机最常用的图像有下述三种：图形、静态图像和动态图像，获得这3种图像
可用下述方法：
a) 计算机产生彩色图形、静态图像和动态图像； b) 用彩色扫描仪扫描输入彩色图形和静态图像； c) 用视频信号数字化仪讲彩色全电视信号数字化后，输入到多媒体计算机中，可获得
静态和动态图像。
64. 黑白视频信号获取器的作用是：
a) 把一维的黑白全电视信号数字化后送到存储器中保存；
b) 把保存在存储器中的视频信号还原为电视信号送到电视机或监视器上。
- - 总结资料
多媒体计算机技术重点标记 - 图文
