多媒体技术

感觉媒体  直接作用于人的感官、使人能直接产生感觉的一类媒体。  声音、文字、图形和图像，物体的质地、 形状、温度

表示媒体  为了加工感觉媒体而构造出来的一种媒体。  各种编码：语音编码、图像编码等

显示媒体 感觉媒体与通信电信号进行转换的一类媒体 可分为：输入表现媒体，输出表现媒体

存储媒体  用于存放表示媒体的一类媒体如：硬盘、光盘等

传输媒体  用来将表示媒体从一处传送到另一处的物理传输介质，如各种通信电缆。

多媒体概念以数字化为基础，能够对多种媒体信息进行采集、编码、存储、传输、处理和表现，综合处理多种媒体信息并使之建立起有机的逻辑联系，集成为一个系统并能具有良好交互性的技术。  简言之, 多媒体技术就是计算机综合处理声、文、图信息, 具有多样性、集成性和交互性

多媒体的关键特性

多样性—适应了信息载体的多样性 交互性—易于人和计算机的交互集成性—实现了信息处理的集成性

多媒体计算机的关键技术

 视频音频信号获取技术；多媒体数据压缩编码和解码技术；视频音频数据的实时处理和特技；视频音频数据的输出技术。

  要把一台普通的计算机变成多媒体计算机需要解决哪些关键技术？

  答：视频音频信号的获取技术； 多媒体数据压缩编码和解码技术； 视频音频数据的实时处理和特技；视频音频数据的输出技术。

 多媒体计算机的关键技术及其主要应用领域。

  答：多媒体计算机的关键技术是： ①视频音频信号获取技术； ②多媒体数据压缩编码和解码技术； ③视频音频数据的实时处理和特技； ④视频音频数据的输出技术。多媒体计算机的主要应用领域： ①多媒体数据库和基于内容的检索； ②多媒体通信； ③多媒体创作工具。

音频处理技术

什么是模拟音频和数字音频？它们的特点是什么？
声音是机械振动。振动越强，声音越大，话筒把机械振动转换成电信号，模拟音频技术中以模拟电压的幅度表示声音强弱。 在计算机内，所有的信息均是以数字表示的。各种命令是不同的数字，各种幅度的物理量也是不同的数字。当然，语音信号也是由一系列数字来表示，称之为数字音频。 数字音频的特点是保真度好，动态范围大。模拟声音在时间上是连续的。数字声音在时间上是断续的。

 什么是音频信息的数字化？

计算机内的音频必须是数字形式的，因此必须把模拟音频信号转换成用有限个数字表示的离散序列，即实现音频数字化。在这一处理技术中，涉及到音频的采样、量化和编码。

声音数字化的两个步骤是什么：

声音数字化的两个步骤是：采样和量化。采样就是每间隔一段时间就读一次声音信号的幅度，量化就是把采样得到的声音信号幅度转换为数字值。 时间上的离散叫采样，幅度上的离散称为量化。 

 什么是采样和量化？

音频实际上是一个连续的信号，或称连续时间函数x(t)。用计算机处理这些信号时，必须先对连续信号采样，即按一定的时间间隔(T)取值, 得到x(nT)(n为整数)。T称采样周期，1/T称为采样频率。称x(nT)为离散信号。离散信号x(nT)是从连续信号x(t)上取出的一部分值，在满足采样定理的条件下，可以用x(nT)通过数字---模拟转换恢复出x(t)。 为了把采样序列x(nT)存入计算机，必须将样值量化成一个有限个幅度值的集合x(nT)。通常情况下用二进制数字表示量化后的样值。

常用的音频采样频率有哪些？

常用的音频采样频率有：8kHz、11.025kHz、16kHz、22.05kHz、37.8kHz、44.1kHz、48kHz等。如果采用更高的采样频率，还可以做出DVD的音质。

音频编码的目的是什么？从哪些方面来考虑音频信号的冗余度？

音频编码的目的在于压缩数据。在多媒体音频数据的存储和传输中，数据压缩是必须的。通常数据压缩造成音频质量的下降、计算量的增加。因此，人们在实施数据压缩时，要在音频质量、数据量、计算复杂度三方面进行综合考虑。从信息保持的角度讲，只有当信源本身有冗余时，才能对其进行压缩。 根据统计分析结果，语音信号中存在多种冗余，其最主要部分可以分别从时域和频域来考虑。另外，由于语音主要是给人听的，所以也要考虑人的听觉感知机理。因此，可以从以下三个方面来考虑音频信号的冗余度： 时域信息的冗余度 频域信息的冗余度 人的听觉感知机理 。

时域信息和频域信息的冗余度体现在哪些方面？如何从人的听觉感知机理方面对音频信息进行压缩？

时域信息冗余度体现在以下几个方面： 幅度的非均匀分布 样本间的相关 周期之间的相关 基音之间的相关 静音系数 长时自相关函数 频域信息冗余度体现在以下几个方面： 非均匀的长时功率谱密度 语音特有的短时功率谱密度 人的听觉感知机理方面 人的听觉具有掩蔽效应 人耳对不同频段的声音的敏感程度不同 人耳对语音信号的相位变化不敏感。

音频编码是如何分类的？

音频编码的分类如下： （1）基于音频数据的统计特性进行编码，其典型技术是波形编码。其目标是使重建语音波形保持原波形的形状。PCM（脉冲编码调制）是最简单最基本的编码方法。它直接赋予抽样点一个代码，没有进行压缩，因而所需的存储空间较大。为了减少存储空间，人们寻求压缩编码技术。利用音频抽样的幅度分布规律和相邻样值具有相关性的特点，提出了差值量化（DPCM）、自适应量化（APCM）和自适应预测编码（ADPCM）等算法，实现了数据的压缩。波形编码适应性强，音频质量好，但压缩比不大，因而数据率较高。 （2）基于音频的声学参数，进行参数编码，可进一步降低数据率。其目标是使重建音频保持原音频的特性。常用的音频参数有共振峰、线性预测系数、滤波器组等。这种编码技术的优点是数据率低，但还原信号的质量较差，自然度低。 将上述两种编码算法很好地结合起来，采用混合编码的方法。这样就能在较低的码率上得到较高的音质。如码本激励线性预测编码（CELP）、多脉冲激励线性预测编码（MPLPC）等。 （3）基于人的听觉特性进行编码：从人的听觉系统出发，利用掩蔽效应，设计心理声学模型，从而实现更高效率的数字音频的压缩。其中以MPEG标准中的高频编码和DolbyAC-3最有影响。

量化可以分为几类？

量化有好几种方法，但可以归纳为两类：一类称为均匀量化，另一类称为非均匀量化。采用的量化方法不同，量化后的数据量也不同。因此，可以说量化也是一种压缩。

什么是均匀量化？什么是非均匀量化？它们的特点是什么？

采用相等的量化间隔对采样得到的信号做量化就是均匀量化。均匀量化就是采用相同的"等分尺"来度量采样得到的幅度，也称为线性量化。 用这种方法量化输入信号时，无论对大的输入信号还是对小的输入信号一律都采用相同的量化间隔。为了适应幅度大的输入信号，同时又要满足精度高的要求，就需要增加样本的位数。但是，对语音信号来说，大信号出现的机会并不多，增加的样本位数就没有充分利用。为了克服这个不足，就出现了非均匀量化的方法，这种方法也称为非线性量化。 非均匀量化的基本思想是，对输入信号进行量化时，大的输入信号采用大的量化间隔，小的输入信号采用小的量化间隔，这样就可以在满足精度要求的情况下使用较少的位数来表示。声音数据还原时，采用相同的规则。

什么是自适应量化PCM？改变量化阶距有哪两种方法？
自适应量化PCM (adaptive pulse code modulation , APCM)是一种根据输入信号幅度大小来改变量化阶距大小的一种波形编码技术。这种自适应可以是瞬时自适应，即量化阶距的大小每隔几个样本就改变，也可以是音节自适应，即量化阶距的大小在较长时间周期里发生变化。 改变量化阶距的大小有两种方法：一种称为前向自适应（forward adaptation），另一种称为后向自适应（backward adaptation）。 前向自适应是根据未量化的样本值的均方根值来估算输入信号的电平，以此来确定量化阶距的大小，并对其电平进行编码作为边信息传送到接收端。 后向自适应是从量化器刚输出的过去样本中来提取量化阶距信息。由于后向自适应能在发和收两端自动生成量化阶距，所以它不需要传送边信息。

什么是调频音乐合成？什么是波表合成？

调频音乐合成是使高频振荡波的频率按调制信号规律变化的一种调制方式。采用不同调制波频率和调制指数，就可以方便的合成具有不同频谱分布的波形，再现某些乐器的音色。我们可以采用这种方法得到具有独特效果的"电子模拟声"，创造出丰富多彩的声音，是真实乐器所不具备的音色，这也是FM音乐合成方法特有的魅力之一。 波表的英文名称为"WAVE TABLE"，从字面翻译就是"波形表格"的意思。其实它是将各种真实乐器所能发出的所有声音（包括各个音域、声调）录制下来，存贮为一个波表文件。播放时，根据MIDI文件纪录的乐曲信息向波表发出指令，从"表格"中逐一找出对应的声音信息，经过合成、加工后回放出来。

什么是MIDI？什么情况下使用MIDI？ MIDI是乐器数字接口的缩写，它始建于1982年，MIDI泛指数字乐器接口国际标准。标准的多媒体PC平台能够通过内部合成器或连到计算机端口的外部合成器播放MIDI文件。MIDI标准规定了不同厂家的电子乐器与计算机连接的电缆和硬件。它还指定了从一个装置传送数据到另一个装置的通信协议。这样，任何电子乐器，只要有处理MIDI信息的处理器和适当的硬件接口都能变成MIDI装置。MIDI间靠这个接口传递消息(massage)，消息是乐谱(Score)的数字描述。乐谱由音符序列、定时和合成音色(Patches)的乐器定义所组成。当一组MIDI消息通过音乐合成芯片演奏时，合成器解释这些符号，并产生音乐。 以下几种情况下，使用MIDI谱曲比使用波形音频更合适，如： 需要播放长时间高质量音乐。比如你想在硬盘上存储的音乐大于1分钟，而硬盘又没有足够的存储容量。 需要以音乐作为背景音响效果。同时从CD-ROM中装载其他数据，如图像、文字的显示。 需要以音乐作背景音响效果。同时播放波形音频或实现文--语转换，以实现音乐和语音同时输出。

什么是AC-3 ?

美国杜比公司（Dolby）制定的环境立体声音频压缩编码标准，它在制定了AC-1和AC-2后又制定了AC-3。AC-3采用了频谱分析技术，非线性子带带宽分配、动态时域／谱域带宽分配、心理声学模型和多声道耦合技术，具有很高的数据压缩率和很低的失真度。杜比AC-3有完全独立的６个声道，全频带的左、右、中、左环绕、右环绕和一个低于120HZ的超低音，因此，又称为5.1声道。

多媒体数据压缩

文本 文本是计算机文字处理程序的基础，包括ASCII、中文。

图形 一般指用计算机绘制的画面。也称矢量图。

图像  图像是指由输入设备捕捉的实际场景画面，或以数字化形式存储的任意画面。静止的图像是一个矩阵，由一些排成行列的点组成，这些点称之为像素点（pixel），这种图像称为位图（bitmap）。

视频 由连续的画面组成。这些画面以一定的速率连续地投射在屏幕上，使观察者具有图像连续运动的感觉

音频  波形声音，包含了所有的声音形式，它可以把任何声音都进行采样量化。  语音，人的说话声虽是一种特殊的媒体，但也是一种波形。  音乐，符号化了的声音，乐谱可转变为符号媒体形式。
动画 实质是一幅幅静态图像的连续播放。动画的连续播放既指时间上的连续，也指图像内容上的连续，即播放的相邻两幅图像之间内容相差不大

压缩的必要性：音频、视频的数据量很大，如果不进行处理，计算机系统几乎无法对它进行存取和交换。

压缩的可行性：信息论认为：若信源编码的熵大于信源的实际熵，该信源中一定存在冗余度。

数据压缩技术的性能指标

压缩比，压缩性能常常用压缩比定义（输入数据和输出数据比）

  图象质量，无损压缩（图象质量不变）；有损压缩，失真情况很难量化，只能对测试的图象进行估计。

压缩和解压的速度，压缩和解压可能不同时用，压缩、解压速度分别估计。

数据冗余的类型 空间冗余  时间冗余  信息熵冗余  视觉冗余  听觉冗余  其它冗余  结构冗余  知识冗余

根据解码后数据与原始数据是否完全一致可以分为两大类：

 一类是熵编码、冗余压缩法，也称无损压缩法、无失真压缩法；多用于文本、数据的压缩，非线性编辑系统为了保证视频质量，有些高档系统采用的是无失真压缩方法。 二是熵压缩法，也称有损压缩法、有失真压缩法。图像、声音、动态视频

根据编码原理 预测编码，变换编码，统计编码，分析－合成编码，混合编码等

预测编码：预测编码是指利用前面的一个或多个信号对下一个信号进行预测，然后对实际值和预测值的差进行编码。DPCM与ADPCM是两种典型的预测编码。 线性预测、非线性预测   理论基础：现代统计学和控制论  目标：减少数据在时间和空间上的相关性

如何理解"数据压缩"的概念？  数据压缩就是以最少的数码表示信源所发的信号，减少容纳给定消息集合或数据采样集合的信号空间。理解这一概念的关键是要理解"信源"和"信号空间"以及"最少"的含义。"信源"可以是数据、静止图象、语音、电视或其他需要存储和传输的信号；"信号空间"是指信号集合所占的空域、时域和频域空间。空域、时域和频域空间是指：（1）物理空间：如存储器、磁盘、磁带、光盘等数据存储介质。（2）时间区间：如传输给定信源所需的时间。（3）电磁频谱区域：如传输给定信源所需的带宽。"最少"是指在保证信源的一定质量或者说是有效的前提下的最少。

何为"有损压缩"和"无损压缩"？ 有损压缩是指经过压缩后经解码再还原的信号与原信号不能严格一致，无损压缩是指压缩后经解码还原的信号与原信号严格一致。

存储1分钟的分辨率为512×512的NTSC制彩色视频图像，其数据存储量有多大？

一幅512×512的彩色图像，每像素用8bit表示，则其大小为： 512×512×8×3=629145bit≈6.3M bit=768kB 每秒钟传送30帧，其每秒的数据量为： 6.3Mbit×30帧/s =188M bit/s = 23.5MB/s 一分钟的数据量为：23.5MB/s×60 = 1410 MB 

信息熵的概念。

 信源X发出的xj(j=1,2,……n), 共n个随机事件的自信息统计平均（求数学期望），它的含义是信源X发出任意一个随机变量的平均信息量。

 图像处理技术

亮度 

 亮度是人眼对光强度的感受。 目标的亮度和周围的背景有关，对比度  视觉上也有等亮曲线，反映了视觉在亮度上与波长的关系。在同一亮度感觉下，不同波长的光具有不同的光强。视觉也有掩蔽现象，在很亮的高光周围时难以看清的 

彩色 三种心理属性：色调、亮度和饱和度  色调就是通常意义下的彩色，它随波长的变化而变化，反映颜色的基本特性。饱和度是代表为了产生所感知到的彩色在白光中必须混入的纯单色光的相对数量，或者说是颜色的深浅程度。对同一色调的彩色光，饱和度越深颜色越鲜艳。 亮度是光作用于人眼所引起的明亮程度的感觉，与光强有关。色调和饱和度统称为色度。人眼一般感到红光最暗，蓝光次之，而黄绿光最亮。研究表明，人眼对亮度信息敏感，而对颜色的敏感程度相对较弱。

几个重要的技术参数

 分辨率：屏幕分辨率、图像分辨率、像素分辨率 图像颜色数：真彩色概念、图象与象素深度  位图图像的数据量：设图像的垂直方向分辨率为h像素，水平方向分辨率为w像素，颜色深度为c位，则该图像所需数据空间大小B为： B=(h*w*c)/8(字节)

真彩色

  指在组成一幅彩色图象的每个象素值中，有R、G、B三个基色分量，每个基色分量直接决定显示设备的基色强度，这样产生的彩色称为真彩色。例如用RGB 5∶5∶5表示的彩色图象，R、G、B各用5位，用R、G、B分量大小的值直接确定三个基色的强度，这样得到的彩色是真实的原图彩色。

伪彩色： 指每个象素的颜色不是由每个基色分量的数值直接决定，而是把象素值当作彩色查找表CLUT(color look-up table)的表项入口地址，去查找一个显示图象时使用的R、G、B强度值，用查找出的R、G、B强度值产生的彩色称为伪彩色。

图像的处理： 图像数据的压缩：在存储和传输前进行，要考虑算法、实时性---硬件完成  图像的优化：图像增强、噪声过滤、畸变校正、亮度调整、色度调整等  图像的编辑：裁剪、旋转、缩放、综合叠加等  图像格式转化：

图形：图形以一组指令的形式存在。指令可描述：线、圆、弧、矩形的大小和形状及曲面、光照、材质等。图形的显示过程：解释指令，以显示中的计算时间换存储空间

色度抽样  在数字图像处理领域中，色度抽样是指在表示图像时使用较亮度信息低的分辨率来表示色彩（色度）信息。当对模拟分量视频或者YUV信号进行数字抽样时，一般会用到色度抽样。  由于人眼对色度的敏感度不及对亮度的敏感度，图像的色度分量不需要有和亮度分量相同的清晰度，所以许多视频系统在色差通道上进行较低（相对亮度通道）清晰度（例如，抽样频率）的抽样。这样在不明显降低画面质量的同时降低了视频信号的总带宽。因抽样而丢失的色度值用内插值，或者前一色度值来替代。 视频系统的抽样率通常用一个三分比值表示。第一个值是亮度（Y）分量样本的数量，后两个值是两个色彩（“色度”）分量样本的数量：U/Cb分量在前，V/Cr分量在后。在比较图像质量时，这三个值之间的比值才是重要的，所以4：4：4可以简化为1：1：1；但是习惯上亮度样本的数量值总为4，其他两个值依此类推。 有时抽样率为四分比值，如4：2：2：4。这时第四个值是调制通道的抽样频率比值。事实上，因为在调制应用中非常需要高质量图像，所以这个值在任何情况下都为4。

4:4:4 三个通道的抽样率相同，因此在生成的图像里，每个象素的三个分量信息完整（每个分量通常8比特或10比特），经过8比特量化之后，未经压缩的每个象素3个字节。

4:2:2  每个色差通道的抽样率是亮度通道的一半，所以水平方向的色度抽样率只是4:4:4的一半。对非压缩的8比特量化的视频来说，每个由两个水平方向相邻的像素组成的宏像素需要占用4字节内存。

4:1:1  4:1:1的色度抽样，是在水平方向上对色度进行4:1抽样。对于低端用户和消费类产品这仍然是可以接受的。对非压缩的8比特量化的视频来说，每个由4个水平方向相邻的像素组成的宏像素需要占用6字节内存。

4:2:0 4:2:0并不意味着只有Y,Cb而没有Cr分量。它指的是对每行扫描线来说，只有一种色度分量以2:1的抽样率存储。相邻的扫描行存储不同的色度分量，也就是说，如果一行是4:2:0的话，下一行就是4:0:2，再下一行是4:2:0...以此类推。对每个色度分量来说，水平方向和竖直方向的抽样率都是2:1，所以可以说色度的抽样率是4:1。

图像处理技术

    什么是图像文件格式？有那几类?：  数字化的图形、图像及视频信息，都以文件的形式存储到计算机的存储器中，大多数是工厂和企业的标准。通常将其分成两类：一类是静止图像文件格式，另一类是动态视频文件格式。常见的六种静止图像文件格式：GIF（Graphics Interchange Format）、TIFF（Tag Image File Format）、TGA（Targe Image Format）、BMP（Bitmap）、PCX和MMP。

位图图像的优缺点： 位图图像的主要优点是清晰、美观、逼真，能画出比较复杂的图像，并支持鼠标。显示位图图像要比显示矢量图形快，位图可装入内存直接显示。位图图像的主要缺点是存储容量大，因为位图必须把屏幕上显示的每一个像素的信息存储起来。一般同样的一幅画，位图的容量往往要比矢量图多一至二倍，甚至好几倍。分辨率对位图图像的影响也是比较大的，分辨率的高低将直接影响位图图像的质量。

位图与矢量图的区别 ：由于图像存储方法的截然不同，不同方法表示的图像其应用领域也不尽相同。位图适用于具有复杂的颜色、灰度或形状变化的图像，如照片、绘画和数字化的视频图像。计算机显示就采用位图格式，因而位图图像的计算机处理是有硬件基础的。与位图格式相比较，矢量格式适用于线型图，如计算机辅助设计(CAD)的图形和图像，只有简单的形状、灰度和颜色。由于点阵和矢量两种不同的存储方法，其所用的文件格式也不同，如BMP、PCX、GIF、PIC、TGA等文件格式是用来存储位图图像的，而如AutoCAD的DWC、DXF以及GDS使用的GRA文件都是存储矢量图像的。

TIFF格式的优缺点： TIFF格式是由Microsoft，Hewlett Packard与Aldus组成委员会制定的。目的就是提供一个与平台无关，与应用程序无关，与图像本身无关的图像文件格式。它的最大优点是兼容性非常好，几乎可运用在任何方面，用它保存图像可以保证顺利地与任何人进行交流。该格式文件的扩展名是tiff或tif。缺点是数据量大

图像的数字化过程：  数字化是指将许多复杂多变的信息转变为可以度量的数字，再以数字建立起适当的数字化模型，把它们转变为一系列二进制代码，引入计算机内部，进行统一处理。 数字化将任何连续变化的输入分离为独立的单元，在计算机中用数字“0”和“1”表示。数字转换设备获取图像的过程实质上是信号扫描和数字化的过程，它的处理步骤大体分为采样、量化、编码三个步骤

图像的显示分辨率、图像分辨率、像素分辨率：  显示分辨率：在某种显示方式下,显示器屏幕上的最大显示区域，即水平与垂直方向的像素个数。图像分辨率：数字化图像的大小，即该图像的水平与垂直方向的像素个数。像素分辨率：指像素的宽和高的比例, 一般为1:1。 相同大小的显示屏上，显示分辨率越高，像素越高，像素密度越大，显示的图像越精细，但同一字号的字在屏幕上却显得越小。最大显示分辨率由显示器和显卡（显示缓存）决定；当前显示分辨率由当前设置的参数决定。图像分辨率决定图像的显示质量。图像分辨率和显示分辨率决定了显示图像的大小。

什么是颜色深度：是指记录每个像素所使用的二进制位数。对于彩色图像，颜色深度决定了图像可以使用的最大颜色数目。对于灰度图像，颜色深度决定了该图像可以使用的亮度级别数目。颜色深度越大，显示的图像越丰富，画面越好，但数据量也随之增长。

图像的颜色类型： 图像的颜色需要使用三维空间来表示，但表示法不唯一，每个像素点的图像深度的分配与图像所使用的颜色空间有关。真彩色：图像中的每个像素值都分成R、G、B三个基色分量，每个基色分量直接决定其基色的强度。伪彩色：图像的每个像素值实际上是一个索引值或代码值。该代码值作为颜色查找表CLUT中某一项的入口地址。根据该地址可以查找出包含实际R、G、B的强度值。这种用查找映射的方法产生的色彩称为伪彩色。直接色：是通过每个像素点的R、G、B分量分别作为单独的索引值进行变换，经相应的颜色变换表找出各自的强度，用变换后的R、G、B强度值产生的色彩。

灰度图：灰度图(Grayscale image)按照灰度等级的数目来划分。只有黑白色的图像称为单色图像（monochrome image），图中每个像素值用1位存储。如果每个像素的像素值用一个字节表示，灰度等级数为256，每个像素可以是0～255之间的任何一个值。

色调：引起视觉的色光，可能是由数种波长的光波混合而成，但正常人眼均能感受出它最接近红、橙、黄、绿、蓝、紫等纯光谱色中的那一种，这种属性称为色调。色调有一个自然的顺序：红、橙、黄、绿、青、蓝、紫。在这个次序中，当人们混合相邻颜色时，可以获得在这两种颜色之间连续变化的色调。

颜色的饱和度：指的是颜色偏离灰色、接近纯光谱色的程度。黑、白、灰色的饱和度最低（0%），而纯光谱色的饱和度最高（100%）。纯光谱色与白光混合，可以产生各种混合色光，其中纯光谱色所占的百分比，就是该色光的饱和度。

视频处理技术

 电视的三大制式： NTSC（National Television System Committee（525/60）：1953，美国  PAL(Phase Alternation Line)（625/50）：1962，西德 SECAM（625/50）：法国

光栅扫描原理
     视频摄像机将图像转换为电信号，电信号是一维的，但图像是二维的，将二维图像转成为一维电信号是由光栅扫描的方法实现的。
  快速的扫描线从顶部开始，一行一行地向下扫描，直至显示器的最底部，然后再返回顶部的起点，重新开始扫描。这个过程产生的一个有序的图像信号集合，就组成了电视显示中的一幅图像，在此称为帧。  连续不断的图像序列就形成了动态视频图像。

常见的电视制式： 目前世界上常用的电视制式有中国、欧洲使用的PAL制，美国、日本使用的NTSC制及法国等国所使用的SECAM制。
 ○  NTSC(National Television Standard Committe)是美国国家电视系统委员会在1953年制定的一种兼容的彩色电视制式，在美国、日本和其他国家广为使用。定义了彩色电视机对所接受的电视信号的解码方式、色彩的处理方式、屏幕的扫描频率。NTSC制规定水平扫描线有525条，以每秒30帧速率传送。NTSC采用隔行扫描方式，每一帧画面由两次扫描完成，每一次扫描画出一个场需要1/60秒,两个场构成一帧。  PAL(Phase Alternate Lock)是联邦德国1962年制定的一种兼容电视制式。PAL意指“相位逐行交变”，我国和大部分西欧国家都使用这种制式。PAL制规定水平扫描625行、每秒25帧 、隔行扫描、每场需要1/50秒。 SECAM(SEquential Color And Memory)称为顺序传送彩色与存储，是用于法国、俄罗斯及几个东欧国家的彩色电视制式。基本技术及广播方式与NTSC和PAL有很大的区别。水平扫描625行、每秒25帧。

YUV模型：  在PAL彩色电视制式中采用YUV模型来表示彩色图像。其是Y表示亮度，U，V用来表示色差，是构成彩色的两个分量。YUV表示法的重要性是它的亮度信号(Y)和色度信号(U、V)是相互独立的，也就是Y信号分量构成的黑白灰度图与用U、V信号构成的另外两幅单色图是相互独立的。由于Y、U、V是独立的，所以可以对这些单色图分别进行编码。采用YUV模型的优点之一是亮度信号和色差信号是分离的，使彩色电视系统与黑白电视机亮度信号兼容。 

几种常用的视频处理技术：视频剪辑——根据需要剪除不需要的视频片段，连接多段视频信息；视频叠加——根据需要把多个视频影像叠加在一起；视频和声音同步——在单纯的视频信息上添加声音，并精确定位；添加特殊效果——使用滤镜加工视频影像，使影像具有各种特殊效果。

电视信号数字化的两种基本方法： （a）先从复合彩色电视图像中分离出彩色分量，然后数字化。对彩色全电视信号，通常是首先把模拟的全彩色电视信号分离成YCbCr，YUV，RGB彩色空间中的分量信号，然后用三个A/D（模/数Analog Digital）转换器分别对它们数字化。（b）首先用一个高速A/D转换器对彩色全电视信号进行数字化，然后在数字域中进行分离，以获得所希望的YCbCr，YUV或RGB分量数据。、多媒体数据存储

  光存储技术原理

光存储的类型：只读型光存储系统，只读型光盘包括LV和CD-ROM等; 一次写型光存储系统,一次写（WORM）光存储系统可一次写入，任意多次读出;可重写型光存储系统,可重写光盘（E-R/W，Rewritable或Erasable）像硬盘一样可任意读写数据。

 DVD盘片的物理结构
分类：单面单层、单面双层、双面单层、双面双层； 容量：4.7GB— 17GB；  最小凹坑长度仅为0.4μm，道间距为0.74μm，采用波长为635～650nm的红外激光器读取数据； DVD盘的厚度为1.2mm。对于单面盘而言，只有下层基底包含数据，上层基底没有数据；而双面盘的上下两层基底上均有数据。 DVD-5：   采用单层单面，所以标准的资料记录量为4.7GB。 DVD-9：单面双层，也就是将资料层增加到两层，但是中间夹入一个半透明反射层，如此一来读取第二层资料的时候，不需要将DVD盘片翻面，直接切换激光读取头的聚焦位置就可以了 DVD-10： 采用单层双面，也就是DVD片的正反面都可以存储资料，一般标准的资料记录量为9.4GB，为DVD-5的两倍。 DVD-18：双面双层。蓝光DVD ：蓝光标准可以使单层碟片的存储容量达到25GB，双层碟片的存储容量则达到50GB以上。

 多媒体网络技术

 多媒体网络特性：  业务等级保证，也就是我们常说的QOS（Quality Of Service）服务质量保证。高带宽，也就是网络的宽带化。可靠性保证。时性，这是多媒体通信网与传统数据网的本质区别

多媒体会议系统 通过计算机远程参加会议或交流，以可视化的、实时的、交互的形式实现了在不同地理位置上人们的多媒体资源共享和信息的相互交流，体现了超越空间的多点通信、群体的“面对面”的协同工作特点。 视频会议系统主要由视频会议终端、多点控制器、信道（网络）及控制管理软件等组成。

RSVP(Resource Reserve Protocol)：Internet上的资源预订协议
   ○  用来为因特网中的一次会话预留资源，在一定程度上为流媒体的传输提供QoS服务质量保证。
   ○ RSVP支持两种服务类型：受控载荷服务(Best-Effort)，保证服务 (带宽、延迟)。

流媒体 ： 流媒体指在Internet/Intranet中使用流式传输技术的连续时基媒体。 流媒体简单来说就是应用流技术在网络上传输的多媒体文件，而流技术就是把连续的影象和声音信息经过压缩处理后放上网站服务器。用户一边下载一边观看、收听，而不需要等整个压缩文件下载到自己机器后才可以观看的网络传输技术。

实现流式传输的两种方法：顺序流式传输，用户可在下载文件的同时观看在线媒体，不能在传输期间根据用户连接的速度作调整，不适合长片段和有随机访问要求的视频，是一种点播技术。实时流式传输，保证媒体信号带宽与网络连接匹配，需要专用的流媒体服务器与传输协议，特别适合现场事件。
流媒体传输过程
   ○ 对客户端的A/V Helper程序进行初始化。
   ○ 客户端通过RTSP与服务期交换控制信息。

   ○ A/V服务器使用RTP/UDP将数据传输给客户端。

○ A/V客户端实现播放

流媒体的传输技术
    点播(unicast),点对点的特点是流媒体的源和目的地是一一对应的，即流媒体从一个源(服务器端的应用)发送出去后只能到达一个目的地(客户端应用)。
   组播(Multicast)又称为多址广播,组播是一种基于"组"的广播，其源和目的地是一对多的关系，但这种一对多的关系只能在同一个组内建立，也就是说，流媒体从一个源(服务器端的应用)发送出去后，任何一个已经加入了与源同一个组号的目的地(客户端应用)均可以接收到，但该组以外的其他目的地(客户端应用)均接收不到。
    广播(Broadcast),广播的源和目的地也是一对多的关系，但这种一对多的关系并不局限于组，也就是说，流媒体从一个源(服务器端的应用)发送出去后，同一网段上的所有目的地(客户端应用)均可以接收到，广播可以看作组播的一个特例。
RTSP协议的特点
   ○ 应用层协议 与HTTP协议相似如：URL。

   ○ 双向协议，S与C之间可以互相传信息。

   ○ 有状态协议，服务器必须维护会话 状态。

   ○ 跨平台，适合不同结构的C/S可协同工作。

 流媒体系统组成
   ○ 播放器：可以独立运行、可以作为插件、可以控制
   ○ 服务器：存储媒体信息，处理客户端的请求
   ○ 编码器 ：在观看或收听流媒体之前原始音频、视频文件必须先转换为流媒体文件

视频点播系统：  视频点播系统由视频信息源、传送网络和用户终端三大部分组成。
   ○  视频信息源：提供信息的压缩、存储、检索、实时广播、管理等服务。
   ○  传送网络：是连接视频服务提供商与远地用户住宅的通信系统，通过传输网络传送视频信号和回送用户的选择和命令。光纤、同轴电缆、无线、ADSL、PSTN、CATV。
   ○  用户通过简便易用的用户终端（机顶盒）把压缩的视、音频数字信号解压缩并转换为模拟信号，输出至显示设备。也可以使用PC作为用户终端。

RSVP协议： RSVP协议是一种基于网络资源保留的多媒体通信协议，它是通过建立连接为特定的媒体流保留资源，提供QoS保证，主要用于支持Internet视频会议之类的多媒体应用。

常见的流媒体文件格式
   ○  RM格式：这是由Real Networks公司开发的一种新型流式视频文件格式。

○  MOV格式：MOV也可以作为一种流文件格式。QuickTime能够通过Internet提供实时的数字化信息流、工作流与文件回放功能。

○  ASF格式：这是由微软公司开发的流媒体格式，是一个在Internet上实时传播多媒体的技术标准。

视频服务器原理： 视频服务器把存储在存储系统中的视频信息以视频流的形式通过网络接口发送给相应的客户，响应客户的交互请求，保证视频流的连续输出。视频服务器响应客户的视频流后，从存储系统读入一部分视频数据到对应于这个视频流的特定的缓存中，然后此缓存中的内容送入网络接口发送到客户。