1、视觉的时间域响应特性闪烁感刚好消失的重复频率叫做临界闪烁频率，经测定为 46HZ；要保持画面中物体运动的连续性，要求每秒钟摄取的画面数约为 25 帧左右。彩色电视信号中采用 YIQ 或者 YUV 空间一是为了兼容黑白电视，二是为了实现压缩。YUV 模型用于 PAL 制式的电视系统，Y 表示亮度，UV 并非任何单词的缩写。Y = 0.299R + 0.587G + 0.114BU = 0.493 (B Y)V = 0.877 (R Y)YIQ 模型与 YUV 模型类似，用于 NTSC 制式的电视系统。YIQ 颜色空间中的 I 和 Q 分量相当于将 YUV 空间中的 UV分量做了一个 33 度的旋
2、转。YCbCr 颜色空间是由 YUV 颜色空间派生的一种颜色空间，主要用于数字电视系统中。从 RGB 到 YCbCr 的转换中，输入、输出都是 8 位二进制格式。彩色电视制式NTSC 彩色电视制的主要特性是：(1) 525 行/帧, 30 帧/秒(2) 高宽比：电视画面的长宽比为 4:3 (3) 隔行扫描，一帧分成 2 场(field)，262.5 线/场 (4) 在每场的开始部分保留 20 扫描线作为控制信息，因此只有 485 条线的可视数据。 (5) 每行 63.5 微秒，水平回扫时间 10 微秒( 包含 5 微秒的水平同步脉冲)，所以显示时间是 53.5 微秒(6) 颜色模型：YIQ(7
3、)美国、加拿大等大部分西半球国家，及日本、韩国、菲律宾和中国的台湾采用这种制式。倒相正交平衡调幅制 PAL 制式电视信号的特性：(1) 625 行( 扫描线)/帧，25 帧/ 秒(40 ms/帧) (2) 每场中有 25 行作为场回扫，所以每帧中只有 575 行是有效行。(3) 高宽比(aspect ratio)：4:3 (4) 隔行扫描，2 场/ 帧，312.5 行/ 场(5) 颜色模型：YUV(6) 西欧、中国和朝鲜等国家采用这种制式。彩色电视信号的类型：复合电视信号；分离电视信号；分量电视信号数字信号取值范围：亮度信号 220 级，色度信号 225 级。数字电视（DTV） ，它可以划分为
4、 3 大部分：信源部分（发送端） 、信道部分（传输/存储过程）和信宿部分（接收端） 。数字电视分类：按活动的图像比特率的大小，粗略划分为标准清晰度数字电 视（SDTV）和高清晰度数字电视（HDTV ） 。数字电视比原来的模拟电视，有以下优点:高清晰度的电视画面：可以可与 DVD 相媲美（最低：1280720，最高：19201080） 。 ；优质的音响效果：伴音可以达到 CD 质量；丰富的节目内容，有线网的带宽利用率更高；抗干扰功能力强，画面更稳定；扩展功能多：机顶盒除了一些基本功能外，还有许多扩展功能如上网、点播、股票查询、在线交易、远程教育等。高清晰度电视宽高比:HDTV 画面的指定宽高比为
5、 16:9=1.777；采用高清晰显像管，点节距（即荧光点的大小）应小于毫米； RCA：传输的是复合视频信号，传输介面是一根普通的视频线。黄色的为视频信号，白色的为左声道音频信号，红色的为右声道音频信号。 模拟视频接口的发展趋势是传输的信号频率越来越高，都传输的是未经过复合处理的三原信号/色差信号以保证最好的图像质量。YUV 采样YUV 的优点之一是，色度频道的采样率可比 Y 频道低，同时不会明显降低视觉质量。有一种表示法可用来描述 U 和 V 与 Y 的采样频率比例，这个表示法称为 A:B:C 表示法： 4:4:4 表示色度频道没有下采样。4:2:2 表示 2:1 的水平下采样，没有垂直下采
6、样。对于每两个 U 样例或 V 样例，每个扫描行都包含四个 Y 样例。4:2:0 表示 2:1 的水平下采样，2:1 的垂直下采样。4:1:1 表示 4:1 的水平下采样，没有垂直下采样。对于每个 U 样例或 V 样例，每个扫描行都包含四个 Y 样例。与其他格式相比，4:1:1 采样不太常用。 JPEG 压缩步骤 1、颜色模式转换及采样； 2、DCT 变换； 3、量化； 4、编码。 Matlab 的操作与运算单位：矩阵 特殊矩阵 单位矩阵 eye(m，n)或（n） 、 （size(B)） 零矩阵 zeros(m，n) 1 矩阵 ones(m，n) 随机矩阵 rand(m，n) 对角矩阵 Adi
7、ag(v，k)或 v=diag(A，k)多媒体数据采用特殊的加密算法的必要性: 早期的安全方法主要依赖于权限控制，数据本身没有被加密，因此，在传输过程中很容易被窃取。 多媒体数据具有编码结构复杂、数据量大、实时性要求高。根据加密过程与压缩编码过程关系的不同，视频媒体加密算法可分为四大类： 完全加密算法 部分加密算法 DCT 系数加密算法 熵编码过程加密算完全加密算法的特点： 最直接的方式 将视频文件看成普通的数据文件，不考虑视频文件格式 加密后的文件不能被直接播放，文件大小不变 加密速度最慢，但安全性最好部分加密算法的特点： 基于 I、P、 B 帧结构且只对 I 帧进行加密。 由于帧间关联性导
8、致此基本方法不安全。Tang 提出一种改进方法。它将选择性加密和加密头信息结合到一起，一共有 4 个级别： 加密头信息 加密头信息和 I 帧 加密头信息和 I 帧，P 帧 加密头信息和 I 帧，B 帧各类算法因为其特点，而具有相应的适用范围。例如： 完全加密算法因为其高安全性，很适合用于视频数据的安全存储 DCT 系数加密算法，由于支持编解码操作和编码率控制，而适合用于要求实时编解码的网络传输、窄带传输等。数字水印的特点 鲁棒性：就是水印信息不能因为宿主信息的改动而轻易受到损害。 透明性：水印信息不能严重影响宿主信息的有效性 。 安全性：嵌入的水印不应该很容易的被发现 。 有效性：水印信息确实
9、能够证明宿主信息的重要属性。水印的分类 按照水印脆弱性：鲁棒性水印；脆弱水印 按照水印可视性 ：可见水印和不可见水印 根据水印检测过程盲水印；明文水印 按宿主信息类型 ：图像水印；音频水印；视频水印；文本水印。 按水印嵌入位置划分：空间域水印；变换域水印分形理论：自然界的各种图形可分为 2 大类： 有特征长度的图形，可用欧几里德几何学来描述和构造，如房屋、汽车、足球等； 是没有特征长度的图形，如海岸线、云彩等。分形编码之结论：分形理论用于图像压缩之所以有效，是因为自然界中普遍存在着分形物体，它们表面上具有非常复杂的统计特性和视觉特性，但信息量却很少，可用几条简单的确定规则迭代出来。 ；传统的建
10、立于信息论之上的图像压缩技术几乎不能压缩这类图像；使用分形编码，只需对少数几条变换规则进行编码，即可以获得非常高的压缩比；由于自然界的景物千差万别，因此分形压缩尚有许多问题有待人们深入研究。分形图像压缩编码的应用已经深入到人类活动的各个方面，并已取得了令人瞩目的成果。分形图像压缩既考虑局部与局部，又考虑局部与整体之间的相关性，适合于自相似或自仿射的图像压缩；分形图像压缩解码时能放大到任意大的尺寸，且保持精细的结构；在高压缩比的情况下，分形图像压缩自动编码能有很高的信噪比和很好的视觉效果。 摩尔斯电码：最广为人知的 SOS 就是三短三长三短 数据能够进行压缩的两个原因：1）信源数据中存在或者或少
11、的冗余，这种冗余既存在信源本身的相关性中，也存在于信源概率分布的不均匀中；如空间冗余、时间冗余、结构冗余、知识冗余及纹理统计冗余； 2）对于图像、音频和视频等特殊信源，人的感知可容忍某些细节信息的丢失（失真） （感知冗余 ） 。数据冗余的类型主要有：空间冗余、时间冗余、结构冗余、信息熵冗余、视觉冗余、听觉冗余、知识冗余根据解码后数据与原始数据是否完全一致，数据压缩方法划分为两类： 可逆编码（无失真编码，无损压缩） 如：Huffman 编码、算术编码、行程长度编码等； 不可逆编码(有失真编码，有损压缩 )如：变换编码和预测编码；衡量压缩算法的三个主要性能指标：（1）压缩比；（2）压缩质量（失真）
12、 ；（3）压缩与解压缩的速度。Huffman 时代：60 年代、70 年代乃至 80 年代的早期70 年代末 80 年代初：数学家们提出了 损失压缩精度以换取压缩率的崭新思路 。只读型光存储系统：只读型光盘包括 LV 和 CD-ROM 等一次写型光存储系统：一次写（WORM ）光存储系统可一次写入，任意多次读出。可重写型光存储系统：可重写光盘(E-R/W，Rewritable 或 Erasable)像硬盘一样可任意读写数据。分为两种：磁光型(Magnetic Optical，简称 MO);相变型(Phase Change，简称 PC)两种形式。DVD 光存储系统: DVD-R（或称 DVD-W
13、rite-Once）：限写一次的 DVD;DVD-RAM（或称 DVD-Rewritable）：可多次读写的光盘; DVD-ROM：电脑软件只读光盘;DVD-Video：家用的影音光盘;DVD-Audio：音乐盘片闪存卡大概有 SmartMedia (SM 卡)、Compact Flash (CF 卡)、MultiMediaCard (MMC 卡)、Secure Digital (SD 卡) 、Memory Stick (记忆棒 )、XD-Picture Card (XD 卡)和微硬盘（MICRODRIVE）这些闪存卡虽然外观、规格不同 .音频卡的功能：播放数字音乐；录音；语音通信；实时的效果
14、器；接口卡；音频解码；合成器实现计算机语音输出有两种方法：录音/重放；文语转换触摸屏（Touch Screen）是一种定位设备当用户用手指或者其他设备；触摸安装在计算机显示器前面的触摸屏时，所摸到的位置（以坐标形式）被触摸屏控制器检测到，并通过串行口或者其他接口（如键盘）送到 CPU，从而确定用户所输入的信息。改善人与计算机的交互方式 触摸屏的分类 ：按安装方式分类 ：外挂式；内置式 ；整体式 ；投影仪式 从结构特性与技术分类：红外；电阻膜；电容；表面声波；压力矢量。USB 是英文 Universal Serial Bus 的缩写，中文含义是“通用串行总线” 。 USB 分为五个部分：控制器；
15、控制器驱动程序；USB 芯片驱动程序； USB 设备；针对不同 USB 设备的客户驱动程序 。由计算机传统硬件设备、光盘存储器（CD-ROM） 、音频输入/输出和处理设备、视频输入/输出和处理设备、多媒体通信传输设备等选择性组合，可以构成一个多媒体硬件系统。由计算机传统硬件设备、光盘存储器（CD-ROM） 、音频输入/输出和处理设备、视频输入/输出和处理设备、多媒体通信传输设备等选择性组合，可以构成一个多媒体硬件系统。多媒体的基本硬件环境，包括多媒体存储、音频接口、视频接口和多媒体 I/O 设备等，但没有专门介绍多媒体计算机，也就是以前常说的 MPC，这是因为如果按照过去的这个标准，现在几乎所
16、有的计算机都可以称为多媒体计算机了。 MCI 控件是 VB 专业版中提供的一个控制对象，可用于管理媒体控制接口(MCI)设备的录制和播放，是 VB 中最简单最方便的控制多媒体对象的方法。控件表现为一组执行 MCI 命令的按钮 。ActiveMovie 控件是微软公司推出的用于多媒体程序设计的控件，它提供了非常完善的音频和视频媒体文件的回放功能，它可以播放 Wave、Midi 、Avi、MPEG 、QuickTime Movie 等格式文件，甚至还可以用它来看影碟。该控件能根据文件后缀进行自动判别设备类型，并完成相应的控制 SAPI 提供了实现文字- 语音转换(Text-to-Speech)和语
17、音识别(Speech Recognition)程序的基本函数，大大简化了语音编程的难度，降低了语音编程的工作量多媒体编辑创作软件：基于脚本语言的写作工具，如 Tool Book；基于流程图的写作工具，如 Authorware；基于时序的写作工具，如 Action多媒体著作工具提供了组织和编辑多媒体应用系统各媒体元素所需的重要框架，这些元素包括文本、图形、图象、动画、视频和音频等。多媒体创作模式：幻灯表现模式；层次模式；书页模式；窗口模式；时基模式；网络模式；语言模式；图标模式；Authorware 的特点：面向对象的创作；跨平台体系结构；灵活的交互方式；高效的多媒体集成环境；标准的应用程序接口
18、；脱离开发环境独立运行三大信息技术的联合：计算机、通信、TV多媒体技术：以网络为支持，为人类生活提供各种服务创造一种新型的人与人交往的新环境。多媒体是技术与应用发展的必然产物多媒体标志着一个新的技术时代 多媒体的三大关键特性：信息载体的多样性、交互性和集成性多媒体改善了人类信息的交流，缩短了人类信息交流的路径媒体的种类（视觉、听觉、触觉、其他感觉）常见的媒体元素及特点:文本、图形、图像、视频、动画、音频 图形与图象的关系：图形是矢量概念，图元；图象是位图概念，象素；图形显示图元顺序；图象显示象素顺序；图形变换无失真；图象变换有失真；图形以图元为单位修改属性、编辑；图象只能对象素或图块处理；图形
19、是对图象的抽象，但在屏幕上两者无异按音频信号所覆盖的带宽，声音又可分为：电话、调幅广播、调频广播、激光唱盘四类声音。听觉特性：等响曲线；掩蔽（masking） ；临界频带；相位；自然声音的时变现象（声音的音调分成三个区域：起始区、稳定状态区、延迟区。 ） ；听觉空间；听觉的频谱特性；声音的心理模拟；音频的数字化和符号化及三维化处理：数据量=(采样频率 每点采样位数声道数)/8 (字节/ 秒)对于声音的符号化（也可以称为抽象化）表示包括两种类型：一种是音乐，一种是语音。视觉特性：亮度；视觉的时间特性；彩色；注视点和视野范围；光栅扫描原理；彩色视频；视频设备视觉媒体的数字化和三维立体显示：三维显示
20、实际上具有两个含义，一个是指物体的三维图像在平面上的显示，另一个含义是指所显示的图像确确实实是立体的，是“浮”在空间中的触觉特性：指点、位置跟踪、力反馈与触觉反馈指点的任务包括： 选择、定位、定向、路径、数量、操作位置跟踪：手指动作测量和数字化和空间位置跟踪力反馈与触觉反馈：力反馈；触觉反馈；热觉反馈多媒体数据流的基本特征：(1)比特率可变性；(2)时间依赖性；(3)信道对称性；多媒体网络的通信需求：(1)吞吐量需求；(2)可靠性需求；(3)延迟需求；(4) 多点通信需求；(5)同步需求 QoS 的基本概念和 QoS 参数体系结构：服务质量(Quality of Service，QoS)是一种
21、抽象概念，用于说明网络服务的“好坏”程度。QoS 的管理IETF 提出了两种 QoS 保证机制，一是由 RSVP 提供的保证型服务；二是在区分服务（DiffServ，DS）中定义的区分型服务。实现流式传输有两种方法：实时流式传输（Realtime streaming）顺序流式传输（progressive streaming）流媒体播放技术 ：1.单播与多播 2.点播与广播 3.智能流技术3G 手机将具有以下特点：数据量大 ；实时性要求高 ；多媒体业务对终端要求较高 ；可以提供手机定位、互动游戏、移动银行、可视电话，视频邮件等多媒体业务4G 移动通信：速率更快。4G 通信系统的速率可以达到 1020Mbit/s，最高可达 100Mbit/s。各系统（IMT-2000、WLAN 、卫星、广播等）之间无缝的业务支持，并提供全球无缝漫游。支持多种模式、对称/ 非对称业务。全IP 网络，支持 QoS。
