多路摄像画面实时合成的研究与应用——毕业论文.doc

1、 本科毕业设计(论文)论文题目 多路摄像画面实时合成的研究与应用Real-time Synthesis of Multi-imageinto Video Screen for Study and Application浙江传媒学院本科毕业论文 多路摄像画面实时合成的研究与应用多路摄像画面实时合成的研究与应用摘要: 近年来，随着广播电视技术和IT技术的迅速发展，我们所熟悉的模拟技术以及其产品几乎都被数字技术及其产品替代。视频监视技术的日益成熟，不仅给传统的监看工作带来方便，同时，其越来越广的应用范围，使之逐渐融入到我们的生活和工作中。而多画面合成是其中一项不可缺少的关键技术。多路摄像画面实时合成

2、的推广，其目的是为了获取多路视频信号，再将多路视频画面合成一路输出。多路视频合成主要关注的是视频结构和图像处理的问题。针对这两个问题，本文提出了视频结构的原理、数字图像本质以及图像的两种压缩域。并进行综合考虑分析，解决实验过程中的问题。多路摄像画面实时合成是由摄像头获取信息，通过USB接口进行视频传输，最后将得到的视频进行处理。而为了更好的研究视频合成这方面，本文还对来自文件的多画面合成进行研究与实验，为本文最终的测试奠定良好的基础。最后，本文实验对多路摄像画面实时合成进行了仿真实验，成功的将多路视频信号合成一路，并实时输出。关键词：视频监视；多画面合成；图像处理浙江传媒学院本科毕业论文 多路

3、摄像画面实时合成的研究与应用REAL-TIME SYNTHESIS OF MULTI-IMAGE INTO VIDEO SCREEN FOR STUDY AND APPLICATIONAbstract: In recent years, with the rapid development of radio and television technology and IT technology, the analog technology and its products we know, are almost all replaced by digital technology and it

4、s products. The technique of video surveillance becomes more mature day by day, it not only brings convenience to the traditional monitor working, but also changes it to the increasingly wide range of applications and make the technique get into our life and work. Multi-image composition is one of a

5、 key technology which is indispensable.In order to get multiple video signals and composite this signal into one signal for outputting, we promote to synthetize multi-image for video. The main concern of multiple video compositing is the video structure and the image processing. For these two proble

6、ms, this paper comes up with the theory of the video structure, two of the image compression domain and the nature of digital images. By comprehensive consideration of these theory, we can solve the problem in the experiment.Synthetizing multi-image for video is consists of getting information from

7、the camera, video transmission by a USB interface and video processing in the last. In order to have a better research on the aspect of video composition, this paper also study and experiment the multi-image composition where the video is from the document. And lay good foundation for the experiment

8、 at last in this paper.In the end of this paper, we have a simulation experiment on the real-time synthesis of multi-image into video screen, and synthesis multi-channel video signal into one channel for outputting successfully.Key words：video surveillance; multi-image composition; image processing浙

9、江传媒学院本科毕业论文 多路摄像画面实时合成的研究与应用目 录1 绪论 .11.1 选题背景及意义 11.2 国内外研究现状 11.3 研究目的及意义 22 多路摄像画面实时合成概要研究 .32.1 多路摄像画面实时合成应用方向及特点 32.2 多路摄像画面压缩合成原理 52.2.1 压缩域合成 .52.2.2 像素域合成 .72.3 多路摄像画面合成设计思路 93 多路摄像画面实时合成的详细设计 .103.1 来自实时拍摄的多画面合成 103.1.1 获取通过 USB 接口的视频图像 .103.1.2 图像压缩编码 .113.1.3 视频图像格式转换 .113.1.4 图像在矩阵中的表示 .

10、123.2 来自视频文件的多画面合成 133.2.1 视频文件转码 .133.2.2 视频序列的获取 .143.3 多路摄像画面合 成流程图 163.3.1 来自视频文件的多画面合成图 .163.3.2 来自实时拍摄的多画面合成图 .164 多路摄像画面合成的实验与测试 .174.1 实验 环境 174.1.1 实验平台 .174.1.2 运行环境 .184.2 来自文件的多画面 合成 测试 184.3 来自实时拍摄的多画面合成 测试 21浙江传媒学院本科毕业论文 多路摄像画面实时合成的研究与应用5 总结和展 望 .245.1 总结 245.2 展 望 25致谢 .26参考文献 .27浙江传媒

11、学院本科毕业论文 多路摄像画面实时合成的研究与应用作者：朱琛丹 第 1 页 共 27 页1 绪论1.1 选题背景及意义近年来，随着广播电视技术和IT技术的迅速发展，我们所熟悉的模拟技术以及其产品几乎都被数字技术及其产品替代，电视信号也由模拟与数字相互兼容、相互共存的状态向全数字化转变。视频图像处理技术和多画面显示系统的逐渐成熟，使得电视制播系统发生了不小的变革，并且在各领域的应用范围也越来越广，如特定场景的监视，多剧情电视电影的特效，不同路画面实时比较等等。在过去，有线前端对传输的电视信号监看，大部分是用一台监视器对一个图像显示，不能很好的实时监看每一路视音频画面，也没有任何的监控、报警、录像

12、的手段，若某个节目出现了图像或伴音问题，也难以及时发现，不能保证安全播出。由于是人力的监看、监听，所以安全播出、安全传输的要求就越来越高，与此同时相关工作人员的压力越来越大，难度也越来越高 1。如今，数字前端传输节目的成倍增加，再加上传统屏幕的大小有限，使得传统的电视机对数字电视传输的每个节目进行监看是不现实的。并且对于各种非法插播的防范，更是传统方法无法实现的。因此，画面分割与多路视频画面的合成的研究就成为了人们关注的应用技术热点之一。1.2 国内外研究现状视频监控历史悠久，在过去都广泛应用于安防领域。但是随着图像处理和电视技术的发展，动态监测和现场监控已成为现在的主流。视频系统是以直观、方

13、便、信息内容丰富等优点而被用于金融系统、交通系统、公安系统、教育系统和医疗系统等众多领域 2 3。与传统的相比，运用了计算机等技术，并能实现智能监控的系统已逐渐成为未来的发展方向。在人类获取的信息中，视觉信息约占60%，由此可见视觉信息获取重要性，而视频图像正是人类获取视觉信息的主要途径 4。在国外，早期的图像处理是以人为对象，将人眼所观看到的效果进行改善，例如输入质量低的图像，而得到的则是改善后的图像。他们常用的方法有图像增强、复原、编码、压缩等。运用这些技术，也帮助他们先后获得两次巨大成就。首次成功的应用是美国喷气推进实验室(JPL) 5。他们对航天探测器徘徊者7号在1964年发回的几千张

14、月球照片进行图像处理，如几何校正、灰度变换、去除噪声等等，另外又考虑了太阳位置和月球环境的影响，由计算机成功地绘制出月球表面地图。随后为了得到月球的彩图以及全景图，基于更精确的图像处理技术，又处理了近十万张来自探测飞船拍摄的照片，促使了数字图像技术的诞生。而另一个巨大成就是用x射线来计算断层摄影的装置，浙江传媒学院本科毕业论文 多路摄像画面实时合成的研究与应用第 2 页 共 27 页 他是在1972年由英国EMI公司工程师Housfield发明的，也就是大中称呼的CT(Computer Tomograph) 6。根据人头部的横截面所得到的投影，CT 经计算机处理，重新建立横截面的图像，也称作为

15、图像的重建。1975年，EMI公司又成功研制出全身用的CT装置，获得了在人体每一个地方的断层图像。在 1979年的时候，这项技术获得了诺贝尔奖，这个奖项证明了这技术人类社会所做出的重大贡献。纵观国内外图像技术的发展史，自20世纪60年代，是因为计算机和VLSI(Very Large Scale Integration)技术的发展而产生、发展和不断成熟起来的一个新兴技术领域，即数字图像处理技术，它在理论上和实际应用中都取得了巨大的成就。到了20世纪70年代，人工智能技术和科学思维研究、计算机技术的迅速发展，将数字图像的处理技术推向更高方面发展。用计算机系统来分析图像已经是人们开始研究的重点，就像

16、我们用视觉来感觉外面的世界，这个技术叫做图像的理解，又或者可以称为计算机的视觉。在很多发达国家，他们投入比一般国家更多的物力和人力到这个研究项目上，并且取得了不小的成绩。具有代表性的成果就比如是70年代末MIT 的 Marr提出的视觉计算理论 10，这个理论在后来成为了计算机视觉领域在后面十多年的主要思想。到了20世纪80年代的后期，该技术被人们应用在了地理位置信息系统上，并对海图的自动生成、自动读入方法进行研究。随着时间的推进，数字图像技术没有停止拓展。20世纪90年代初，变换方法与小波理论的迅速发展，使该技术攻克了傅里叶分析技术局限于全部分析等方面的难题，并且被人们视为是在这半个世纪以来调

17、和工作的结晶。在1988年，Malla顺利地将小波分析用在了于图像重构和分解上。他是在数学方法上，图像分析与信号的重大突破。进入2l世纪后，随着计算机理论技术的迅猛发展及其理论的完善，数字图像的处理技术在生物医学工程、航空航天、机器人视觉、工业检测、军事制导、公安司法、文化艺术等领域极为的受到重视。另外在取得了重大的开拓性成就后，也成为一门前景远大、引人注目的新型学科。1.3 研究目的及意义多路画面合成技术，使人们能获得其更直观、方便、信息丰富的内容，以方便对多路视频信号进行统一实时监控。除了在电视节目制作时的监看，很多地方也用到多路摄像画面合成，比如在灾难现场上，利用多画面的合成，能全方位的

18、观察该地方的情况，以便做出正确的决定；如今的现代化通信指挥系统大多采用集中指挥、分散控制的操作模式以实现快速响应，各类指挥、态势信息分布在各计算机终端上，将多种重要信息以多画面的形式集中显示在一台大屏幕显示器上，可使指挥员能够全面、实时地了解战场动态信息，做出正确的指挥决策 7；另外，作为一种新的拍摄特效，多画面浙江传媒学院本科毕业论文 多路摄像画面实时合成的研究与应用第 3 页 共 27 页 显示在一个显示器里，可以同时让多个情节随着单一画面播出，再重点播出主线剧情，这种设计方式给人节奏感强，情节紧凑的效果；除了这种特效，我们还能用多路的摄像机对一景色进行360度角的拍摄，再多画面的合成，给

19、人一种立体感。在电视台，有一种高标清同播的播放方式，利用视频画面合成，将一节目及其上或下变换的画面放在一个显示器上，以便工作人员对其高标清的效果作比较。虽然目前有一些功能强大的多画面分割器，例如KalcidoAho ，但是安全系数低、任何台等离子或分割器发生故障都将对节目制作造成极大影响，所以平时需要对出现问题的原因进行仔细的分析，并做到心中有数。另外等离子监视器分辨率最高为1366768，分割后子画面分辨率低，颗粒感强，分割画面不宜太小 8。因此，对多画面合成，减少处理时间，提高工作效率，使之变得简单明了就显得非常重要。综上所述，研究多画面实时合成技术具有十分重要的实践和理论意义。该技术的研

20、究不仅可以用于人们工作，提高信息获取的效率，还可以推动视频智能检测发展，使视频检测技术得到更广泛的应用。论文在论述安排上主要分为以下几个部分：第一章 简要介绍多路摄像画面合成的研究背景，国内外现状以及本课题的主要研究目的和意义；第二章 简要介绍多路摄像画面合成的概要研究，包括多路摄像画面实时合成的应用方向及特点、多画图像的压缩和合成原理和多路摄像画面合成设计的总体思路；第三章 详细介绍多路摄像画面合成的设计方法，包括实时拍摄的多画面合成和来自文件的多画面合成，并对两者画出了流程图；第四章 进行实验测试，得出结果；第五章 总结全文，指出自己所做工作以及设计和论文需要进一步改进的地方。2 多路摄像

21、画面实时合成概要研究2.1 多路摄像画面实时合成应用方向及特点随着电视技术以及计算机的快速发展，过去用于安防领域的监视监看已经不能满足我们当代人的需求。相比视频监控悠久的历史，现代数字图像处理技术和数字电路技术使得图像信号的数字化和处理变得普遍，其技术也具有相当高的灵浙江传媒学院本科毕业论文 多路摄像画面实时合成的研究与应用第 4 页 共 27 页 敏度和可靠性。多画面视频监控以它直观而信息丰富等等优点，被广泛应用于各个场合，其应用方向有大致如下几个方面：（1）在电视台广告部方面的应用。省级电视台一般都有几套自办节目，并对这几套节目的播出都要实时记录。但是多数电视台现在都还是一套节目对应一台录

22、像机，所以需要用多台录像机来记录一天下来播出的节目，节目带也要将近十盘，从而使得查询也不方便。假如用一个视频（或射频）输入的四画面合成器，并且与电视台自动锁相的时标显示，用一台录像机就可以完成四套节目的实时记录，并在屏幕上有精确的时间显示，这样不仅节省了三个录像机和75%的录像带，更重要的是查询效率提高了3倍。这样的系统在大连电视台、辽宁电视台已经使用了几年。系统应用图如图2-1所示 9。四解调器四画面合成器录像机 13 42射频输入中央 2(VIDEO)VIDEO1VIDEO2VIDEO3VIDEO4合成视频音频 多轨记录 电视图2-1 系统应用图（2）在转播车方面的应用。电视台的转播车，最

23、重要的问题便是空间容量。过去的做法，是一个信息通道对应一个电视监看器，监看器所用空间比较大，大大降低了转播车的空间利用率。所以减少监看器，增加空间大小后，就可解决利用率低的问题。使用八画面、十二画面或十六画面、二十四画面的视频合成器(1U机箱) ，就能使多个信号集中在一个监看器上，从而减少了N - 1个监视器。（3）在通信监视监看上的应用。现代化通信监视监看系统大多是由多台联网的计算机终端组成，用集中的监看、分散的控制等操作模式进行快速正确的响应。同时多画面组成，能为工作人员提供全面的、实时的信息，了解现场动态信息，做出正确的指挥决策。（4）在多剧情影视制作上应用。不论是使用“ 特技效果编辑”

24、 还是“ 非特技效果编辑” 的节目内容，都会大量的采用画面合成技术。画面合成是一种特殊效果，但不一定是“效果编辑”。画面合成的应用，使许多看来难以拍摄的情浙江传媒学院本科毕业论文 多路摄像画面实时合成的研究与应用第 5 页 共 27 页 节成为可能。特别是电视合成画面手段的许多优越性，让制片人有更多更有效的方法，将电视节目的内容变得的更加绚丽多彩，更加诱人，同时也拓宽了节目制作的范围领域。一些原本需要现场实况拍摄的画面，就只需要分成两边拍摄，如外景拍和演播室，然后再用画面合成，制作成现场拍摄的效果。（5）在立体视觉效果上的应用。圆筒状合成彩虹全息图可以将各种二维图象合成为伴有动作的360度立体

25、动态影像，这种合成全息技术可以显示被拍摄物体的动态过程中角度的多路合成，是一种电影摄影与全息摄影完美融合的技术，达到三维立体的真实感。多画面合成技术有以下几个特点：（1）多画面的合成，使得信息能集中的显示在一个监看器上，从而降低工作人员压力，而信息量的丰富以及获取信息的快速，更能提高工作的效率，保证质量。（2）由于采用了合成的技术，使得设备数量减少，降低了成本。（3）电视画面合成的操作非常方便、迅速和经济，并且可进行多次重复。画面合成的技术又不断吸取电子的新技术, 如计算机技术、数字技术等等, 使它具有蓬勃发展的活力。（4）满足系统数字化进程的推进时所带来的设备智能化程度、系统复杂化程度越来越

26、高的要求。2.2 多路摄像画面压缩合成原理多画面合成指的是将来自多个视频源的视频数据，通过一定的合成算法，合并成一路数据，使每个终端显示器都可以同时监看多个其它终端的图像。相对于传统监视监看来说，它把每个终端接收的视频信息变得更加丰富，信息量也成倍增加。多画面合成的实现方法有多种多样，但主要分为两大类：像素域合成和压缩域合成 10。2.2.1 压缩域合成压缩域合成是对多路已压缩的源视频编码数据不进行解码, 而是先将视频数据进行结构上的数据重组，重组后的数据即是多个终端合成后的数据。在这里用到的是H.261的技术。H.261是多媒体通信中压缩与编码视频图像的重要算法，是H.320和H.323视频

27、终端必备的视频功能，其算法在多画面合成技术上十分重要。H.261编码原理则是先通过离散余弦变换将图像素据进行压缩，接着用变长编码进行再压缩，然后对视频数据进行4层复用数据结构封装，由上到下是浙江传媒学院本科毕业论文 多路摄像画面实时合成的研究与应用第 6 页 共 27 页 图像层、块组层、宏块层和像素层，该封装用来对视频数据的重组。最后进行纠误帧结构封装，完成时钟同步和数据校验功能。H.261在压缩域内多画面合成的制作时，规定了QCIF和CIF 两种图像格式 11。在像素上看，CIF 图像的数目是 QCIF的4倍。而从H.261图像的4层复用数据结构分析，两种格式的块组层，宏块层以及像素层结构

28、相同，只有图像层结构不同，即CIF格式的图像包含 12个块组，而 QCIF格式的图像包含3个块组。因此基于数据结构，多画面合成就存在可能性。在对多画面进行合成时，要先解封纠误帧，即使用定帧序列（0001 1011）对纠误帧进行定帧，然后取出每位定帧数据之后的512bit数据，判定这数据的第一个比特位：若为“0”则丢掉；若为“1”，就将其后的492bit数据保存到一个缓冲区中。通过纠误帧解封后，得到的4层图像复用数据结构，合成操作就在该结构上。另外还要完成3方面的操作。首先是对图像时域参考量TR的处理，TR为5bit，可以取32个值，其取值公式：TR= (Ns + Nd + 1) mod 32

29、(2-1)式中Ns：已经发送的图像素；Nd：从上次发送的图像之后所丢掉的图像素。时域参考量是用来平滑视频的播放，让人的视觉流畅，是保证视频质量的重要方法，在合成图像中时域参考量TR可以按照下列方法取值：(2-2)32mod)14321( NdNdTRlast式中TRLAST是合成图像上一次的取值， Nd1、 Nd2、Nd3和Nd4 分别是4路视频流所丢弃的图像素。接着处理图像层头域，图像层头域在图像合成之后只有显示一组，需要处理4组来自源数据的图像层头域。当得到4路4层图像复用数据结构之后，只保留第一路的图像层头域，丢掉其他路的。其中时域参考量域TR 按照上面讨论的方法填充，类型信息域PTYP

30、E的第4位，由原来的“0”改变为“1”，亦即由QCIF图像标示修改为CIF 图像标示。然后处理块组层头域：合成过程需要把4组3个QCIF块组合并成一组12个CIF块组。首先定位到各个QCIF块组，根据该块组将要放到合成CIF图像的位置，修改块组层头域中的组序号域GN，如图2-2所示。通过对4层图像复用结构的解封再合成，形成了一个合成的CIF 图像，最后进行纠误帧的封装，得到了通信网络上传输的数据。浙江传媒学院本科毕业论文 多路摄像画面实时合成的研究与应用第 7 页 共 27 页 1 保持不变3 保持不变5 保持不变1 改为 73 改为 95 改为 11 5 改为 123 改为 101 改为 8

31、5 改为 63 改为 41 改为 21 23 4579681011 12合成CIF第一路 QCIF 第二路 QCIF第三路 QCIF 第四路 QCIF图2-2 多画面合成中块组层的组序号域修改2.2.2 像素域合成像素域合成是将多路压缩的源视频编码数据进行解码，将解码后的YUV( 或RGB) 数据按照一定线性规则进行排列，合并成一路 YUV(或RGB) 视频数据, 再将合并后的视频数据进行编码。像素域内多画面合成，一般通过MCU ( Mult-point Control Unit ，多点控制单元) 来完成。MCU 同时与多个视频终端建立连接关系，4个终端也在同一时间向MCU发送H. 261CI

32、F 的视频数据，MCU接收到4路视频数据后，进行H. 261 解码，处理后的图像大小均为352288像素。此时，在MCU端需要对4路352288 像素的视频数据按像素进行抽样，使图像按一定比例缩小。然后在像素域内，将4路数据按照一定规则进行排列。排列后的YUV 像素数据就是合并后的YUV 图像，最后再对YU V 图像进行H. 261 编码，在将编码后的H.261 视频数据发送给所有与会终端，则每个终端可同时显示多个图像，即完成了多画面合成功能。其整个过程系统结构如图2-3所示。H.261 解码器4 路 CIF编码流H.261 解码器H.261 解码器H.261 解码器对 YUV 抽样对 YUV

33、 抽样对 YUV 抽样对 YUV 抽样对 YUV数据进行四画面合成H.261编码器CIF编码流浙江传媒学院本科毕业论文 多路摄像画面实时合成的研究与应用第 8 页 共 27 页 图2-3 像素域内多画面合成系统结构图对YUV 图像抽样与四画面合成的原理如图3所示。先分别对4 路YUV 数据的Y，U 和V 分量在行和列上进行抽取, 即每2行取 1行，每2列取1列，若最后不够2 行或者2 列的分别取第1 行或第1 列( 此处352, 288 等均正好被2 整除) 。对于4 路源视频数据，Y 分量的个数由352288 变成176 144; U 和V 分量个数分别由176144 变成8872。则4路3

34、52288像素点的视频数据都变成了4路176144像素点的视频数据,其大小均压缩为原来的四分之一。在对4路数据抽样之后, 再将4 路176144像素的视频数据按照一定的空间排列方式, 组合成1路352288 像素的视频数据。其组合方式如图2-4所示, 第1路图像在左上角, 第2路图像在右上角, 第3路图像在左下角,第4路图像在右下角。至此,完成了4路YUV 图像到1路YUV 图像的合成。352288 1 23 4第 1 路 第 2 路第 3 路 第 4 路352288352288352288176144 176144176144176144图2-4 像素域内四画面合成算法原理图2.3 多路摄像

35、画面合成设计思路多画面合成的步骤如下：（1）将所得图像转化为我们所需的格式，图像格式有RAW、 BMP、 TIFF、 PCX、 GIF、 JPEG等 。（2）将转化完成后的图像进行编码解码的处理，压缩为所要求的大小，并进行合成。多路画面合成所需视频的来源有很多，主要还是来自本地视频文件和实时拍摄所得到的视频数据。对所得到的视频进行处理，根据视频结构而分解成一帧帧图像。通过压缩、合成等图像处理技术，我们得到完成后的图像，该图像的效果是显示了四路图像的信息，并按顺序安置在一张图上。然后将数张甚至千百张完成后的图像，按照一定顺序排列在一起，利用人眼特性，送出播放时便有了视频播放的效果。在这里，来自文

36、件的视频与来自实时拍摄所得视频，在处理图像以及播放时，有着顺序上的差别：因为文件视频是整体的，多有图像的只需要一次浙江传媒学院本科毕业论文 多路摄像画面实时合成的研究与应用第 9 页 共 27 页 性处理完，再播放即可；而实时拍摄的视频是即拍即处理的，即拍摄所得到一帧图像时，就实时的将该图像进行处理输出，然后再得到一帧图像，再处理输出，如此循环，直至结束。总体设计流程如图 2-5 所示。获取来自文件或者来自实时拍摄所得的视频信息对所得视频按照视频结构分解为一帧帧图像对图像进行压缩、合成处理对所处理的图像进行排序，合成视频，进行播放。图2-5 总体设计流程图3 多路摄像画面实时合成的详细设计本文

37、多画面合成设计是用MATLAB软件的编写来实现，主要针对视频序列的结构原理、图像处理技术等方面，组合成一个多画面的视频流。3.1 来自实时拍摄的多画面合成实时拍摄是通过将摄像头所获得的视频数据，经过USB接口而进入PC机中。由于MATLAB集数学计算结果可视化和编程于一体，所以他是能够方便的进行科学计算和大量工程运算的仿真软件。基于仿真运算，对视频数据进行运算和处理，从而得到四路视频合成的多画面视频。3.1.1 获取通过 USB 接口的视频图像摄像头主要由镜头、影像传感器（CCD/CMOS器件）、DSP等组成，其工作原理大致为：（1）景物通过镜头(LENS)生成的光学图像投射到图像传感器(SE

38、NSOR) 表面上；（2）将光信号转为电信号，经过A/D(模/数)转换后变成数字图像信号；（3）把信号送往数字处理芯片(DSP)中加工处理，再通过 I/O接口传输到电脑中进行处理后，再通过显示屏(DISPLAY)就可以看到图像了。其工作原理图如图3-1所示。浙江传媒学院本科毕业论文 多路摄像画面实时合成的研究与应用第 10 页 共 27 页 景物图像传感器数字信号处理芯 片电 脑 图 像LENS A/D I/O DISPLAY图3-1 摄像头工作原理图本文实验的视频获取以及输出，除了摄像头与电脑之间信息交流外，还需要MATLAB的对这些数据信息进行处理，尤其是图像，要考虑多方面的因素。3.1.

39、2 图像压缩编码视频可分为图像层、块组层、宏块层和块层四个层次组织码流，图像层则是一帧帧图像按顺序排列而成，而MATLAB对视频处理，就是对每帧图像的处理。在处理图像时，MATLAB提供了功能强大的图像处理工具箱，其中就包含了几个视频编码过程中用到的重要函数。（1）imread: 读取图像素据；（2）imshow或immovie: 用于显示图像；（3）dct2: 用于二维DCT 变换；（4）blkproc: 用于对图像进行分块；（5）quiver: 用于画运动矢量图。3.1.3 视频图像格式转换RGB (Red，Green ，Blue)是计算机中最常见的色彩空间。它通过红、绿、蓝3基色的相加来

40、产生其他的颜色。由于其设备的独立性，它被广泛应用于计算机图形、成像系统和彩色电视之中。YUV色彩空间是描述灰度和色差的概念，是一种基本的色彩空间，它被PAL(Phase Alternation Line)，NTSC(National Television System Committee)和SECAM (Sequentiel Couleur Avec Memoire or Sequential Color with Memory)用作复合色彩视频标准。其中Y指颜色亮度(Brightness)，也就是图像的灰度值(Gray value)，而U和V则是指色调(Chrominance) ，即描述图像

41、色彩及饱和度的属性。黑白系统只使用Y信息，因为U和V是附加上去的，所以黑白系统仍能正常显示。YUV 的容易实现压缩，方便传输和处理，所以被广泛应用于广播和电视系统，同时也被广泛应用于计算机视频和图像处理之中，如JPEG 图像和MPEG均使用YUV 作为存储浙江传媒学院本科毕业论文 多路摄像画面实时合成的研究与应用第 11 页 共 27 页 像素的格式。在获得显示硬件支持的情况下，使用YUV还可以减少和消除色彩变换处理，极大地加快图像的显示速度。处理现实世界的图像时，并非很有效，因为它对所有色彩都用等长像素点的R、G、 B 3色加以合成。这就使得每个像素在R、 G、B 3个成分上拥有相同的像素深

42、度和显示分辨率。而且，处理RGB色彩空间的图像也不是最有效的，所以此时就要将RGB转化为 YUV。数字视频是以数字形式记录的视频，和模拟视频相对。数字视频有不同的产生方式，存储方式以及播出方式。但是要通过PC以及特定的播放器才能播放出来。计算机工作在RGB 空间，因此，就要将数字视频的格式转换成RGB 格式，这样在计算机上就能直接播出。在这里，我们用MATLAB 处理后所播放的视频图像格式就需要是RGB 格式 12。RGB与YUV之间转化对应关系如下 13：(3-1)BGRVUY01.5.61.043628947.(3-2)UYBVG03.2.893.1.4 图像在矩阵中的表示如图3-2 是一

43、张数字图像与其相对应的像素点。图3-2 图像与其相对应的像素点图像本身就是一个二维连续函数，图像的幅度是其位置的连续函数。然而在计算机中对图像进行数字化处理时，首先必须对其空间和幅度进行数字化处理，也就是采样、量化。对二维图像的均匀采样，就可以得到衣服离散成 MN 像元浙江传媒学院本科毕业论文 多路摄像画面实时合成的研究与应用第 12 页 共 27 页 的数字图像。用 I=f (m , n)表示模拟图像 f (x , y)的数字化结果。如图 3-3 表示图像的坐标系。该坐标系中的一幅图像可用一个二维矩阵 f (m , n)表示，(m , n)为图像元素，即像素。f (m , n)的取值为灰度，

44、一幅图像的灰度种类称为灰度级 14。f (m , n)=f ( 0, 0)f ( M-1, 0)f ( 0, 1)f ( 1, 0) f ( 1, 1)f ( 0, N-1)f ( M-1, 1)f ( 1, N-1)f ( M-1, N-1)图3-3 图像坐标系3.2 来自视频文件的多画面合成MATLAB是一个功能强大的科学及工程计算软件包，该软件自身集成了大量的软件工具包，广泛运用于科学计算，仿真，建模等领域。另外MATLAB 还提供了一个功能强大的视频及图像处理工具箱。利用MATLAB 及其自带的工具箱，就能方便的从AVI 视频文件中提取出感兴趣的画面。3.2.1 视频文件转码视频格式可

45、以分为适合本地播放的本地影像视频和适合在网络中播放的网络流媒体影像视频两大类。常见的视频格式有：MPEG、AVI、MOV、ASF 、WMV 、n AVI、QuickTime、3GP、REAL VIDEO、MKV 、DIVX 、 FLV 等，而这众多的视频中，MATLAB 所读取的视频需要适当的视频编码方式，而不是所有的视频文件格式都能够满足。故在 MATLAB环境中，视频格式的转换是对视频能够被正常读入的必要环节。AVI 是目前最常见和最常用的视频文件格式之一，它包含了视频流，音频流，控制流和MIDI 流。其中，控制流是对视频显示进行控制；MIDI 流则用来提供视频在播放时的背景音乐。另外，为

46、了保证声话同步的目的，AVI 文件格式采用了音频流和视频流交错存储的方法。同时它也是一种采用RIFF（Resource Interchange File Format）说明形式的文件格式。我们可以通过文件开始的字符“AVI”来识别AVI RIFF 格式的文件。所有的AVI 文件都包括两个必须的LIST 数据块，这些数据块正是视频流和音频流的内容所在。LIST“hdrl”数据块定义了数据的格式，放在第一个位置。LIST“movi”数据块包含了AVI 流的数据，它被放在第二个位置。LIST“hdrl”和LIST “movi”数据块又可使用子数据块作为它们的数据。 AVI 文件也可能包括一个索引数据

47、块，这个可选块包含了可选数据在文件中的位置。AVI 文件按一定的次序排列这三种子块 15。在这里我用“格式工厂”对视频文件进行格式转换。如图3-4。浙江传媒学院本科毕业论文 多路摄像画面实时合成的研究与应用第 13 页 共 27 页 图3-4 格式转换软件界面点击“所有转到AVI”这个选项，弹出如图3-5的文件加载界面。图3-5 视频文件加载界面任选一个视频文件，点击打开，得到如图3-6的界面。浙江传媒学院本科毕业论文 多路摄像画面实时合成的研究与应用第 14 页 共 27 页 图3-6 视频文件加载后界面点击确定，即将名字为1.wmv的文件转换为AVI的格式。3.2.2 视频序列的获取视频是

48、利用人眼的“视觉滞留”原理，将多副图像以高于一定的速度播放，就成了连续不断的视频图像。为了减少存储空间，提高清晰度，便于网络传播等原因，人们往往将视频文件以一定的算法进行压缩，很难将其中的某一副图片手工提取出来。而用 MATLAB 提供视频及图像处理的工具箱，可以很方便的对视频文件任意一副图像进行操作。用表 3-1 列出了一些常用的图像处理相关的函数，可以方便的实现绝大多数日常的图像处理 16。表3-1 部分与图像相关函数列表序号 函数名 函数功能1 Imread 读入一幅图像文件2 Imshow 显示一幅图像3 Colormap 设置图像的色彩映射4 Ind2rgb 将一幅索引图像转变为RGB图像5 Imfinfo 获得一幅图像相关信息6 Imwrite 输出一幅图像文件用表3-2 的一些与AVI 文件处理相关的函数，以及表3-3所示的AVI视频文件相关属性，我们可以方便读取AVI 文件的相关信息，并利用这些信息提取出AVI 文件