1、毕业设计(论文)论文题目 多视角实时合成的研究与实现 Real-time Synthesis of Multi-view for Study and Realization学 生 姓 名： 学 号： 二级学院名称： 电子信息学院 专 业： 广播电视工程 指 导 教 师： 职 称： 合作/企业教师： 职 称： 浙江传媒学院本科毕业论文 多视角实时合成的研究与实现多视角实时合成的研究与实现摘要: 近年来，随着网络多媒体技术的迅速发展，以往的广播、电视、报纸等传统媒体在对抗不断兴起的新媒体传播方式这场没有硝烟的战争中收到了巨大冲击。传统媒体的劣势逐渐显现，很多事件从发生到广泛传播时间间隔久，时效性差
2、，普通人群参与度低，互动性差。越来越多的人开始尝试新的传播方式，尤其是人们观看影像的方式发生了重大改变。多视角实时合成给人们提供了一种不一样观察的方式，在近几年备受关注。多视角的实时合成，其目的在于同时获取多路视频信号，在有限的时间内获得更多图像信息。多路视频合成主要研究的是画面整合以及视频发布的两个问题。本次使用Helix Server 作为流媒体服务器并使用Real-Producer Plus进行广播与录制，在数据库中录入摄像头信息，浏览器中嵌入RealPlayer播放器，在浏览器中可以实时查看摄像头画面并实现视角切换。多视角的实时合成是由摄像头获取信息，通过USB接口进行视频传输，最后将
3、得到的视频进行处理。而为了更好的研究视频合成这方面，本文还对来自文件的多画面合成进行研究与实验，为本文最终的测试奠定良好的基础。关键词：视频监控；多视角合成；图像处理；流媒体浙江传媒学院本科毕业论文 多视角实时合成的研究与实现REAL-TIME SYNTHESIS OF MULTI-VIEW FOR STUDY AND REALIZATIONAbstract: In recent years, with the rapid development of network and multimedia technology, therefore, news media development in
4、 the new media age challenged the survival of traditional media. The disadvantages of traditional media gradually appear, many events from the occurrence to the wide spread time interval, timeliness is poor, the participation of ordinary people is low, and the interaction is not good. More and more
5、people are beginning to try new ways of communication, especially in the way people watch and think. Real-time Synthesis of Multi-view provides people with a different way of observation, and it is considered to be a popular technology in recent years.Real-time Synthesis of Multi-view, the purpose i
6、s to obtain multi-channel video signals at the same time, and we can get more image information in a limited time. This paper mainly studies two problems: image integration and video release. Helix Server was used to be Streaming media server in this research, and broadcasting and recording with Rea
7、l-Producer Plus. Inputting camera information to DB. The browser is embedded with RealPlayer player, so that it can view real-time video from the cameras and switch to different view angle.Multi-view real-time synthesis is to obtain information from the camera, transmit video signal with the USB, an
8、d finally process video. In order to study the video synthesis better, this paper also studies and experiments on the multi image synthesis based on local file, which lays a good foundation for the final test.Keywords: video surveillance; multi-view composition; image processing; stream media浙江传媒学院本
9、科毕业论文 多视角实时合成的研究与实现目 录1 绪论 .11.1 选题背景与意义 11.2 国内外研究现状 11.3 研究目的及意义 31.4 本文主要研究内容 42 多视角的实时合成总体方案设计 .52.1 多视角实时合成系统功能和需求分析 52.2 系统总体结构 53 多视角实时合成方法的实现 .63.1 流媒体服务模块 63.2 视频信号实 时采集录制模块 73.3 媒体流实时网络传输模块 73.4 数据库元数据存储与管理模块 83.5 WEB 流媒体发布模块 .84 多视角实时合成的实验与测试 .94.1 实验环境 94.1.1 实现平台 .94.1.2 运行环境 .104.2 基于本
10、地视频文件的多画面合成 104.3 基于单摄像头的实时直播 114.4 基于多摄像头的多视角实时合成 134.5 基于网页访问实现多视角的实时合成与切换 145 总结和展望 .165.1 总结 165.2 展望 17致谢 .18浙江传媒学院本科毕业论文 多视角实时合成的研究与实现参考文献 .19浙江传媒学院本科毕业论文 多视角实时合成的研究与实现第 1 页 共 19 页1 绪论随着通信技术和网络多媒体技术的发展，人类获取外界信息的途径已经不仅仅局限于语音和数据，数字视频已经取代语音成为了人类信息的主要来源 1。曾经放学回家守着电视观看各类电视节目的年代已经渐渐远去了，现在网络视频直播、视频实时
11、监控、视频的远程教育以及多人视频聊天等各种多媒体新形式逐渐兴起，人们对于影像观看的要求越来苛刻，简单而传统的媒体形式已经无法满足人们对视频图像多样的需求。1.1 选题背景与意义近几年，国家经济的发展提高了人们的生活水品，人们不再只求温饱，而是更加注重丰富自己的娱乐休闲方式，获得更多视觉感官等刺激。从 2D 电影的平面影像到3D 电影越来越真实的观影体验，意味着胶片电影时代逐渐没落，数字电影的舞台才刚刚拉开帷幕 2。爱奇艺、优酷、陌陌等都推出了视频直播功能，满足了人们随时随地表达自我的需求 3。另外，视频图像处理技术和多画面显示系统技术的逐渐成熟，也改变了人们工作的一些习惯。例如多画面视频会议系
12、统的实现，减轻了公司出差开会时路途奔波的麻烦；电视制播系统中，在过去是有限前端对传输的电视信号进行监看，大部分是一对一的模式，一台监视器监控一路图像信号，并不能很好地实时监控每一路视音频画面，无法及时发现节目质量问题，难以做到安全播出；视频监控也是同理，现在摄像头的数量成倍增加，若是以电视墙的形式进行实时监控，不仅占地面积大浪费资源，而且人眼无法同时观察这么多屏幕，不容易捕捉画面细节，导致监控漏洞的出现。本课题致力于实现多路视频信号的实时合成，提高屏幕利用率和视频图像处理速度，因此，多视角实时合成的研究与实现具有一定实际意义。1.2 国内外研究现状多视角实时合成技术是近年来人们关注的应用技术热
13、点之一，尤其是被广泛应用于安防领域。安防需求主要集中在公安、交通、司法、金融、能源、科教卫和智能楼宇等七大行业 4，视频监控领域的 70%以上的数据分析是用来进行图像识别。大中小城市也在不断推进平安城市建设，目前我国摄像头数量最多的城市是北京，数量达到浙江传媒学院本科毕业论文 多视角实时合成的研究与实现第 2 页 共 19 页115 万，摄像头分布密度为 71 个/平方公里；上海摄像头的数量仅次于北京，数量达到100 万个；而杭州则是摄像头分布密度最高的城市，达到了 130 个/平方公里。在曾经传统的城市视频监控体系中，主要还是有线网络进行视频流的传输 5。随着城市化的程度越来越高，有线网络面
14、临搭建成本投入过高，架设困难，完成周期过长等一系列难题，无线网络将会逐渐取代有线网络。无线网络对公安部推动全国公安机关视频图像信息整合与分享工作任务更为便捷有益，对视频监控体系可以实现有用整合，进一步综合开发利用视频图像信息。海康威视成为视频监控行业的领军人物，持续五年（2011-2015）占据 iHS 环球视频监控市场占有率第一位，并在 2016 年，A&S 安全自动化公布的“环球安防 50强”中位列世界第一。海康威视在流媒体网络传输和控制技术、大数据分析技术、视频图像处理技术、嵌入式系统开发技术、云计算技术、视音频编解码技术、视频分析与模式识别技术、视音频数据存储技术、专用集成电路的应用技
15、术等九大核心技术全部拥有自主知识产权 6。2007 年海康威视研发成功全球第一台 16 路 D1 实时 DVRDS-8016HF-S；在 2015 年，海康威视发布了 “鹰眼 ”全景相机、工业相机以及立体相机。大华也推出了多镜头全景拼接相机，其典型代表作品就是四目 4K 全景网络相机DH-IPC-PDBW8808-A180 系列，可应用于对画质要求比较高且大场景监控的场所。四目 4K 全景相机处于行业先进技术，实现了更高清、全智能、大全景、星光级、图像拼接等功能。全景多目摄像机可以更好地实现了用户更全角度的大场景监控需求，有其独特存在的应用价值。大华四目全景网络摄像机由 4 个镜头为 1/2.
16、8“200 万超低照度CMOS 图像传感器、3mm 定焦特制镜头组合，可以拍摄四个角度，经由过程大华智能算法，主动识别四组画面之间的重复区域，并可以自动修改及拼接，输出 40961800全景画面，从而实现水平 180、垂直 87的超广角度展现，且拼接画面平整无畸变，视频结果更直观，高清监控一览无余 7。近年来，基于多视角的图像拼接技术迎来了它的春天，主要包含了计算及视觉问题以及图形图像问题。APAP 算法的实现将网格优化变形应用于图像拼接，TJ CHIN 通过将图像划分为密集网络，一个单应矩阵对应一个网格，利用对网格的变形，实现图像的矫正和拼接。对于视频拼接而言，时下较为流行的做法，是一边进行
17、视频拼接，一边进行视频的稳定，即视频去抖，不仅是可以实现对本地视频文件的高质量拼接，还可以做到在线的实时拼接。对于视频的实时拼接而言，时下较为流行的一种做法是，一边进行视频的拼接，一边进行视频的稳定，即视频去抖，不仅为是可以实现对本地视频文件的高质量拼接，还可以做到在线的实时拼接。浙江传媒学院本科毕业论文 多视角实时合成的研究与实现第 3 页 共 19 页除此之外，关于图像处理技术不得不提到 AR 和 VR，AR（Augmented Reality 增强现实）和 VR（Virtual Reality 虚拟现实）是计算及视觉领域最为热门的技术。VR 与AR 的区别主要在于，VR 看到的全都是虚拟
18、场景，是开发者创造出的模拟世界，比较著名的产品包括索尼 Play Station VR、HTC Vive VR 以及三星 Gear VR。虽然 VR 技术可以说是目前而言十分先进的技术之一，VR 电影、 VR 游戏等层出不穷，但是格里贝茨曾说过“VR 很酷炫，然而它只是通向增强现实的一块垫脚石 ”。AR 技术的使用者并不会觉得计算机所生成的虚拟物体和原来的现实世界两者之间格格不入，可以实现对于真实世界进一步的分析与探索。通过实时交互，还可以在有限的时间和空间中完成对相关知识领域的深入学习。2000 年，Bruce H.Thomas 开发了世界上第一款基于手机的 AR 游戏，2008 年不同厂商
19、开始将 AR 技术应用于手机地图软件；Goole 在2013 年向世界发布了广为人知的 Goole 眼镜；2015 年，Hololens 成为第一款可将虚拟的计算机图像用过 AR 设备嵌入到使用者真实的世界中 8。1.3 研究目的及意义多视角实时合成技术为人们提供了一种更加直观、更为方便、包含更多信息量的观看方式，人们可以在有限的时间内更加快速递获取尽可能多的视频信息，有利于在人力资源不足的情况下进行实时监控。而流媒体技术为视频、音频或者其他多媒体文件在网络中传输提供了可能性 9。多视角的实时合成技术应用非常广泛。例如电视节目制作时可以进行实时监看，一档现场的综艺节目通常配备多台摄像机，不仅要
20、从各个角度去捕捉主持人和嘉宾之间的互动，也要不是抓拍台下观众的反应，将多台摄像机画面同时传输到同一终端显示可以方便导播根据现场需要实现视角的切换。除此之外，多视角的实时合成技术还可以应用与电影广告的拍摄。现在广告制作周期非常短，尤其是拍摄期间，由于人工、设备费用比较昂贵，通常需要在最短的时间内拍摄尽可能多的画面。这种情况下往往需要多台摄像机同时工作，多机位拍摄已经成为常态。但是对应也需要有多个监视器，对于剧组来说多监视器携带相当笨重，导演也无法同时观看三个摄像机拍摄的画面。每次单个回放摄像机画面也是非常浪费时间，多视角的合成可以解决这类问题，提高拍摄效率，降低拍摄成本。多视角的实时合成还可以运
21、用到灾难现场的救灾行动，便于全方位实时了解灾情，在营救灾民、控制险情时制定出合理高效的解决方案，减轻灾难的伤亡程度以及财产损失，还可以为抢险救灾争取更多的宝贵时间。同样，利用多视角实时合成技术可以浙江传媒学院本科毕业论文 多视角实时合成的研究与实现第 4 页 共 19 页实现实时视频会议，通过这种方式可以减少与会人员往返于两地之间花费的时间，可以更快地传达公司总部的会议决定。根据以上所阐述的优点，对于多视角实时合成技术的研究无论从理论方面还是实践运用方面，都十分具有意义。通过该技术，人们在工作时，可以提高对于信息获取的效率；另外，还可以通过不同视角间的切换，使得多视角实时合成技术应用更加广泛。
22、1.4 本文主要研究内容本课题主要对多视角实时合成的研究与实现进行以下几个方面设计分析： 1、确定视音频流的传输方式：视频和音频的传输方式通常被分为有线传输和无线传输两种传输方式。有线传输布线复杂、成本高，无线传输则更加适合本次实验，搭建简单，不需要额外的设备。本次实验除了采用无线网络传输的方式，还结合了数字多媒体技术来实现传递视频图像信息。2、流式传输方式的优势：本次实验中的视音频信号的采集均有外接的 USB 摄像头和电脑自带的摄像头完成，服务器用于存放和控制流媒体数据 10，视音频信号流由RTSP（实时流传输协议）完成数据传送。最终，播放器提供客户端监看摄像头传送回来的画面，可以实现边传边
23、播，达到实时监看的效果。3、视频信号编码以及发布的处理方法：视音频信号流由 USB 摄像头和电脑自带的摄像头实时采集，经由 RealProducer 对其进行实时编码处理，每次完成编码，就会将本次采集到的视音频文件以.rm 格式保存到预先设置好的本地文件夹中。通过服务器MyWebServer 进行发布，可以在浏览器中访问摄像头实时传输过来的画面。本次利用了 RealProducer 自身的转码器，自动实现了视音频文件的编码工作以及流媒体文件的存储工作。4、数据库中元数据的存储与管理：在数据库中录入本次摄像头的信息以及每个摄像头对应的视音频信号文件地址，通过数据库管理流媒体文件的元数据信息。5、
24、对结果进行分析，包括基于 WEB 服务器流媒体发布系统以及数据库连接时遇到的困难，还有对未来的展望。浙江传媒学院本科毕业论文 多视角实时合成的研究与实现第 5 页 共 19 页2 多视角的实时合成总体方案设计2.1 多视角实时合成系统功能和需求分析这个时代，是一个被网络媒体层层包裹的时代，广播电视技术和计算机技术飞速发展，现代数字图像处理技术和网络多媒体技术愈加成熟，视音频信号数字化处理已经是目前较为普遍的技术 11。得益于 IT 领域与视音频多媒体技术领域的不断创新与提高，新兴的网络的媒体形式更加丰富多样，从而促进了多种媒体形式的融合与发展，激化了各大视频平台之间的竞争，也更加要求不同媒体生
25、产商发掘自身的资源优势以及革新自身的技术。多视角的实时合成技术以其直观、高效、信息量丰富等优势，可被广泛应用于各个场合，其应用的方向主要有以下几点：（1） 影视节目制作方面的应用；（2） 安防监控领域方面的应用；（3） 多角度监测险情方面的应用；（4） AR、VR、全息投影等新兴视觉技术方面的应用。综合以上几个方面来考虑，本系统需要具备以下几个功能：（1） 摄像头视频信号的实时采集与传输；（2） 对视音频信号实时转码以适合在网络中传输；（3） 通过数据库可对包含不同视角信息的流媒体文件进行元数据的存储与管理；（4） 实现多视角的实时合成功能以及不同视角间切换的功能。2.2 系统总体结构根据上面
26、所阐述，明确这次实验所需要实现的功能，确定整体的框架结构。本文所采用的是一种将视频信号进行实时采集发布的多视角实时合成方法，本次实验选用RealProducer Plus 作为实现对视音频信号的实时采集与转码模块，并将转码的文件保存至本地文件夹，同时完成创建网络媒体流输出等工作。另外，配置网络流媒体服务器进行数据流传输，在数据库中录入摄像头信息以及流媒体文件地址，通过 WEB 服务器发布到网页相应位置进行播放。其中需要对 Helix Server 进行流媒体服务器配置，包括流媒体服务端的 IP 地址绑定，当服务器被成功安装在一个拥有数个不同的 IP 地址的系统上时，需要指定服务器去侦听的 IP
27、 地址 12；除此之外，还要配置加载点，加载点是和 WEB 服务器虚拟目录十分相似，直接指向文件实际存放位置，一定会出现在 Helix Server 的每一个连接中。通过 MyWebServer 发布，以浏览器作为容器来播放实时画面，实现多视角合成以及不同视角的切换。浙江传媒学院本科毕业论文 多视角实时合成的研究与实现第 6 页 共 19 页图 2-1 多视角实时合成流程图3 多视角实时合成方法的实现3.1 流媒体服务模块本次采用 Helix Server 作为流媒体服务器，Helix Server 是一款可实现跨平台播放的服务器，支持多种多样的媒体文件格式，可以将高质量的多媒体文件发布到被网
28、络覆盖的所有终端。流媒体服务器将 RealProducer 采集封装的实时视频流以流式协议的形式直播给客户端，本次实验采用的是 RTSP 协议，RealPlayer 作为播放前端。本次实验需要对 Helix Server 进行 IP 地址的绑定和加载点的配置，为流媒体文件提供播放支持，所有播放的 SMIL 文件都被保存在加载点目录下。 使用加载点目录可以在客户端使用 RTSP 协议向服务器请求视音频流传输时，地址更加精简，提高访问效率。需要注意的是，加载点名称不宜使用中文，包括后面 WEB 服务器中的服务目录，这些目录对中文的支持并不是特别理想，可能会影响实验结果，比如无法获取视音频流，或者是
29、打不开页面等。绑定 IP 地址的目的在于指定侦听的 IP 地址，由于本机的 IP 地址是动态分配，每次开机都会改变，因此我选用了 127.0.0.1 来代替本机所有的 IP 地址。如果不从其他终摄像头传输画面RealProducer 实时转码并存储到本地开 始前期工作预设 网页通过 WEB 服务器发布连接数据库视频文件缓存释放播放实时视频画面结 束建立网络实时传输流浙江传媒学院本科毕业论文 多视角实时合成的研究与实现第 7 页 共 19 页端获取本机服务端的视音频流，可以不绑定 IP 地址。因为绑定 IP 地址的目的是选择侦听的地址，可以从其他终端通过 IP 地址访问到本机服务器，从而获得多媒
30、体内容。3.2 视频信号实时采集录制模块Real-Producer Plus 是一款功能非常强大的视频编码器，它可以提供多种不同的编码速率来适应各自相差较大的网络状况，以保证视频和音频信号的传输过程较为顺畅。本次实验选择摄像头作为视音频流采集设备，因为摄像头是目前图像采集最常用的设备。在电脑上通过 USB 集线器外接了三个摄像头，另外加上电脑自带的一个摄像头，一共 4 个摄像头，在 RealProducer 中选择外接设备接收视音频流， RealProducer 具有压缩速度快，压缩率较高的特点，比较适合本次实验。在开始转码之前，需要对Real-Producer Plus 配置服务器目的地，R
31、eal-Producer Plus 将采集到的拍摄画面进行编码以 “推”的方式发送到流媒体服务器中。推流的目的在于，把采集阶段转码封装好的视音频流通过流式协议传输到服务器。在开始转码之前，为了能在实施浏览结束后，还能回看刚才的视频，需要对每一路视频信号进行保存设置。Real-Producer Plus 编码器将摄像头的视频信号进行编码转化成 rm 格式进行保存，rm 格式文件是一种容器格式文件，这类通过保存为 rm 格式的文件，可以实现即时播放，意味着可以先从服务器上下载一部分媒体内容，缓冲一部分后就可以一边缓冲一边播放，即“边下载边播放”，这也是本次实验中实时合成的关键。3.3 媒体流实时网
32、络传输模块本次采用 RTSP（实时流传输协议）对媒体文件（视频和音频）进行封装，RTSP是一个可以对多媒体播放进行控制的协议，并且允许同时多个串流需求，降低了服务端的网络用量。同时利用一条时间线可以对多个串流进行控制，精简了代码的复杂度，这为本次实验多个摄像头画面同时传输、实时合成、实时浏览提供了保障。RTSP 可以使用 TCP 或者 UDP 完成数据传输。另外， RTSP 协议也支持传输在不同服务器端的媒体内容，可以实现不同服务器上的多媒体文件之间的同步以及交流。RTSP 控制媒体流的传输，一方面要有协议，另一方面则要有对应的媒体播放器(RealPlayer)和媒体服务器 (Helix Se
33、rver)。媒体服务器与媒体播放器的关系是服务器与客户的关系 13。浙江传媒学院本科毕业论文 多视角实时合成的研究与实现第 8 页 共 19 页图 3-1 服务器与播放器之间 RTSP 交换3.4 数据库元数据存储与管理模块数据库中需要提前录入每个摄像头的信息以及每次调用的 SMIL 文件存储地址，在网页中点击对应的链接，可以读取数据库中文件存储地址，RealPlayer 就会向流媒体服务器发出请求，接收传输过来的实时视音频流，提供网页端对摄像头传输画面的播放。本次在 ASP 脚本中通过与 ODBC DSN 建立连接，实现数据库连接。需要在电脑中下载安装 64 位（本机为 64 位系统）的 O
34、DBC 数据源，然后对配置数据库 ODBC 数据源。在配置过程中，需要知道所对应的数据库的服务器名称、登录 ID 以及密码，在创建数据源输入相关信息，通过测试数据源来确定 DSN 是否创建成功。最终编写脚本和数据库建立连接，ADO（ActiveX Data Objects ） 提供 Connection 对象，可以使用该对象建立和管理应用程序和 ODBC 数据库之间的连接。在脚本编写过程中，主要注意文件保存时的文件编码，文件编码不对则会导致网页显示乱码或者无法正确连接数据库。3.5 WEB 流媒体发布模块通过播放器内嵌 WEB 网页发布媒体内容，媒体链接通过元数据存储在数据库中。WEB 服务器
35、可以解析 ASP 文件，将动态响应的产生委托给 ASP 脚本文件，通过在脚本文件中监听服务器的 IP 地址，实现数据库与 WEB 服务器的连接。服务器通过读取数据库信息，向浏览器提供网页中有关摄像头的表格信息。本次实验搭建了 WEB 服务器，通过将 RealPlayer 播放器嵌入在网页中，利用网页来浏览摄像头传输的实时画面，而在网页中设置链接可以实现不同视角间的切换。这种做法的优势在于一方面可通过脚本实现连接数据库的操作，获取媒体文件路径，实浙江传媒学院本科毕业论文 多视角实时合成的研究与实现第 9 页 共 19 页现流媒体文件播放；另一方面也可在网页中对播放器位置进行调整，使整体页面布局更
36、加合理。4 多视角实时合成的实验与测试从多视角合成技术而言，视频文件的来源可分为本地视频文件或者是实时录制所得到的视频文件。要实现多视角的实时合成，可以从本地视频文件入手。由于本地视频文件是提前录制好的，不需要对其编解码，实现起来效果会更加稳定。再基于本地视频文件得到的经验，尝试对实时拍摄的视频文件进行合成。从实现局部功能，单一摄像头实时浏览，再到整体多视角的实时合成。4.1 实验环境4.1.1 实现平台本系统主要有媒体采集设备、流媒体编码器、流媒体服务器、数据库服务端、WEB 服务端五部分组成，系统拓扑结构如图 4-1 所示。图 4-1 多视角实时合成系统拓扑结构由于本次作品设计涉及到多种类
37、型的服务器，需要不同类型的服务器分工合作，各方面协调整合，包括：浙江传媒学院本科毕业论文 多视角实时合成的研究与实现第 10 页 共 19 页Real-Producer Plus 节目录制服务端：对摄像头画面进行实时录制传输以及文件保存上传；WEB 服务器：提供用户的网页访问；数据库服务器：提供媒体文件路径访问，采用 MySql 作为数据库前端；流媒体服务器：提供流媒体文件播放支持，总体采用 Helix Server 所提供的流媒体方案。4.1.2 运行环境 （1）操作系统：Windows 7 旗舰版 64 位（Service Pack1 ）（2）处理器：Intel(R) Core(TM) i
38、5-3337U CPU 1.80GHz 1.80GHz（3）内存：4.00GB（3.89GB 可用）（4）显卡：NVIDIA GEFORCE 720M（5）硬盘：700G4.2 基于本地视频文件的多画面合成本文使用 Helix Server 作为流媒体服务器，用户名 admin，密码 admin。需要对其绑定 IP 地址，由于本机的 IP 地址属于动态分配，每次连接网络后，电脑分配到的 IP地址都并非一样，所以 IP 地址绑定我选择了用 127.0.0.1 来代替我本机任何一个 IP 地址。对于加载点的配置，选定自己存放媒体文件的文件夹，以/GYY/ 这个虚拟目录来简化原本较为复杂的目录。通过
39、 SMIL 语言，将四段本地视频文件在播放器中合理分布，使其能在指定位置播放，且互不影响，如图 4-2。浙江传媒学院本科毕业论文 多视角实时合成的研究与实现第 11 页 共 19 页图 4-2 本地视频文件四路图像合成本模块的工作主要是为流媒体文件播放提供支持，如图 4-3,是 SMIL 文件代码。图 4-3 本地视频文件合成代码4.3 基于单摄像头的实时直播本文提出的摄像头画面实时合成过程采用了 Real-Producer Plus 11 对摄像头传输的画面进行实时转码，一方面保存为.rm 格式的流媒体文件，另一方面以 “推”流的形式发布到流媒体服务器端。在不同的网络条件下，Real-Pro
40、ducer Plus 11 提供多种编码率，以此保证视音频数据能够流畅传输与播出。它以推“流”的形式进行传输，对于视音频信号流来说，可以在最短的时间内被传输到流媒体服务器上，以实现实时浏览摄像头画面的功能 14。浙江传媒学院本科毕业论文 多视角实时合成的研究与实现第 12 页 共 19 页本模块的准备工作是对输入的视频图像进行转码，将采集到的拍摄画面进行编码以 “推”流的方式发送到流媒体服务器中，通过 RealPlayer 播放器向 Helix Server 服务器发送请求报文，服务器对其响应，然后播放实时流画面，如图 4-4 所示。图 4-4 Real-Producer Plus 11 实行
41、对摄像头传输的画面编码如图 4-5 所示，对将要采集录制的摄像头画面进行流媒体格式保存及文件保存路径设置，设置文件名为“2017.4.22a”，文件格式保存为 rm 或 rv，此处选择保存类型为 rm，保存目录为 save。 图 4-5 进行流媒体格式保存及文件保存路径设置在 RealPlayer 播放器中直接请求播放流媒体文件：rtsp:/127.0.0.1/broadcast/playlist浙江传媒学院本科毕业论文 多视角实时合成的研究与实现第 13 页 共 19 页4.4 基于多摄像头的多视角实时合成由于有多路视频信号同时传输，因此需要 4 个 RealProducer Plus 分别
42、对其转码以及流媒体文件格式保存。需要注意的是，每个流的名称不可以相同，否则会产生冲突导致无法播放，1 号摄像头的流名称是 playlist，2 号为 playlist2，3 号为 playlist3，4 号为 playlist4。在 SMIL 文件中整合四路视频信号，使其在各自位置上独立播放，互不干扰。首先用一路视频实时流模拟四路视频信号同时传输，SMIL 文件中四路视频信号的位置均为 rtsp:/127.0.0.1/broadcast/playlist，在 RealPlayer 播放器中观察播放效果，如 4-6 图所示。图 4-6 在 RealPlayer 中实现多视角实时合成经测试播放延时
43、时间约为 2 秒，播放能够完全同步。然后尝试 4 路视频信号同时播放，如图 4-7。图 4-7 在 RealPlayer 中实现 4 路信号多视角实时合成浙江传媒学院本科毕业论文 多视角实时合成的研究与实现第 14 页 共 19 页4.5 基于网页访问实现多视角的实时合成与切换由于在播放器中对于视角的切换并不是特别理想，所以对于视角的切换我选择了基于网页端实现。通过在数据库中录入摄像机的信息以及媒体文件保存路径，例如摄像机编号、摄像机名称、文件地址和摄像机方向等。因此，需要在数据库中添加相应的字段，以下图 4-8 是创建数据库的代码，图 4-9 是创建完数据库后录入摄像机信息后的表格：图 4-
44、8 配置数据库图 4-9 数据库中录入摄像机信息配置完数据库之后，WEB 网站与数据库进行连接，将数据库中的元数据在页面上进行显示。网站连接数据库代码，如图 4-10：图 4-10 网站连接数据库代码并网页内嵌 RealPlayer 播放器播放直播流，将网页在 WEB 服务器中发布 15。网页以表格的形式呈现本地发布到服务端的摄像头相关信息（如摄像机编号、摄像机名称、文件地址和摄像机方向）。当点击“摄像机序号”超链接时，能够采用 RTSP 流媒体浙江传媒学院本科毕业论文 多视角实时合成的研究与实现第 15 页 共 19 页协议播放方式在 RealPlayer 播放器上进行观看到 4 路视频信号
45、实时合成画面，如图 4-11 所示。 图 4-11 通过网页查看 4 路摄像视频信号合成画面并且通过不同的超链接可以观察到不同视角的实时画面，如图 4-12 所示。图 4-12 切换单一视角画面网页遍历数据库的代码，并提供链接访问，如图 4-13：浙江传媒学院本科毕业论文 多视角实时合成的研究与实现第 16 页 共 19 页图 4-13 遍历数据库以及提供链接访问代码5 总结和展望5.1 总结在这个信息爆炸的时代中，人们对于信息处理要求越来越高，速度要求越来越快，多视角的实时合成以其更加直观、高效、包含更多信息量而占据更大优势，电视台节目制作、影视广告拍摄、安防监控监视、视觉图像技术的创新等各
46、方面都可以运用或参考多视角实时合成技术。本次实验通过多个摄像头画面集成到同一屏幕显示，可以在一定程度上缓解屏幕不断成倍增加的压力，降低设备器材的成本，提高对有限资源的利用率。从长远角度，视频画面的实时直播分享也符合现今直播热潮一浪高过一浪的趋势，多屏互动将会提高用户的参与度，增加更多趣味，扩展观众的视觉体验。本次实验结合当下多种类型的主流服务器，结合数据库相关知识，以流媒体形式将多个摄像头拍摄的画面上传到网页端，实现多视角的实时合成与不同视角的切换。本次采用 Helix Server 作为流媒体服务器，可对其 IP 地址绑定和加载点的配置。通过RealProducer Plus 编码器对摄像头
47、传输过来的视频信号进行采集和实时录制，并可以将视音频以及文件形式保存到本地文件夹。由于经过 RealProducer Plus 转码，视音频信号在播放时会有一定的延时，经测试大约在 5 秒。视音频文件由 MyWebServer 发布到网页端，通过嵌入在浏览器中的 RealPlayer 播放器播放，用户可在浏览器中观看到合成画面以及不同视角间的切换，并且可实现暂停、播放等操作。本次最终能完成较为完整的实验效果，离不开前期不断地对本地视频文件的合成试验。本地预先录制好的文件操作更加简单，而且视频不需要经过 RealProducer Plus转码，不存在延时问题，播放质量更加稳定，为后续工作打下基础
48、。每次成功一步之后，再往下开展后面的内容，注意替换成摄像头拍摄的画面。遇到问题，查阅了大量的相关文献资料，不断尝试前人提出的一些解决办法。浙江传媒学院本科毕业论文 多视角实时合成的研究与实现第 17 页 共 19 页通过本次对多视角实时合成的研究与实现，我对数字视频处理技术以及流媒体技术有了更深刻的认识，也掌握了与多视角实时合成相关的知识模块，甚至在查阅有关资料时扩展了我对视觉图像处理的理解，惊讶于 AR、VR 技术的发展。这次毕业作品设计也是对大学四年所学知识的一个汇总，既涉及到了数据库相关知识，也锻炼了自己对程序代码的掌控能力。除此之外，对毕业作品开展也有较为清晰的规划，从局部功能的实现到最终设计，也常常会陷
