1、CMUCC CMUCC 第3章 虚拟现实系统的相关技术CMUCC CMUCC 了解虚拟现实系统的相关技术分类、特 了解虚拟现实系统的相关技术分类、特 点、应用。 点、应用。 熟悉 熟悉 虚拟现实系统相关 虚拟现实系统相关 技术的原理和实 技术的原理和实 现方法。 现方法。 本章知识点 本章知识点CMUCC CMUCC 本章目录 本章目录 3.1 3.2 3.3 3.4 3.5立体显示技术三维建模技术真实感实时绘制技术三维虚拟声音的实现技术人机自然交互技术 3.6 碰撞检测技术CMUCC CMUCC 3.1 立体显示技术立体显示是虚拟现实的关键技术之一，它 使人在虚拟世界里具
2、有更强的沉浸感，立体显 示的引入可以使各种模拟器的仿真更加逼真。 因此，有必要研究立体成像技术并利用现有的 计算机平台，结合相应的软硬件系统在平面显 示器上显示立体视景。CMUCC CMUCC 3.1.1立体显示原理 由于人两眼有 4 - 6cm 的距离，所以实际上看物体 时两只眼睛中的图像是有差 别的，如图所示。两幅不同 的图像输送到大脑后，看到 的是有景深的图像。这就是 计算机和投影系统的立体成 像原理。 立体显示技术原理 CMUCC CMUCC 3.1.2 四种立体显示技术立体显示技术主要有分色技术、分光技术 、分时技术，以及光栅技术。其中前三种，分 色、分光、分时技术的流程很相
3、似，都是需要 经过两次过滤，第一次是在显示器端，第二次 是在眼睛端。CMUCC CMUCC 1.分色技术分色技术的基本原理是让某些颜色的光只进 入左眼，另一部分只进入右眼。 分色技术原理CMUCC CMUCC 2.分光技术常见的光源都会随机发出自然光和偏振 光，分光技术是用偏光滤镜或偏光片滤除特 定角度偏振光以外的所有光，让0度的偏振光 只进入右眼，90度的偏振光只进入左眼（也 可用45度和135度的偏振光搭配）。CMUCC CMUCC 3.分时技术 分时技术是将两套画面在不同的时间播放，显 示器在第一次刷新时播放左眼画面，同时用专用的 眼镜遮住观看者的右眼，下一次刷新时播放右眼画
4、 面，并遮住观看者的左眼。按照上述方法将两套画 面以极快的速度切换，在人眼视觉暂留特性的作用 下就合成了连续的画面。CMUCC CMUCC 4.光栅技术若在显示器前端加上光栅，光栅的功能是要挡光 ，让左眼透过光栅时只能看到部分的画面；右眼也只 能看到另外一半的画面，于是就能让左右眼看到不同 影像并形成立体，此时无需佩戴眼镜。而光栅本身亦 可由显示器所形成，也就是将两片液晶画板重叠组合 而成，当位于前端的液晶面板显示条纹状黑白画面时 ，即可变成立体显示器；而当前端的液晶面板显示全 白的画面时，不但可以显示3D的影像，亦可同时相容 于现有2D的显示器。CMUCC CMUCC 光栅3D显示技
5、术原理CMUCC CMUCC 3.2 三维建模技术 虚拟环境建模的目的在于获取实际三维环境的三 维数据，并根据其应用的需要，利用获取的三维数据 建立相应的虚拟环境模型。只有设计出反映研究对象 的真实有效的模型，虚拟现实系统才有可信度。基于目前的技术水平，常见的是三维视觉建模和 三维听觉建模。而在当前应用中，三维建模一般主要 是三维视觉建模。三维视觉建模可分为几何建模、物 理建模、行为建模。CMUCC CMUCC 3.2.1几何建模技术几何建模是开发虚拟现实系统过程中最基 本、最重要的工作之一。虚拟环境中的几何模 型是物体几何信息的表示，设计表示几何信息 的数据结构、相关的构造与操纵该数
6、据结构的 算法。虚拟环境中的每个物体包含形状和外观 两个方面。CMUCC CMUCC 几何建模通常可分为层次建模法和属主建模法：（1)层次建模法（2)属主建模法 几何建模可通过以下两种方式实现：（1)人工的几何建模方法（2)自动的几何建模方法CMUCC CMUCC 三维立体扫描仪 CMUCC CMUCC 3.2.2 物理建模技术物理建模指的是虚拟对象的质量、重量、惯性 、表面纹理（光滑或粗糙）、硬度、变形模式（弹 性或可塑性）等特征的建模。物理建模是虚拟现实 系统中比较高层次的建模，它需要物理学与计算机 图形学配合，涉及到力的反馈问题，主要是重量建 模、表面变形和软硬度等物理属性的
7、体现。CMUCC CMUCC 1.分形技术 分形技术是指可以描述具有自相似特征的数据集。 该技术首先被用于河流和山体的地理特征建模。在 虚拟现实系统中一般仅用于静态远景的建模。 2.粒子系统 粒子系统是一种典型的物理建模系统，粒子系统是 用简单的体素完成复杂的运动建模。在虚拟现实系 统中，粒子系统常用于描述火焰、水流、雨雪、旋 风、喷泉等现象及动态运动的物体建模。 CMUCC CMUCC 3.2.3行为建模技术虚拟现实的本质就是客观世界的仿真或折射 ，虚拟现实的模型则是客观世界中物体或对象的 代表。而客观世界中的物体或对象除了具有表观 特征如外形、质感以外，还具有一定的行为能力 ，并且
8、服从一定的客观规律。在虚拟环境行为建模中，建模方法主要有基 于数值插值的运动学方法与基于物理的动力学仿 真方法。CMUCC CMUCC 3.3 真实感实时绘制技术要实现虚拟现实系统中的虚拟世界，仅有 立体显示技术是远远不够的，虚拟现实中还有 真实感与实时性的要求，也就是说虚拟世界的 产生不仅需要真实的立体感，而且虚拟世界还 必须实时生成，这就必须要采用真实感实时绘 制技术。CMUCC CMUCC 3.3.1 真实感绘制技术真实感绘制是在计算机中重现真实世界场景的过 程。其主要任务是要模拟真实物体的物理属性。实时 绘制是当用户视点发生变化时，他所看到的场景需要 及时更新。为了提高显示的逼
9、真度，加强真实性，常 采用下列方法：（1）纹理映射（2）环境映射（3）反走样CMUCC CMUCC 纹理映射前后对比图 CMUCC CMUCC 3.3.2 基于图形的实时绘制技术传统的虚拟场景基本上都是基于几何的，就是用 数学意义上的曲线、曲面等数学模型预先定义好虚拟 场景的几何轮廓，再采用纹理映射、光照等数学模型 加以渲染。大多数虚拟现实系统的主要部分是构造一 个虚拟环境，并从不同的方向进行漫游。要达到这个 目标，首先是构造几何模型，其次模拟虚拟摄像机在 六个自由度运动，并得到相应的输出画面。CMUCC CMUCC 算机的运行速度以提高图形显示能力外，还可以 降低场景的复杂度，即
10、降低图形系统需处理的多 边形数目。有下面几种用来降低场景复杂度的方 法：（1）预测计算 （2）脱机计算 （3）3D剪切（4 ）可见消隐 （5）细节层次模型CMUCC CMUCC 细节层次模型示意图 (a)原始模型 (b)简化模型1 (c)简化模型2 (d)简化模型3 CMUCC CMUCC 3.3.3 基于图像的实时绘制技术当前真实感图形实时绘制的其中一个热点问题 就是基于图像的绘制(IBR,Image Based Rendering)。与传统的基于模型的绘制方法相比 ,IBR方法有以下优点： （1）计算量适中 （2）独立于场景复杂度 （3）满意的绘制质量CMUCC CMUCC 3
11、.4 三维虚拟声音的实现技术 虚拟现实系统中的三维声音，使听者能感 觉到声音是来自围绕听者双耳的一个球形中的 任何地方。因此把在虚拟场景中能使用户准确 地判断出声源的精确位置、符合人们在真实境 界中听觉方式的声音系统称为三维虚拟声音。CMUCC CMUCC 3.4.1 三维虚拟声音的作用声音在虚拟现实系统中的作用，主要有以下几点： （1）声音是用户和虚拟环境的另一种交互方法，人们 可以通过语音与虚拟世界进行双向交流。 （2）数据驱动的声音能传递对象的属性信息。 （3）增强空间信息，尤其是当空间超出了视域范围。CMUCC CMUCC 3.4.2 三维虚拟声音的特征在三维虚拟声音系统最核心
12、的技术是三维虚 拟声音定位技术，它的特征主要有： （1）全向三维定位特征。 （2）三维实时跟踪特性。 （3）沉浸感与交互性。CMUCC CMUCC 3.4.3 语音识别技术与虚拟世界进行语音交互是实现虚拟现实 系统中一个高级目标。语音技术在虚拟现实中 的关键是语音识别技术和语音合成技术。语音 识别技术(ASR, Automatic Speech Recognition)：将人说话的语音信号转换为可 被计算机程序所识别的文字信息，从而识别说 话人的语音指令以及文字内容的技术。CMUCC CMUCC 3.4.4 语音合成技术语音合成技术（TTS, Test to Speech）： 用人工的
13、方法生成语音的技术，当计算机合成 语音时，如何能做到听话人能理解其意图并感 知其情感，一般对 “语音”的要求是清晰、可 听懂、自然、具有表现力。实现语音输出有两种方法： （1）录音/重放。 （2）文-语转换。CMUCC CMUCC 3.5 人机自然交互技术在计算机系统提供的虚拟空间中，人可以使 用眼睛、耳朵、皮肤、手势和语音等各种感觉方 式直接与之发生交互，这就是虚拟环境下的人机 自然交互技术。在虚拟现实领域中较为常用的交 互技术主要有手势识别、面部表情的识别以及眼 动跟踪等。CMUCC CMUCC 3.5.1 手势识别手势识别系统的输入设备与主要分为基于 数据手套的识别和基于视觉（图
14、像）的手语识 别系统两种。手势识别技术主要有：模板匹配 、人工神经网络和统计分析技术。CMUCC CMUCC 3.5.2 面部表情识别 人可以通过脸部的表情表达自己的各种情绪 ，传递必要的信息。人脸图像的分割、主要特征 （如眼睛、鼻子等）定位以及识别是这个技术的 主要难点。可以将人脸检测方法分为两大类：（1）基于特征的人脸检测。（2）基于图像的人脸检测方法。CMUCC CMUCC 3.5.3 眼动跟踪为了模拟人眼的功能，在虚拟现实系统中引 入眼动跟踪技术。眼动跟踪技术的基本工作原理是利用图像处 理技术，使用能锁定眼睛的特殊摄像机。通过摄 入从人的眼角膜和瞳孔反射的红外线连续地记录 视线
15、变化，从而达到记录、分析视线追踪过程的 目的。下表3.1归纳了目前几种主要的视线追踪 技术及特点。CMUCC CMUCC 人眼动跟踪技术 视觉追踪方法 技术特点 眼电图 高带宽，精度低，对人干扰 大 虹膜-巩膜边缘 高带宽，垂直精度低，对人 干扰大，误差大 角膜反射 高带宽，误差大 瞳孔-角膜反射 低带宽，精度高，对人无干 扰，误差小 接触镜 高带宽，精度最高，对人干 扰大，不舒适CMUCC CMUCC 3.6 碰撞检测技术碰撞检测经常用来检测对象甲是否与对象乙 相互作用。为了保证虚拟世界的真实性，就需要 虚拟现实系统能够及时检测出这些碰撞，产生相 应的碰撞反应，并及时更新场景输出，否
16、则就会 发生穿透现象。正是有了碰撞检测，才可以避免 诸如人穿墙而过等不真实情况的发生，影响虚拟 世界的真实感。CMUCC CMUCC （1）碰撞检测的要求为了保证虚拟世界的真实性，碰撞检测要有 较高的实时性和精确性。所谓实时性，基于视 觉显示的要求，碰撞检测的速度一般至少要达 到24Hz，而基于触觉要求，速度至少要到到 300Hz才能维持触觉交互系统的稳定性，只有 达到1000Hz才能获得平滑的效果。精确性的要 求取决于虚拟现实系统在实际应用中的要求。CMUCC CMUCC （2）碰撞检测的实现方法最简单的碰撞检测方法是对两个几何模型中的 所有几何元素进行两两相交测试。这种方法可以得 到正确的结果，但当模型的复杂度增大时，计算量 过大，十分缓慢。对两物体间的精确碰撞检测的加 速实现，现有的碰撞检测算法主要可划分为两大类 ：层次包围盒法和空间分解法。CMUCC CMUCC 本章小结 本章小结虚拟现实技术是由计算机产生,通过视、听、触觉等 作用,使用户产生身临其境感觉的交互式视景仿真,具有 多感知性、存在感、交互性和自主性等特征。本章阐述 了虚拟现实技术理论和体系结构，重点介绍了立体显示 、三维建模、真实感实时绘制、三维虚拟声音的实现、 人机自然交互技术、以及碰撞检测技术。本章的学习要 点是各种技术的原理和实现方法。
