1、第七讲 多媒体系统的人机交互技术,人机界面概述 多通道用户界面 三维人机交互技术 虚拟现实,人机界面概述,计算机包括了三个主要部分：人机信息交互、信息处理和存储以及信息显示，其中“信息处理和存储”和“信息展示”技术更新和发展的速度相当快。但人机交互技术多年来并未有重大技术突破。 从计算机问世以来，早期用户是以计算机专业人员为主，但随着计算机广泛进入人们的工作生活领域，计算机用户发生了改变，非计算机专业的普通用户成了用户的主体。这一重大转变使计算机的可用性问题变得日益突出起来。,人机界面概述,人机界面指人类用户与计算机系统之间的通信媒体或手段，它是人机双向信息交换的支持软件和硬件。这里“界面”定
2、义为通信的媒体或手段，它的物化体现是有关的支持软件和硬件，如带有鼠标的图形显示终端。 人机界面和人机对话(Human Computer Dialogue)是两个不同的概念：人机对话是指用户与计算机系统之间的通信，它是人与计算机之间各种符号和动作的双向信息交换。,人机界面的发展历史,就用户界面的具体形式而言，经历了批处理联机终端(命令接口)(文本)菜单等多通道多媒体用户界面和虚拟现实系统。 就用户界面中信息载体类型而言，经历了以文本为主的字符用户界面(CUI)、以二维图形为主的图形用户界面(GUI)和多媒体用户界面，使得计算机与用户之间的通信带宽不断增加。,人机界面的发展历史,就计算机输出信息的
3、形式而言，经历了以符号为主的字符命令语言；以视觉感知为主的图形用户界面；兼顾听觉感知的多媒体用户界面和综合运用多种感官(包括触觉等)的虚拟现实系统。 就人机界面中的信息维度而言，经历了一维信息(主要指文本流如早期电传式终端)、二维信息(主要是二维图形技术，利用了色彩形状纹理等维度信息)、三维信息(主要是三维图形技术，但显示技术仍利用二维平面为主)和多维信息(多通道的多维信息)。,人机界面的发展历史,不论从何种角度看，人机交互发展的趋势体现了对人的因素的不断重视，使人机交互更接近于自然的形式，使用户能利用日常的自然技能不须经过特别的努力和学习提高工作效率。这种“以人为中心”的思想特别是自20世纪
4、80年代以来在人机交互技术的研究中得到明显的体现。,人机界面设计技术,三维用户界面 多媒体和超媒体界面 多通道交互界面 虚拟现实技术 组件及可视计算,用户界面的设计原则,从用户的本身需求、生理心理条件和现有硬软件条件出发，可以总结为以下几点： 以用户的行为为基本出发点 考虑用户操作时间长短 以用户操作中的出错率为依据，改进界面设计 减少用户短期记忆负担、长期记忆和学习负担 采用日常生活的常识和比喻，较少计算机逻辑思维和专业术语 注重用户的个人特性和区别，例如老年人、残疾人的特殊需要 为提高通用性，用户界面最好采用一致性原则,用户界面的设计原则,对于软件界面的设计的特殊性，我们可将其设计目的概括
5、成以下3个: 用户界面软件标准化 用户界面的一致性 用户界面的有效性、可靠性、安全性、可移植性(各种软件的数据可以交换)和数据的一体性,第七讲 多媒体系统的人机交互技术,人机界面概述 多通道用户界面 三维人机交互技术 虚拟现实,多通道用户界面,多通道人机界面技术基于视线跟踪、语音识别、手势输入、感觉反馈等新的交互技术，允许用户利用自身的内在感觉和认知技能，使用多个交互通道，以并行、非精确方式与计算机系统进行交互，旨在提高人机交互的自然性和高效性 它代表了人机交互的一种新范式，与传统的图形用户界面相比，能将互补的通道进行整合来获取增强的混合，通道之间可以相互补充，克服彼此的缺陷，或者是针对不同的
6、应用采取不同的交互方式，具有更强大的表达能力、自然性、灵活性和便携性,多通道概念,通道：指传送或获得信息的通信通道的类型，它包含了信息表达、感知以及动作执行的方式，定义了交换数据的类型 模式：指一种状态或上下文信息，它决定了如何对信息解释以获取意义 通道整合：指用户在与计算机系统交互时，多个交互通道之间相互作用形成交互意图的过程,多通道、多媒体与虚拟现实,多通道系统力求对语义的理解它对用户的原始输入在较高的层次上(如任务领域)进行解释、分析和综合，提取语义内容，达到对用户的某种理解，然后，从较高的表现层次上传达给用户最恰当的反馈，它侧重于信息的理解和解释 多媒体侧重于信息的表现 虚拟现实依靠三
7、维立体视觉、头盔式显示器、身体跟踪和立体音响等技术来模拟现实世界，旨在使用户获得一种沉浸式的多种感知通道的灵境体验,多通道用户界面的特点,多通道用户界面主要关注人机界面中用户向计算机输入信息以及汁算机对用户意图理解的问题，它所要达到的目标可归纳为如下方面： 交互自然性 交互高效性 吸取已有人机交互技术的成果，与传统的用户界面特别是广泛流行的图形用户界面兼容，使老用户、专家用户的知识和技能得以利用,多通道用户界面的主要研究内容,认知心理学 界面模型及描述方法 软件结构 多通道整合 多通道的错误纠正机制,第七讲 多媒体系统的人机交互技术,人机界面概述 多通道用户界面 三维人机交互技术 虚拟现实,三
8、维人机交互技术,三维人机交互技术与传统的WIMP（Window，Icon，Menu，Pointer，窗口、图标、菜单和指点装置）图形交互技术不同。它采用六自由度输入设备。 由于自由度的增加，使三维交互的复杂性大大提高。另外，窗口、菜单、图标和传统的二维光标在三维交互环境会破坏空间感，同时也使得交互过程非常不自然,三维设备,浮动鼠标（Flying Mouse）：浮动鼠标类似于标准的计算机鼠标，但当离开桌面后就成为一个六自由度探测器，大多数浮动鼠标器内部装有电磁探测器。 数据手套（Data Glove）：早期的数据手套是美国加州VPL公司开发的指示手势的输入装置。数据手套是一种虚拟工具，它将人手的
9、各种手势、动作通过手套上所带的光导纤维传感器，输入计算机中进行分析，这种手势可以是一符号表示或命令，也可以是动作。,三维设备,手持式操作器（Wand）：手持式操纵器包含一个位置跟踪探测器和几个按钮，专门用于手中使用。手持式操作器类似于浮动鼠标，但没有鼠标球，因此不能在桌面上滚动。 力矩球（空间球Space Ball）：手持式操作器和浮动鼠标的问题之一是用户必须将设备拿在手中，而力矩球是一种可以提供六自由度的桌面设备，它安装在一个小型的固定平台上，可以扭转、压下的拉出、来回摇摆等。力矩球通常使用发光二极管和光接收器进行测量。,三维交互方式,在三维人机交互中，用户主要通过以下两种交互方式在三维空间
10、中进行操作： 直接操作 三维widgets,人机交互中的视线跟踪技术,视线跟踪技术早期主要应用于心理学研究(如阅读研究)、助残等领域，后来才被应用于图像压缩及人机交互技术。 从理论上说，由于几乎所有的人机交互形式都离不开视觉介入，因此，当用户凝视其感兴趣的目标时，如果系统能“自动”将光标置于其上或触发必要的动作，则比利用鼠标器等间接指点设备甚至触屏这样的直接指点设备更为直接。,人机交互中的视线跟踪技术,视线跟踪技术,在多通道用户界面研究中，将视线输入作为一个辅助通道加以利用，可充分发挥视觉与语音的互补作用。研究者认为，视线跟踪技术固有的不精确性与视线运动的随意性使其不宜作精确输入，而作为附加约
11、束信息有重要价值。,A,B,C,D,感兴趣区域,语音与手势整合示例,基于手势的人机交互技术,手势是人手或者手和臂结合所产生的各种姿势和动作，它包括静态手势(指姿态，单个手形)和动态手势(指动作，由一系列姿态组成)。 静态手势对应空间里的一个点，而动态手势对应着模型参数空间里的一条轨迹，需要使用随时间变化的空间特征来表述。 手势和姿势(Posture)的主要区别在于，姿势更为强调手和身体的形态和状态，而手势更为强调手的运动。,基于手势的人机交互技术,手势逐渐成为人机界面中一种新颖的交互手段，研究手势识别的主要目的就是把手势这种既自然又直观的交流方式引入人机接口中，实现更符合人类行为习惯的人机接口
12、。 手势识别还可用于虚拟现实、三维设计、临场感、可视化、医学研究、手语理解等领域 手势识别问题的解决方法对于表情识别、唇读、步态识别、时空纹理分类、视觉导航、图像拼接和基于内容的视频检索等研究都有直接推广的意义。,基于手势的人机交互技术,第七讲 多媒体系统的人机交互技术,人机界面概述 多通道用户界面 三维人机交互技术 虚拟现实,虚拟现实,1965年，Sutherland在篇名为的论文中首次提出了包括具有交互图形显示、力反馈设备以及声音提示的虚拟现实系统的基本思想，从此，人们正式开始了对虚拟现实系统的研究探索历程。,虚拟现实,1966年，美国MIT的林肯实验室正式开始了头盔式显示器的研制工作。在
13、这第一个HMD（Head Mount Display）的样机完成不久，研制者又把能模拟力量和触觉的力反馈装置加入到这个系统中。1970年，出现了第一个功能较齐全的HMD系统。基于从60年代以来所取得的一系列成就，美国的Jaron Lanier 在80年代初正式提出了“Virtual Reality”一词。,虚拟现实,80年代，美国宇航局（NASA）及美国国防部组织了一系列有关虚拟现实技术的研究，并取得了令人瞩目的研究成果，从而引起了人们对虚拟现实技术的广泛关注。1984年，NASA Ames研究中心虚拟行星探测实验室的M.McGreevy 和J.Humphries博士组织开发了用于火星探测的虚
14、拟环境视觉显示器，将火星探测器发回的数据输入计算机，为地面研究人员构造了火星表面的三维虚拟环境。在随后的虚拟交互环境工作站（VIEW）项目中，他们又开发了通用多传感个人仿真器和遥现设备。,虚拟现实,90年代，迅速发展的计算机硬件技术与不断改进的计算机软件系统相匹配，使得基于大型数据集合的声音和图像的实时动画制作成为可能 1993年的11月，宇航员利用虚拟现实系统成功地完成了从航天飞机的运输舱内取出新的望远镜面板的工作，而用虚拟现实技术设计波音777获得成功，是近年来引起科技界瞩目的又一件工作,虚拟现实技术发展的瓶颈,虚拟现实设备的“贵族化”。 要构建一个高质量的虚拟现实系统，首先需要昂贵的外部
15、设备，无论是高分辩率的头盔显示器HMD，还是立体投影显示器，无论是空间定位器，还是高精度的数据手套，都是价格不菲。其次，为完成复杂场景的实时渲染，还需要高性能的图形工作站以及相应的软件。在一些专用领域，但普通的信息系统用户可能会望而却步。,虚拟现实技术发展的瓶颈,繁琐的三维建模。 基于图形的虚拟环境首先要解决的问题便是三维造型。当图形渲染技术在向实现真实感大踏步前进的时候，生成精确三维模型的过程还像二十几年前一样困难。大部分的模型仍需要人工绘制，而且需要聘请高水平的专业人士，所以其费用是相当惊人的。比如在电影坦克尼克号中，为实现场景三维建模及各种特技处理所花的人工费用高达2500万美元，这笔钱足以制造一艘同样规模的真船。,虚拟现实技术发展的瓶颈,数据量大。 虚拟现实技术要想得到很大的发展，需要与Internet结合。目前虚拟现实技术应用的数据量仍然很大，在现有网络整体速度较慢的情况下，Internet用户必须等待较长时间，这往往令人难以忍受。应该在虚拟现实系统中考虑数据压缩问题，这个问题可能现在还未引起人们的重视，但是随着应用的深入，这是一个不可回避的问题。,
