1、第 43 卷 增刊吉林大学学报( 工学版)Vol43 Sup2013 年 3 月 Journal of Jilin University ( Engineering and Technology Edition) Mar 2013收稿日期 : 2012-07-17基金项目 : 吉林省科技发展计划项目 ( 11ZDZH008) 作者简介 : 郑立国 ( 1964 ) ， 男 ， 副研究员 研究方向 : 动漫关键技术集成产业化应用 E-mail: jldhxy0613 sina com基于Kinect的动作捕捉系统的实现郑立国，罗江林，许 舸( 吉林禹硕动漫游戏科技股份有限公司 ， 长春 1300
2、12)摘 要 : 以 Kinect 体感摄影机为系统核心 ， 将肢体动作 、面部表情捕捉系统在开发成本 、运行效果以及开发效率上取得最优平衡点 。基于这一研究目的 ， 采用 3DSMAX 和开放源代码的OGRE图形渲染引擎 ， 设计并实现了基于 Kinect 体感摄影机与 3DSMAX、OGRE 结合的游戏动作 、表情捕捉系统 。本系统具有硬件简单 、廉价 、硬件配置要求低 、精度高 、实时预览效果直观 、一人即可独立操作等特点 。能够广泛应用于动画 、电影制作 ， 虚拟现实等领域 。关键词 : Kinect; 三维人体及面部表情 ; 三维图形引擎 ; 实时动作捕捉中图分类号 : TG156
3、文献标志码 : A 文章编号 : 1671-5497( 2013) Sup -0249-07Implementation on mocap system based on KinectZHENG Li-guo， LUO Jiang-lin， XU Ge( Jilin VIXO Animation， Comics Games Technology Co ， LTD ， Changchun 130012， China)Abstract: Based on the purpose of achieving the optimal balance point on the development co
4、sts of game actionand facial expression capture system， operating results and the development efficiency by using the Kinectmotion-sensory camera， 3DSMAX and the open source OGRE graphics rendering engine were adopted to designand implement based on the game action and facial expressions capture sys
5、tem by combining Kinect motion-sensory camera， 3DSMAX and OGRE The system hardware is simple， cheap， and has the characteristics of lowhardware requirements， high accuracy， intuitive real-time preview and alone operation It can be widely used inthe field of animation， film production and virtual rea
6、lityKey words: Kinect; 3D body and facial expressions; 3D graphics engine; real-time motion capture目前在三维动画制作过程中 ， 虚拟人物的动作或表情一般都是通过动画师调节动画软件中角色模型的骨骼或控制器生成 。由于手工调节骨骼动作方式对技术人员要求很高 ， 角色动作往往不够流畅逼真 ， 而且大量的时间都耗费在低效率的骨骼动作调整上 ， 不仅占用和影响了制作的进度周期 ， 而且缺乏实时性反馈 。而目前的动作捕捉设备系统价格昂贵 、操作复杂 、后期处理工作量大 ， 对于动作捕捉操作场地的光照 、反射
7、情况有较高的要求 ， 装置校准也较为繁琐 。Kinect 是微软为 Xbox360 研发的一款体感周边外设产品 ， 因其革命性的构想和颠覆性的操作方式 ， 受到了众多玩家的追捧 ， Kinect 精确的空间定位性能适用于更为广泛的游戏和互操作领域中 1。以低成本的成熟外设 Kinect 为核心的游戏动作 、表情捕捉系统可以使得整体系统在开发成本 、运行效果以及开发效率上达到平衡 。基于这DOI:10.13229/ki.jdxbgxb2013.s1.030吉林大学学报( 工学版) 第43 卷个研究目的 ， 笔者最终采用 3DSMAX 和开放代码的 OGRE 图形渲染引擎 ， 设计并实现了基于Ki
8、nect 体感摄影机与 3DSMAX、OGRE 结合的游戏动作 、表情捕捉系统 。1 研究方法11 研究动机和目的动作捕捉 ( MoCap: Motion Capture) 就是通过捕捉真实表演者的动作或者表情 ， 将这些动作或表情数据用于直接驱动动画虚拟模型 ， 这样可节省用于设置动画角色肢体关键帧动作的大量时间 。这些捕捉计算得到的人体模型数据可以被直接应用到各种领域 ， 比如与程序界面进行交互 ， 驱动多媒体游戏中的游戏角色 ， 或者利用人体手势进行操作控制和动作辨识 。因此 ， 动作捕捉在电影 、动画 、游戏和医疗科学等领域都具有广泛的应用前景 。目前成熟的商业人体运动捕捉系统都要求动
9、作表演者在身体特定关键部位穿戴一些特殊反光光学标记点 ， 然后通过高帧数频闪红外相机记录动作时每个反光标记点的角度 、速度和空间关系 ，从而得到角色的三维动作信息 。但是这些专业设备不仅价格昂贵 ， 场地安装设备要求高 ， 无法实时观察捕捉效果 ， 而且后处理 ( 包括动作数据修改 、运动重定位 ) 的工作量较大 。相对于这些依赖特定硬件设备的人体运动捕捉系统 ， 该系统结合 Kinect 的人体运动捕捉系统无需采用任何特殊硬件设备 ， 只是利用 3D 摄像头来进行人体运动的捕捉 ， 这样就降低了系统的硬件成本和调试维护费用 。最重要的是方便易用 、效果流畅 、而且可以实时观察动作捕捉效果 。
10、因此改套人体运动捕捉系统将在视频电子游戏 、电影工业以及个人计算机的高级交互界面有着广泛的应用前景 。目前的动作捕捉设备需使用大量的红外线设备与全身的感应点来做肢体定位 ， 因此要表现出流畅准确的动作呈现往往需要很大的空间与昂贵的资金 。为以微软 XBox360 Kinect 来做动作捕捉设备 ， 在精确度上可达到完成大部分的动作辨识 ，让开发动作捕捉的技术门槛可以更为普及 。笔者以深度值及骨架辨识相互结合来达到与传统动作捕捉系统相类似的效果 。12 研究范围与限制微软 XBox360 的 Kinect 装置具有能够进行深度测量计算的红外线摄影头 ， 对照目前市面上普通视频摄像头 ， 其更能准
11、确快速的分割前景与背景 2， 加上深度值与骨架的搭配 ， 对于动作的辨识上将比以往的研究更加准确 3-5。微 软XBox360 的 Kinect 装置主要运用在游戏平台 ， 售价上比同等级的硬件检测装置便宜 ， 所以可以大大的降低研究动作辨识的门槛 。不过由于 Kinect 摄像头分辨率仅为 640 480 像素 ， 在 1 8 m 及以上 ( Kinect 的设计工作距离 ) 距离的情况下 ， 摄像头所能提供的面部的像素数据十分有限 ， 并不适用于进行高维精细表情计算 。另外 ， 由于用户使用 Kinect 的环境存在较大差异 ， 光线明暗 、色温和人的表情都处于非可控状态 ， 因此对于动作
12、识别存在不同程度的差异 ， 而且 Kinect 存在个别动作响应延迟 ， 无法识别手腕细微旋转动作 、只能识别正面 180 度范围动作的限制 。2 动作捕捉理论基础21 动作捕捉技术现状成熟的动作捕捉技术主要有机械式 、电磁式 、声波式和最主流的光学式 。其中电磁式和声波式由于自身的技术缺陷在影视特效和动画制作中已经逐渐淘汰 ， 仅机械式还有少量应用 ， 但是最核心的 、最主流的 ， 还是光学式动作捕捉技术 。现在看到的几乎所有在电影中使用的动作捕捉技术都是光学式 。理论上空间中的任意一个点 ， 只要它能同时被两台摄像机所见 ， 根据同一瞬间两相机所拍摄的图像和相机参数 ， 即可以确定这一时刻
13、该点的空间位置 。当相机以足够高的速率连续拍摄时 ，从图像序列中就可以得到该点的运动轨迹 。典型的光学式运动捕捉系统通常有 6 到 8 个相机 ， 环绕表演场地排列 ， 这些相机的视野重叠的区域就是表演者的动作范围 。为便于处理 ， 通常要求表演者穿上单色的服装 ， 在身体的关键部位 ，贴上一些特制的标志或发光点作为捕捉标记 ， 视觉系统只识别和处理这些标记 。之后相机连续拍摄表演者的动作 ， 并将图像序列保存下来再进行分析和处理 ， 识别其中的标志点和其在每一帧的空间位置 ， 进而得到运动轨迹 。这种记录要求相机要有较高的拍摄速度 ， 一般要求达到每秒 60 帧以上 。光学式运动捕捉的优点是
14、表演者活动范围052增刊 郑立国，等:基于Kinect的动作捕捉系统的实现大 ， 无电缆 、机械装置的限制 ， 使用方便 。采样速率较高 ， 可满足多数体育运动测量的需要 ， 于是光学式运动捕捉很快就成为主流的动作捕捉设技术 。但其特殊的标记点或设备不仅价格昂贵而使一般消费者难以接受 ， 而且后处理 ( 包括动作数据修改 、运动重定位 ) 的工作量较大 ， 对于表演场地的尺寸 、光照等情况都有一定的要求 ， 装置标定也较为繁琐 ， 而且几乎所有的光学跟踪捕捉系统都需要人工结合后续处理程序对捕捉数据进行分析 、加工和整理以后才能应用到角色动画模型上 。22 Kinect 技术分析Kinect 是
15、微软为 Xbox360 研发的一款体感周边外设产品 ， 通过一个红外激光投影镜头将一组红外激光点阵投射到玩家身上 ， 另外两个 CMOS摄像头对此进行 X， Y， Z 坐标的 3D 扫描 ， 通过内置的专利算法 ， 以此分辨玩家 、背景 、以及玩家的动作意图 ， 其精确的空间定位性能适用于更为广泛的游戏和互操作领域中 。Kinect 可一次取得 3 种信息 ， 其中有普通摄像头的彩色影像 、3D 红外线反射得到的深度数据 、声音讯号 。在 Kinect 机器上一共有 3 颗镜头 ，位于中间的是普通 RGB 彩色摄像头 ， 左右两边镜头则分别为红外线发射器和红外线 CMOS 摄影头所构成的 3D
16、 深度传感器 ， Kinect 主要就是靠 3D深度传感器检测玩家的动作 6。中央的 RGB 彩色摄像头主要用来识别使用者身份 ， 使用人脸或是身材特征做识别 。除此之外也可应用在扩增实境 ( Augmented Reality) 上的游戏 ， 同时也有视频功能 。并搭配底座的马达追踪模式 ， 跟随目标物体自动转动镜头位置 ， 自动寻找最适合的画面中央对焦位置 。图 1 Kinect 装置说明图Fig1 Kinect system structure图 2 Kinect 取得信息解说图Fig2 Kinect data processingKinect 其最重要的核心技术就是 3D 深度信息处理
17、技术 ， 深度信息主要来自于红外线发射器与红外线摄影机的接收 ， 由此来判断目标物体的距离 。微软使用的 3D 深度信息技术来自于与Prime Sense 公司的合作 。Prime Sense 提供了动作检测技术以及检测芯片 PS1080， 并使用光编码( Light coding) 专利技术 7但与传统的结构光方法不同的是 ， 它发射的不仅是一套周期性变化的二维图像编码 ， 而且是具有三维纵深数据的 “体积编码 ”。这种光源叫做激光散斑 ( laser speckle) ， 是当激光照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点 。这些散斑具有高度的随机性 ， 而且会随着距离的不同变换图案
18、， 也就是说空间中任意两点的散斑图案都是不同的 。CMOS 红外传感器根据设定的距离参考平面来收集摄像头视野范围空间内的每一点 ， 通过反射得到的黑白光谱方式来感知周围环境 : 纯黑代表无穷远 ， 纯白代表无穷近 。黑白间的灰色地带对应物体到传感器的物理距离 ， 再通过层叠峰值和插值计算 ， 形成一幅代表周围环境的景深图像 。传感器以 30 帧 /s 的速度生成景深图像流 ， 完全实时 3D 再现周围环境 8。图 3 Kinect Z-深度检测Fig3 Kinect Z-depth152吉林大学学报( 工学版) 第43 卷23 表情捕捉系统技术分析该系统实时采集摄像头拍摄到的每一帧图像 ， 对
19、图像进行直方图均衡化并归一化 。对归一化的图像采用 Viola-Jones 分类算法 ， 通过 boost 筛选式级联分类器在图像中检测人脸的位置 。如果人脸检测失败 ， 通过 Haar 分类器调用Viola-Jones 分类算法在图像中检测人的双眼 ， 通过双眼的偏转角度生成偏转矩阵 ， 对图像进行偏转校正 ， 再继续进行人脸的定位 。检测到人脸位置后 ， 采用图像锐化 、直方图均衡化 、数学形态学的 Erode、Dilate 算法 、Ostu 自适应阈值分割等图像处理方法对人脸区域图像进行图像分割 ; 通过 Freeman 链码跟踪算法得到每个可能的特征标识点区域 ; 采用多个反射空间下的
20、几何不变量作为特征值对特征标识点进行模式识别 ， 从而获得所有特征标识点的坐标 。3 系统功能与实现方法Kinect 体感摄影机与 3DSMAX、OGRE 结合的游戏动作 、表情捕捉系统 ( 禹硕数字动画制作表情捕捉系统 ) ， 统称 Kinect 动捕系统 。31 系统基本功能与要求主要工作流程如下 : 1) 使用 3DSMAX 对特征人体和面部进行三维建模 。2) 针对 Kinect 的骨骼识别要求 ， 实现了三维模型的骨骼设定 、驱动权重 、优化和测试 。3) 利用特定开发的 OGRE 导出插件导出相应的模型 、骨骼和材质等 ， 并使用开源游戏引擎 OGRE 进行图形显示 。4) 在 O
21、GRE 的主要框架及场景管理器基础上实现了 Kinect 体感摄像机驱动的人体动作和表情的实时采集和显示 。系统设计方案通过 Kinect 体感摄像机透过位在镜头前的光栅 ， 将编码红外线均匀分散于测量空间中 ， 并由红外线摄影机来纪录下每个带有空间标记的散斑 ， 原始数据透过内置芯片计算成具有 3D 深度的图像数据 ， 只要物体在该空间中有移动变化 ， 即可完整纪录下位移的变化量 。深度信息转换成的 3D 图像数据用于转换为骨骼系统 ( 见图 4) 。该系统最多可同时侦测到 6个人出现在测量空间中 ， 但只能分辨显示 2 个人的动作 。而针对每个人的骨骼特征可记录下 20组数据 ， 内含身体
22、躯干 、手脚四肢与手指等追踪数据 ， 将由这些数据做到全身体感操作 8。微软使用机器学习功能技术 Machine Learning 来理解和分析使用者的动作 ， 建立图像数据库形成智能辨识能力 ， 尽可能提高分辨出人体动作的准确度 。Kinect 将捕捉到的影像与本身内部存有的人体模型对照 ， 每一个符合内部已存人体模型的物体就会被创建相应的骨骼模型 ， 系统再将该骨骼模型驱动已设定基准骨骼和骨骼权重的虚拟角色 ， 该角色通过识别该人体骨骼的关键部位进行动作触发 ， 系统可以识别人体的 25 个关键部位 ，并且通过 OGRE 引擎实时在屏幕上显示虚拟场景和角色 ， 并且通过图像引擎实现角色的动
23、作捕捉实时观察和通过物理引擎实现简单的物理碰撞应用 。图 4 Z 深度信息Fig4 Z-depth info32 系统功能模块系统功能模块主要有 : 初始化 ; 校准用户 ; 获取图像 ; 分析跟踪状态 ; 显示捕捉图像 ; 驱动引擎内虚拟角色 ; 退出 ( 见图 5) 。图 5 体系结构表Fig5 System structure4 Kinect 标准骨骼虚拟角色建模41 Kinect 标准肢体骨骼Kinect for Windows SDK V1 5 发布之前还没有对 kinect 骨骼方向作出程序定义 。目前的实现方法是用 Kinect SDK 提供的 20 个基准点重新定义 19 根骨
24、头 ， 每根骨头的朝向用两个点定义指向 ， 首先自定义 19 根骨骼和对应的朝向 ， 再定义252增刊 郑立国，等:基于Kinect的动作捕捉系统的实现Kinect SDK 的 skeleton 到自定义的对应骨骼上 ，分别用自定义骨骼的两个端点位置定义 KinectSDK 的 skeleton 长度 ， 最后用 OGRE 的骨骼向量函数指定骨骼的旋转方向 9。Kinect 所捕捉到的画面具有深度信息 ， 再利用OpenNI 与 Prime Sense 的 NITE 所抓取得到二维骨骼 ， 而在 OpenNI 的人体骨骼的构成基本上是由关节( Joint) 组成 ， 每个关节都有位置和方向两种
25、数据 ， 且这两者包含可信度阈值 ( Confidence) ， 而利用可信度阈值可以判断出关节的正确弯曲朝向 ， 再结合Kinect 本身有的深度值 ， 可最大程度上减少采集过程中人体骨骼的错误扭曲 ( 见图 6) 。图 6 kinect 骨骼结构Fig6 Kinect bone structure42 三维建模工具与组织原则3DSMAX 2012 为主要建模工具 ， 3DSMAX2010 中文版为 OGRE mesh 文件导出工具 。卡通人物女性人物和卡通兔子形象 ， 体型要求四肢修长 ， 可体现配合 Kinect 的明显肢体动作 ， 面部表情夸张 ， 便于观察到明显的表情动作 ，面部骨骼
26、蒙皮后不得出现面穿插现象 。目前采用的系统单位 : cm， 骨骼使用默认 bip骨骼结构作为人体肢体动作骨骼 ， 默认 bone 骨骼作为面部表情动作骨骼 ， BIP 取消 triangle pelvis勾选 ， 蒙皮采用 skin 方式 ， 注意蒙皮权重在关节点的平均分配 。Kinect SDK 使用右手坐标系确定骨骼朝向 ，而且 Y 为骨骼自身旋转方向 因此默认角色方向为 T 型姿势下面向观察摄像机 ， 每根骨骼的自身Z 都指向摄像机的面对方向 4。44 三维建模相关技术及应用演示模型采用 Poly 方式建模 ， 对于关节和变形部位注意给予足够的布线范围 ， 尽量使用四边形构成模型 ， 位
27、于口 、眼 、脸部的放射状四边形布线结构便于表情动画的调整和权重过渡 。运动图 7 3DSMAX 中骨骼名称定义Fig7 Definition of bone in 3DSMAX幅度大的部分要密集布线 ( 见图 8) ， 包括关节部位和表情活跃的肌肉群 ， 而且要遵循均等四边形法 ，即要求线条在模型上分布平均而且每个单位形状近似 ， 由于面与面的大小均等 ， 排列有序 ， 都会便利进行后续的展开 UV， 蒙皮和添加肌肉变形等方面的工作 ， 均等法的线条安排一般是按照骨骼大方向来排布 ， 即纵线要求与对应的骨骼垂直 。伸展空间大 ， 变形复杂的局部用平均法能够保证线条的充沛和合理的伸展走向支持大
28、的运动幅度 ， 变形小的局部用结构法做足细节即可 。5 星和 3 星部位应当合理放在表情伸展能力结束部位 ， 或者隐藏在肌肉运动幅度小或者在主视角以外部位 。图 8 面部骨骼和布线Fig8 Definition of facial bone and model structure45 三维场景的管理和优化工程文件分为模型 、贴图 、动画 、输出文件和工程文件 5 部分 ， 分别存放对应的文件 ， 便于管理 。1) 模型 。保存为角色名称 + max2012 格式 +时间版本序号 。2) 贴图 。保存为 psd 格式 + 时间版本序号 。3) 动画 。保存为 max2012 格式 + 时间版本序
29、号 ， 下设子分类为骨骼绑定 、蒙皮权重 、测试动画 。4) 输出文件 : 保存为角色名称 + max2010 格式 + 时间版本序号 。352吉林大学学报( 工学版) 第43 卷5) 工程文件 : 导出 OGRE 的 mesh 模型实体文件 ， ani 动画文件 ， mat 材质文件和 tga 或者 bmp贴图文件 。5 基于 OGRE 的捕捉状态实时显示51 系统构成OGRE， physX， Kinect SDK 均在 Win7 pro 环境下运行 。面向对象图形渲染引擎 ( OGRE: Object-Oriented Graphics Rendering Engine) 是 一 个 用C
30、 + + 开发的面向场景 、非常灵活的 3D 引擎 。Kinect SDK 对比 OpenNI: Kinect SDK 安装比较便捷简单 ， 相比较而言 OpenNI 需要安装多个繁琐安装包 。而且在安装完成后进行骨骼动作采集时发现 Kinect SDK 利用人体追踪算法 ( humantracking algorithms) ， 所以不需要像 OpenNI 一样摆出 T 型姿势 ， 非常的直接方便 。另外在技术方面 ， Kinect SDK 除了在官方网页中提供范例程序与应用外 ， 还提供详细的帮助说明文件来让开发者能够更有效的编写程序 。52 视景在 Kinect 和 OGRE 中的实现过
31、程1) 识别出摄像头前的用户 ， Kinect 镜头前大约06 m 以内是盲区 ， 根据工作需要增加或者不增加增距镜 ， 一般正常识别距离为镜头前 18 m 左右 。2) 非标准姿势检测 ( 相对于 OpenNi 的 T 型姿势 ) ， 检查头部 、手 、脚 、锁骨检测以及关节遮挡等细节 ， 检测骨骼蒙皮权重是否与 3DSMAX 中的骨骼蒙皮测试动画一致 ， 没有出现权重或者骨骼穿插错误 。3) Kinect SDK 或者 OpenNI 都有限制特定动作 ， 校正姿势步骤是为正确检测关节位置 。Kinect 检测到摄像头前人体后通过程序计算传回各点关节的三维坐标 ， 如果操作者肢体关节前后重叠
32、遮挡时会出现坐标错乱的情况 ， 这种情况下只要重新动作即可避免 。4) Kinect 骨骼的校正 、识别工作结束之后 ， 调用 xn: : SkeletonCapability 的 StartTracking 语句 ， 让系统开始去追踪校正成功的骨骼数据 ; 而如果检测失败的话 ， 则调用 PoseDetection 语句重新检测校正姿势 ， 等到检测到校正姿势后 ， 再进行一次骨骼校正 。最后才开始进行跟踪 。5) 平滑捕捉动作 。因为红外线产生的噪音和阴影 ， 以及捕捉的精度的关系 ， 捕捉到的动作会有很明显的抖动 ， 在一些需要用姿势精确控制的项目中会出现较明显的问题 ， 所以平滑处理就
33、势在必行 ; 通常的方法是使用滤波器 ， 比如将相邻几帧的数据进行一下平均 ; 该项目采用的是另一种方法 ， 是在目标节点的周围建立一个速度场 ， 使得源节点离目标节点越远 ， 接近的速度越快 ， 反之 ，越近速度则越慢 ， 当然缺点和优点往往是相对的 ，那就是动作的响应有延迟 ， 以及动作看上去仍然不是很自然 ， 但是作为一个用于操控物体的应用来说已经足够了 。6 表情捕捉过程表情捕捉系统在硬件上仅采用一台 Kinect或者普通网络摄像头 ， 在人脸面部粘贴若干个红外颜色敏感特征标识点作为关键特征 。通过计算机视觉领域中图像处理 、分析与模式识别等先进技术 ， 在人物的面部表情发生变化时 ，
34、 实时捕捉并定位这些特征标识点的坐标 。将这些坐标信息与专业的动画制作软件预先建立好的角色面部模型相关联 ， 从而制作出精确的 、逼真的动画效果 。图 9 表情捕捉Fig9 Facial emotion capture55 基于 OGRE 的场景管理一个大型场景的三角型数量极其庞大 ， 如果没有效的场景组织和渲染裁减方法 ， 计算机在渲染显示的时候效率会很低 。解决大办法就是用BSP 或八叉树等数据结构将场景组织起来 ， 利用与这些数据结构相关的快速检索算法将最终渲染摄像机看到的内容筛选出来 ， 再送到渲染器进行渲染 ， 这样图形处理器的负载才会减小 。OGRE 引 擎 中 有 一 个 Sce
35、ne ManagerEnumerator 类 ， 其作用是管理已实现的场景管理器 。在 OGRE 的 Root 类里就聚合了一个SceneManagerEnumerator 对象 ， 供选择需要的场景管理器 。在普通情况下使用的是普通场景管理器 。如果要使用特殊的场景管理器 ， 通过 mRoot- getSceneManager( ) 函数做出选择 。452增刊 郑立国，等:基于Kinect的动作捕捉系统的实现调用一个已经制作完毕的配套场景 、对应的灯光 、场景物体及其对应的材质贴图等 ， 将捕捉对象所对应的虚拟角色模型 、其对应贴图等一并通过 OGRE 引擎显示 。6 效果和总结基于 Kin
36、ect 体感摄影机与 3DSMAX、OGRE结合的游戏动作 、表情捕捉系统 ( 禹硕数字动画制作表情捕捉系统 ) 具有硬件简单 、廉价 、硬件配置低 、操作便捷等特点 。只需一个 Kinect 摄像头或者工业摄像头就可做肢体动作和面部表情的捕捉和实时显示 。无需专门的动作捕捉室 ， 穿任何服装都可以进行三维实时捕捉 ， 而且不用校准 、不受环境 、光线影响 ， 能够广泛应用于动画 、电影制作 ， 虚拟现实等领域 。设备简单 。仅需一部 Kinect 或者工业摄像头即可完成表情 、动作捕捉工作 ， 结合普通家用台式机即可大幅度降低动作捕捉使用门槛 。精确跟踪 。通过分析面部特征标识点 ， 可完成
37、稳定 3D 跟踪 ， 从而捕捉到细微的动作和表情 。实时数据采集 : 具备用户可实时预览 3D 视图显示和捕捉效果演示 。其效果如图 10 所示 。图 10 面部表情捕捉结果演示Fig10 Facial emotion capture result数据处理便捷 : 单人即可完成捕捉工作 ， 而且后处理工作量大大减少 ， 降低人员费用支出 。动画产业作为一种无污染 、低能耗的新型文化创意产业 ， 近年来备受国家的重视 。动画制作技术是动画产业中极为重要的环节之一 ， 对当前动画产业的大步前进有重要的推动作用 。类似基于Kinect 体感摄影机与 3DSMAX、OGRE 结合的游戏动作 、表情捕捉
38、系统 ( 禹硕数字动画制作表情捕捉系统 ) 的低成本廉价动作捕捉系统在国内的应用越来越被重视 ， 今后的工作中会逐步改进算法 、提高捕捉精度以及增加更多的行业内支持文件格式 ， 相信以后会被更多的业内用户关注和使用 。参考文献 : 1 矮子 Q 宠大乐斗 “混 ”在帮派 J 计算机应用文摘 ， 2011， 12( 3) ， 23Dwarf Q large pet music bucket“mixed”in the gary J Computer Applications Digest， 2011， 12( 3) : 23 2 Reuben Fleming Motion Capture Tuto
39、rials OL 2012-07-01 http: / /www reubenfleming couk/ 3 洪涛 微软官方博客揭秘 Kinect 工作原理 OL 2012-07-02 http: / /tjgame big5 enorth com cn/sys-tem/2011/01/08/005543571 shtmlHong Tao Microsofts official blog secrel kinect princi-ple OL 2012-07-02 http: / /tjgame big5 enorthcom cn/system/2011/01/08/005543571 sht
40、ml 4 陈宣胜 使用星状骨架作人类动作自动辨识 D 台湾 : 国立交通大学信息科学与工程研究所 ， 2009Chen Xuan-sheng Stellate skeleton human action automatically recognize D Taiwan: Institute of InformationScience and Engineering， National Chiao Tung Universi-ty， 2009 5 陈稔 追踪人体单纯运动支多项机模式比对视觉系统 D 台湾 : 国立交通大学资讯工程学系 ， 2004Chen ren Tracking human s
41、imple exercise multi-cameramodel contrast visual system D Taiwan: Departmentof Computer Science and Information Engineering， Na-tional Chiao Tung University， 2004 6 Sugizo 身体就是控制器 ， 微软 Kinect 是怎么做到的 OL http: / /www techbang com tw/posts/2936-get-to-know-how-it-works-kinect 2012-07-03 Sugizo Bodyis t
42、he controller， Microsoft kinest is how do OL http: / /www techbang com tw/posts/2936-get-to-know-how-it-works-kinect 2012-07-03 7 Wikipedia PrimeSense-Wikipedia OL 2012-07-04http: / /en wikipedia org/wiki/PrimeSense 8 Microsoft 微 软 Xbox360 Kinect 工 作 原 理 OL 2012-07-08 http: / /www soomal com/doc/101
43、00001819 htmMicrosoft Microsoft Xbox360 Kinect Working Principle OL 2012-07-08 http: / /www soomal com/doc/10100001819 htm 9 Nick Eaton How Kinect works: Microsofts motion-control patent approved OL 2012-07-05 ht-tp: / /blog seattlepi com/microsoft/2010 /08 /06 /how-kinect-works-microsofts-motion-control-patent-approved/ 10 Norman_Chen Ogre 复杂场景与场景管理器 OL 2012-07-06 http: / /blog csdn net/pizi0475/article/details/5451319Norman_Chen Ogre complex scenes and scene manage-ment OL 2012-07-06 http: / /blog csdn net/pi-zi0475/article/details/5451319552
