1、基于深度图的驾驶舱内飞行员动作识别 王涛 傅山 黄丹 曹杰 上海交通大学 摘 要： 驾驶舱内飞行员工作量的计算需要飞行员的动作数量、动作时间等动作信息。目前, 关于动作识别的研究一般都是对特定动作, 如走、跳等的识别, 无法应用于驾驶舱内的飞行员。同时, 由于飞行员操作基本由手来完成, 因此对飞行员的动作识别基本可以认为是对手部动作的识别。据此提出一种基于深度图的飞行员动作识别方法, 该方法先通过对飞行员手部进行跟踪, 再通过基于动作段的方法确定飞行员动作。此外还提出一种触发方法, 以实现系统对动作的自动识别。实验结果显示, 所提方法的动作识别率约为 94.06%, 表明该方法能够有效地识别飞
2、行员动作。关键词： 驾驶舱; 飞行员; 手部跟踪; 动作识别; 深度图; 作者简介：王涛 (1990) , 男, 山东临沂人, 硕士, 研究方向为模式识别、人为因素。收稿日期：2017-02-06基金：国家自然科学基金 (61305141) Pilot Action Identification in the CockpitWANG Tao FU Shan HUANG Dan CAO Jie Shanghai Jiao Tong University; Abstract： The identification of the pilot actions in the cockpit is of
3、significant importance for the accurate calculation of the pilots workload. At present, the research about action identification generally focused on special actions, such as walking and jumping, which is not applicable for the pilot inside cockpit. As the pilot actions are basically implemented by
4、the hand, the pilot action identification can be considered as the pilot hand movement identification. A novel technique is proposed here for the identification of the pilot actions based on the depth information, which tracks the pilots hands at first, and then identifies the pilot action. In addit
5、ion, an approach to activate the algorithm is also presented for automatic recognition of the actions. The results of the experiments show that the identification rate of the technique is about 94. 06% , indicating that it can precisely identify the pilot actions in the cockpit.Keyword： cockpit; pil
6、ot; hand tracking; action identification; depth image; Received： 2017-02-060 引言随着航空事业的不断发展, 航空安全越来越得到人们的关注。在最近几年, 由飞行器自身原因引发的航空事故率明显下降, 而与人为因素相关的事故率却仍然很高。航空人为因素与飞行员的工作量有很大的关系, CCAR-25 部的 25.1523条款中规定必须考虑每名机组成员的工作量来确保安全飞行。飞行员工作量目前还没有标准统一的计算方法, 都是从飞行员生理参数、动作信息、语音信息等方面进行考察测量。CCAR-25 部附录 D 中介绍了分析工作量时需要考
7、虑的 10个因素, 其中, 器件可达性、操作简易性需要飞行员动作的动作时间、动作区域分布来反映, 操作程序的复杂性由操作数量、持续时间来反映。因此, 为考察计算飞行员的工作量, 需要实现对驾驶舱内飞行员的动作识别来获取动作类型和动作时间。根据获取原始数据方式的不同, 通常将动作识别方法分为基于穿戴式传感器的方法1和基于视觉的方法。基于穿戴式的方法是让受验人佩戴一些检测设备, 如数据手套等, 但飞行员无法穿戴这些设备, 因为这可能会影响正常操作, 并对飞机通信设备或其他器件造成干扰。基于计算机视觉的方法是通过拍摄的图片或视频对实验者动作进行识别, 这种方法又可以具体分为基于普通摄像头采集数据的方
8、法2-3和基于深度摄像头采集数据的方法4-7。采用普通的摄像头采集数据, 会受光照条件的影响, 不适合驾驶舱的应用环境。深度摄像头对环境中的光照、纹理等不敏感, 可以很好地应对复杂环境, 并且相对二维图像, 深度图包含了丰富的三维空间信息, 但关于这方面的研究一般都是针对特定动作如走、跳或者舞蹈动作8、体育动作9等, 无法直接应用于驾驶舱内的飞行员。飞行员的操作动作具有特殊性 (基本都是由手部动作完成) , 对飞行员的动作识别可以认为是对飞行员手部动作的识别。据此, 本文提出基于深度图识别飞行员动作的方法, 在深度图中实现飞行员的手部跟踪, 并由手部位置和器件位置确定飞行员动作。1 飞行员动作
9、识别拍摄得到的深度图中每个像素的灰度值表示这个点到摄像头的距离, 因为摄像头的内部参数已知, 深度图的每一个像素都可以转化为一个实际三维点 p, 表示为 p= (x, y, z) 。本文提出的动作识别方法流程如图 1 所示。实现过程如下:1) 手部跟踪触发;2) 手部跟踪, 获得每一帧手部三维位置;3) 由手部位置和器件位置, 判断每一帧的动作;4) 用动作段的方法识别出动作的完整过程, 输出识别结果。图 1 动作识别流程图 Fig.1 The flow chart of action identification 下载原图1.1 飞行员手部跟踪手部跟踪方法主要包括 4 个部分:利用区域生长的
10、身体区域分割;基于手移动速度的手部种子点预测;手部区域分割;手心点位置获取。1) 身体区域分割。在深度图中整个身体是一个连通的区域, 设置固定的种子点Sb, 如图 2 中红色点所示, 从种子点 Sb出发, 通过区域生长可以得到整个身体区域。将身体区域定为 B, 如图 3 所示。图 2 固定点 Sb Fig.2 The fixed point Sb 下载原图图 3 身体区域 Fig.3 The body region 下载原图2) 手部种子点预测。由前一帧的手心点 St-1, 预测当前帧的手部种子点式中:v 是手部的运动速度, 由前面已跟踪得到的手部位置获得;t 是每帧的时间间隔, 为定值。若预
11、测种子点 St在身体区域 B 内, 则手部种子点 St=St, 若 St位于身体区域外, 则需将点 St定为距离点 St最近且在身体区域 B 内的点, 图 4 展示了此时的 2 个点, 其中, 蓝色点为 St, 红色点为 St。图 4 点 St 和点 St Fig.4 The point of Stand St 下载原图3) 手部区域分割。获得了手部种子点后, 将属于身体区域且与手部种子点的测地距离小于 250 mm 的点划分到手部区域内, 得到不包括身体其他部分的手部区域。在获得手部区域的同时, 能够获得手部的轮廓点。4) 获得手部区域后, 求取区域的形心, 由于手的形心和手心位置相近, 因
12、此近似地将手的形心设定为手心。手部跟踪的效果如图 5 所示。图 5 手部跟踪实现效果 Fig.5 The results of the hand tracking 下载原图1.2 器件标定识别飞行员的动作, 不仅需要知道飞行员的手部位置, 还需要确定驾驶舱内各个器件的位置。如图 6 所示, 标定模拟舱中典型器件的位置, 分别为方向舵 A, 控制器上两个按钮旋钮以及开关 B, 四个数字按钮 C (7, 9, 1, 3) , 油门杆 D, 两个襟翼控制按钮 E。通过深度图获取这些器件像素点的深度值, 求出三维坐标, 从而实现器件位置标定。图 6 典型位置的标定 Fig.6 Typical posi
13、tion calibration 下载原图由于方向盘和油门杆是活动的器件, 所以采用分段标定的方法:将方向盘和油门杆的活动范围分为 10 段, 标定每一段起始和结束位置的像素坐标和深度值, 取每一段极限位置深度的平均值代表这一段的深度, 实现活动器件的标定。1.3 跟踪触发为了实现动作识别的完全自动化, 还需要引入一种触发方法, 以获得手部跟踪最初的种子点。思路是当飞行员执行操作时, 手会接触到器件, 若此时由器件点出发, 进行区域生长, 将能得到整个身体的区域。据此, 选取驾驶舱内已标定的器件点作为初始种子点。若由其中某一点进行区域生长并可以到达到固定点 Sb, 即认为满足触发条件, 从而触
14、发跟踪。由于采集图像的频率为 30 帧/s, 使得当前帧与上一帧手心位置相差不会很大。因此, 在手部跟踪时, 如果当前帧与上一帧手心位置的三维距离超过 10 cm, 则认为跟踪目标丢失, 如图 7 所示情况, 此时会回到初始状态, 等待重新触发。图 7 目标丢失 Fig.7 Target lost 下载原图1.4 基于动作段的动作识别本文定义飞行员动作判断准则:对于每一帧, 若飞行员手部区域中有超过 10 个点与标定器件点之间的距离小于 5 mm, 则认为飞行员在操作该器件。采集实验者在模拟舱中执行操作的数据, 得到部分单帧识别结果如图 8 所示, 输出的是动作类型和所在的帧, 可以看出会有漏
15、识别和错误识别 (如第 223, 229, 233 帧未能识别出动作, 而第 659, 689, 695 帧没有操作推杆) 的情况, 所以很难正确识别动作的整个过程。图 8 部分单帧识别结果 Fig.8 Partial results of single frame identification 下载原图为正确识别动作的整个过程, 且由于飞行员执行某一个动作的时间不会少于0.3 s (约 10 帧) , 所以本文在单帧识别动作的基础上采用以 10 帧为一个动作段整体进行判断的方法, 一个基本动作由一个或多个动作段组成。动作段确定:某一帧识别出某一个动作, 将这一帧与此后的 9 帧作为一个动作段
16、, 若这 10 帧中识别出某一个动作的帧数超过 5 则认为这个动作段都在做此动作, 若没有动作超过 5 帧, 则认为此段无操作。假设 a, b, c 是时间上连续的 3 个动作段, 则基于动作段识别方法流程如图 9所示。两个动作段可以拼接是认为两段在做同一个动作且在时间上是连续的。判断两个动作段能否拼接的准则:1) 两个动作段是同一个动作;2) 两个动作段的间隔不超过 5 帧。图 9 基于动作段的识别方法流程图 Fig.9 The flow chart based on the action section identification method 下载原图假设 a 动作段帧数区间为 f1f
17、1+9, b 动作段帧数区间为 f2f2+9, 若 a, b 拼接, 则拼接后的帧数区间为 f1f2+9。输出结果是动作类型和动作的帧数范围, 动作帧数范围确定方法:在动作起始段的 10 帧中找到能识别出该动作的第一帧 fstart, 动作结束段的 10 帧中找到识别出该动作的最后一帧 fend, 得到动作的帧数范围为 fstartfend。2 实验和讨论设计仿真模拟实验验证识别方法的有效性。由于光照变化对深度图的影响很小, 因此本仿真实验不考虑光照变化的影响。2.1 实验环境如图 10 所示, 本实验是在实验室搭建的模拟仿真驾驶舱内进行的。本模拟舱是在高度还原真实驾驶舱的基础上建立的, 其体
18、积、操作器件的位置都与真实驾驶舱相近, 并且可以模拟各种飞行器在不同情景下的飞行。本实验采用 Intel 公司 Real Sense R200 深度摄像头作为深度图的采集工具, 如图 11 所示。尺寸为 130 mm20 mm7 mm, 工作范围为 0.743.3 m。Real Sense R200 可直接拍摄得到最高 60 帧/s, 分辨率为 628468 的深度图以及 30帧/s, 1080p 的彩色图。本实验将摄像头安装在模拟舱内正对飞行员座位的上角, 并保证摄像头的工作范围能够覆盖飞行员的操作范围。本实验采用的硬件处理平台:频率 2.3 GHz 的 Intel Core i7 处理器,
19、 16 GB 内存。2.2 实验设置和步骤本实验模拟舱设置如下:CRJ-200 CAE 7900 型飞机, 某机场, 白天, 25, 晴天, 风速 150 m/s, 起飞重量 21t。Real Sense 摄像头设置如下:彩色图分辨率为 640480, 深度图为 628468, 以 30 帧/s 存储。实验者在模拟舱内模仿飞行员进行操作。实验步骤:1) 如上述设置实验环境和摄像头;2) 实验者在模拟舱内进行操作;3) 存储实验的深度图和彩色图;4) 在存储的图上进行动作识别;5) 统计跟踪错误的帧数, 计算动作识别率和帧数误差。通过观察彩色图, 统计实验者的动作类型, 动作数和动作所在帧数范围
20、, 所得数据即为真实值。2.3 结果和讨论输出结果为动作类型和动作的起始结束帧, 处理速度约为 910 帧/s。动作识别方法的有效性从动作类型准确性和时间范围准确性两个方面评价。1) 动作类型准确性。各动作类型对应的数字及具体识别结果如表 1、表 2 所示。表 2 内的数字代表实际动作用算法识别出的次数, 如四行三列的数字 3 代表真实动作是按动按钮“3”, 识别为按动按钮“1”的次数是 3。由表可知, 对角线上的数字是正确识别某动作的次数, 而对角线以外的非 0 数则是错误识别的次数。由表 2 中计算可知总动作数 (表中所有非零数字的和) 为 539, 正确识别的动作数 (对角线上数字的和)
21、 为 507 次, 得到动作识别率为 94.06%。由具体结果可以看出, 操作距离较近的器件时容易误识别, 而控制器上按钮离摄像头较远, 精度下降, 可能识别不出动作。影响识别率的主要因素是手部跟踪的效果, 例如实验者在执行操作按钮动作时, 由于手部跟踪时的区域生长未能到达手部, 导致手部跟踪出错, 则不能识别出相应的动作。此外, 手附近噪声较大时也可能会对动作识别结果造成影响。表 1 动作类型说明 Table 1 Description of actions 下载原表 表 2 动作类型识别结果 Table 2 The identification results of the action
22、type 下载原表 2) 时间范围的准确性。图 10 为实验中某一段真实数据与识别数据的对比。白色为无操作状态, 红色为按动按钮 (可能为不同的按钮) , 浅蓝为操作油门杆, 黑色为操作方向舵, 绿色为按开关, 深蓝色为钮旋钮。由图可知, 本文方法识别出的数据与真实数据在时间范围上基本是一致的。图 1 0 部分识别结果 Fig.10 Partial results of the identification 下载原图所有正确识别的动作与真实动作的帧数差 (动作开始的帧数差与动作结束的帧数差之和) , 除以执行该类操作的次数, 得到平均帧数误差, 结果如表 3 所示。表 3 帧数误差 Table
23、 3 Frame error 下载原表 由帧数误差表的统计结果可以看出, 按钮、开关的帧数误差约为 3 帧, 方向舵约为 4 帧, 旋钮和推杆约为 5 帧。由实验结果得出算法的时间范围识别误差较小。由实验结果总结影响动作识别的因素主要有下述两个方面。1) 手部跟踪的精确性。当跟踪的手部形状不佳, 手指轮廓抖动较大时可能与邻近的器件形成干扰, 影响识别结果。另外手部跟踪出错时, 如在执行操作按钮动作时, 若手部跟踪的区域生长未能到达手部, 则不能识别出相应的动作。此外, 手附近噪声较大时也可能会对动作识别结果造成影响。2) 基于动作段识别方法造成的误差。基于动作段的方法主要影响时间范围准确性,
24、如在动作结束的段中, 若识别出的动作帧数小于 5, 就会出现截断误差。3 结论本文提出了一种基于深度图的驾驶舱内飞行员动作识别方法。在深度图中实现飞行员的手部跟踪, 并由手部位置对飞行员的动作进行识别。此外, 本文还提出了一种触发方法, 以实现系统对动作的自动识别。实验结果表明, 本文所提出的方法动作识别率约为 94.06%, 帧数误差约为 5 帧, 表明该方法可以有效地识别飞行员的动作。未来将进一步提高手部跟踪的准确性, 尤其对区域生长的局限性进行改善, 减少噪声干扰, 提高鲁棒性;此外还将进一步完善动作识别算法, 提高动作识别准确率, 精确动作的时间范围, 以期为计算飞行员的工作量提供有效
25、的帮助。参考文献1ZHANG T, WANG J, XU L, et al.Fall detection by wearable sensor and one-class SVM algorithmJ.Intelligent Computing in Signal, Processing and Pattern Recognition, 2006, 345:858-863. 2HOAI M, LAN Z Z, DE LA TORRE F.Joint segmentation and classification of human actions in videoC/IEEE Conferenc
26、e on Computer Vision&Pattern Recognition, 2011:3265-3272. 3RAMANATHAN V, LIANG P, LI F F.Video event understanding using natural language descriptionsC/IEEE International Conference on Computer Vision, 2013:905-912. 4曹雏清, 李瑞峰, 赵立军.基于深度图像技术的手势识别方法J.计算机工程, 2012, 38 (8) :16-18, 21. 5林鹏.基于深度图像学习的人体部位识别D
27、.上海:上海交通大学, 2012. 6WANG J, LIU Z C, WU Y, et al.Mining actionlet ensemble for action recognition with depth camerasC/Computer Vision and Pattern Recognition (CVPR) , 2012:1290-1297. 7XIA L, CHEN C C, AGGARWAL J K.Human detection using depth information by KinectJ.Applied Physics Letters, 2011, 85 (22) :15-22. 8YUAN Y W, CHEN D, YAN L.Interactive three-dimensional segmentation using region growing algorithmsJ.Journal of Algorithms&Computational Technology, 2015, 9 (2) :199-214. 9王兆其, 张勇东, 夏时洪.体育训练三维人体运动模拟与视频分析系统J.计算机研究与发展, 2005, 42 (2) :344-352.
