1、基于多资源负荷理论的情境意识模型与应用研究 冯传宴 完颜笑如 陈浩 庄达民 北京航空航天大学航空科学与工程学院 摘 要： 结合多资源负荷理论及信息认知加工理论, 在注意-情境意识 (Attention-Situation Awareness, A-SA) 模型和注意资源分配情境意识模型基础上, 提出了一种新的情境意识量化模型。该模型中, 多资源负荷作用于低层次的注意感知, 初期认知资源衰减结合情境激活后内在的深层次规则可用性匹配, 最终输出为个体的 SA 水平。为验证模型可用性, 采用 15 名被试在不同情境下开展飞行任务模拟, 并结合主观的十维度情境意识测评技术 (10-D SART, 10
2、-Dimensional Situational Awareness Rating Technique) 和客观的飞行绩效、情境意识全面测量技术 (SAGAT, Situational Awareness Global Assessment Technique) 以及生理测量 (心电、皮电及呼吸) 进行实验测评。实验分析表明, 模型计算的理论值变化趋势与实验结果显著相关, 提出的 SA 量化模型对于指导驾驶舱人机界面设计和优化飞行任务分配具有一定的参考价值。关键词： 情境意识; 多资源负荷; 认知建模; 脑力负荷; 界面设计; 人机工效; 作者简介：冯传宴 男, 博士研究生。主要研究方向:情境
3、意识, 脑力负荷, 驾驶舱人机工效。作者简介：完颜笑如, E-mail: 女, 博士, 讲师, 硕士生导师。主要研究方向:航空人机工效与认知工程, 人机工效。作者简介：陈浩 男, 硕士研究生。主要研究方向:驾驶舱人机工效。作者简介：庄达民 男, 博士, 教授, 博士生导师。主要研究方向:航空人机工效与认知工程, 人机工效。收稿日期：2017-08-21基金：国家自然科学基金委员会与中国民用航空局联合资助项目 (批准号:U1733118) Research on situation awareness model and its application based on multiple-res
4、ource load theoryFENG Chuanyan WANYAN Xiaoru CHEN Hao ZHUANG Damin School of Aeronautic Science and Engineering, Beihang University; Abstract： Based on the Attention-Situation Awareness (A-SA) model and the attention resource allocation situation awareness model, a new quantitative model of situatio
5、n awareness which considered the multiple-resource load and information recognition theory was put forward. In this model, the multi-resource load was applied to the attention perception in low-level. The individuals situational awareness was composed of the damping of initial cognitive resource and
6、 the inherent availability of rule matching after the activation of situation in deep-level. In order to verify the usability of the model, 15 subjects were selected to complete the simulated flight task in different situations, and subjective 10-Dimensional Situational Awareness Rating Technique (1
7、0-D SART) and objective flight performance, situational awareness global assessment technique (SAGAT) , and physiological measurement (electrocardiogram, electrodermal activity and respiration) were combined to carry out the experimental test. Analysis indicated the trend of the theoretical value pr
8、edicted by the model was significantly related to the experimental results. The proposed situational awareness quantitative model can give some reference to guide the design of man-machine interface in the cockpit and to optimize the flight task assignment.Keyword： situation awareness; multiple reso
9、urce load; cognitive model; mental workload; display design; ergonomic; Received： 2017-08-21飞行员的情境意识 (Situation Awareness, SA) 与航空安全息息相关。研究表明, 航空事故中 51.6%的重大事故和 35.1%的非重大事故可归因于决策失败, 之所以决策失败很大一部分原因在于 SA 错误, 而非决策错误1。自 SA 概念提出以来, SA 典型机理解释主要包括 Endsley 的信息加工三层次模型, Bedny 和Meister 的知觉行动环以及 Smith 和 Hancock
10、 的生态学方法2, 其中, 具有经典意义的 Endsley 所提出的 SA 三层次模型3指出, SA 是认知的结果, 包括“对大量时间和空间中环境成分的感知 (SA1) , 对其意义的理解 (SA2) 以及不久将来状态的预测 (SA3) ”4。目前国内外针对 SA 的研究主要集中在定性机理分析、定量计算及其测量方法上5, 而定性分析和定量计算模型是其核心问题。基于 SA 过程的复杂性, 目前对 SA 定量预测方法并未取得很大进展。Wickens等人提出的 A-SA (Attention-Situation Awareness) 模型67, 从机理层面建立了工作负荷和注意力分配的闭环反馈, 并从
11、情境更新8的角度对高层次情境意识 (SA2/SA3) 的维持进行解释。模型给出了情境意识第一层次 (SA1) 的机理定性分析及其量化方法, 并在飞行环境中初步验证了模型的有效性, 但该模型几乎不涉及工作负荷到注意力分配的量化表征及从 SA1 到 SA2/SA3 的表达过程。Hooey 等人9提出了 SA 理解比例计算模型, 将 SA 水平表示为实际 SA水平与理想 SA 水平之比, 同时从认知的角度对情境成分 (Situation Element, SE) 的认知状态进行了划分, 但该模型认知状态的赋值却存在着较强的主观性。刘双等人引入认知理论和概率论思想, 提出了基于注意力分配10和基于认知
12、的 SA 模型11, 前一模型给出了从注意角度分析及量化 SA 的方法, 后一模型对 SA1 到 SA2/SA3 的形成过程进行了分析并给出了量化方法。薛书骐等人12在注意力分配模型基础上提出了基于认知预期的 SA 预测模型, 并在手控交会对接任务中进行了验证, 模型对 SA 理解比例计算模型的参数进行了细化区分, 但同刘双等人的研究类似, 仍未能解决认知状态参数设置的主观缺陷。总体而言, 现有研究对 SA 形成的机理和定量计算已进行了一定程度的阐述, 但均未涉及工作负荷和注意资源分配之间的量化表征。随着平视显示技术 (Head Up Display, HUD) 等先进显示技术在飞机驾驶舱的推
13、广使用, 飞行员对于新型显示界面的注意分配和情境意识问题关乎飞行安全。与 SA 有关的飞机事故的调查显示, 与注意感知相关的 SA 错误 (SA1) 构成了大多数这种事故7。结合新型显控界面这一应用背景, 考虑工作负荷对飞行员注意资源分配的重要影响以及为进一步完善 SA 由低层次到高层次的认知表达过程, 本研究面向复杂飞行任务, 提出了一种基于多资源负荷理论量化注意资源分配的 SA 认知预测模型, 该模型既可独立应用也可作为一个模块嵌入更大的人类绩效模型之中。通过在产品和任务设计的早期阶段进行一定程度的 SA 定量化预测而起到规避航空危险, 优化界面设计和任务分配的作用6。1 多资源负荷的情境
14、意识建模情境意识可被视为一个认知的过程13, 该认知过程不仅包括从外部世界接收信息, 还包括建立复杂的内部表征14。Wickens7提出 A-SA 模型的基本理论结构包括两个模块:环境中事件和通道注意力分配的调节、对飞机当前和未来状态的理解或推断。模块一可基本对应于 Endsley 的 SA1, 模块二对应于SA2/SA3。A-SA 模型指出工作负荷影响飞行情境下注意资源分配, 进一步制约注意行为的发生, 因此 SA1 是影响飞行安全的最关键环节。在动态系统中, SA2和 SA3 之间存在模糊的边界, 因为对当前情境的理解通常对未来有直接的影响, 两者对于任务是同样重要的7。图 1 基于多资源
15、负荷的 SA 模型 Fig.1 SA model based on multi-resource load 下载原图工作负荷是一个能量13的概念, 对于单个任务而言, 不同情境状态的各情境成分早期认知过程中消耗个体获取信息的视觉、认知等多个通道的资源15并产生相应通道负荷, 如图 1 所示。多通道负荷作用于注意资源分配的自下而上和自上而下通路。当注意资源激活量超过阈值则成功提取描述性知识形成对情境的感知, 同时注意资源进入感觉记忆并同步开始衰减, 进行情境成分的更新16。在 SA 生成过程中, 初期感知表现为人机环境的交互, 后期表征则主要是个体长时记忆的内在认知。根据 Anderson 等人
16、的 ACT-R (Adaptive Control of Thought-Rational) 认知理论16, 认知的后期采用记忆负荷1718量化作业人员脑唤醒水平并建立程序规则匹配的深度表征, 结合低层次注意资源的衰减输出为个体 SA 水平。1.1 基于多通道负荷的低层次 SA飞行员在执行飞行任务时, 操作任务可以理解为由不同的任务情境事件 Event i (i=1, 2, , m) 按时间顺序动态呈现, 这些情境事件对应着不同的情境状态。Event i 的情境成分 SE j (j=1, 2, , n) 通过不同资源获取通道对个体产生工作负荷, 进而影响个体的注意行为, 而注意是情境感知的关键
17、环节7。因此对 Event i 的量化表征可以按照关键 SE j 进行细化, 这与兴趣区 (Area of Interest, AOI) 的概念一致7。对于 Event i 而言, 基于工作负荷的能量13概念, 根据 Wickens 的多资源理论15将工作负荷划分为视觉、听觉、认知和运动四个通道的资源, 分别作用于注意自下而上的突显和努力以及自上而下的价值和期望19。多资源负荷作用于注意资源的分配细化如下:1) 界面编码 (Interface Coding, IC) 视觉和听觉负荷作用于注意资源分配的突显性因素19, 具体反映到显示界面的编码设计。界面编码包括静态常规显示编码和动态异常显示编码
18、, 可通过视觉和听觉通道占据负荷资源, 从自下而上通路影响注意行为。Wickens21和肖旭22等人均对编码元素与界面设计优劣进行了模型量化的尝试, 在此基础上结合 Steelman 提出的动静态突显性20的概念, 提出界面编码这一概念代替SEEV 模型的突显性19因素量化注意资源。假定 SE j 包含在第 j 个 AOI 内, Event i 下该 AOI 有 r 个界面编码元素, 则式中:IC j为 SE j 的界面编码值;IC j为其动态编码, IC j为静态编码; l为按照G1 法22确定的第 l 个编码元素的权重系数, l为第 l 个视觉编码元素的综合绩效值。2) 注意转移 (Att
19、ention Mobility, AM) 运动负荷作用于注意力分配的努力19因素, 具体体现为注意转移的难易程度。运动负荷针对注意的头动和眼动复合行为, 表征注视行为从一个 AOI19转移至另一 AOI 需付出的努力资源。通过计算相对距离量化不同 AOI 的注意转移23。式中:d j 表征相邻 AOI 之间距离;=j+1;n 为 AOI 总个数。3) 信息期望 (Information Expectancy, IE) 认知负荷作用于个体对信息的预期, 具体反映为信息的期望19。根据信息论的观点, AOI 内信息的事件发生水平越高, 则对其采样也更加频繁23。对于兴趣区 j 的量化如下, 式中:
20、H j为第 j 个情境成分的出现次数; jP 为第 j 个 AOI 信号出现的概率。4) 信息价值 (Information Value, IV) 认知负荷同时也作用于信息价值的表达, 个体对信息的认知理解程度可定义为信息价值。信息价值的量化表达式为式中:u j为情境成分重要度, j表示飞行员对情境成分 j 潜在认知状态产生的概率24, 反映了其对情境成分重要度在主观认知中存在的模糊性, 采用模糊熵hj的概念描述情境成分 j 的认知心理活动, 则有:单个 AOI 的努力越小, 编码越好, 则消耗资源越少, 因此在模型计算中注意资源消耗与 IC 和 AM 均成反比。即注意资源的消耗可表示为:则该
21、情境下初期情境认知水平可表示为所有情境成分注意资源消耗之和, 即1.2 基于认知理论的深层次 SA根据 ACT-R 认知理论16, 缓冲模块访问并读取视觉模块中注意到的情境信息, 当注意资源的激活量超过一定阈值时产生对情境成分的认知激活25, 之后访问记忆模块提取描述性知识, 形成情境感知。式 (8) 中关键成分注意资源消耗量量化为该情境成分的激活量 ACj, 当其超过阈值 (通常设定 =1.0) 则认为成功提取相关描述性知识, 形成该关键 SE 的感知, 所有情境信息在进入感觉记忆的同时迅速开始衰减6, 进行低层次情境元素的更新, 式中:t 为时间衰减系数;关键 SE 激活导致该情境感知状态
22、的达成, 之后会进入长时记忆进行程序性知识的匹配, 规则的匹配形成对注意情境的内在表征, 即对当前情境的理解或者预测。与情境事件认知事实最佳匹配的程序性规则的可用性为式中:Q i为最佳匹配的规则被成功激活的概率;C i为该最佳匹配规则被激活并实现理解带来的代价;G 为实现理解该情境状态带来的价值16。达成可用程序规则匹配的可用资源与飞行员的当前觉醒状态、训练、经验等因素相关。在理想情况下, 设定个体的训练、经验等一致 (即 G=1, C=0) , 则飞行员的当前唤醒状态将直接影响对信息的理解。利用记忆负荷资源1718消耗的概念定义 Qi的估计值 , 即式中: 为情境下平均脑力负荷;T 为情境任
23、务持续时间。因此, 深层次的计算表达式为综上所述, 考虑多通道负荷影响注意资源分配的初期认知衰减以及激活匹配的后期认知阶段, 则最终 SA 的量化模型为2 实验验证2.1 仿真模型设计为验证所提出的基于多资源负荷的 SA 模型在复杂飞行环境下的效度, 实验采用手动驾驶条件下的飞行操作任务。界面模型参考典型的波音 737NG 机型, 基于专业模拟飞行软件 Flight gear 完成 HUD 显示界面绘制, 如图 2 (a) 所示。实验界面呈现在 17 英寸液晶显示屏上, 分辨率为 12801024, 平均亮度为120cd/m, 实验过程中环境光照基本保持不变为 600lx, 环境噪音水平为36
24、.642.3db。采用 TH-P 型生理测试仪记录被试的呼吸和皮电数据, 采用 FX-7402 十二道自动分析心电图机测量记录心电数据, 采样频率为 0.05150HZ。飞行模拟仿真平台基于 Flight gear3.4.0 软件系统, 结合 Saitek (赛钛客) Yoke 民航飞行摇杆系统和北通天影 BTP-4328 飞行摇杆的输入完成俯仰、滚转、偏航等飞行操作, 实验场景如图 2 (b) 所示。图 2 HUD 显示 AOI 划分及实验场景 Fig.2 Divisions of AOI on HUD display and experimental scenario 下载原图2.2 被试
25、被试选取 15 名具有良好航空背景 (其中男性 11 名, 女性 4 名, 平均年龄 22.6岁) , 均为北航在校研究生, 身体健康状况良好, 右利手, 视力或矫正视力正常, 听力正常。实验前一天, 均保证充足的睡眠并且避免剧烈运动。2.3 实验设计实验主要考察不同飞行操作情境设定, 对 HUD 显示界面划分 5 个 AOI, 分别是俯仰姿态 (AOI 1) 、空速带 (AOI 2) 、高度带 (AOI 3) 、滚转表 (AOI 4) 和航向表 (AOI 5) , 如图 2 (a) 。所有被试需完成包括起飞、爬升、巡航、转弯和进近阶段的飞行操作。考虑起飞和进近阶段飞行操作强度较高导致飞行绩效
26、无法统一计算标准以及其与真实情境仍存在的较大差异, 为模型验证的需要, 仅选取爬升 (情境 1) 、巡航 (情境 2) 和转弯 (情境 3) 进行分析。采用单因素被试内设计, 考察不同任务操作因素下的飞行情境对飞行员 SA 水平的影响。被试依靠外部输入组件完成飞行操作, 同时需要保持对仪表参数进行监控。其中各 AOI 仪表重要度和信息期望分配比例基于运输类飞机适航标准附录 D26的基本工作职能和工作量因素, 并参考飞行手册结合模拟飞行环境进行设定, 如表 1 所示。表 1 不同飞行情境仪表重要度和信息期望 Table 1 Importance and information expectanc
27、y in various flight situations 下载原表 2.4 实验步骤在正式开始实验前要求被试接受充分的飞行模拟培训并对实验情境成分重要度和信息期望熟练掌握。实验正式开始后, 被试在完成飞行操作的同时, 还需通过鼠标对界面弹出的问题进行作答。采用情境意识全面测量技术 (Situation Awareness Global Assessment Technology, SAGAT) 考察监控任务绩效, 任务冻结时呈现情境问题完全覆盖仪表监视界面, 被试在规定的时间 (呈现时间为15s) 内若不作答则自动回到飞行界面, 若被试不清楚答案可以选择放弃作答并继续后续实验, SAGAT
28、 反应时间和反应正确率由后台软件自动记录。实验过程中, 生理采集仪器实时记录相应生理数据。单个飞行阶段后休息 10min 同时填写美国航空航天局任务负荷指数量表 (NASA Task Load Index, NASA-TLX) 和10 维度情境意识评定技术量表 (10-Dimensional Situational Awareness Rating Technology, 10D-SART) 。各情境任务操作见表 2。表 2 不同情境下飞行操作 Table 2 Flight operation in various situations 下载原表 3 实验结果和分析3.1 基于多资源负荷的 S
29、A 模型理论值及实验值对于实验界面所监视 5 个 AOI 分别计算 IC, IE, IV 及 AM。研究表明, 字体大小的辨识影响飞行员判断和决策准确性2722;颜色匹配与飞行员信息辨识效率显著相关22;包括仪表位置22和仪表种类5的仪表布局位置对辨识绩效显著相表 3 界面编码显示属性 Table 3 Display attributes of interface coding 下载原表 通过测量计算式 (2) 中各 AOI 的 AM, 根据式 (3) 计算 IE 并设定为表 1 中实验变量之一, 根据式 (4) (6) 结合表 1 中根据实验操作设定的重要度计算IV, 最后将上述四个因素代入
30、式 (7) 计算各情境成分的注意资源分配, 并由式 (8) 计算 iA, 结果见表 5, 在模型的量化过程中, 各因素的属性值计算结果需要经过比例归一化处理, 去除量纲后在 0 和 1 之间取值。表 4 为以情境 1 为例进行计算的结果。表 4 情境 1 各 AOI 注意资源计算 Table 4 Calculating of attention resource in each AOI under situation 1 下载原表 根据式 (9) (10) 计算得到低层次注意感知状态预测值。采用 NASA-TLX 量表和不同飞行情境的任务持续时间表征飞行员的记忆负荷水平代入式 (12) , 并
31、由式 (11) 计算个体的脑唤醒水平表征匹配规则的可用性代入式 (13) , 结果见表 5。表 5 深层次情境认知表征 Table 5 Representation of situation cognition in deep level 下载原表 将表 5 中各情境低层次注意资源消耗 iA 代入式 (10) 计算情境更新 (选取时间衰减系数 t=5s7) 后的 SAlow, 最后由式 (14) 计算 SA 预测值, 需要说明的是这里计算的 SA 值并不是绝对值而是相对值, 归一化后得到 SA 理论值及客观的绩效测量结果见表 6。表 6 SA 理论预测值和主客观测量结果 Table 6 Pre
32、dicted SA value combined with subjective and objective results 下载原表 3.2 相关性分析由表 6 可知在设定的三种飞行情境下, 被试心电的正常窦性 R-R 间期的标准差 (Standard Deviation of Normal to Normal, SDNN) 呈现先增后减的趋势, 平均心率和平均皮电反应 (Electrodermal Activity, EDA) 指标呈现先减后增的趋势。采用 Wickens7等人的模型验证方法, 将基于多资源负荷的 SA 模型预测值与实验测量结果进行相关性分析, 结果如表 7 所示。从结果可
33、看出 SA 预测值与 10D-SART 量表得分 (r=0.988, P=0.044) 、飞行绩效 (r=0.999, P=0.023) 及心电的 SDNN 显著相关 (r=1.000, P=0.015) ;与 SA 正确率 (r=0.995, P=0.064) 临界显著相关;与平均心率、EDA 指标均呈现高度相关但均不显著;与呼吸率指标不相关 (r=-0.351, P0.5) 。表 7 SA 理论值和测量指标相关性分析 Table 7 Correlation analysis between predicted SAand measurement indices 下载原表 图 3 列出了 3
34、 种情境下模型理论值和典型的测量方法变化趋势, 可见不同层次理论值与多种测量方法的变化趋势一致。图 3 3 种情境下 SA 预测值和实验测量指标变化趋势 Fig.3 Predicted SA value and tendency of experimental measurement indices in 3 situations 下载原图注:图 (a) (b) 中无单位4 讨论4.1 关于实验测量方法的讨论本研究采用主观和客观相结合的测量方法对不同情境下的被试 SA 水平进行考察。其中客观测量方法包括计算飞行绩效, SAGAT 页面冻结的绩效测量方法, 心电、皮电以及呼吸指标的生理测量方法。通过计算该情境各主要情境成分与统计学平均值之间差值, 对各成分差值比例 (x-x) /x 按照情境成分重要度进行线性加权计算得出飞行绩效, 也即情境操作稳定性。绩效测量方法的 SAGAT 页面冻
