1、膝上型假肢的运动意图识别与控制 宣伯凯 刘作军 陈玲玲 杨鹏 河北工业大学控制科学与工程学院 河北工业大学智能康复装置与检测技术教育部工程研究中心 摘 要： 根据不同路况条件和典型步速的笛卡尔积组合, 利用装配在残肢侧的陀螺仪、加速度计和足底前后的压力传感器的信息, 通过相关性系数分析、传感器融合、隐马尔可夫模型的方法, 判断假肢使用者的运动意图.以健肢运动状态为参考值, 利用迭代学习控制分别建立不同路况和步速情况下的控制知识数据库.通过传感器的关键状态变化信号驱动有限状态机状态转换, 输出控制知识库中的控制量, 实现假肢膝关节在不同路况、步速条件下对步态相位的控制.针对控制过程中出现的输出量
2、实时偏差, 采取了在线校正措施.对于有限状态机输出控制数据序列在时间同步上的超前和滞后问题, 采取了相应的保持和补偿措施.结果表明, 经隐马尔可夫模型处理后路况判断准确率可提升到 91.7%, 基于数据驱动的无模型控制方法能够实现对不同路况、步速下假肢步态的有效控制.关键词： 假肢; 运动意图; 迭代学习控制; 有限状态机; 作者简介：宣伯凯 (1984) , 男, 博士生;作者简介：杨鹏 (联系人) , 男, 博士, 教授, 博士生导师, .收稿日期：2017-06-30基金：国家自然科学基金资助项目 (61703135, 61773151) Motion intention recogni
3、tion and control of above knee prosthesisXuan Bokai Liu Zuojun Chen Lingling Yang Peng School of Control Science and Engineering, Hebei University of Technology; Abstract： According to the combination of different terrains and walking speeds in the way of Cartesian product, a motion intention recogn
4、izer for amputee was presented.The sensor system was composed of an accelerometer, a gyroscope mounted on the prosthetic socket, and two pressure sensors mounted under the sole.The motion intention was inferred by intra-class correlation coefficient, sensor fusion and hidden Markov model.And a flexi
5、ble iterative learning control (ILC) was proposed to build an experience database for the control of knee joint in prosthesis.And the motion state of the healthy knee was set as the learning sample in ILC.Furthermore, the sensor signals of the state transition were used to drive a finite state machi
6、ne (FSM) .The control experience in the knowledge database was output to control the stride phase according to the terrain, and speed.Besides, an online correction was adopted to reduce the real-time errors in the output axis.Moreover, to regulate the output sequence lead and lag in time axis, an ou
7、tput holder and a compensator were used.The experimental results show that the accuracy of the terrain recognition using the hidden Markor model is improved by 91.7%.Thus, the model-free control method is effective for prosthesis gait control of prosthesis according to the terrain and speed.Keyword：
8、 prosthesis; motion intention; iterative learning control; finite state machine; Received： 2017-06-30下肢假肢具有辅助截肢者运动的重要作用, 假肢的动作必须与使用者的运动意图相协调, 因此假肢膝关节控制器的关键问题首先是使用者运动意图的识别问题.下肢运动意图的信息可通过使用非侵入式传感器测量表面肌电、足底接触力、关节运动角度和加速度等获得, 也可以通过植入式电极检测外周神经、中枢神经信号而获得.在信号分析方面, 文献1-2针对表面肌电信号使用 QDA 方法设计了膝关节屈伸动作的分类器;文献3-4
9、针对表面肌电和足底压力信息分别使用了支持向量机和 LDA 方法完成运动模式的识别;文献5通过建立高斯混合模型实现了站-立-走 3 种运动模式的判断;文献6通过训练方法提高了运动模式转换的识别率.与人体运动意图相协调是假肢膝关节控制的另一个关键问题.目前一般采用健肢步态还原步行姿态7、基于迭代学习实现假肢步速跟随8、通过 CLM R 建立映射函数输出运动状态9、自适应 CPG 控制器产生运动控制信息10、有限状态机实现膝关节的力矩控制11, 以及通过设计基于阻抗控制的有限状态机12-13实现假肢的主动运行.伴随假肢控制原理研究的发展, 假肢制作与控制技术的进步使假肢性能得到极大提升, 但通过调节
10、阻尼进行膝关节控制的被动型假肢, 不能提供助力和主动调节.2009 年, Ossur 公司研制的 Power Knee 能够根据不同路况, 控制致动器刺激使用者的残肢肌肉带动假肢同步运动, 被认为是世界上第一款主动型膝上假肢.近年来, 利用复杂传感器系统研制的智能仿生膝关节产品能够更灵敏地检测步态信息, 提供更准确的运动模式和支撑力调节, 代表产品有 Otto Bock 公司的 Genium 智能仿生膝关节、Ossur 公司的 Rheo Knee3 仿生膝关节和Blatchford Endolite 公司的 Orion2 智能仿生假肢等.国内智能假肢研制在近30 年的发展中同样取得了长足的进步
11、.清华大学率先展开了智能假肢相关理论与技术的研究, 设计了利用肌电信号识别路况的多连杆智能假肢.许多科研团队在假肢控制领域的研究在不断扩展, 设计了多款智能假肢原型样机.在智能假肢控制方案中, 通过人体神经信号或表面肌电信号 s EMG 获取运动意图和膝关节控制量, 具有直接反映人体行为变化规律、可实现多模式交互控制等优点.但神经信号难以直接测取, 手术装配困难, 而残肢 s EMG 信号则具有明显的个体特异性, 且会随着人的体征变化而变化, 直接影响了动作识别的准确率14.此外, 表面电极在使用过程中因电极滑移松动、出汗、s EMG 信号微弱易受干扰等问题, 使采集到的信号具有很大随机性15
12、.受限于神经/机电系统之间信息交互上的技术瓶颈, 出于安全性、成本等因素, 在现阶段的可行性难以保证.与外骨骼和帕金森患者的康复辅具不同, 通过表面肌电信号控制的假肢, 还会因为不同截肢者肌肉残留和萎缩程度上的差异, 其控制参数不具备通用性, 假肢的安装、试穿、适应过程都会很长, 增加了康复工程师的劳动强度.因此, 本文利用惯性传感器和压力传感器检测运动状态信息, 并通过相关性系数、传感器融合、隐马尔可夫模型的方法对运动意图实现了准确的预识别, 同时采取基于迭代学习控制和有限状态机的方法对假肢进行控制.1 假肢系统与控制方法为提高假肢在不同路况和步速下的协调性与适应性, 本文提出的膝上型假肢系
13、统包括下肢运动意图识别与假肢膝关节控制策略 2 个部分, 如图 1 所示.肢体健全的人能够依据路况自然地调整步态, 对于假肢穿戴者, 假肢关节运动应与穿戴者运动意图一致, 执行协调的步态控制才能保障运动的平稳和舒适.健肢信息虽然能够比假肢信息更利于下肢运动的分析, 但通过问卷调查, 绝对多数的截肢者对在健肢侧安装传感器和引线表示“心理上不能接受”, 因此将加速度传感器和陀螺仪装配在假肢接受腔上检测人体残肢的运动状态, 并在足底前后 2个区域安装压力传感器判断步态相位.图 1 假肢控制系统 下载原图为抑制人体行走过程的震动干扰, 采用小波分析对传感器信号进行去噪.在对信号进行标定和归一化后, 分
14、别对加速度传感器和陀螺仪信号与标准运动状态的模板信号进行相关性分析, 并进一步通过传感器融合、隐马尔可夫模型的方法提高路况判断的准确率.在运动意图识别的基础上, 根据不同路况和步速下膝关节的运动曲线, 利用行走过程中膝关节运动的周期性和重复性特征, 运用迭代学习控制方法, 针对快速、中速、慢速 3 种类别步速, 分别建立平地和上、下楼梯 3 种行走模式下的所需控制量经验知识库.设计有限状态机控制器, 以运动参数信号作为触发条件控制状态转移, 分步态相位调用知识库中控制量输出, 同时采取必要的实时校正和补偿调节, 驱动电机控制动力型假肢膝关节的摆动或者调节被动型假肢阻尼气缸的阀门开度, 实现下肢
15、假肢的协调控制.2 运动意图识别2.1 下肢运动信息采集行走过程中, 截肢者大腿残肢的运动信息是人体运动意图的直接体现, 关节转动角度与肢体运动的加速度信息能够直接反映人体的运动意图, 而假肢足底压力的变化则能够为步速以及相位识别提供依据.因此, 本文采用陀螺仪、加速度传感器、压力传感器采集残肢侧的运动信息.在信号采集过程中, 由于肢体摆动、与地面的接触造成的震动和电磁噪声给信号带来了干扰, 因此首先要对传感器数据进行滤波处理.针对行走运动的低频段特性, 采用小波阈值法去噪, 并对重构信号进行信号零校准.竖直加速度信号处理如图 2 所示.2.2 步态相位与步速的识别行走是一种周期运动, 由连续
16、的步态周期构成.通常, 一个步态周期由支撑期和摆动期 2 个相位阶段构成.支撑期又可以进一步划分成支撑前期、中期和后期.将承重情况下的足底压力开关状态标记为 1, 则 4 个相位阶段可根据前脚掌与脚后跟的压力开关状态编码依次表示为 01, 11, 10, 00.图 2 传感器信号处理 下载原图在支撑期, 借助地面支撑力的作用, 假肢穿戴者可通过增强残肢侧髋关节运动完成对假肢步态的相位控制.因此, 可以利用假肢的足底压力信号作为支撑中期和后期开始与结束的判断信号.对于其他相位阶段的判断, 患者穿戴下肢假肢行走, 假肢的运动效果会影响膝下传感器信号的测量, 而传感器信号状态的测量反过来又会影响对假
17、肢运动的实际控制.为避免这种双向交互影响, 对假肢穿戴者行走过程的相位划分, 应该通过人体残肢的运动信息分析, 才能反映出人体真实的主观运动意图.当残肢竖直方向加速度处于波谷时, 支撑中期开始, 如图3 所示;当残肢水平方向加速度处于波谷时, 支撑末期开始, 如图 4 所示.利用这 2 个特征点的传感器信号, 以及足底压力信号, 可以判断出行走过程中的相位转换, 并可用作膝关节控制中有限状态机状态变换的触发信号.图 3 支撑中期相位识别 下载原图图 4 支撑末期相位识别 下载原图在不同步速条件下, 假肢完成各个步态相位所需要的时间并不相同.本文以支撑前期的时间作为步速的判断依据.根据实验测算,
18、 支撑前期的平均时间约占整个步态周期的 10%左右, 因此将支撑前期的时长除以比例系数, 即可得到整个步态周期的时间.本文为简化系统的复杂性, 根据测试者的行走习惯, 将步速划分为慢速、中速和快速 3 个类别.对于中青年男性, 慢速为大于 1.6 s/步, 中速为 1.31.6 s/步之间, 快速为小于 1.3 s/步.采用支撑前期的时长进行整个步态周期的步速判断, 其目的在于提前实现对摆动期步速的预报, 进而根据不同步速进行摆动期的膝关节控制, 能够有效弥补假肢膝关节控制中的滞后问题.在支撑期, 人体可利用残肢髋关节的力量和地面的支撑力来调控假肢膝关节的速度, 而在摆动期, 人体残肢对假肢膝
19、关节的控制影响则大大下降, 因此假肢膝关节控制器必须预知当前的步速, 才能实现协调的运动状态控制.如果使用整个步态周期的信息进行运动状态的识别, 这种识别是对历史运动状态的“事后报告”, 将所得的判断结果用于下一步的运动状态控制, 则只能在前后运动状态不变的情况下才会有效, 一旦下一步的路况或步速发生变化, 假肢的控制就会出现不协调的问题.2.3 路况的识别2.3.1 测试平台与传感器信号对比本文针对平地行走、上楼梯和下楼梯 3 种典型路况进行识别, 运动信息采集测试平台如图 5 所示.图 5 路况模式预识别实验 下载原图实验志愿者为 2 名膝上型假肢穿戴者, 均为男性.志愿者 1 为 33
20、岁, 截肢时间7 年, 身高 1.67m, 体重 58 kg, 适配 C-Leg 假肢.志愿者 2 为 37 岁, 截肢时间5 年, 身高 1.73 m, 体重 62 kg, 适配英中耐假肢.测试中, 在实验平台上假肢穿戴者在平地上行走 3 步后过渡到上/下楼梯状态, 走完 6 级台阶过渡到平地后再走行 3 步结束, 共计 12 步, 取中间 10 步的数据用于测试;此外, 实验还包括平地连续行走 7 步的测试, 取中间 5 步的数据用于测试.测试前, 志愿者先在测试平台上进行了上下楼梯往复 5 次以上的适应性训练, 实测过程中, 每轮实验后均检查并重新固定传感器及其连线, 每进行 1 轮实验
21、, 休息 3 min 以上.下肢运动具有典型的周期重复性, 在同一运动模式下传感器数据具有近似的曲线.将 3 种路况下残肢水平加速度、垂直加速度和角加速度数据进行周期归一化处理, 得到测试者在适应测试平台后的一组典型传感器数据, 如图 6 所示.由图可见, 不同路况下曲线具有相同的变化规律.将对应每种路况的典型数据作为标准模板, 与实时检测的数据进行相关性计算, 通过对比即可判断路况.2.3.2 模板库建立在建立模板库时, 运动意图用笛卡尔积描述为式中, S 为步速集合, S=慢速, 中速, 快速;W 为路况集合, W=平地, 上楼梯, 下楼梯;D 为运动意图集合, D= (慢速, 平地) ,
22、 (慢速, 上楼梯) , .依据假肢运动过程中陀螺仪、水平方向加速度、垂直方向加速度的参数特征, 得到 9 个模板曲线.在相关性计算时, 为缩短判断时间, 可根据上文中步速预识别的结果, 仅与所对应步速下的 3 种路况的模板曲线进行对比.2.3.3 相关性分析通过计算 2 个变量之间的协方差和标准差的商求得相关系数, 进而衡量分析 2个变量间的相似程度.利用相关性分析可以判断实时步态数据与模板数据的近似程度, 文献16在帕金森症患者下肢运动评估中取得了理想的效果.本文根据相关性分析识别假肢运动意图, 相关系数计算如下:图 6 传感器信号曲线对比 下载原图式中, X (t) 为用于路况识别的加速
23、度计和陀螺仪的实时数据;Y (t) 为模板数据;i=1, 2, 3 表示传感器信号;j=1, 2, 3 表示路况.在假肢的控制中, 运动判断的实时性和准确性是一对矛盾参数.如果使用整个步态周期的全部数据与模板数据对比进行相关性计算, 准确性虽然最高, 但实时性最差, 难以用于当前周期的实时控制.因此, 在保证较高准确性的前提下, 本文利用前半周期中尽量少的数据预判出实时路况用于当前步态周期的控制, 以此弥补假肢关节中机电系统响应上的滞后, 提高运动的协调性.通过对比发现, 不同路况的水平加速度和垂直加速度信息在支撑前期差异明显, 陀螺仪信号在支撑后期差异明显.采用在一个步态周期中进行 2 次路
24、况判断, 第 1 次在支撑前期利用水平和垂直加速度信息进行路况预判, 以此作为残肢离地后摆动期的假肢膝关节控制的依据.第 2 次判断在支撑后期, 利用陀螺仪信号和水平加速度信号进行路况判断, 对第 1 次预判的结果进行校验和纠正, 为后续步态控制提供参考.本文在大量实验的基础上, 确定采用 500 Hz 的采样频率.一个步态周期为1.301.60 s, 采样点数为 650800, 其中支撑期时长约为 0.780.96 s, 即390480 个采样点.选择一个步态周期从支撑前期开始及之后的 300 点数据进行相关性分析, 完成路况的第 1 次预判, 用于当前步态周期中的后续动作的控制.利用 2
25、类传感器信号单独进行相关性分析时, 由于对比数据量少于整个步态周期的一半, 判断的结果存在明显的不足和差异.在测试中, 从 2 位假肢穿戴者 3种典型路况的数据中另选各 30 组进行了路况预报, 分别来自于上/下楼梯实验各 5 次, 每次包含中部 6 组上台阶和两端平地行走各 2 组数据;平地行走实验 2次, 每次 10 组数据.以上共包含上/下楼梯及平地行走数据各 60 组.预报的结果如表 1、表 2 所示, 以表 1 为例, 60 组下楼的测试数据中, 有 49 组被正确识别, 4 组被识别为上楼, 7 组被识别为平地.2 路信号预报的平均准确率均只有 80%左右, 需要通过传感器融合以获
26、得更准确的预判.表 1 基于水平加速度相关系数的路况判断 下载原表 表 2 基于垂直加速度相关系数的路况判断 下载原表 2.3.4 传感器融合本文采用 D-S 证据理论17对 3 种单一传感器信息判断结果进行融合, 识别框架包括 3 种路况信息和判断错误率.框架中每个元素的基本概率分配函数为各个相关系数与相关系数和的比值, 即各种路况判断的联合概率函数为其中归一化常数 K 为将联合概率函数最高值所对应的路况作为输出结果, 得到融合后的判断结果如表 3 所示.表 3 传感器融合的路况判断 下载原表 2.3.5 隐马尔可夫模型传感器融合后的准确率虽然得到了一定提高, 但仍有较大的提升空间.人体行走
27、过程中前后两步之间的状态转换存在一定的受限性规律, 如:楼梯的两端只能是平地, 上楼梯后的下一步不会是下楼梯等.将行走过程的这种条件化特征融合在双重随机过程中, 采用隐马尔可夫模型 HMM18描述为式中, N 为隐藏状态, 表示下一步将要发生的路况;M 为可观测向量, 表示上一步已发生的路况, 因为可使用整个步态周期的传感器数据进行判断, 其准确率可提升到 95.8%, 为下一步路况预报的准确性打下了基础; 表示初始状态, 通常默认为平地, 即描述前后两步路况转换的状态转移矩阵 A 表示为矩阵 A 中的元素为 3 种路况之间状态转移的概率.观测样本概率矩阵 B 表示为矩阵 B 中的元素为传感器
28、融合后的准确率.将 A, B 矩阵中的数据代入下式, 即可预报得出下一步的路况状态:式中, a 和 b 分别为矩阵 A 和 B 中的元素;x 为观测值, 来自于传感器融合后的最大值路况编号; 1 (i) 为初始步态周期路况判断值; t+1 (i) 为下一个步态周期判断值.每个周期的 t+1 (i) 中最大值所对应的路况即为当前步态摆动期中可能性最高的路况.需要注意的是, t+1 (i) 中的数据是基于不足半个步态周期数据的预报值, 存在较大的错误率, 不能像普通 HMM 过程那样迭代进入下一个周期的运算.在下一个周期运算前, 需要用基于整个步态周期数据的报告值进行替代, 才能提高路况预识别的准
29、确性.经 HMM 处理后的结果如表 4 所示, 路况判断准确率由 88.3%提升到了 91.7%.表 4 经 HMM 处理后的路况判断 下载原表 3 基于 ILC 和 FMS 的假肢控制根据步态周期性和重复性特点, 采用笛卡尔积的方式, 构造出不同路况和步速的知识库, 通过迭代学习获取典型运动状态下的控制经验, 输入到知识库.通过传感器驱动的有限状态机以前馈方式输出知识库中的经验数据.同时采取在线检测补偿的方式, 灵活处理系统中出现的实时偏差.3.1 基于迭代学习控制的知识库迭代学习控制 ILC 应用于沿同一轨迹重复运行的系统, 将系统误差以一定的学习律与控制量结合, 产生作用于下一次操作的新
30、控制量, 重复进行操作, 逐次提高控制精度.算法的典型形式为式中, 控制量 un (k) 为第 k 次迭代以前积累的控制经验;学习律 g (en (k) , k) 为第 k 次迭代时用于修正控制经验 un (k) 的有效信息, 由期望曲线和输出曲线的误差获得;u n+1 (k) 为利用 un (k) 与 g (en (k) , k) 得出的新控制经验.下肢假肢具有典型的重复性运动特征, 可采取图 7 方案, 应用迭代学习控制方法建立控制知识库.首先, 根据运动意图将假肢的基本运动分类, 将同一类型的运动分组.同组动作具有相近的期望参数轨迹, 设定偏差范围进行控制经验的学习.同一类型分组称为知识
31、库前项.图 7 控制知识获取过程图 下载原图通过迭代学习完成每一个知识库前项控制经验的获取, 学习过程如下: (1) 保持同一步速和路况, 进行多步行走, 根据式 (12) , 以健肢的膝关节角度为期望值序列 yd (k) , 求出 yd (k) 与对应的假肢膝关节角度值序列 yn (k) 的偏差量序列 en (k) ; (2) 根据式 (11) , 通过学习逐步修正控制量序列 un+1 (k) .由于假肢系统是一种伪非线性系统, 即其输出与输入具有单调性, 但比例关系是变化的, 因此在采用典型的 P 型 ILC 学习率时, 学习增益应为控制量每变化一个最小调节单位时所对应产生的最大关节角度变
32、化值的倒数.在迭代学习过程中, 计算一个步态周期的支撑前期起始点、支撑中期起始点、支撑末期起始点和摆动期起始点的关节角度的误差范数和, 检测其是否满足如下条件:如条件不满足, 则继续学习;当误差满足停止条件时, 将控制量序列 un+1 (k) 写入知识库中.考虑到人体行走过程的随机性, 学习偏差 eT的指标通常设定为关节角度的 10%左右.此外, 考虑到动力型假肢能够提供助力, 可设置 eT小一些;而被动型假肢只能通过改变阻尼调节关节角度, 其偏差无法从根本上消除, 所以应设置 eT适当大一些.在知识库的建立过程中, 还应根据康复工程师的临床经验, 填写必要的控制知识, 例如上述学习过程中停止条件所对应的角度差阈值、防跌倒的应急保护、打软腿时的锁死等.以四连杆动力型假肢在慢速平地条件下的运动为例, 其结构特征及迭代学习过程如图 8 和 9 所示.所使用的假肢膝关节由安装在下部的电机快速旋转推动主连杆伸缩运动, 进而带动膝关节弯曲或伸直.主连杆的伸缩长度 l 与膝关节的角度 之间, 在运动范围内有如下的近似线性关系:而主连杆的伸缩长度 l 与电机的转动角度同样是线性关系.因此, 假肢膝关节的角度控制适用于迭代学习控制方法.
