1、空间协同位姿单目视觉测量系统设计与实验 吕耀宇 顾营迎 高瞻宇 徐振邦 刘宏伟 吴清文 中国科学院长春光学精密机械与物理研究所空间机器人工程中心 中国科学院大学 北京控制工程研究所成像事业部 摘 要： 为了通过视觉测量的方法实现小型空间机器人协同位姿的求解, 设计了基于单目视觉的协同位姿测量系统。针对复杂的太空工作条件, 设计了作用范围广、精度高且稳健性强的合作靶标;设计了利用图像梯度法提取单像素边缘的算法, 并通过中心匹配等约束完成了靶标识别;推导了特征点距离与位姿测量精度的关系, 在此基础上提出了基于分区处理的特征点提取策略, 实现了复杂条件下特征点的分区提取和准确编号, 并扩展了工作距离
2、, 改善了位姿求解精度。实验结果表明, 针对 640 pixel480 pixel 图片, 在 Matlab 环境下处理速度约为84.3ms/frame, 在 2.2m 距离范围内位姿测量误差在 5mm、1以内。设计的单目视觉位姿测量系统满足小型空间机器人协同工作的任务需求。关键词： 机器视觉; 单目视觉; 合作靶标; 靶标识别; 位姿测量; 精度分析; 作者简介：吕耀宇 (1993) , 男, 硕士研究生, 主要从事视觉测量及应用方面的研究。E-mail:作者简介：顾营迎 (1984) , 男, 博士, 副研究员, 主要从事视觉感知与运动控制方面的研究。E-mail: (通信联系人) 收稿日
3、期：2017-06-21基金：省院合作基金 (20161114002) Design and Experiment of the Monocular Vision Measurement System Based on Spatial Cooperation PoseL Yaoyu Gu Yingying Gao Zhanyu Xu Zhenbang Liu Hongwei Wu Qingwen Space Robot Engineering Center, Changchun Institute of Optics, Fine Mechanics and Physics, Chinese A
4、cademy of Sciences; Abstract： In order to solve the cooperative pose of small-scale space robots by means of visual measurement, a cooperative pose measurement system based on monocular vision is designed.Firstly, a cooperative target with wide range of functions, high precision and strong robustnes
5、s is designed for complex space working conditions.Secondly, one-pixel-width edge extraction algorithm is designed by image gradient method, and target identification is done with center matching and other constraints.Thirdly, the relationships between distance of feature points and precision of pos
6、e measurement are derived, and the extraction strategy of feature points based on partition processing is designed to realize the extraction and number of feature points in complex conditions, expand the working distance and improve the precision of pose measurement.The experimental results show tha
7、t the processing speed is about84.3 ms/frame in Matlab for the image of 640 pixel480 pixel.Pose measurement errors are less than 5 mm and 1within the range of 2.2 m.This system meets the cooperative task need of small-scale space robots.Keyword： machine vision; monocular vision; cooperative target;
8、target identification; pose measurement; precision analysis; Received： 2017-06-211 引言小巧灵活、可协同工作, 而且具有高性价比和高可靠性的小型协同空间机器人将在太空活动中发挥重要作用, 是近年来的研究热点。美国国家宇航局的约翰逊航天中心 1994 年成功开展了 Mini AERCam 项目的在轨实验, 验证了小型机器人舱外自主巡检的关键技术1。2016 年, 美国白宫宣布启动“小卫星革命”计划, 标志着未来小型化、低成本卫星将成为重点研究方向2。1996 年至今, 麻省理工学院持续开展了 SPHERE 项目的研
9、究, 以期研制出具有自主协同能力、低成本、小型化的空间操作设备3。2017 年 1 月 9 日, 美国国防部测试了自治无人系统, 释放出的 103 架 Perdix 无人机展示了自适应编队飞行、集体决策和航线恢复等先进群体协同行为。未来, 小型化且具有协同能力的空间机器人将用于空间光学载荷的在轨制造、组装、维修、维护、空间碎片和失效卫星的清理等任务场景中, 并且可与大型机械臂形成有机互补, 以完成更加复杂的太空工程4-5。小型空间机器人协同工作时, 需要实时求取协同位姿。采用陀螺仪和星象跟踪仪求解位姿的方法价格昂贵, 难以满足低成本的需求;采用激光雷达则会在近距离协同时产生严重的信号干扰, 且
10、成本较高, 不符合工作需求;利用超声波信标和接收器虽可求取位姿, 但算法过于复杂, 不满足实时性的要求6。因此, 本文采用了视觉测量的方法, 较于上述方案, 具有系统构成简单、易于实现和成本低廉等优势7-9。该系统采用单目视觉, 与双目视觉和多目视觉相比, 具有相机标定简单、操作方便和校准容易等优点10-13。合作靶标的设计兼顾了系统工作条件的复杂性和系统测量精度的要求, 较于文献3, 14, 15的合作靶标, 其作用范围更广、精度更高、稳健性更强, 且不需要附加电源设备14-15。本文算法部分设计了基于图像梯度的单像素边缘提取算法, 与最常用的 Canny 算子相比, 效果更好。通过约束条件
11、识别方形、圆形和线段, 以实现合作靶标的识别。推导了特征点距离与位姿求解精度的关系, 基于合作靶标提出了特征点的分区提取策略, 在不同区域使用不同的特征点不但改善了位姿求解精度, 而且扩展了工作距离。设计实验表明, 本文设计的单目视觉位姿测量系统满足空间协同工作的任务需求。2 单目视觉位姿测量系统概述2.1 视觉测量系统应用示例视觉位姿测量系统的应用示例如图 1 所示。以 3 个小型空间机器人为例, 为了进行协同工作, 可以让 Q、R 两个机器人都对 P 机器人进行视觉观测, 从而能够调整自身位姿, 最终使这 3 个小型机器人具有特定的位姿关系。利用此位姿关系, 便可实现空间载荷的组装与维护、
12、失效卫星碎片的清理等任务。图 1 单目视觉位姿测量系统的应用示例 Fig.1 Application example of monocular vision pose measurement system 下载原图每个小型空间机器人均安装有单目相机与合作靶标。以 P 和 Q 为例, 建立机器人固有坐标系 P 与 Q, 则 Q 相对于 P 有 6 个自由度, 分别是沿 X、Y、Z 向的移动和绕 X、Y、Z 向的旋转, 可分别表示为旋转矩阵 RQ/P和平移向量 tQ/P, 图 1中其他坐标系间的表示以此类推。通过各个坐标系的相互关系, 可得式中 RC/P、t C/P、R Q/T、t Q/T为已知量
13、, 视觉测量系统可测得旋转矩阵 RT/C和平移向量 tT/C, 代入后便可求得 RQ/P和 tQ/P, 即 2 个小型空间机器人的协同位姿。同理可得 P 与 R 的位姿关系。利用多个小型机器人的协同位姿关系, 便可完成空间协同任务。2.2 视觉测量系统构成为了验证机器人的近距离空间位姿协同与指向能力, 本文设计了单目视觉位姿测量验证系统, 如图 2 所示。该系统主要由单目相机、相机安装架、合作靶标和 UR10.0 机械臂组成。其中, 相机安装架和 UR10.0 机械臂与隔振平台固连;相机固定于安装架保持静止;合作靶标贴放于机械臂末端并随之运动。图 2 视觉位姿测量系统构成 Fig.2 Comp
14、osition of vision pose measurement system 下载原图特别指出:1) 系统采用 UR10.0 机械臂是因为可以利用机械臂末端的空间位姿来标定验证视觉测量的精度;2) 该系统是技术验证系统, 在 2.2m 距离范围内, 测量误差在 5mm、1以内, 后续的技术指标可以根据具体的任务需求统筹设计。2.3 视觉测量系统工作流程单目视觉位姿测量系统的工作流程如图 3 所示。具体说明如下:上位机通过单目相机实时采集含有合作靶标的图像, 并对靶标进行识别与协作点提取, 最后利用 P4P (perspective 4-point) 方法完成位姿解算。至此, 便求得了相机
15、与合作靶标的位姿关系。图 3 系统工作流程图 Fig.3 Workflow diagram of system 下载原图P4P 算法如图 4 所示, 4 个特征点在目标坐标系下表示为 yn, 在相机坐标系下表示为 xn。根据两坐标系的变换关系可得式中 xn=dnvn为相机光心指向靶标特征点的矢量, d n表示矢量长度, v n表示矢量方向。取方差为 k, 可得图 4 P4P 位姿求解原理图 Fig.4 Illustrative diagram of P4Ppose solution 下载原图设定初始值为 dn, 终止条件为 k- k+1Gy, 则说明该像素属于竖向边缘像素;否则属于横向边缘像素
16、。4) 第一次筛选边缘像素。合作靶标具有对比度强的特点, 因此黑色线条与白色背景之间的边缘像素的灰度梯度值 G 比较大。可设定灰度梯度阈值 G0, 若满足GG0, 则保留为边缘像素;否则, 舍弃。以此筛选出图像中灰度值变化剧烈的边缘像素。5) 第二次筛选边缘像素。设定阈值 G1, 对分类的像素进行局部扫描。对于竖向和横向的边缘像素点, 若分别满足 (7) 、 (8) 式, 则保留为边缘像素, 否则, 舍弃。6) 联结边缘像素得到单像素边缘。对经过两次筛选后的边缘像素采用 8 向链码原理进行连接, 如图 6 所示。连接时遵循 G 值最大原则, 例如对于竖向边缘像素向下搜索时, 若 5、6、7 三
17、个方向均是边缘点, 则选取 G 值最大的点进行联结。该图像经过上述步骤, 便可检测到单像素的边缘, 举例如图 7 所示。首先像素由正方形表示;第 2 步计算灰度梯度, 由数字表示;第 3 步竖向边缘像素用绿色表示, 横向边缘像素用黄色表示;第 4、5 步筛选得到的边缘像素用粗框表示;第 6 步连接边缘像素得到单像素边缘, 顺序依次为 50、55、56、52、49、46。图 6 8 向链码原理 Fig.6 Principle for eight-direction chain code 下载原图图 7 单像素边缘检测示例 Fig.7 Example of one-pixel-width edge
18、 detection 下载原图4.2 靶标识别设计的合作靶标包含方框、圆环和线段 3 种元素。利用单像素边缘对这 3 种元素进行识别, 进而完成对靶标的识别。1) 圆环识别与方框识别。采用如下约束条件筛选出圆环和方框。约束一:面积与周长的关系约束。对提取的单像素边缘封闭区域进行像素个数统计, 记为区域面积 S;单像素边缘的相邻像素, 4 邻接的距离记为 1, D 邻接记为, 历经整个边缘, 将距离之和记为区域周长 C。设定阈值 e1与e2。若满足 (9) 式则为圆形, 若满足 (10) 式则为方框。约束二:中心点匹配约束。首先利用 (11) 式求出区域的中心坐标, 再利用粗提取的中心坐标进行中
19、心匹配。以圆环为例, 考虑成像时的量化误差等因素, 针对单个圆环, 将内圆圆心 Oin和外圆圆心 Oout之间的距离限制在固定阈值 Ot内, 即可满足识别需求:式中 (x i, yi) 是该区域的边缘点坐标。约束三:数量与距离约束。对于无遮挡的完整靶标, 采用数量约束, 即方框内包含 4 个圆环与 4 条线段, 则认为是靶标。对于有遮挡的靶标, 则先采用距离约束, 即一定距离内出现 3 个圆环, 再采用数量约束, 即该距离内出现两条线段, 则认为是靶标。约束四:极坐标关系约束。该约束用于验证上 2 个约束识别靶标的准确性。将各个区域边缘的坐标转化为极坐标 r-, r 为边缘上的点到中心的距离,
20、 为对应角度。 历经 02, 若 r 过渡相对平稳, 则判定为圆形;若 r 有 4 处或 2 处变化剧烈且有较高峰值, 则判定为方形, 如图 8 所示。实际靶标用极坐标表示时, 圆环 r 要比方框 r 小很多, 因此不必考虑两者间的干涉问题。图 8 极坐标检测法。 (a) a=0; (b) a=70; (c) 图 (a) 的极坐标曲线; (d) 图 (b) 的极坐标曲线 Fig.8 Polar coordinate detection method. (a) a=0; (b) a=70; (c) polar curve of Fig. (a) ; (d) polar curve of Fig.
21、 (b) 下载原图2) 圆环间的线段识别。根据靶标特点可以大致确定线段出现的区域, 在该区域搜索单像素边缘, 若搜索成功, 则根据边缘点坐标 (x i, yi) 求出 X、Y:若满足 XY, 则分别记 (x min, y1) 和 (x max, y2) 为 (x s, ys) 和 (x e, ye) , 举例如图 9 所示;否则, 分别记 (x 1, ymin) 和 (x 2, ymax) 为 (x s, ys) 和 (x e, ye) 。图 9 线段检测示例 Fig.9 Example of line detection 下载原图从像素 (x s, ys) 历经边缘至像素 (x e, ye)
22、 , 顺时针历经长度记为 ledge1, 逆时针历经长度记为 ledge2, 取两者的平均值;并计算 (x s, ys) 与 (x e, ye) 两像素的直线距离:设定阈值 l0, 完成线段的识别:5 基于分区处理的特征点提取策略5.1 特征点距离对测量精度的影响现推导特征点之间的距离对位置求解精度的影响, 如图 10 所示。靶标的 4 个特征点 A、B、C、D 在像平面分别成像为 A1、B 1、C 1、D 1。O-XYZ 为相机坐标系, Z为光轴方向, f 为相机镜头与像平面的距离。以 Z 向为例, 为简化问题的推导过程, 假定保持 AB 与 A1B1的角度关系不变, 由几何关系可知整理可得
23、则特征点 A 在 Z 向上的测量误差为联立 (16) (18) 式可得同理可得其他特征点的 Z 向误差, 对 4 个特征点的误差取平均值得到合作靶标的 Z 向误差为由 (19) 、 (20) 式可知, 靶标的 Z 向位置测量误差与特征点间的距离有关, 即距离越大, 则|Z|越小, 即位置测量误差越小。两者大致呈反比例关系。推导特征点之间的距离对姿态求解精度的影响。以俯仰角 为例, 为简化问题的推导过程, 只对 AB 进行分析, 如图 11 所示。图 1 0 P4P 位姿求解原理图 Fig.10 Principle graph of P4Ppose solution 下载原图图 1 1 俯仰角精度分析图 Fig.11 Precision analysis chart of pitch angle 下载原图由几何关系可知整理可得则俯仰角 的余弦值为则特征点 B 对俯仰角 的影响为
