1、智能眼镜辅助的激光跟踪仪移动测量系统 曹逸凡 郑联语 张宏博 秦兆君 北京航空航天大学机械工程及自动化学院 摘 要： 针对大尺寸精密测量领域所使用的激光跟踪仪在工业现场测量过程中测量信息传递不畅、需要多人协同等问题, 考虑智能眼镜等可穿戴设备的独特优势, 提出了一种使用智能眼镜移动控制激光跟踪仪进行测量操作的方法, 并设计和实现了一个基于智能眼镜的激光跟踪仪移动测量系统。首先, 建立一个多客户端/服务器结构。其中, 智能眼镜移动端与激光跟踪仪控制系统均与计算机服务端相连接, 三者通过局域网与 TCP/IP 协议实现互联互通。其次, 开发了良好的网络通信功能模块, 通过使用多线程技术实现了智能眼
2、镜移动端、计算机服务端与激光跟踪仪控制系统的信息传递, 通过将测量过程转换为独立的测量任务的方式, 使本系统能够快速地完成测量。最后, 通过对测量过程的语义定义, 开发语音识别控制模块, 降低了智能眼镜应用的操作难度, 在大尺寸测量过程中解放双手, 提高了激光跟踪仪测量的智能化水平。关键词： 智能眼镜; 激光跟踪仪; 移动测量; 互联互通; 作者简介：曹逸凡，硕士研究生, 研究方向为可穿戴设备的工业应用。作者简介：郑联语, 博士、教授, 研究方向为数字化智能化制造技术、数字化测量与质量控制技术、可重构柔性制造技术, 制造系统建模与仿真技术, E-mail:。基金：国防工业技术发展项目 (JCK
3、Y2016601C004) A Laser Tracker Mobile Measurement System Aided by Smart GlassesCAO Yifan ZHENG Lianyu ZHANG Hongbo QIN Zhaojun School of Mechanical Engineering and Automation, Beihang University; Abstract： Concerning the communication obstacles of the working laser tracker in the field of large-scale
4、 precision measurement, combining the unique advantages of the smart glasses, a method of mobile controlling the laser tracker with smart glasses was proposed and a laser tracker mobile measurement system based on smart glasses was designed and implemented. Firstly, the framework of this system is m
5、ulti-client server. The mobile terminal in the smart glasses and the laser tracker system were connected to the server with the TCP/IP protocol. Secondly, an effective network module was established in order to communicate with the mobile terminal, the server and the laser tracker system by using mu
6、lti-threading technology. After that, the measurement process was divided into independent measure tasks so as to improve the working efficiency. Finally, semantics definition in the measurement process and speech recognition module were achieved to ease the difficulty of smart glasses application,
7、free the hands of wearer and improve the intelligence level of laser tracker measurement.Keyword： Smart glasses; Laser tracker; Mobile measurement; Interconnection; 智能眼镜是近几年来出现的一种新型的可穿戴智能硬件。通过将光学显示器、麦克风、扬声器、传感器以及处理器等硬件以眼镜的形式集成起来, 并在硬件上搭载软件操作系统, 智能眼镜基本具有显示图像、播放音频、拍照摄像以及连接无线网或蓝牙等功能。正因为其功能相对比较完善, 且具有可穿
8、戴的优势, 智能眼镜等可穿戴设备在技术信息显示、操作训练与虚拟装配、设备监控与维护、团队协作、质量保障和远程会议等方面得到越来越多的应用1-2, 在基于工业的可穿戴设备辅助系统的研究方面, 夏侯士戟等3-4提出了基于可穿戴计算的现场作业辅助创新模式, 并建立“知晓车间”原型。白寰5建立了一个基于可穿戴计算的协同维护支撑系统。Murakami 等6通过头戴显示设备实现了基于触觉反馈的虚拟装配。Hao 等7在云制造领域使用智能眼镜与增强现实技术进行了人与设备的互联互通系统设计与实现。而在以装配为代表的典型现场作业, 往往需要动态地精确测量物体的位姿信息并及时反馈给操作者, 以便精确实施装调操作。但
9、是, 当前智能眼镜并不能提供几何量测量功能, 也不能将其他测量设备的信息集成起来。激光跟踪仪在大尺寸精密测量领域有广泛的应用, 基于模型的自动测量是关键技术之一8。但是, 现阶段大多数激光跟踪仪仍是通过控制柜与某台安装工业测量软件 (如 Spatial Analyzer) 的计算机进行有线连接来完成测量任务。在工业现场, 一般是一人在计算机前操作工业测量软件, 另一人手持激光跟踪仪反射器, 双人或多人协同完成某项测量任务。在复杂工业环境中, 需要软件操作人员与测量人员不断进行交流以完成测量任务, 这种交流通常是通过语言来进行的, 实现信息的传递不但十分耗费时间和体力, 而且准确性不高。针对以上
10、问题并结合智能眼镜的优势, 本文提出了一种基于智能眼镜的激光跟踪仪移动控制系统。通过该系统, 测量人员可以直接佩戴智能眼镜通过语音以及手势等方式操控激光跟踪仪, 并在智能眼镜上实时观察测量数据, 实现了测量信息传递的闭环, 为解放操作人员双手, 提高作业过程中效率与准确性奠定了基础。系统设计1 系统总体结构系统总体结构如图 1 所示, 是一个多客户端/服务器结构, 其中, 客户端为一个智能眼镜移动应用, 智能眼镜应用软件与智能眼镜与眼镜佩戴者形成一个数字化人9的整体来协同工作, 智能眼镜移动端为一个 Android 应用。安装在基于Android4.0.3 系统的 Vuzix M100 智能眼
11、镜上。服务器表示位于计算机上的服务端软件。激光跟踪仪为独立的外部系统, 但是服务端内部有相应的模块接口与之通信, 本系统主要支持 Leica 系列激光跟踪仪。客户端与服务端之间, 服务端与激光跟踪仪之间通过局域网建立 TCP/IP 连接, 实现信息传递。2 服务端系统功能模块图 1 中服务端功能模块主要包括 4 个部分, 分别是智能眼镜模块、激光跟踪仪模块、测量信息模块和测量任务模块。智能眼镜模块拥有两个子功能或模块, 分别是智能眼镜信息管理与智能眼镜设备通讯模块;激光跟踪仪模块拥有两个子功能或模块, 分别是激光跟踪仪信息管理与激光跟踪仪通信模块;测量信息模块包括测量信息管理功能与测量结果管理
12、功能;测量任务模块包括测量任务管理功能与测量任务执行功能。数据层包括 3 个数据库, 智能眼镜信息库、激光跟踪仪信息库与测点信息库。其中, 智能眼镜信息库保存连接服务器的智能眼镜的信息, 包括 ID、设备名、操作者以及上次连接时间等。激光跟踪仪信息库保存激光跟踪的信息, 包括ID、名称、IP 地址、端口号等。测点信息库主要保存测量点的基本信息, 包括ID、名称、理论坐标值 X、理论坐标值 Y、理论坐标值 Z 等。智能眼镜信息管理功能对在智能眼镜信息库中保存的智能眼镜的基本信息进行管理。同时提供初次注册功能, 让智能眼镜能够获取服务器的 IP 地址与端口号等必要的连接信息。智能眼镜设备通讯模块主
13、要负责发送与接收来自智能眼镜的消息并作相应的消息处理。图 1 系统总体结构图 Fig.1 Overall structure of the measurement system 下载原图激光跟踪仪信息管理负责对在激光跟踪仪信息库中保存的激光跟踪仪的基本信息进行管理。包括激光跟踪仪代号、激光跟踪仪名称、激光跟踪仪连接 IP 地址与端口号。同时实现包括激光跟踪仪参数设定等功能, 主要包括物理单位量的设定、现场环境参数的设定、反射器的设定以及坐标系的设定等。激光跟踪仪通讯模块主要负责与激光跟踪仪进行通讯。测点信息管理主要负责管理被测对象的数模点的测量信息, 包括数模点 ID、测点名称与理论值 X、Y
14、、Z 的坐标。测量结果管理功能主要将测量完成后的实测数据保存为其他文件格式, 如 txt.或 excel.。测量任务管理功能负责对用户所见的测量任务进行管理。包括测量任务的建立、删除和状态更改等。测量任务执行功能主要执行测量任务, 并且向激光跟踪仪发送测量指令消息, 向智能眼镜发送测量结果消息。3 移动端系统功能模块如图 1 所示, 移动端主要包括 3 个功能模块, 分别是测量辅助模块, 基础模块及网络通信模块。测量辅助模块主要包括 3 个功能, 分别是测量任务选择、测量任务执行与测量结果显示。通过这 3 个功能, 用户可以完成一个测量任务。测量任务选择:该功能将本智能眼镜的测量任务以列表的形
15、式展现出来。测量任务执行:通过对测量任务的测量点以交互方式进行测量。测量结果显示:将服务器返回的测量结果显示在智能眼镜上。基础模块包括两个功能, 分别是语音识别功能与手势识别功能。这两个功能的作用是通过语音或手势的方式实现对软件界面的操作, 降低智能眼镜操作的不适感, 让操作者更加方便地操控设备。语音识别功能可以识别智能眼镜佩戴者所说的中文语音。并通过其语音的消息响应自动执行相应的代码段, 实现了佩戴者对软件的语音控制。手势识别功能可以通过智能眼镜传感器识别佩戴者的手势, 包括上移、下移、前移、后移以及远离和靠近等。通过简单的手势识别以及响应函数的添加, 实现了页面滑动等功能。网络通信模块是实
16、现基于智能眼镜的移动测量的关键。系统网络通信1 基于 Socket 的多端网络通信与消息处理在网络通信模块中, 由于智能眼镜、服务器端和激光跟踪仪三者随时需要进行交互式的通信, 因此需要使用 Socket 来建立长连接, 同时主要依靠多线程的使用实现多个智能眼镜与服务器的连接。每当服务端接收到来自智能眼镜移动应用的连接请求, 便会生成一个客户端线程, 并将其放入线程池进行管理。在这个客户端线程中, 包含了一个消息处理线程以及消息处理队列, 一个消息发送线程以及消息发送队列 (图 2) 。在本系统中, 将一个消息定义为一个不定长度的字节流。其中, 一个消息类包括 4 个字节的消息头、4 个字节的
17、发送者代号、4 个字节的接受者代号、4 个字节的数据长度值、4 个字节的数据类型代号、不定长度的数据和 4 个字节的结尾标识。发送线程会将一个消息类实例通过以上的顺序以字节流的形式发送, 而接收方则通过以上顺序接受字节流并还原为一个消息。在客户端向服务端发送 Socket 连接请求之后, 服务端会创建一个客户端通信线程, 并将其放入线程池中进行管理。在客户端没有发送消息的时候, 该通信线程会阻塞并等待消息。在接收到客户端所发送的消息后, 客户端通信线程将该消息放入消息处理线程的消息队列中, 交由消息处理线程进行处理。消息处理线程会自动识别消息的关键字段的信息并开启相应的工作线程去处理该消息。在
18、工作线程完成处理后, 生成的结果消息会放入消息发送线程中的消息发送队列。消息发送线程会将队列中的消息逐个发送给客户端。2 基于 em Scon 的激光跟踪仪控制em Scon 是 Leica 激光跟踪仪的开源底层控制软件。通过 em Scon 可以使用任何系统或平台来控制 Leica 激光跟踪仪进行测量10。本文通过 em Scon 的应用程序编程接口 TPI (Track Programming Interface) 来开发激光跟踪仪控制模块, 实现对 Leica 激光跟踪仪的控制。本系统中 em Scon 具体版本为 em Scon 3.5 版本, 可支持的 Leica 激光跟踪仪型号包括
19、 AT Tracker Series 10余种系列型号。图 2 多客户端消息处理流程 Fig.2 Multi-client message workflow 下载原图激光跟踪仪控制模块中主要包括 TPI 中的 3 种功能类: (1) Socket 网络连接功能类以及其拓展类, 主要用于连接激光跟踪仪, 并且与激光跟踪仪通信, 进行消息收发的操作; (2) 消息命令类 CESAPICommand 以及其拓展类, 主要用于将用户需要发送的指令整合为一个消息, 并发送给激光跟踪仪; (3) 消息接受类CESAPIReceive 以及其拓展类, 主要用于解析来自激光跟踪仪的消息, 并将关键信息提取出来
20、进行后续的处理与显示。基于测量任务的测量过程定义与执行智能眼镜屏幕较小, 无法使用诸如鼠标和触屏的方式进行操作, 因此不能根据传统的激光跟踪仪控制软件的测量过程来开发与实现测量的功能。本文采取了一种基于测量任务的测量方式, 来借助智能眼镜控制激光跟踪仪完成测量操作。在服务端, 用户可以通过在测量任务管理模块建立测量任务。本文将一个测量任务分解为以下几个部分:分别是测量任务的名称, 测量任务的类型, 执行测量任务所用的智能眼镜和激光跟踪仪以及该测量任务需要测量的若干测量点。服务端测量任务建立的界面如图 3 所示。测量任务可以分为两种: (1) 坐标系建立任务, 主要用于激光跟踪仪在测量物体局部坐
21、标系下的定位; (2) OTP 点测量任务, 用于测量 OTP 点。图 4 为测量任务执行的流程图。在智能眼镜进入辅助测量功能之后, 智能眼镜首先会向服务器请求测量任务的信息, 服务器会发送该智能眼镜的全部测量任务信息给智能眼镜, 之后智能眼镜选择一个测量任务, 然后服务器会将该测量任务的全部测量点信息发送给智能眼镜, 并且开启测量模式, 将智能眼镜的测量指令发送给对应的激光跟踪仪。图 3 服务端测量任务建立 Fig.3 Defining a task on the server 下载原图图 4 测量任务执行流程 Fig.4 Workflow of a measurement task 下载原
22、图基于语义识别的智能眼镜操作指令下达现阶段, 由于智能眼镜可穿戴的特殊性, 其操作方式有诸多的限制。目前, 市场上的智能眼镜多采用按键控制、语音控制、手势识别或眼动跟踪的方式等方式进行操作11。为了充分体现智能眼镜解放双手的特点, 同时为控制激光跟踪仪提供便利, 本文实现了基于语义识别的操作指令下达功能。首先, 本文对激光跟踪仪测量过程中常用的操作指令进行了归纳总结, 将每个操作指令定义为一个 24 字的语义, 如表 1 所示。表 1 操作指令定义表 下载原表 本文将激光跟踪仪测量任务中的操作指令分为 3 种类型; (1) 基础指令, 代表在测量过程中一些基础性操作的指令; (2) 测量指令,
23、 表示在测量过程中涉及到测点数据变化或其他数据变化的指令; (3) 控制指令, 表示在测量过程中仅控制激光跟踪仪进行某种操作且不导致数据变化的指令。本文使用智能眼镜制造商提供的开发包实现语义识别功能。首先, 定义一个String 类型的 Array List 数组, 并将上述的语义存入该数组。接着调用语音监听服务类加载该数组, 该语义数组便自动加载入本地语音库。之后调用服务类的语音监听功能即可实现语音识别功能。在回调函数中抓取识别到的语音字符串并与自定义的语义比较, 如果字符串与自定义的语义相同, 则执行相应的功能。实例验证本系统通过对某长方形金属板的四角坐标以及中心坐标的测量来验证智能眼镜移
24、动控制激光跟踪仪的控制准确程度以及激光测量仪的测量结果是否正确。本次验证所采用的激光跟踪仪为 Leica 的 AT901B 型号激光跟踪仪, 其系统为 em Scon3.6.400。某长方形金属板的长度约为 1170mm, 宽度为 565mm, 该金属板 5 个关键点在某任意局部坐标系下的坐标分别为 TB1 (-200, 70, 0) 、TB2 (-200, 635, 0) 、TB3 (970, 635, 0) 、TB4 (-970, 70, 0) , 如图 5 所示。首先, 先新建两个测量任务, 分别是坐标系建立任务和 OTP 点测量任务。坐标系建立任务包括 TB1TB4 4 个测量点, 主
25、要用于激光跟踪仪在局部坐标系下的定位。OTP 点的测量任务包括一个 OTP 测量点, 用于验证激光跟踪仪测量的准确性。在眼镜端首先选择第一个测量任务, 分别测量 4 个 TB 点后使用“开始转换”与“应用转换”指令, 让激光跟踪仪转到测量物体的局部坐标系下, 如图6 (a) 和图 6 (b) 所示。在激光跟踪仪被定位到待测物体的局部坐标系下之后, 便可以开始进行 OTP 点的测量, 如图 6 (c) 所示。测量人员可以使用按键或者语音的方式进行测量操作, 如对于测量该 OTP 点而言, 测量人员既可以通过智能眼镜上的按键将光标移动至“测量”按钮的位置并点击确认按钮进行测量, 也可以直接通过说出
26、语音指令“测量”二字来进行测量操作。可以看出, OTP点的坐标基本上在理论点附近, 其中 X 的坐标相差为 0.06mm 左右, Y 的坐标相差为 0.09mm 左右, Z 的坐标相差为 0.09mm 左右。可以看出, 激光跟踪仪的坐标系已经与待测物体的局部坐标系相符合, 且测量结果准确。通过呼出“菜单”界面, 可以通过“跟踪模式”让激光跟踪仪进入连续测量状态并不断返回测量值, 如图 6 (d) 和图 6 (e) 所示。在图 6 (e) 中, 智能眼镜会不断显示当前反射器位置坐标与测量点理论坐标的差值。在软件界面设计风格上, 如图 6 所示。在移动端应用界面上, 每一个可被识别并有消息响应的语
27、音指令均使用双引号标注, 用户通过说出该词语即可实现相应的操作。并且, 智能眼镜的软件的背景以黑色为主, 避免白色等容易让佩戴者产生视觉疲劳的颜色。为更好地说明本系统测量结果的可信度, 本文使用标准尺的数据与 Spatial Analyzer 软件的测量结果与本系统测量结果比较, 验证结果的可信度。图 5 金属板模型图 Fig.5 3D model of metal plate 下载原图图 7 所示为测量试验现场实物图与待测标准尺的图片。其中点 P1与 P3的距离为711.178mm, P1点与 P2点的距离为 361.941mm。图 6 移动端测量任务的执行界面 Fig.6 Executio
28、n interface of the measurement task on the glasses 下载原图现利用 Spatial Analyzer 软件与本系统分别对 P1、P 2和 P3点进行测量, 测量结果如表 2 所示。使用两点间的距离公式, 可得出 Spatial Analyzer 软件与本系统的测量的P1P2的长度与 P1P3的长度, 如表 3 所示。从表 3 可以看出, 本系统对该标准尺长度的测量与实际值十分相近。由于激光跟踪仪测量误差为0.02mm, 故本系统与 Spatial Analyzer 的最终计算值均与实际值有约 0.05mm 的误差。而 Spatial Analy
29、zer 目前为行业应用的专业测量软件, 可以充分说明本系统的测量结果可信度。结束语本文将智能眼镜与工业现场测量实际情况结合, 设计并开发了一套基于智能眼镜的激光跟踪仪移动控制系统, 该系统能够让测量人员通过智能眼镜下达测量指令, 并且可在智能眼镜上显示测量结果, 实现了智能眼镜佩戴者对激光跟踪仪的移动控制, 保证了精密测量过程中的测量数据的闭环传递, 能够减少在测量过程中的不必要语言交流, 提高测量工作效率。理论上可将完成测量任务的测量人员最低人数由两人减少为一人, 减少了人力成本。但是, 本系统目前只能够满足工业现场测量的部分测量需求, 部分其他辅助功能仍待开发与完善。图 7 测量试验现场
30、Fig.7 Physical picture of a measurement situation 下载原图表 2 测量坐标表 下载原表 表 3 距离结果对比表 下载原表 参考文献1陈东义, 夏侯士戟, 黄志奇, 等.面向工业应用的可穿戴计算技术J.电子科技大学学报, 2009 (5) :678-686.CHEN Dongyi, XIAHOU Shiji, HUANG Zhiqi, et al.Wearable computing technology for industrial applicationsJ.Journal of University of Electronic Scienc
31、e and Technology of China, 2009 (5) :678-686. 2ALEKSYM, RISSANENMJ.Utilizing wearable computing in industrial service applicationsJ.Journal of Ambient Intelligence&Humanized Computing, 2011, 5 (4) :394-400. 3夏侯士戟, 陈东义, 黄志奇.基于可穿戴计算的现场作业辅助模式J.计算机集成制造系统, 2007, 13 (11) :2269-2275.XIAHOU Shiji, CHEN Dong
32、yi, HUANG Zhiqi.On-site task assistant pattern based on wearable computingJ.Computer Integrated Manufacturing Systems, 2007, 13 (11) :2269-2275. 4夏侯士戟.基于可穿戴计算的企业现场作业辅助系统及关键技术研究D.成都:电子科技大学, 2009.XIAHOU Shiji.Study on enterprise on-site task assistant system and key technologies based on wearable comp
33、utingD.Chengdu:University of Electronic Science and Technology of China, 2009. 5白寰.基于可穿戴计算的设备维护协同作业支撑系统研究D.成都:电子科技大学, 2009.BAIHuan.Wearablecomputing supported cooperative work system for equipment maintenanceD.Chengdu:University of Electronic Science and Technology of China, 2009. 6MURAKAMI K, KIYAM
34、A R, NARUMI T, et al.Poster:A wearable augmented reality system with haptic feedback and its performance in virtual assembly tasksC/3D User Interfaces (3DUI) , 2013 IEEE Symposium on.IEEE, 2013:161-162. 7HAO Y, HELO P.The role of wearable devices in meeting the needs of cloud manufacturing:A case st
35、udyJ.Robotics and Computer-Integrated Manufacturing, 2015, 45:168-179. 8郑联语, 朱绪胜, 姜丽萍.大尺寸测量技术在航空制造业中的应用及关键技术J.航空制造技术, 2013 (7) :38-41.ZHENG Lianyu, ZHU Xusheng, JIANG Liping.Application of large-scale measurement in aviation manufacturing and its key technologyJ.Aeronautical Manufacturing Technology
36、, 2013 (7) :38-41. 9董伯麟, 王治森, 王纯贤.基于数字化人的车间数字化制造系统J.中国机械工程, 2008, 19 (15) :1815-1820.DONG Bolin, WANG Zhisen, WANG Chunxian.Digtital manufacturing shop based on digital humanJ.China Mechanical Engineering, 2008, 19 (15) :1815-1820. 10胡宝海.基于 em Scon 的多激光跟踪仪协同测量关键技术研究D.杭州:浙江大学, 2012.HU Baohai.em Scon-
37、based collaborative measurement technologies of multi-laser trackerD.Hangzhou:Zhejiang University, 2012. 11李杰.面向智能眼镜的交互控制系统研究及实现D.成都:电子科技大学, 2015.LI Jie.Study and implementation of interactive control system for the smart glassD.Chengdu:University of Electronic science and Technology of China, 2015.
