1、基于增强现实技术的物联网数据呈现与交互 孙效华 张绳宸 Jan Dornig 同济大学 摘 要： 目的 分析运用增强现实技术支持物联网数据呈现与交互的应用方式, 并归纳其技术实现所需要的支持, 为进一步的研究与应用提供思路和方法。方法 根据增强现实技术应用于物联网数据呈现与交互的适用特性, 对其应用可能进行分析描述。结论 增强现实技术在物联网数据呈现、数据关联、数据交互、数据模拟、远程增强与协同操作等方面均有广阔的应用空间, 能够提高数据呈现与交互过程中的直观程度、降低认知负担、支持更多样的呈现与交互形式, 帮助建立更加智能与易用的物联网系统。关键词： 增强现实; 物联网; 数据呈现与交互;
2、作者简介：孙效华 (1972) , 女, 河南人, 博士, 同济大学教授, 主要研究方向为交互设计与技术、大数据可视化分析、车载 HMI与车联网应用。同济大学设计创意学院教授、副院长, 同济大学数字创新中心负责人, 麻省理工学院设计与计算跨学科专业博士, 在交互设计与技术方面有 17年学术和企业经验, 曾在 MIT CECI、MIT 媒体实验室、FXPAL、IBM T.J.Watson Research Center、美国克拉克森大学、IBM 中国研究院等机构从事研究与教学, 与 Intel、西门子、华为、腾讯、上汽、PSA、Philips、VGC、SAP 等企业展开合作。同济大学数字创新中心
3、主要研究方向包括智能交互、AR/VR/MR、车载人机交互、大数据可视化、智能环境与城市科学等。中心围绕 AR/VR/MR技术展开的研究主要包括:基于 AR与物联网技术的远程协同设备检测和维护;基于光捕追踪增强的 AR互动信息可视化;基于光捕的 MR多人协同设计平台及其在垂直领域的应用, 如智能座舱创新与用户研究平台、服务机器人用户研究平台、整合 AR/MR的寻路辅助手段评估平台等。同时, 中心也开展大量 AR/VR/MR媒介中交互方式与设计原则的基础研究以及应用创新。收稿日期：2017-08-10基金：上海市设计学 IV类高峰学科资助项目 (DA17003) Data Presentation
4、 and Interaction of the Internet of Things Based on Augmented RealitySUN Xiao-hua ZHANG Sheng-chen Jan Dornig Tongji University; Abstract： It aims to analyze the application of augmented reality technology to support the data presentation and interaction of the Internet of things, and sum up the set
5、up needed for its technical implementation, providing ideas and methods for further research and application. According to the applicability of augmented reality technology in data presentation and interaction of Internet of things, the possible applications are analyzed and described. Augmented rea
6、lity can be applied in numerous aspects including information display, data association, data interaction, data simulation, remote augmentation and collaboration. The application of augmented reality can enable more intuitive presentation and interaction, reduce cognitive load and provide convenient
7、 tool for data analysis in complex Io T systems.Keyword： augmented reality; internet of things; data presentation and interaction; Received： 2017-08-10物联网已经广泛进入诸多产业的应用, 无时无刻不在感知和采集大量的数据。大型物联网系统多包含众多模块, 每个模块又由多个物联网设备提供多样化的信息, 使得传统形式的 LED、仪表、显示屏等数据呈现方式无法胜任对大量设备的异常值检测、综合分析、性能评估、问题定位等的支持, 也无法自由地切换不同细粒度的
8、信息呈现, 给数据的监测、分析与设备的维护带来了挑战, 亟需通过一种用户友好的方式支持物联网数据的呈现与交互。与此同时, 增强现实 (Augmented Reality, AR) 技术具有极强的将虚拟内容叠加在现实上的能力。在此种情况下, 探索使用 AR技术优化与拓展物联网数据呈现与交互的必要性应运而生。本文结合相关的最新实践, 从 AR技术的特点和优势出发, 对其在物联网数据呈现、关联、交互、模拟、远程增强与协同操作等方面可能的应用方式进行了分析。文章也对在物联网设备环境中支持 AR技术进行空间识别的方法以及支持应用实现的必要辅助信息进行了描述。1 国内外研究现状在使用 AR技术辅助物联网数
9、据的呈现与交互方面, 目前国内外已有一定的探索。Dongsik Jo和 Gerard Jounghyun Kim认为, 物联网和 AR技术是互补关系, 两者相互促进对方的作用发挥, 并试图建立可扩展的 AR物联网交互框架1;Rambach等人研究使用物体追踪来提高 AR用于物联网设备信息交互的效用2;Wehle, Mainzer, Ilic等人也从工业 4.0应用3、大规模智能物联网设备观测4、AR 设备类型对语境敏感的物联网服务交互的影响等不同方面, 提出了AR技术应用于物联网的可能与方法。刘立等提出利用 AR本地计算的特点, 还可以实现跨地域的远程协同5。Alexander 等指出, 智能
10、手机逐渐成为运用 AR进行物联网数据呈现与交互的重要方法6。Apple (i OS) 和 Google (Android) 均在近期发布了相应平台的 AR开发工具, 大幅提升了应用 AR技术的便利性。同时, Hololens 等专用设备也推出了大量对物联网数据可视化应用支持的工具集9。关于如何在物联网环境中对 AR的实现提供支持, 也有相关研究指出通过添加识别标记10和提供辅助信息11等方法, 提升 AR在现实物体上精准叠加虚拟内容的性能。这些方式已经被许多运行在智能手机或专用设备上的应用所采用。2 应用方式2.1 数据呈现AR通过对周边空间的识别能力, 为物联网数据的信息呈现引入了一个重要的
11、维度, 即距离。传统的物联网数据呈现形式将所有数据以层级方式或并列方式呈现, 消解了其中的空间因素, 因此在直观性、检索速度、不同细粒度的信息呈现能力等方面有所欠缺。通过引入信息的距离这一变化的维度, 基于 AR的物联网信息呈现能够在保证信息细粒度的同时, 基于距离因素对呈现信息进行动态的筛选、综合、调整呈现方式, 提供更小的认知干扰。同时, AR 具有多样的信息呈现方式, 除传统的数据、图表形式外, AR 支持使用色彩叠加、动态元素等非数据化、图表化的语义化直观形式呈现数据。通过选择适用的呈现形式, 将可以大幅降低物联网数据的阅读、分析与操作中的认知负担与操作难度。2.1.1 远距离物联网数
12、据呈现1) 呈现设备信息概览。较远距离下的视野范围决定了视野中将容纳更多设备, 周边环境也将同时处于可见状态, 因此, 远距离下的物联网数据信息呈现, 适用于呈现可视范围内通过物联网数据分析得出的设备的状态概览, 并能够呈现设备与数据、设备与环境间的关联性, 见图 1。2) 空间导航信息。在有既定目标的情况下, 通过在视野中叠加空间位置信息、导航信息、指向标记、提示符号等信息, 将能够加速目标设备、目标信息的定位, 有效地提高相关操作的直观性和检索速度。3) 动态的可视范围划定。AR 技术的基础, 在于通过算法对周边空间与自身的位置进行识别。基于得出的空间与位置信息, 可以实现对用户可视范围的
13、估计, 据此对数据呈现进行筛选, 并根据用户位置移动进行筛选的更新。在此语境下, 对可视范围有两种定义。一是肉眼可见的物联网传感或设备。根据现场的模型等数据, 评估某一瞬间某设备对用户的可见性, 并据此对其相关信息的呈现做出选择。例如, 在一个有大量物联网设备的环境下, 对于距离远、无法看清细节的设备, 可以认为其对用户不可见, 从视野中去除其信息;对于位于另一个房间, 不直接可见的设备, 也可做同样处理。二是虽然肉眼不可见 (如埋于墙壁内、位于大量视线障碍物之间、位于难以接近的区域、属于大型设备的一部分等) , 但属于用户的观测兴趣点或距离用户较近的物联网传感或设备。此时, 其可见性的定义就
14、不应当局限于肉眼可见, 而是根据其与用户观测兴趣的相关性和距离来确定, 并提供给用户自定义可见范围和分组屏蔽设备信息显示的选项功能, 提高系统的可用性。4) 情境数据整合。AR 用于远距离物联网数据信息呈现的的另一个优势, 在于其呈现的信息直接叠加于大的空间环境, 能够整合入必要的情境信息。例如, 对于一个生产车间, 对持有 AR设备的用户来说, 加工流程信息和产品状态数据将能够跟随附有物联网传感的某一产品经过整个加工流程, 实时呈现其状态的变化, 追踪加工中出现的问题;生产环境中的温度、湿度、空气质量等信息可以附于物联网设备信息的背景之上, 为分析提供必要的情境信息。图 1 不同距离下的信息
15、呈现 Fig.1 Information display under different spatial scales 下载原图5) 远距离信息的语义化呈现。对上述情境数据、空间导航信息等远距离信息内容, 可以采用导视符号、箭头、整体环境的颜色覆盖、图形等进行呈现, 使其更加直观。2.1.2 近距离物联网数据呈现1) AR作为替代显示设备的解决方案。物联网设备具有低成本、小型化、低功耗化的需求, 且常作为产品和系统的一部分隐藏其中, 通常不具备安装显示设备的条件。AR 只依赖用户端显示设备, 并能够将信息直接叠加于现实空间, 适合作为替代显示设备的解决方案。信息在用户视野中可以直接附着于设备表
16、面或悬浮在附近, 与传统现实设备效果等同的同时, 具有更加自由的信息呈现方式。2) 辅助精确定位。对于已知形态的设备, 其各组成部分均可利用 AR技术的空间感知能力进行精确的定位, 因此, 具体功能、操作对象乃至操作方式信息, 均可以直接叠加在对应部分, 为操作提供精确的定位与引导。3) 设备链接呈现。对于彼此具有功能、输入输出、隶属等链接关系的物联网传感器或设备, 可以通过其拓扑结构, 对其视觉上进行链接, 并将相关的数据进行同时呈现。4) 实时动态信息标记。对于实时变化的数据, 如内部传感器输出数值, 物理按钮、旋钮、开关的状态, 与其他设备的输入输出或发送接收的数据等, 均可以通过在对应
17、位置上叠加标签, 提供实时的直观呈现。5) 相关信息呈现。在语境确定的情况下 (如特定检修工作, 固定加工流程等) , 可以进行额外相关信息呈现。相关信息可能包括操作指南、备注、历史记录、硬件信息等, 见图 2。6) 近距离信息的语义化呈现。对于需要精确定位、准确标记的近距离信息, 也可以通过箭头、指示线、弹出框、图形标记、色块等进行呈现, 在直观化的同时, 有助于精确指出信息所对应的位置。2.2 数据关联基于 AR的物联网数据呈现具有的空间整合能力、基于距离的信息筛选能力和多样化的信息呈现方式, 能够支持将复杂系统内物联网设备数据与其相关数据、历史数据以及参照数据进行叠加呈现, 并支持自由地
18、在不同的细粒度之间进行切换, 使得多维度多细节层次的数据关联成为可能。1) 关联数据的呈现。通过分析数据的相关性 (输入输出关系、影响关系、同类关系等) , 综合参数输入、设备连接等情况, 呈现数据之间的关联, 可以将单一数据置于其所在环境中, 辅助做出更准确的判断。图 2 来自相关物联网传感器的实时动态信息标记 (左下) , 及设备输入输出的链接信息呈现 (上方) Fig.2 Dynamic display of sensor data (lower left) and show-ing input/output link information between devices (upper
19、) 下载原图2) 对照呈现。在所关注的设备及其关联设备的数据呈现上叠加历史数据和指标数据, 支持对当前的数据进行实地的对照分析。3) 与全局数据的关联呈现。将局部数据的呈现与全局数据的可视化进行关联, 为局部数据分析提供语境。2.3 交互物联网设备产生的数据具有实时性的特点, 结合 AR技术对实时自然交互的支持, 为更加直观化、全景化的数据分析与交互行为打开了新的可能性。通过 AR在物理空间中叠加虚拟内容的性质, 将可以实现基于物理设备和 AR设备的两方面交互的无缝结合, 并对交互的结果给予实时的反馈, 为复杂系统中的检测分析操作提供不可或缺的支持。同时, 交互也可以为物联网数据呈现提供重要的
20、语境信息, 为数据筛选提供重要依据。2.3.1 基于物理与虚拟界面的互动操作1) 基于物理界面的操作。可以在用户对物理界面 (旋钮、开关等) 进行操作的同时, 在其附近以及输入输出接口 (线缆、网络) 等处直接叠加显示相关状态与数据的更新, 见图 3。2) 基于虚拟界面的操作。用户也可以通过 AR虚拟界面进行参数调整, 并同样看到实时更新的数据与状态变化。虚拟界面可以直接附着于物理设备之上或跟随用户移动。2.3.2 基于当前交互语境的相关数据筛选物联网数据的交互, 本身具有操作对象、操作行为的语境信息。AR 技术的空间定位能力延展了物联网数据交互的信息维度, 在其上加入了诸如接近、触碰、移动等
21、物联网设备本身无法获知的交互行为, 从而支持更丰富的语境信息。语境信息与前文所述基于距离与设备关联的数据筛选可以共同作用于物联网设备产生的大量数据, 更加精准地筛选出符合当前交互需求的数据, 以合适的形式进行呈现。图 3 实时显示设备操作的数据结果 Fig.3 Real-time display of the resulting data changes from interaction 下载原图2.3.3 基于视线与设备位置的设备阵列操作对于多个相同物联网设备组成阵列的情况, 可以将其视为一个操作群组。当用户位置与设备群组的距离小于特定阈值, 则判断为单设备操作模式, 分别显示每个设备的操作
22、界面;当大于一定阈值, 则将群组作为操作对象, 通过显示一个统一的操作界面来进行操作。这种方法可以大幅减少重复的操作, 提高显示与操作的效率。2.4 模拟除了数据的呈现、关联和交互外, 依托 AR设备还可以进行物联网数据模拟。模拟过程中, 用户可以通过物理和虚拟界面进行输入, 模拟结果可以以数据或结合实际物体的语义化呈现进行展示。 (1) 参数模拟。在模拟状态下通过 AR界面操作对应设备的参数, 并获取该操作结果的实时模拟反馈。 (2) 群组模拟。对设备阵列的模拟, 可以通过前述的设备阵列操作来进行交互与呈现, 提高模拟的效率。 (3) 环境模拟。在模拟状态下, 移动设备位置、改变参数、调整设
23、备组成、模拟调整物理控制界面等, 并通过 AR叠加该操作对周边环境的影响。2.5 远程增强AR技术的本质是在现实场景上叠加虚拟内容。其中, 现实场景可以通过摄像设备获取, 不一定需要相关人员出现在现场, 因此, 可以利用已经十分成熟的流媒体传输技术, 将现实场景图像发送给 AR应用进行信息叠加, 从而摆脱物理设备所在空间的局限。通过架设常见的摄像设备, 可以在几乎任何空间整合 AR物联网数据呈现与交互系统。也可以加入深度、红外等摄像设备, 对专门应用提供支持。同时, 对于难以安装静态摄像设备, 或有机动性要求的场合, 以及操作者不能进入的环境, 可以通过在机器人、动态机械组件、无人机上等安装摄
24、像设备进行拍摄, 见图 4。2.6 协同操作具有物联网功能的设备正逐渐普及, 其结构组成也日益复杂化。这些大型系统的维护涉及到众多的物联网器件, 需要大量的专业知识与技能, 对专家咨询人员的需求也日益提高。同时, 物联网系统具有分布式的特点, 空间跨度很大, 在这种情况下专业的现场支持难以实现, 传统的远程协助方式也难以高效地定位并解决问题。运用 AR技术, 则可以通过在多个客户端间进行视野的共享和交互的同步, 很好的支持远程协同。 (1) 视野共享。通过实时网络传输, 能够在多个终端设备上共享同一 AR场景, 查看相关数据。如图 5中的 a过程, 现场工作人员的 AR视野被传送给远程专家。
25、(2) 远程协助。专家可以在现场人员的AR视野中标记目标检测器件及操作方法, 并远程进行参数调整, 协同指导作业, 如图 5的 b过程, 专家在工人的 AR视野中添加标记。 (3) 协同作业。位于一个或多个现场的多名人员可以通过 AR设备在空间中进行标记, 分工进行数据的检测, 对多个现场的数据进行实时对比, 切换查看各个现场的情况等, 并可以协同通过虚拟界面进行参数调整与数据筛选, 查看实时反馈, 有效增强协同作业的效率。在以上协作情境下, 除现场人员配备的携带式 AR终端外, 针对现场特定空间和设备额外增设的静态摄像设备也可以为远程协作和协助提供更灵活的支持。图 4 使用配备摄影机的无人机
26、的远程增强 Fig.4 Remote augmentation using camera-mounted drone 下载原图图 5 远程专家协助 (专家的标注实时呈现在工人的 AR视野中) Fig.5 Remote guidance from off-site expert (Markings of the expert can be seen in the AR view of the worker) 下载原图3 应用实现的支持AR技术依赖实时图像识别与空间重建算法。在需要识别的物体或环境不够理想的情况下, 需要添加识别标记、图案等来辅助识别, 或通过提供额外的信息进行修正。同时, 一些功
27、能的实现也需要辅助信息支持。3.1 空间识别辅助在数据呈现与关联方面, 能否以符合需求的精确度获取物体和空间的形态、位置信息, 制约着功能的实现。而识别物体、获取信息的关键, 在于其特征是否明确而独特。对于特征不够明确的空间和物体, 可以通过以下针对物联网设备及其所在空间的方法, 对 AR的空间识别进行辅助。 (1) 在设备/空间表面添加识别标记。对于单摄像头识别的情况, 在设备表面增加具有独特特征的识别标记将有助于其识别。对于同一设备, 可以在其各向表面上均添加标记, 以支持通过多个标记更加准确定位设备的位置与朝向信息。 (2) 添加纹理/图案。对于形状接近立方体、圆柱体等简单三维几何体的物
28、体, 现有的 AR技术能够利用其表面纹理/图案直接进行识别。通过在符合形态要求的设备表面添加纹理, 同样可以追踪其在空间中的位置与朝向信息。 (3) 光学捕捉。对于实时性和精确性要求极高的场合, 有条件的情况下可以通过架设多个红外高速摄影机, 通过在物体上安装具有独特空间排列的反光球来进行识别与追踪。 (4) 提供 AR设备位置数据等辅助信息。可以通过 GPS、室内定位等手段, 辅助定位 AR设备的位置, 修正累积误差, 为 AR设备提供更加精确的空间认知。3.2 应用信息辅助要实现获取 AR设备与周边物体的位置关系以及在设备上的具体位置精准地呈现信息等功能, 需要向应用提供以下额外辅助信息。
29、 (1) 空间与设备形态信息。提供空间与设备的完整三维模型, 并在其上标明识别标记的位置信息, 可以支持在捕捉到空间/设备上的 3个以上识别标记后, 与模型的识别标记信息对照, 推断出整个空间/设备与 AR设备的三维位置关系。其中, 对于带有深度摄像与空间重建功能的 AR设备, 可以由设备自身提供空间形态信息。 (2) 信息呈现热点定义。要实现设备以下层级的信息叠加 (如设备的控制界面、输入输出端口等) , 需要在提供设备模型的基础上, 为每种信息添加呈现热点的位置属性。(3) 尺度定义。提供设备/空间的尺寸, 有助于在空间中对数据呈现界面进行安排。4 结语利用 AR技术虚实结合的优势, 能够
30、从数据呈现、数据关联、数据交互、数据模拟、远程增强与协同操作多种方面对物联网数据呈现与交互进行支持和提升。从大规模的工厂、电力系统等生产环境, 到智能家居等民用产品, 均可以产生有效应用。对于已经广泛应用物联网的环境, AR 技术可以在不对现有基础设施做改动或仅增加识别标记、摄像设备等的情况下, 整合进入生产、使用与维护流程, 对数据与数据分析结果的呈现提供重要辅助;通过在分布式的物联网环境应用协同操作, 可以突破空间上的障碍, 降低协作的时间与人力成本;对于难以到达、危险性高的环境, 亦可以通过远程增强提供直观有效的远程操作。综上所述, 利用 AR技术的优势结合物联网提供的海量数据, 可以帮
31、助建立更加智能与易用的物联网系统。参考文献1JO D, KIM G J.Ariot:Scalable Augmented Reality Framework for Interacting with Internet of Things Appliances EverywhereJ.IEEE Transactions on Consumer Electronics, 2016, 62 (3) :334340. 2RAMBACHJP, ALAIN S D.Augmented Things:Enhancing AR Applications Leveraging the Internet of T
32、hings and Universal 3D Object TrackingC.2017. 3WEHLEHDI.Augmented Reality and the Internet of Things (Io T) /Industry 4.0C.2016. 4MAINZERK.From Augmented Reality to the Internet of Things:Paradigm Shifts in Digital Innovation Dynamics:Reflections on Its Contribution to Knowledge FormationC.2017. 5刘立
33、, 马学云.视联网及其关键技术和应用J.电信科学, 2011, 27 (11) :9599.LIU Li, MA Xue-yun.The Internet of Scenes and Its Key Technologies and ApplicationsJ.Telecommunications Science, 2011, 27 (11) :9599. 6ALEXANDER F.Augmented Reality and the Internet of ThingsC.2016. 7Introducing ARKitEB/OL.https:/ 8AR Core OverviewEB/OL.
34、https:/:6443/ar/discover. 9Thyssenkrupp:Bringing New Vision to Elevator Maintenance with Microsoft Holo LensEB/OL.https:/ Giy R4Ns. 10沈克.基于增强现实的物联网物体识别与虚拟交互J.计算机工程, 2010, 31 (17) :98101.SHEN Ke.Object Recognition and Virtual Interaction of Io T Based on Augmented RealityJ.Computer Engineering, 2010, 31 (17) :98101. 11李凤英, 刘立, 王建.视联网下的信息感知和融合J.小型微型计算机系统, 2014, 35 (6) :13201323.LI Feng-ying, LIU Li, WANG Jian.Information Sensing and Fusion in the Articulated Naturality WebJ.Mini-micro Systems, 2014, 35 (6) :13201323.
