1、基于增强现实的虚拟测量原理及方法申请号：CN201010148802.9申请日：2010.04.17申请（专利权）人 中山大学地址 510006|广东省广州市广州大学城中山大学东校区信息科学与技术学院 402发明（设计）人 王国利;骆智彬;李震宇;郭雪梅; 刘敏;闫祖翔; 刘军主分类 G06F17/50公开（公告）号 CN101826129A公开（公告）日 2010.09.08代理机构 广州市深研专利事务所 44229代理人 陈雅平（19）中国人民共和国国家知识产权局（12）发明专利申请（10）申请公布号 CN101826129A（45）申请公布日 2010.09.08（21）申请号 CN20
2、1010148802.9（22）申请日 2010.04.17（71）申请人 中山大学地址 510006|广东省广州市广州大学城中山大学东校区信息科学与技术学院402（72）发明人 王国利;骆智彬;李震宇;郭雪梅;刘敏;闫祖翔;刘军（74）专利代理机构 广州市深研专利事务所 44229代理人 陈雅平（54）发明名称基于增强现实的虚拟测量原理及方法（57）摘要本发明提供基于增强现实的虚拟测量原理及方法。基于增强现实的最小包围盒虚拟测量原理由现实测量环境模型、增强现实测量环境模型和人机交互模型组成。基于增强现实的最小包围盒虚拟测量实现方法包括：视觉扫描追踪技术、虚拟标尺测量技术和人机交互界面技术。本
3、发明可用于空间三维物体最小包围盒的非接触方式测量和标定，具有概念简单、结构灵活、应用便捷等优势，是对现有人工或仪器测量模式的增强和扩展。?1权 利 要 求 书1.基于增强现实的虚拟测量原理及方法，其特征是基本原理由现实测量环境模型、增强现实测量环境模型和人机交互模型组成，实现方法包括视觉扫描追踪技术、虚拟标尺测量技术和人机交互界面技术。2.根据权利要求 1 所述的基于增强现实的虚拟测量原理，其特征是现实测量环境模型用于描述获取被测对象最小包围盒轴向观测场景的视觉感知配置结构，即分别明确对应最小包围盒俯视、正视和侧视场景的成像模式，包括成像的内外结构参数与透视投影畸变和成像像素粒度之间的约束关系
4、。3.根据权利要求 1 所述的基于增强现实的虚拟测量原理，其特征是增强现实测量环境模型用于描述将现实测量目标转化成虚拟测量任务的虚拟标尺逻辑功能，即针对最小包围盒与被测对象外切点标定的虚拟测量任务，明确外切点标定的增强现实模式，包括虚拟标尺在俯视、正视和侧视投影平面的基本功能和组织结构。4.根据权利要求 1 所述的基于增强现实的虚拟测量原理，其特征是人机交互模型是用于描述虚拟测量的人机协作机制，即明确外切点标定的人机协作模式，包括便于评价标定性能的感知模型和支持标定操作的动作模型。5.根据权利要求 1 所述的基于增强现实的虚拟测量方法，其特征是视觉扫描追踪技术借助主动视觉手段实现最小包围盒轴向
5、成像的自动扫描追踪，包括视觉追踪扫描过程的规划策略以及最小包围盒轴向的识别方法。6.根据权利要求 1 所述的基于增强现实的虚拟测量方法，其特征是虚拟标尺测量技术借助虚实注册的手段实现虚拟标尺在俯视、正视和侧视投影平面的测量基本功能，允许组合这些平面测量的基本功能完成最小包围盒与被测对象外切点的标定任务。7.根据权利要求 1 所述的基于增强现实的虚拟测量方法，其特征是人机交互界面提供人机协作实现虚拟标尺测量的手段，包括便于评价测量性能的可视界面，以及支持虚拟标尺操作的动作接口。2说 明 书基于增强现实的虚拟测量原理及方法0001 技术领域0002 本发明涉及工业设计和制造领域，特别是涉及基于增强
6、现实的最小包围盒虚拟测量原理及实现方法。背景技术0003 在现代工业设计和制造领域中，最小包围盒问题涉及如何实现加工生产最优化和布局最优化，如产品包装设计中，设计一个大小刚好合适的盒子放置物品可以有效地节约包装用料；在零配件生产中，选择合适的毛坯进行加工制造可以有效地促进节省用料、节约成本；在模具生产制造中，模具分割方向的选择直接影响了生产的效率和质量；在玩具声级检测中，被测玩具最小包围盒检测的精度直接影响了声级检测的精度。三维物体最小包围盒在现代工业领域具有十分重要的意义，它对节省产品用料、提高生产效率和产品质量以达到生产的最优化起了决定性作用。目前计算机视觉技术已广泛应用于工业检测领域，包
7、括最小包围盒的测量。计算机视觉有结构光视觉测量和立体视觉三维重构等测量方式，但目前仍存在算法复杂度高等问题使得其应用存在一定的局限，需要开发一种对物体形状和大小普遍适用的测量方法。增强现实技术可以在测量中引入人机交互技术和人的视觉感知能力，有效减少对辅助设备的依赖和降低算法复杂度，提高测量的效率和适应性。0004 增强现实是虚拟现实领域发展的一个分支，同时也是计算机视觉、计算机图形学、多媒体、人机交互等多种技术相互交叉的崭新的研究领域。增强现实允许人看到周围的真实场景，并且通过在真实场景中叠加或合成虚拟物体，增强人对真实场景的感知能力。目前国内外已有研究将增强现实技术应用于视频会议、维修、机器
8、人遥操作、外科手术规划等方面。0005 由于增强现实虚实结合的特点，使基于增强现实的虚拟测量成为可能。基于增强现实的虚拟测量是指通过立体视觉获取被测对象的现实场景图像，通过增强现实的虚实注册技术将虚拟标尺叠加在现实场景图像上，人可以通过人机交互技术操作虚拟标尺对未知物体或场景进行测量。在机器人领域，虚拟测量用于为远程机器人进行路径规划或对未知场景进行建模；在医学领域，虚拟测量用在内窥镜中对人体内部器官或病变进行测量。由于基于增强现实的虚拟测量不仅结合了计算机视觉中精确的视觉标定技术，同时也借助增强现实技术3融入了人的视觉感知能力，使得虚拟测量具备了较高的准确性及很强的适应能力。0006 综上所
9、述，由于立体视觉三维重构的复杂性制约了计算机视觉技术在工业检测领域的应用，有必要探索新的空间三维物体最小包围盒检测方法，这正是本发明专利主要的动机和目的。发明内容0007 在此处键入技术领域描述段落。本发明的目的是提出基于增强现实的最小包围盒虚拟测量原理及实现方法，解决利用增强现实技术进行空间三维物体最小包围盒的非接触式测量和标定的问题。0008 为实现上述目的，基于增强现实的最小包围盒虚拟测量包括原理和实现方法两部分，所述的基本原理由现实测量环境模型、增强现实测量环境模型和人机交互模型组成。0009 1现实测量环境模型用于描述获取被测对象最小包围盒轴向观察场景的视觉感知配置结构，即分别明确对
10、应最小包围盒俯视、正视和侧视场景的成像模式，包括成像的内外结构参数与透视投影畸变和成像像素粒度的约束关系。0010 2增强现实测量环境模型用于描述将现实测量目标转化成虚拟测量任务的虚拟标尺逻辑功能，即针对最小包围盒与被测对象外切点标定的虚拟测量任务，明确外切点标定的增强现实模式，包括虚拟标尺在俯视、正视和侧视投影平面的基本功能和组织结构。0011 3人机交互模型是用于描述虚拟测量的人机协作机制，即明确外切点标定的人机协作模式，包括便于评价标定性能的感知模型和支持标定操作的动作模型。0012 所述的实现方法包括视觉扫描追踪技术、虚拟标尺测量技术和人机交互界面技术。0013 1视觉扫描追踪技术借助
11、主动视觉手段实现最小包围盒轴向成像的自动扫描追踪，包括视觉追踪扫描过程的规划策略以及最小包围盒轴向的识别方法。0014 2虚拟标尺测量技术借助虚实注册的手段实现虚拟标尺在俯视、正视和侧视投影平面的测量基本功能，允许组合这些平面测量的基本功能完成最小包围盒与被测对象外切点的标定任务。0015 3人机交互界面提供人机协作实现虚拟标尺测量的手段，包括便于评价测量性能的可视界面，以及支持虚拟标尺操作的动作接口。附图说明0016 图 1 是基于增强现实的虚拟测量原理图，包括现实测量环境模型、增强现实测量环境模型和人机交互模型，以及它们之间的关系；40017 图 2 是视觉感知配置结构和增强现实模式结构图
12、，增强现实模式结构由视觉感知配置结构决定；0018 图 3 是虚拟标尺原型示意图；0019 图 4 是人机交互模型图，包括感知模型和动作模型；0020 图 5 是基于增强现实的虚拟测量实现方法图，包括视觉扫描追踪技术、虚拟标尺测量技术和人机交互界面技术，以及它们之间的关系；0021 图 6 是虚拟标尺测量技术图，描述如何组合虚拟标尺在投影平面上的基本功能以完成最小包围盒标定；0022 图 7 是人机交互界面示意图一，显示俯视增强现实投影平面，这里显示的是标定完成图；0023 图 8 是人机交互界面示意图二，显示正视增强现实投影平面，这里显示的是标定完成图；0024 图 9 是人机交互界面示意图
13、三，显示侧视增强现实投影平面，这里显示的是标定完成图。具体实施方式0025 下面结合附图对本发明作进一步阐述。0026 图 1 所示为基于增强现实的最小包围盒虚拟测量原理图，由现实测量环境模型、增强现实虚拟测量环境模型和人机交互模型组成。其中，现实测量环境模型描述获取被测对象最小包围盒轴向观察场景的视觉感知配置结构。假设被测场景中世界坐标系为 O-XwYwZw，被测对象最小包围盒坐标系为 O-XYZ，两个坐标系之间仅存在 X、Y 轴方向上的平移和绕 Z 轴方向的旋转，则视觉感知配置结构对应最小包围盒俯视、正视和侧视场景的成像模式，即获取被测对象最小包围盒俯视、正视和侧视投影图的三视角立体视觉，
14、如图 2 的视觉感知配置结构部分所示。0027 视觉感知配置结构具体指三台摄像机在最小包围盒坐标系 O-XYZ 中的成像模型，包括成像的内外结构参数、透视投影畸变和成像像素粒度的约束关系，即摄像机成像模型中的内外参数和非线性畸变等参数。摄像机成像模型如以下公式所示：0028 （1）0029 公式（ 1）中，s 为任意的比例因子，p(u,v,1) T 表示图像坐标点的齐次形式，w(x w,yw,zw,1)T 为最小包围盒坐标系点的齐次形式。参数矩阵中 u0、v 0为图像坐标中心，f 为摄像机镜头焦距，1/dX 和 1/dY 为摄像机成像芯片在 U 轴和 V 轴上的尺度因子，它们可以组成矩阵 C
15、表示摄像机内部参数矩阵。r 为33 正交单位矩阵，表示摄像机坐标系相对最小包围盒坐标系的旋转向量，t 表示摄像机坐标系相对最小包围盒坐标系的三维平移向量，0(0,0,0) T。r 和 t 可5以组成矩阵 TCM表示摄像机外部参数矩阵。C 和 TCM又可以用摄像机的投影矩阵 Mr表示。0030 摄像机成像模型的非线性畸变等参数如下所示：0031 （2）0032 （3）0033 （4）0034 公式（ 2）中，u 和 v 为理想图像坐标点 p 的图像坐标，u d和 vd为实际图像坐标点 pd的图像坐标， x和 y表示线性畸变值，与图像点在图像中的位置有关。公式（3）中，k 1、 k2等表示非线性畸
16、变参数。公式（ 4）中，r 表示径向半径。0035 视觉感知配置结构具体包括三台摄像机的投影矩阵 Mr和 k1、k 2等非线性畸变参数。0036 增强现实测量环境模型由现实测量环境模型决定，如图 1 所示。增强现实测量环境模型描述将现实测量目标转化成虚拟测量任务的虚拟标尺逻辑功能。根据现实测量环境模型获取的最小包围盒俯视、正视和侧视投影图，我们提出标定被测对象与最小包围盒外切点的标定方式以实现最小包围盒的测量。虚拟标尺逻辑功能的作用是将这种外切点标定方式转换至增强现实模式下，通过虚拟标尺实现对外切点的标定。因此虚拟标尺逻辑功能需要建立增强现实模式以及虚拟标尺在这种模式下的基本功能和组织结构。0
17、037 增强现实模式是指虚拟标尺在增强现实空间中的对最小包围盒外切点的标定模式，其结构由现实测量环境中的视觉感知配置结构决定，如图 2 所示。视觉感知配置结构获取了被测对象最小包围盒的俯视、正视和侧视图，增强现实模式在增强现实空间中建立与之一一对应的结构，即形成俯视、正视和侧视增强现实投影平面，这一过程通过增强现实虚实注册技术的真实摄像机和虚拟摄像机对准实现。这样，虚拟标尺就可以真实叠加在现实场景图像上，即现实测量环境下的俯视、正视和侧视投影图就转换成增强现实空间下的俯视、正视和侧视增强现实投影平面。增强现实模式描述了最小包围盒的俯视、正视和侧视的增强现实投影平面，虚拟标尺可以在增强现实投影平
18、面中通过对最小包围盒的外切点标定，实现对现实测量环境中被测对象的最小包围盒标定。0038 虚拟标尺原型示意图如图 3 所示，由矩形包围盒与包围盒各面上的圆锥体表示。矩形包围盒表示被测对象的最小包围盒，四个侧面的圆锥体用于标定被测对象与最小包围盒侧面的外切点，顶面的圆锥体用于标定被测对象与最小包围盒顶面的外切点。当各圆锥体移动时，其对应的侧面位置也相应改变。虚拟标尺标定在增强现实模式的投影平面上进行，其在各个投影平面上的基本功能是在俯视增强现实投影平面上标定外切点的 x、y 坐标，在正视增强现实投影平面上标定外切点的 x、z 坐标，在侧视增强现实投影平面上标定外切点的6y、z 坐标。为了标定的需
19、要，虚拟标尺在俯视增强现实投影平面上表现为矩形包围盒与所有圆锥体，在正视增强现实投影平面上仅表现为矩形包围盒、X 轴方向的两个圆锥体与顶面的圆锥体，在侧视增强现实投影平面上仅表现为矩形包围盒、Y 轴方向的两个圆锥体与顶面的圆锥体。0039 人机交互模型是由增强现实测量环境模型决定的，如图 1 所示。模型用于描述虚拟测量的人机协作机制，其提供的人机协作模式支持增强现实环境模型中的外切点标定任务。人机交互模型包括便于评价标定性能的感知模型和支持标定操作的动作模型，如图 4 所示。其中，感知模型利用人的视觉感知能力评价虚拟标尺对被测对象的标定性能，包括虚拟标尺对被测对象与最小包围盒侧面和顶面切点的位
20、置的匹配判断。动作模型则根据感知模型对标定性能的评价提供虚拟标尺的标定操作，以实现虚拟标尺对被测对象最小包围盒的标定。0040 用户首先通过感知模型判断虚拟标尺与四个侧面外切点的匹配程度，通过动作模型操作虚拟标尺使其指向侧面外切点。然后通过感知模型判断虚拟标尺与顶面外切点的匹配程度，通过动作模型操作虚拟标尺使其指向顶面外切点。当感知模型即人的视觉感知认可后，即完成对最小包围盒的标定。0041 图 5 所示为基于增强现实的最小包围盒虚拟测量实现方法图。该实现方法在增强现实技术框架下实现基于增强现实的最小包围盒虚拟测量原理。其中，视觉扫描追踪技术根据现实环境的数据，借助主动视觉手段实现最小包围盒轴
21、向成像的自动扫描追踪，其结果可以建立现实测量环境模型的视觉感知配置结构，是根据现实环境建立现实测量环境模型的重要技术手段。视觉扫描追踪技术包括视觉追踪扫描过程的规划策略及最小包围盒轴向的识别方法。0042 根据视觉感知配置结构获取最小包围盒俯视、正视和侧视场景的成像模式，视觉追踪扫描过程的规划策略是建立获取这三个场景的摄像机布局方式。对被测对象的最小包围盒追踪扫描，获取俯视场景的摄像机应定位在最小包围盒坐标系 Z 轴正方向处，光轴与 Z 轴重合并指向最小包围盒中心；获取正视场景的摄像机定位在 Y 轴负方向处，光轴与 Y 轴平行并指向最小包围盒中心；获取侧视场景的摄像机定位在 X 轴正方向处，光
22、轴与 X 轴平行并指向最小包围盒中心。0043 最小包围盒轴向的识别是通过主动视觉扫描追踪的方式进行。被测对象放置在测量环境中，通过视觉扫描的方式获取多幅被测对象图像，经过图像分析获取被测对象最小包围盒的 X、Y、Z 轴位置，其中以最小包围盒较长的一个方向作为 X 轴轴向，以较短的方向作为 Y 轴轴向。然后根据视觉追踪扫描过程的规划策略实现视觉的定位。0044 虚拟标尺测量技术借助虚实注册手段实现虚拟标尺在俯视、正视和侧视增强现实投影平面的基本功能，因此虚拟标尺测量技术是实现增强现实测量7环境模型的技术手段。虚拟标尺测量技术是借助增强现实的虚实注册技术实现现实环境和虚拟环境的对准，从而将现实环
23、境的测量目标转换至增强现实投影平面上的虚拟测量，如图 5 所示。0045 虚拟标尺测量技术是通过组合虚拟标尺在俯视、正视和侧视增强现实投影平面上的测量基本功能完成最小包围盒与被测对象外切点的标定，如图 6所示。虚拟标尺在俯视增强现实投影平面上标定侧面外切点的 x、y 坐标，在正视增强现实投影平面上标定侧面外切点和顶面外切点的 x、z 坐标，在侧视增强现实投影平面上标定侧面外切点和顶面外切点的 y、z 坐标，组合这些基本功能，就实现了对所有外切点 x、y 、z 坐标的标定。确定所有外切点后，就实现了被测对象最小包围盒的标定。0046 人机交互界面是提供人机协作实现虚拟标尺测量的手段，包括便于评价
24、测量性能的可视界面，以及支持虚拟标尺操作的动作接口。人机交互界面是人机交互模型的实现方式，同时也是用户进行基于增强现实的虚拟测量的接口，如图 5 所示。0047 可视界面如图 7、图 8 和图 9 所示。图 7 显示的是俯视增强现实投影平面，图 8 显示的是正视增强现实投影平面，图 9 显示的是侧视增强现实投影平面。0048 可视界面的左上角区域显示的是当前的投影平面，可以按用户需求切换显示俯视、正视和侧视增强现实投影平面。左下角是状态输出区域，显示当前用户的操作状态和最小包围盒标定的结果。右边是操作区域，提供动作接口，支持用户通过鼠标和键盘对虚拟标尺进行操作。操作区域分为三个视口，从上至下分
25、别为俯视视口、正视视口和侧视视口，分别对应虚拟标尺在俯视、正视和侧视投影平面的投影。用户可以在俯视视口对虚拟标尺的 x 和 y 坐标进行操作，在正视视口对虚拟标尺的 x 和 z 坐标操作，在侧视视口对虚拟标尺的 y 和z 坐标操作。0049 动作接口指的是在操作区域对虚拟标尺进行操作的功能。人机交互界面提供键盘和鼠标两种输入方式对虚拟标尺进行操作。动作接口支持对虚拟标尺的平移、缩放、旋转操作，以实现虚拟标尺对最小包围盒外切点的标定。0050 总之，本发明提出基于增强现实的最小包围盒虚拟测量原理及实现方法。基于增强现实的最小包围盒虚拟测量原理描述了针对最小包围盒外切点标定任务建立的三个模型，实现方法描述了实现这一任务的技术手段。本发明实现了对任意形状和尺寸的空间三维物体的最小包围盒非接触式测量，具有概念简单、结构灵活、应用便捷等优势，可以很好地应用于工业设计和制造领域。0051 8说 明 书 附 图图 1图 29图 3图 410图 5图 611图 7图 812图 9
