1、 国防科学技术大学硕士学位论文基于双目视觉的乒乓球识别与跟踪问题研究姓名：杨绍武申请学位级别：硕士专业：控制科学与工程指导教师：郑志强20091101 瓵 甌瑆 瑃 琍猵琑，图图甌热恕】和瓵热恕钠古仪蚧魅讼低场图视觉系统硬件结构图图本体视觉系统采集的典型图像学位论文题目：基王丞旦塑鲎鲍差皇韭迟剔多退躔闺题班塞学位论文作者签名：盎亟互盈耋豆日期：年月巧日学位论文题目：基王丞旦塑鲎鲍差皇韭迟型皇避壁间塑班壅课题研究背景和意义统利用錾阆窕椿袢古仪蛐畔迪侄嘶源颉计算乒吒球在三维空删中的位置，环境适应能力较差。国内方面，浙江大学较早地对乒乓球机器人开展了研究，其视觉系统也利用单个摄像机和一个辅助灯获取乒
2、乓球三维坐标并利用多自由度机械臂实现了击球动作吲。上述乒乓球机器人都是基于非人形的本体结构完成击球动作，并采用固定安装的视觉系统对乒乓球 溪 生尘 辱业矾：要求机器人本体为完全仿人型的双足步行机器人。仿人机器人视觉系统的研究分成两个阶段，在第一阶段利用固定于机器人外部的视觉系统獠渴泳跸低实时、准确地获取乒乓球三维位置信息指导机器人完成打乒乓球的任务，在第二阶段实现利用固定于机器人本体上随机器人移动的视觉系统咎迨泳跸低指导机器人打乒乓球，本体视觉系统应基于双目视觉构成。与本体视觉系统相比，外部视觉系统可以根据任务需要灵活地固定布置于环境中，更有利于实现对乒乓球的高精度的测量，因此在第一阶段用其指
3、导机器人打乒乓球，而其相关技术又可以作为本体视觉系统的基础，本体视觉系统在静止放置时就可以视为一个外部视觉系统。但本体视觉系统在机器人打乒乓球的过程中是存在移动的，这种移动主要由两方面的原因引起，一方面是机器人本体根据运动规划进行运动，带动了视觉系统发生相应的移动；另一方面是机器人击打乒乓球过程中，其相应关节的快速运动会对机器人位姿产生扰动，这样的扰动在仿人机器人本体上难以避免，使得本体视觉系统的位姿也发生偏移。这种位姿的偏移信息可以考虑由机器人本体所具有的惯性组件等传感器进行测量，视觉系统根据这一测量结果在对目标定位的计算过程中进行补偿，但这样就加重了机器人本体的任务，更重要的是这种方法受各
4、种累积误差的影响严重，测量精度难以保证。因此本体视觉系统与外部视觉系统相比，需要具备在移动的平台上精确测量目标在三维空间中的绝对位置的能力，这也给相关技术带来了更大的挑战，需要在外部视觉相关技术的基础上进行更加深入的研究。课题研究现状和发展趋势扩展了这一思想，在边缘方向上绘制直线，直线交汇最多的点就是圆心，这样就将参数空间对文献【】的方法做了改进，在边缘链码上利用每个边缘点邻近的边缘点计算边缘方向，而非直接利用边缘处的梯度引入了归一化因子，确保检测出的极点代表的是最完整的圆，应用于快速鲁棒地检测足球比赛视频图像中的足球，并处理了在足球受自身阴影影响的情况下球的检测问题。上述对圆形目标检测的改进
5、的方法都努力降低算法的复杂度，减少时间和内存开销，在实时性方面有了一定的成果，但如何在提高实时性的同时保持检测的精度和可靠性还需要进一步研究。高，计算速度快，适用于高速目标轨迹的跟踪与预测。而要使本体视觉系统能够在运动中对目标在环境中的绝对位置进行定位和跟踪，还需要对摄像机的外参进行在线的标定，这和上述离线的摄像机内、外参数标定的情况不同，要求在保证标定精度的同时具有很强的实时性。摄像机外参的标定在机器人视觉应用中具有重要的作用，其本质上也是对摄像机和目标场景之间相对位姿的测量，也是进行视觉测量的基础，国内外学者对此进行了大量的研究。在计算机视觉领域中，如前所述传统的摄像机定标方法和摄像机自定
6、标方法关系的闭合解，该方法可以运用到摄像机外参的在线标定中，但计算精度较差。论文的组织结构如下：觉系统目标识别的实时性和鲁棒性。 第五章对本体视觉系统摄像机外参实时的在线标定问题进行了研究，提出了第二章双目视觉系统的设计与实现双目视觉系统硬件结构仿人机器人双目视觉系统分为外部视觉系统和本体视觉系统，二者在硬件结构上相同，但安装位置上存在差别，前者根据需要灵活地选择安装位置固定于机器人外部，更有利于实现对乒乓球的高精度的测量；后者安装于机器人本体上，随机器人的移动而发生相应的移动，是最终用于指导仿人机器人打乒乓球的视觉系统，而当在工作过程中保持静止放置时，就可以视为一个外部视觉系统。机配置为球位
7、置信息和时间信息实时地传输给控制机器人运动的主控计算机。圈图外部视觉系统采集的典型翻像中所示的籜为世界坐标系，则可以看出左摄像机第页祸疽找摇枇教阆窕慕咕喾直鹞a堋蹋庵嵊牖呒涞募薪欠直鹞猘。、可得：五于是可得，同理有，堋次逵雚成非线性的正比关系，且有，以强磁的澹梢越频氐玫绞阍赯方向的测量误差为则总的测量误差为， 卸：扛瓦丽第页精度的影响是非线性的。对于外部视觉而言由于基线距是可以根据实验任意调节可以认为，諦，球台长为，故可设畓，于尸 琘，第页于是有：双目视觉系统软件结构第页视觉系统的时问同步控制对双目视觉系统图像采集的同步控制可以采用硬件同步或者软件同步的方式实现。在程序中通过连续的两条指令启动
8、两个摄像机的图像采集，可以实现软件同步的目的，但这种方式容易受软件运行环境的影响，两条指令的执行可能会有较大的间隔时间。硬件同步控制的主要方法是利用视觉处理计算机所具有的硬件设备输出同步脉冲给两台摄像机实现图像采集的同步，或者利用摄像机内部的硬双目视觉程序的多线程包括了用户界面线程和两个辅助线程。用户界面线程负责建造窗口以及处理消息循环，并实现与机器人主控计算机之间的通信。将两个辅助线程定义为左线程和右线程，分别负责左、右摄像机的图像采集和处理，使左、右两个摄像机的信息得以并行处理，提高目标点三维信息获取的效率。对乒乓球三维位置进行重建时，需要用到两个线程对左、右摄像机采集的图像分别处理后所得
9、到的乒乓球中心图像坐标，这时，就必须使这两个线程同步运行，才能保证用于重建计算的数据是两个摄像机在同一时刻采集的。具体的实现方式采第页乓球目标点进行三维重建后实际得到的是尸” ，保瑉的位置信息，相对于时刻可以近似地认为在，。内乒乓球做匀速直线运动，则有，似为畉。可见本文硬件同步后，时间误差对三维重建精度的影响第页乒乓球目标区域的获取分别显示了图像颜色在虷进行如下搜索。茼伲，埔唬吐的矩形窗 内计算讳，且的点的个数体，其中珥、畋分别为矩形探测窗口的长和宽，的参数。恻目标区域搜索结果了目标区域的中心。信息【缓笊杓瓶焖貱在目标区域中准确提取乒乓球心的图像坐标。合理选择颜色空间以及该颜色空间中的颜色分量在乒乓球边缘提取中也很重要，将直接影响边缘提取的效果。在节中通过对比分析得知乒乓球颜色与背景颜色在丈占渲斜仍贖颜色空间中具有更显著的区分，因此可以设想空间中乒乓球图像也具有更容易被准确提取的边缘信息。在后面将通过实验验证这样的假设。第页增强环境的适应能力。罔对图像进行边缘提取的结果小时尤为重要，因此本文选择以此方法提取乒乓球球心为了解决薄喝認消耗 经典的懈慕杓屏艘恢挚焖貱算法，能够快速、准确地获得目标初始化，】为拧根据半径提取精度设定圆心位置和圆的半径相关第页
