1、RoboCup中型组足球机器人 视觉和决策系统的研究与设计,指导教师：王明顺副教授 答辩学生：崔金柱 东北大学控制理论与导航技术研究所,硕士学位论文答辩,演讲的结构,足球机器人的背景,1992年，加拿大不列颠哥伦比亚大学的Alan Mackworth教授 在国际上首次提出了足球机器人的概念。 1996年，在日本名古屋正式成立了“机器人足球世界杯”(the Robot World Cup Soccer Games, RoboCup)。 1997年6月，第二届微型机器人足球比赛在韩国举行，在此期间，国际机器人足球联盟(Federation of International Robot- socce
2、r Association, FIRA)宣告成立。 RoboCup和FIRA两个组织每年各举办一次国际性的足球机器 人大赛。,RoboCup足球机器人,RoboCup机器人比赛,RoboCup中型组足球机器人的研究意义,中型组足球机器人的系统组成,中型组足球机器人机械结构图,中型组足球机器人的系统组成,中型组足球机器人控制系统图,主要内容,视觉子系统任务分析,RoboCup中型组足球机器人比赛场地,视觉子系统任务分析,主要内容,全向视觉传感器,全向视觉传感器及其几何模型,全向视觉传感器,常规曲面反射镜优缺点对照表,全向视觉传感器,垂直等比镜面设计示意图,水平等比镜面设计示意图,全向视觉传感器,
3、全向反射镜实物,F=.184619949720554717236095e-7*t6-.269431886051147321750479e-5*t5+.155724546553826165631862e-3*t4-.444945845266700619469180e-2*t3+.684349249083256727654856e-1*t2+.144231514843774888401384*t-.897810363982420589490374e-1,曲面函数F(t),主要内容,彩色图像目标识别,常用的彩色图像分割准则：（1）RGB颜色空间分割 基于CLUT的颜色空间分割 优点：速度快，图像二值
4、化简单缺点：对环境的适应性差（2）HSL颜色空间分割 基于阈值的颜色分割优点：便于阈值拓展，对环境的适应性好缺点：速度慢,彩色图像目标识别,RGB空间和HSL空间分割方法的综合利用：（1）利用HSL颜色模型建立完备的RGB空间上的CLUT 建立CLUT时，先将颜色采样数据从RGB空间转换到HSL空间 然后根据经验进行阈值拓展，求出合适的HSL空间上的阈值 然后将该阈值区间上的所有点转换到RGB空间并填充颜色查找表（2）颜色分割采用基于CLUT的RGB空间的分割方法,彩色图像目标识别,基于CLUT的动态窗格目标搜索算法,（1）搜索起点：上次目标的中心位置或图象中心； （2）从起点起，上下左右各外
5、扩s得到起始搜索窗格Ak1 ； （3）搜索完成后若没有发现目标，外扩一圈，依次搜索 Atop 、Aleft 、Aright、 Abottom ； （4）依次类推，直至搜索完整幅图象。,彩色图像目标识别,基于CLUT的区域生长算法,（1）选取种子点 ； （2）以 为中心，考虑4邻域像素 ， ， ， ， 如果该点未被处理且符合生长准则，将该点与之合并，同时将该点压入堆栈； （3）如果堆栈不为空，从堆栈中弹出一个像素，把它 当做 ； 回到步骤（2）； （4）区域生长完毕。,彩色图像目标识别,基于CLUT的变步长区域生长算法,如果我们在区域生长的时候，对每个种子点处理的不是其4邻接像素 ，而是在垂直或
6、水平方向上与其隔一个象素的点，我们称生长步长为2。 当目标面积较大，超过一定的阈值时，则改用较大的步长。,彩色图像目标识别,颜色 面积 颜色重心 内径 外径 经度边界1 经度边界2,主要内容,视觉子系统的软件实现,视觉子系统的软件实现,距离标定实验数据和曲线,视觉子系统实际运行效果,原始图像,区域生长分割效果,视觉子系统实际运行效果,变步长区域生长分割效果,物体在机器人坐标系下的坐标,主要内容,决策子系统任务分析,决策子系统任务分析,主要内容,基于规划的多智能体决策模型,基于规划的多智能体决策模型,基于规划的多智能体决策模型,基于规划的多智能体决策模型,足球机器人决策模型,主要内容,控制协调智
7、能体的角色分配算法,控制协调智能体的流程图,控制协调智能体的角色分配算法,机器人之间的冲突,机器人与角色的集合,控制协调智能体的角色分配算法,前锋的估值函数,控制协调智能体的角色分配算法,具体的分配算法设计如下：（1）：计算角色能力值 作为权值 ； （2）：构造机器人集合 ，角色集合 ， 这两个集合的元素没有交集，满足二分图结点的条件； （3）：以第一步计算的权值作为边的权值，以第二步构造的集合作为结点构造完全二分图 ，求解带权二分 图 的最优匹配。,主要内容,计划执行智能体的有限状态自动机模型,计划执行智能体的有限状态自动机模型,有限状态自动机M是一个五元组：,前锋有限状态自动机模型,计划执
8、行智能体的有限状态自动机模型,前锋状态转移函数 的构造如下：,计划执行智能体的有限状态自动机模型,前锋状态转移图,决策子系统实际运行效果,机器人的角色分配,决策子系统界面,整个系统实际运行效果,实际运行情况,总结,全向视觉传感器设计,系统的软件实现,基于规划的多智能体决策模型,彩色图像目标识别,控制协调智能体的角色分配算法,计划执行智能体的有限状态自动机模型,视觉子 系统,决策子 系统,展望,系统的可靠性,全向视觉的理论分析,抗干扰性,进一步 工作,球场环境的重建,硕士学位论文答辩,谢谢！,中型组足球机器人简介,中型组足球机器人硬件结构,求解参数,全向镜顶点高度 553mm 摄像机凸透镜高度
9、443mm 焦距5.9mm 全向镜半径32mm,RGB to HSL,HSL to RGB,图像分割的基本概念,图像分割的概念：将图像划分为与真实世界的物体或区域有强相关性的组成部分。 图像分割的基础是像素之间的相似性和跳变性。所谓“相似性”是指某个区域内像素具有某种相似的特性，如灰度、色 彩、反射率、纹理等。所谓“跳变性”是指像素特征变化的不连续性，如灰度、色彩的突变等。 图像分割后图像中的不同区域都对应一定的实际物体。 阈值化分割；基于边缘的分割；基于区域的分割。,RGB空间的分割,基于CLUT的RGB颜色空间分割：构造一个四维CLUT，其下标是R，G，B，T，其内容是True或False
10、。 优点：1.离线设置简单，以静态数据保存颜色分类信息；2.在线调用容易，不需要复杂的运算，查找速度快；3.彩色图像二值化简单；4.不容易受干扰； 缺点：1.对32位真彩色占用内存空间大，存储麻烦；2.由于光照的原因，颜色相近的两个物体的RGB空间有重叠部分， CLUT不能解决一对多的问题；3.当某颜色物体在RGB空间的分布不连续时，建立的CLUT不能覆 盖封闭区域内的所有点；4.CLUT不适宜进行颜色空间的拓展；5.对光线、颜色的适应性差；,RGB空间的分割,基于阈值的RGB颜色空间分割：某颜色物体在RGB空间的分布是一个封闭区域，于是我们可以用RGB阈 值来描述这个封闭区域。 优点：1.不
11、同物体的RGB阈值允许存在重叠，解决了颜色物体一对多的问题；2.计算简单，信息存储方便； 缺点：1.这种描述把封闭的不规则空间描述为封闭的立方体空间，包含了不 属于该物体的颜色；2.当亮度、色度漂移时，R、G、B值变化剧烈，并且是非线性的，阈值拓展的效果不好；3.阈值区间大的时候，干扰严重；,HSL空间的分割,HSL颜色空间分割：对RGB颜色空间而言，由于色度、亮度漂移时，R、G、B 值波动较大，而且变化是非线性的，因而颜色空间拓展的难度 很大；相比而言，HSL颜色模型更适宜于颜色空间的拓展。HSL 颜色模型的三个变量是色度、饱和度和亮度，其中色度（Hue） 反映目标颜色的能力显著增强，对同一
12、颜色的目标往往具有较 稳定和较窄的数字变化范围，受光照的影响比较小，因而人们 往往把RGB空间模型转换成HSL颜色模型进行图像处理与识别。,HSL空间的分割,基于阈值的HSL颜色空间分割： 优点：1.不同物体的HSL阈值允许存在重叠，解决颜色物体一对多的问题；2.信息存储方便；3.当颜色、亮度漂移时，色度（Hue）和亮度（Luminosity）变化不大，阈值拓展容易，效果较好；缺点：1.从RGB空间到HSL空间的转换运算复杂，实时性差；,颜色空间的选择,颜色空间的选择,颜色空间的选择,快速搜索的方法分析,目前，在足球机器人视觉系统中，广泛采用的有两种搜索算法。一种是 网格搜索算法，另一种是动态
13、窗口搜索算法。这两种方法都是为了提高目标 的搜索效率来设计的。网格搜索算法是一种全局搜索方法，但它不是对图像中的每个像素进行 搜索，而是在一幅数字图像中（640480）中，等间距地抽取一部分行和列 图像矩阵，这样就形成一个网状，然后在这个网的节点上进行逐点搜索，从 而判断出目标的大致位置，然后再在这个位置附近的一个范围内进行搜索。由于图像采集时，可能存在各种噪声，这样在图像中可能形成一些噪声 空洞，当网格节点正好位于空洞时，可能造成目标图像的丢失；还有可能就 是噪声斑点中存在搜索目标的像素，这样当网格节点位于噪声斑点上时，就 可能造成误搜索。所以，如果利用这种方法，必须对上述缺点进行克服。,快
14、速搜索的方法分析,动态网格搜索法是根据图像采集相邻图像序列的相关性来设计的。它是 给每个搜索目标分配一个动态窗口，用这个窗口来跟踪目标，每次搜索时不 是在整个图像中搜索目标，而是在所设定的远远小于整个图像的窗口中进行 搜索。动态窗口搜索方法主要是为了节省图像处理的时间，满足系统的实时 性要求而提出的。它是根据机器人比赛中机器人本体的机械特性和小 球在场地上运动的特点来设计的。由机器人自身运动的特性和视觉采集系统的特点，可以看出，在大约 33ms的时间内，机器人运动的距离是有限制的，根据机器人的最大运动速 度，那么在一个采样周期内，机器人运动的距离应该满足下式： D 2m /s 0.033 s
15、=66mmD:一个采样周期内机器人移动的距离。,距离标定,球门、角柱、机器人等目标的母线 都是垂直于球场平面的，这些直线 在全向视觉看来是从图像的主点发 出的射线,因而这些目标在图像上的 反映均为扇形或类似扇形的区域， 这些区域与球场的交界反映在图像 上就是对应颜色区域的内径(InnerR)， 因而我们完全可以根据内径(InnerR) 来标定这些目标的位置。,协作类型,（1）完全协同型：系统中的智能体都围绕一个共同的全局目标，各智能体没有自己的局部目标，所有智能体全力以赴的协作。 （2）协同型：系统中的智能体具有一个共同的全局目标，同时各智能体还有与全局目标一致的局部目标。 （3）自私型：系统
16、中不存在共同的全局目标，各智能体都为自己的局部目标工作，而且目标之间可能存在冲突。 （4）完全自私型：系统中不存在共同的全局目标，各智能体都为自己的局部目标工作，并且不考虑任何协作行为。 （5）协同与自私共存型：系统中既存在一些共同的全局目标，某些智能体也可能还具有与全局目标无直接联系的局部目标。,再规划的情况,规划一旦被分配就将会被执行，直到出现意外情况被中断。 这种意外分为以下两种情况： （1）计划执行智能体（即机器人）在执行该计划的同时，还将监控该子计划是否适合自己执行，当其发现不再适合担当由当前规划所分配的角色时，将向控制协调智能体提出请求，进行再规划，重新分配角色。 （2）在计划执行
17、的过程中，控制协调智能体将监控计划的执行，当发现当前执行的计划同目前的环境输入状态所要求的计划差距比较大或者出现了某种意外情况时（如场上的形势非常适合某种预先构造好的配合射门程序，或者是球被双方球员顶在一起而不能进行正常的规划时），它将重新进行再规划以适应当前的形势。,二分图,二分图的数学模型为：一个无向图 称为一个二分图。如果下列条件成 立： (U、V为非空结点集合)，对于边集合E中的任一条 边 ，结点 ， 一个在U中，另一个在V中。如果将U 中的结点布在一行，V中的结点布在下一行，则二分图只允许不 同行的结点间有边相联，同一行中的结点间不允许有边相联。如 果对于U中每一个结点 ，V中每一个
18、结点 ，E都含有边 ， 则记为完全二分图，边带权成为带权完全二分图。,K-M算法,Kuhn-Munkres算法： （1）初始一个可行顶标1，确定 ，在 中找到任一个匹配M。 （2）若X中顶点都被M匹配，停止，则M即为最佳匹配。否则，取 中未被M匹配的顶点 ， 。 （3）若N(S)真包含T，转4。若N(S)=T，令 ， ， ， ； ， ； ，其它。 （4）选 中一顶点y，若y已被M匹配，且 ， ， ，转3，否则，取 中一个M的可增广矩 ，令 ，转2 。,有限状态自动机的定义,有限状态自动机的定义： 包含一组状态集(States)、一个起始状态(Startstate)、一组输入 符号集(Alpha
19、bet)、一个映射输入符号和当前状态到下一状态的 转换函数(Transition function)的计算模型。当输入符号串，模型 随即进入起始状态。,自动机中各分量的含义,有限状态自动机M是一个五元组：状态的非空有穷集合。 ，q称为M的一个状态。输入字母表。输入字符串都是 上的字符串。状态转移函数，有时又叫作转移函数， ，对 ，表示M在状态q读入字符a，将状态变成 p，并将读头向移动一个带方格而指向输入字符串的下 一个字符。 M的初始状态，也可叫作初始状态或者启动状态。 M的终止状态集合，F包含于Q。 ，q称为M的终止状态。,状态转换条件,a 看见球，与球之间没有障碍物，离球远b 发现前进路
20、线中有障碍物c 球很近，无障碍物影响但有偏角d 球很近且无障碍物无偏角，角度很正e 球丢了且视觉中没有障碍物f 无障碍物影响，且符合射门条件,有限状态自动机的完整描述,对状态机接受语言后运动过程形式上地完整描述如下： （1）启动足球机器人后，进入起始状态“找球”状态。 （2）在“找球”过程中，若前进路线中有障碍物，状态转换条件满足，进入“避障”状态；若找到球而足球机器人与球的距离比较远且无障碍物，则转入“接近球”状态；找到球且球很近，无障碍物但有偏角，则转入“正对球”状态；若成功找到球而球的距离比较近且无障碍物无偏角，则转入“带球”状态。 （3）进入“接近球”状态后，若发现找不到球了，而此时又
21、没有障碍物，则重新回到“找球”状态；若在接近球的过程中发现前进路线中有障碍物，进入“避障”状态；若成功的接近球，使足球机器人与球的距离很近且运动方向上无障碍物，有偏角则转入“正对球”状态，若成功的接近球，使足球机器人与球的距离很近且运动方向上无障碍物，无偏角则转入“带球”状态。,有限状态自动机的完整描述,（4）在“带球”过程中，若发现球不见了，又没发现有障碍物对机器人的运动产生影响，则转入“找球”状态；若发现球离机器人很远而在前进路线中没有障碍物，则回到“接近球”状态；若带球射门的路线上有了障碍物，则转入“避障”状态。 （5）在“避障”过程中，若发现球不见了，且无障碍物对机器人的运动产生影响，则转入“找球”状态；若发现球与足球机器人的距离很远且无障碍物对机器人的运动产生影响，则转入“接近球”状态；若发现球与足球机器人的距离很近且无障碍物对机器人的运动产生影响，则转入“射门”状态，无论射门成功与否，即机器人把球踢到对方球门中或者射门不中，都要重新进入状态机的起始状态“找球”。,
