1、同济大学硕士学位论文基于全向视觉的机器人定位和行为学习的研究 姓名：许成珅申请学位级别：硕士专业：控制科学与工程指导教师：蒋平;朱劲 20050401（），：， 学位论文版权使用授权书本人完全了解同济大学关于收集、保存、使用学位论文的规定，同意如各溪内容：按翼学校要求提交学位论文嬲印爨本和电子版本；学校有权保存学位论文的印祠本和电子敝，并采用影印、缩印、扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供本学位论文全文或者部分的阅览服务；学校有权按有关娥定是国家有关郝】或者机构送交论文的复印件和电子版；在不以赢利为西静静蓊掇下，学校可以适当复制论文豁部分或全部内容用于学术活动。 学惶涂
2、文作者签名：删细年伽弓基 经指导数师同意，本学位论文属于保密，在年解密后适硐本授权书。指导教师签名；学位论文乍者签名： 年月霞同济大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师指导下， 进彳研究工作所取得的成果。除文中已经注明引用的内容外，本学位 论文的研究成果小包含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本 论文所涉及的研究工作做出 贡献的其他个人和集体，均已存文中以明确方式标明。本学位论文原创性声明的杰律责 任山本人承担。 签名：碘日耕 饵中第章绪论引言 第章绪论随着社会的进步和计算机技术、人工智能技术的飞速发展，机器人技术订在渗透到社会的每一个角落，
3、近年来，在机器人和自动化领域旱，移动机器人的研究吸引了众多研究者的注意力，成为研究的热点。移动机器人作为一个刈外界环境高度开放的智能系统，能够按照预先给定的任务指令，根据已知的地图信息做出全局路径规划，并在行进中不断感知周围的局部环境信息，自主地做出各种决策，自动避开障碍物，引导自身安全行驶到指定的目标，执行要求的动作和操作。移动机器人在大到国防科技，航空、航天，火星探测等，小到传递信件、家庭服务、搬运物体的各个范围都有着广泛的应用。为了更快地促进移动机器人各方面技术地发展，世界上出现了移动机器人足球赛，例如：机器人世界杯足球赛（：），微型机器人世界杯足球赛（：）等，机器人足球赛是以体育竞赛为
4、载体的高科技对抗，是展示高科技水平的生动窗口，是促进分布式人工智能与智能机器人技术的研究和发展的有效途径。机器人足球赛通过提供一个标准任务，使得研究人员利用各种技术，获 得更好的解决方案，从而有效的促进相关领域的发展。移动机器人，做为一个智能机器人，主要由三大部分组成：感知部分、智能部分和运动部分。感知部分，包括视觉、听觉、触觉、接近觉的装置等；运动部分，包括行走运动控制机构等：智能部分，包括学习能力、思维能力和实时决策能力。 本文将以机器人足球赛这个标准任务为背景，主要讨论移动机器人的感知郝分和智能部分的构建，并且成功应用于中型组足球机器人比赛中，包括视觉同标跟踪，全向视觉和行为学习等几个部
5、分的讨论。国内外研究现状以及趋势第章绪论撬器入足球赛的设想最拐是在年由掬拿大不到颠哥伦！大学静教授提出的【，年，幽际联合会成立，并在闩本举行了首场机器人足球赛的液演赛，而鼹规定每年举办一届。国内的机器入足球赛起步稿瞧，予年只奁上海举亍了筵一矮全毯枧嚣又是球褰，至年月广州总共举办了三届全嗣机器人足球赛，比赛规模也迅速扩大，比如中型组机器人足球赛，第一届的时候只有个学校个参赛队参加，筹二届的时候增加到了个学校个酞，至第三疑，总共已有个学校个队参加比赛，比赛的激黧程度和精彩程度大大提黼。 机器人足球赛包括了机器人视觉簿传感器技术、无线通讯技术、仿真技术、人工智能、决策规划等多项关键的技术，涉及到材料
6、、机械、电子、软件、通信等裹秘技渡零疆域，麓多耱综合毅零豹较量，可以浚是震示煎赛辊器太季支求发展水平的比赛。视觉鼹踪系统的研究而作为移动机器人的“眼睛”，机器人视觉系统能获取约的外部世界信息，能对环境进行非接触式测量需要人类视觉的场合几乎都需要机器人视觉。嚣戴一令实时娃强毫效凝又鲁捧豹彩热援爨系绫羟壤器太鞠钤酃邀爨懿交量孛是不可或靛的重要部分。由于一些环境详细资料的数据量太大，不能够满足机器人实时处理的要求，机器人只能潜熏感知与其她理任务相关的环境特征，或者只选择其中比较重要的信息（如颜锻）进行理解与分拆。 掰戳，享觅觉鞭踩系统豹研究主要集中在对重婺僚患的理解、分孝厅与羰拣上。参考文献【提出了
7、种熬于颜色模型的识别跟踪系统，同时结合实际比赛中目标的几何特点给予识别。参考文献】采用了一种固定阈值的识别方法，并且健溪扩震滤波嚣对谖裂嚣稼遴嚣芗平潜巍颡溅。参考文簸分缓了焚参加机器人足球世界杯赛（）的机器人的视觉系统，该系统使用颜 色空间模型。参考文献在他们的机器人上实现了利用有限的硬件和图像处理资源快速识别基标盼任务，用予叁主式砉毪器人足球赛中。瓯主这些磷究都是簪内外一些视觉跟踪系统静磷究成集，这些研究都使灞嘲定的闽值模型，在实际比赛过程中，受到的光照条件变化的影响比较大，系统镑棒性不够。对于变光照条件下目标的识别，国内外的研究不是很多。参考文献第章绪论提融了一种基于神经网络的手掌图像分害
8、方法，甭二基予手势瓣入棍交互系统。参考文麸垃，妇掇出了利用襁经网终躲叁学习性和囊适应性柬克服光线变化所带来的识别困难。虽然以上方法利用神经网络解决了变光照的刚题，但是导致了计算量的增多，使得机器人的实时性不够。团此，寻找个实时性与磐棒性结合的视觉跟踪系统显得非常必癸。全向视觉技术的研究全翔摄像枫具蠢的拳平毒曼场楚翻一定角度粒垂囊视场角，是其它常规镜头无法相比的。全向图像不仅信息崖大，而且还能解决在立体匹配中常出现的对应点超出图像边界而消失的问题。全向视觉技术研究发展很快，从年丌始己连续年组织全商成像视觉 国际研讨会（），交流全趣戏缘摄像枧教残缘理论粒具体应搦硬究戏累。会上交流的研究成果越来越多
9、，可以预见，全向成像视觉将成为计算机视觉领域中的一个熏要的研究内容。 由于全向视觉的大视场，人们很侠将这项技术用在了机器人足球世界杯静赛场上，妊】，裰搽成豫原理，获敬全两蚕像耱方法大致分为如三耱：旋转成像或多摄像规成像，鱼艮镜头贼像秘折射反射全向成像。）旋转成像或多 摄像机成像旋转成像是用普通摄像机绕过其光心的垂随轴旋转，在旋转中获取不同的多辐图像，精这擅图像拼接或者重采样，获缪全景图像”。处于 摄像规毙学中心的物理位嚣不能确定，旋转轴的位置可能不经过摄像机光心，导致成像不满足单一视点约束。同时这种成像设备需要精确的藏转运动部件，艇旋转摄像祝和合不能用子动态场爨全两藏稼。翔懑为了获取动态豹全景
10、图像，人们用多个摄像枫分别朝向各个方向同胞拍摄多幅图像，将多幅同步采集构图像进行融合，生成全向阁像”，成像方法如图所示。国予各个掇像梳静物理特性静限每，实舔安装过稷中不嗣摄像攥懿光学中心不霹能重合，这秘成像 曲：要参：二：弊警。鹭。多摄像撬成豫第章绪论方式还具有成本高，系统复杂等缺点。）鱼眼 镜头成像鱼眼镜头具有很短的焦距（），这使 摄像机能够观察到接近半球而内的物体，视场接近。可以 获得大视场图 像“。“，成像方法如图所示。但是这种成像存在较大的图像畸变，且其畸变模型不满足透视投影条件，无法从所获取的图像中映射出无畸变的投影图像弘；同时视场角越大，其光学系统越复杂，造价就越贵。和利用鱼眼镜头
11、变形模型进行图像校正，然后使用常规的针孔模型进行深度计算。但其成像区域仍然不大，用于全景成像时，其高分辨率往往是不重要的区域，比如天空或摄像机支架本身。）折射反射镜全向成像 图鱼服镜头 成像折射反射全向成像摄像机可以较好的解决前面成像系统存在的问题，近年来得到广泛的研究【 ，成像方法见图，由反射面、，。一”。和常规摄像机组成的全向成像系统利用反射镜反射光线！？形成特殊的光路，能扩大视场角。它具有视场大（“水平方向和。垂直方向），速度快（单个摄像头图像数 据量小），结构简单，无运动部件，安装简单的特点，同图折射反射镜成像时图像分辨率也可以达到较满意的水平。使用某些特殊设计的反射镜面还可以保持单一
12、视点约束，可以从获得的图像中映射出无畸变的透视投影图像。控制结构和行为学习的研究传统的移动机器人控制体系结构源自基于认知的人工智能（）模型 ”，在模型中，智能任务由运行于符号模型之上的推理过程来实现，它强调带有环境模型或者地图的中央规划器是机器人智能不可缺少的组成部分，而且该模型必须是准确的，一致的，因此，传感器信息的校验具有与模型本身同等的重要性。由于模型过于理想化，对感知器提出了一些不切实际的要求，而且由二认知过程和符号化世界模型的建立过程中计算瓶颈的存在，使得从传感器到驱动机构的控制环路中存在着延时，因而缺乏实际运行所要求的实时性和灵活性。 针对传统方法的不足，研究人员模拟动物反映式行为
13、的特点，引入了一类第蕈绻论一基予行为静移动枫器人控制体系结撂在年提出了基于罩亍为的枫器人控制结构【，如图，基于行为的方法式种囱底向上的构建方法，它用行为封装了机器人控制中应具备的感知、探索、避障、圭【划和执行任务的能力。因此它能够产生一些有意义的动作，这些动作反过束可阻缰合成不猫水平静能力。麸翰理结构上来滋，帮系统中存杰羞多个劳行控制回路，构成各种基本行为，传感器数据根据需求以一种并行的方式给出，各种行为通过协调配合后作用于驱动装髓，产生一些有鳝的静动作。在这瓣终搀巾，爨二存在多个控利回蹋，也导致了一些缺点。它需要花更多的代价设计协调机制来解决各个回路对同一驱动装甏争夺控制的冲突，更重要的楚蚤
14、穆行为必须稿要协调以获褥有意义靛结柴，但获褥一秘富有成效的协调方法 胬基于行为豹控制结构往往不易，原因是随着任务负责程度的扩大，锫种行为之问的交互作用增加，增大了预测个系统的整体行为的难度。谶此，不翁规戈有霞的静动作是这类系统的主要缺点。 由予以上薅个决镶结构器有各的优缺点，渐澌地混和结构主导了人工智能领域，简单地说，混和结构就是传统的认知模型口，和的结构的 优势互补。底层的控制采用反应式控制，而高层的决策采用传统认知禳塑，中闻多一个协调层，来处遴两萃中决策方式的冲突。分艨学习戆方法就是由混和结毒靠发展蕊来的一程，学习方法。提出了一个决簸技术，穆之为，它在多个事先定义好的行为之间进行选择。建立
15、了层学习模式，首先学习低绂技术，然后按照屡的顺序，越来越高的屡技术和行为被加入。采鞠阻前的技术优势介绍并实现了分层学习，纯定义系到建立一个对复杂系绞分墨次学习方案熊准则。聪对具本零亍为学：的方法商强化学习，基于人工神经网络（）的机器学习盼，进化学习（和），以及他们的一蝗组合，等。第】章绪论本课题的目的和意义梳器久襁觉系统缝获玻约豹鳋帮整器信息 “，鑫玩器入税觉系统是机器人系统的莺要组成部分。但是由于一些环境详细资料的数据量太大，不能够满足掇器入实时鲶理豹要求，辊嚣天是麓羲重感麓与其鲶登任务楣关麴环凌特征，或者只选择其中比较煎要的信息（如颜色）进行理解与分析，所以目标弘澍和鼹踩是穰器久援凳中一个
16、鬻重要的方嚣。 仝向视觉具有的水平大视场，可以广泛地应用于机器人导航“”“，三维场量囊建姐，餐爱黢按系统，焉虽被运矮雾凝器久足球毽界撂瓣 赛场，” 。因此，全向 视觉中的目标分析与定位成为机器人足球赛雕负的关键。搂仿是动物学习瓣弯效极豢，巍是楗器运动援能获取粒一葶孛毫效手段书】。机器人通过与环境的交互，把所获取的视觉信息转换成内部的基本技术，实觋其由“无知”到“有鲤”豹磐熬学习逮程，增援知识黪积累，鬟终竞藏复杂的任务。 本课题的曩麴就是设诗稳定可憝豹基予全彝裁擞鲍视觉识别鄹跟踩系统，完成机器人视觉饲服，机器人足球比赛和视觉学习的需要。在视觉饲服和足球比赛任务中，刊思全囱视觉送行基标定位；曩鞭踪
17、，并且在全向视觉艇条件下，完成枫器人底层行为的视觉模仿。 本课题采叁于国家自然科学基金资助项秘：基于视觉模仿和语畜指令的移动机器人行为学习本文工作本文以中型组比赛机器人为研究对象，针对足球比赛这个标猴任务，蒋先开发了一套全向摄像极下的彩色图像目标识别与跟踪系统。该系统利用颜色信息采识别图像中的目标，可以实对获得图像中目标的位置。其次，在以：鼬颜色识别系统旗础上，褥到了一秘简单有效的针对全向摄像枧的镜西投影变换关系。最后，本文提出了种简单的，应用更广泛的行为学习的方法，荠设汁了相应的行为控制器实现了足球机器人的示教行为学习。本文剩余部分安排如下： 第二章整体介绍了足球赛机器人的软硬件结构。 一釜
18、！茎篷丝一一第三章详细介绍了移动机器人多目标快速颜色跟踪系统的构成和算法的实蹴。实验的结果证明了算法的实时往和可靠性。 第四章针对圈酶的全向摄像机镜面投影变换方法的缺点，提出了一种简单有效的针对全向摄像辊盼镜碾投彰交换关系。接着灞述翻冀多謇标联色跟踪系统和全向视觉进行目标定位的方法。 第五章论述了基于全向程觉的餐主移动橇嚣入基本行为学习箨法，并豆零刚足球赛机器人实现了底层行为的学习。第章足球赛机器人系统结构硬件系统 第章足球赛机器人系统结构此次采用的足球赛移动机器人平台是同济大学在基础上自主研制和改造的全自主移动机器人。该机器人系统集成了包括全向视觉，声纳环，晕程仪在内的多传感器系统双轮独立驱
19、动的移动小车以及高速无线局域网并通过车载控制系统进行实时决策。 图是同济大学白行研制的全自主移动机器人。它的硬件系统（图）丰要由以下几部分构成：小车系统，感知系统，通 讯系统和控制系统。小车 系统 图全自主移动机器人本文所采用的小车系统改造自自主式移动机器人（见图），是美国公司于年夏开发生产的用以升级的最新自主式移动机器人，同系列的还有一和。为了取得更好的室内运动效果，移动机器人采用两轮微分驱动（），其前后共有三个轮子，后图移动机器人轮以度自由旋转，通过控制前面两个轮子的转速繁窜足球赛橇嚣人系统结鞠可以实观飒器人的翦进鞠转弯。与系列机器人 稳魄，使弼橡黢气稿柬改善梳嚣入的运动性靛，采稻铰链酥檄
20、使得绦修或者舔究辍瓣人海韶缀件时更翅方键。由于机器人良好的底层驱动髋能以激室内运动效聚，闻济大学改装足球比赛机器人时，并末淑动底胺的戚盘以及运动控制缡构（如图），丽艇蠢搂利稀。翰，、车系统的萋碗上，大福滚动了感魏系统，适嘏系统翮控制系统。 控制爨扳后轮驱动轮感知系统 翻。、事系统机器人的感知系统包括了声纳（图）和全向摄像机（图）两部分。声纳可以感知机器人与周围物体的距离，全向缀像机由及射镜和摄像头两部分螽成，可以躐测弱机器入罔圈承乎范瀚内的物体（圈。），邋过囊主器发熬实时濯缘处理与鑫拯跟踪系绫，可以识别不网颜恕的物体（图）。 图全翔摄像机黜圈像处理与目标跟踪系统 第章足球赛机器人系统结构遥镶系
21、统桃瓣人采用基于无线局域网（遵穹标准）弱暹谡技术。每令枧器人、无线和场外计算机作为网络的节点共同构成一个无线局域网络。系统高达的通遇速率为枧器人之闻的信怠传递提供了个快接通道。控制系统系统由卜位机和下位机两部分组成，如图，。下位机继承了一自主式移动瓤嚣天豹邂动控裁系统，上覆辍袋蠲戴笨翡轻薄笔记李电藏，该电脑 采用赛扬，通过接口同摄像机进行通讯，列瑙塑豢通谖 无线网卡与场努掘进行透语，遥过 转霉团数据线与下位机进行通讯。该笔记本电脑总羹只有，很好的 满足了移动捷器入对重量熬要求。 幽机器人控制系统 鞴辩飘第章定球赛梳器天系统结构较转系统整个系统包括个主进程和个辅助进程。辅助进程主要魁负责软件界面的漫示，鼠标消惠的晌残和颜色识掰辩懿多遥逡颜色学习。主透程主要分成大部分：视觉处璁、月标定位和控制器。这三部分构成一个有机的整体，组成了一个视激伺疆控制系统，控翎梳器太静运动（蠹囤。主遴程和转秘遗程之间通过共享变麓来进行通信，并且通过互锁来防止资源共享冲突。接下来的死章将蓑雏分绍凝鱼嚣椽鼹踩与学习、鬟振定位露足球赛极器久控裁器熬绸练。 软件结构型机器人软什系统
