1、多智能体控制概述,齐洁 信息学院，东华大学,2014.5.15.,提纲,什么是多智能体系统 应用 研究意义 研究方法分类 基于图的离散方法 基于PDE的连续方法 研究进展-多智能体队形控制,多智能体系统,什么是多智能体系统,What kind of systems? 什么是多智能体系统 Groups of agents with control, sensing, communication and computing 能控制，感知能力，能相互通讯，能计算 Each individual senses its immediate environment 感知周围环境 communicates
2、with others 交互能力 processes information gathered 信息处理，计算能力 takes local action in response 响应，决策能力,生物界的群体自组织行为,Able to 控制目标,deploy over a given region 将多个自主体部署到指定区域 assume specified pattern 形成指定的队形，队形控制 rendezvous at a common point 所有智能体集合到一个点 jointly initiate motion/change direction in a synchronized
3、 way 协同的运动模式，同步运动方向,Species achieve synchronized behavior with limited sensing/communication between individuals without apparently following group leader (Couzin et al, Nature 05; Conradt et al, Nature 03),多智能体系统的应用,Embedded robotic systems and sensor networks for high-stress, rapid deployment | e.
4、g., disaster recovery networks (在危险的地方工作) Distributed environmental monitoring | e.g., portable chemical (分布式环境下的监视) and biological sensor arrays detecting toxic pollutants Autonomous sampling for biological applications | e.g.,monitoring of species in risk, validation of climate and oceanographic m
5、odels 自主采样 Science imaging | e.g., multispacecraft distributed interferometers flying in formation to enable imaging at microarcsecond resolution 科学成像,嵌入式机器人 飞机编队飞行，队形控制 小卫星群 无线传感网络,Local agent interactions giving rise to global behavior,哈佛大学的研究团队公布，他们应用多智能体协同控制技术开发了小机器人协同建造系统，模仿白蚁处理信息的方式，系统可以自动产生底层
6、个体的简单规则，建造指定的复杂结构。每个自主小机器人，功能简单只感应局部的信息，并通过共享的环境来协同他们的行为，实现分布式控制。研究发表在2014年2月14日的科学杂志上。 J. Werfel, K. Petersen, and R. Nagpal, “Designing collective behavior in a termite-inspired robot construction team,” Science, vol. 343, no. 6172, pp. 754758, 2014.,2014年科学杂志十大科学进展之一 http:/ 机器人只拥有觉察到附近有块砖或有一个机器人的
7、能力，就能决定自己下一步的行动。它们是在没有详细的规划或中央通讯的情况完成这些工作的；而为这些机器人所设的程序只是若个简单的规则。 由用户定义的结构，来决定机器人需要遵循的规则. 独立且具有分散性控制的机器人有众多的优点。 冗余性：个别的机器人可能会出毛病，但其余的机器人可继续运行。整个系统不会因为有一处关键环节出现了故障而瘫痪。 灵活性:这样的系统也具可缩放性。“如果要从事更大规模的工作，人们只需要增加更多的机器人（甚至在工作进行中）而无需对它们的编程进行改动。”,让机器人合作：新的软件和互动机器人正向人们证明，机器人终于能在无需人监督的情况下一同工作； 例如，指示成群的受到白蚁启发的机器人
8、来构建一种简单的结构，或提示一千个25美分硬币大小的机器人形成方块、字母及其它二维形状等。,应用例子,例子 robotic submarine 寻找马航失联客机 autonomous underwater vehicle在海底寻找， 多个水下机器人形成协同搜索，效率更好，每个搜索一片区域，相互之间传递消息。 应用于无人驾驶机群的编队飞行，可移动机器人的定位和位置部署，可移动传感网络的布局，运输车辆的协调，飞行器或者小卫星群的空间布局等无人网络系统的控制，在人类难以到达或者危险的地方，完成环境探索、科学采样、地图绘制、监测和侦查、搜索和营救以及分布式传感等协同任务。 多智能体协同控制的研究可派生
9、出各种分布式算法，解决不同领域的科学问题，例如异步网络通讯、分布式协同决策、信息融合以及耦合振子系统等。,Research program: what are we after?,Design of provably correct, distributed coordination algorithms 分布式协同算法设计 Mathematical tools to study convergence, stability, and robustness of coordination algorithms 对算法性能进行分析 Coordination tasks 执行协同任务 explor
10、ation, map building, search and rescue, surveillance, odor localization, monitoring, distributed sensing 勘探，绘制地图，搜索营救， 侦查，气味定位，监视，分布式传感。,要用到的方法和技术,Optimization Methods 优化方法 resource allocation geometric optimization load balancing Geometry & Analysis 算法结构，非光滑分析 Control & Robotics 机器人技术和控制 algorithm
11、design cooperative control stability theory Distributed Algorithms 分布式算法，图论，PDE,Cooperative robotic networks Distributed coordination algorithms Local agent interactions giving rise to global behavior Limited information, Veriably correct, rigorous assessment of properties 要实现的目标：构建机器人协同网络；采用分布式协同控制
12、律；能够通过有限的信息，局部的作用规则实现全局复杂的行为。,Consider rendezvous/deployment/agreement scenario Consensus = reach common value for some variable 一致性算法 Rendezvous = get together at certain location Deployment = deploy over a given region,目前的研究方法分类,离散的一致性控制律 研究多智能体协同控制的传统方法是基于图论的离散分析方法，即以代数图论为框架，以谱分析、矩阵论、控制理论与最优化为工具进
13、行建模、分析和设计控制器。等价于连续的扩散方程（偏微分，包含空间变量）,研究进展多智能位置部署,图1 Agent系统分析和设计过程,网络拓扑通讯图：其中的一个实例,图2 412个agent映射到连续空间单位圆上的通讯拓扑图,用PDE建模,因此agent的动态特性就可以用PDE来描述 一阶积分的动态关系可以用抛物PDE表示：,，,二阶积分的动态关系可以用双曲的PDE表示：,，,(5),PDE的平衡点,PDE的平衡点对应系统的稳定状态我们令PDE的状态量表示agent的位置，可以得到agent的稳态位置方程 通过变化参数 和边界输入(也是领导者agent的位置)，可以实现系统的不同稳态解，对应不同
14、的部署流形。 Jie Qi, Rafael Vazquez*, Miroslav Krstic，Multi-agent Deployment in 3-D via PDE Control, IEEE Transaction on Automatic Control. Accept available online： http:/ieeexplore.ieee.org/xpl/articleDetails.jsp?tp=&arnumber=6914569&queryText%3Dmultiagent+deployment+in+3-D+via+PDE+control,两个二维复值方程确定的位置部
15、署流形,边界条件如下，其中f(theta)是一个2pi为周期的周期函数,图 3 多智能体三维位置部署,多智能体系统边界控制器设计的基本思路,这些流形由PDE的边界输入驱动，即改变领导者agent的位置可实现系统在不同部署队形之间的转换。 在实际应用中，大多数需要部署的流行对应的平衡状态不稳定。我们将采用backstepping方法设计边界反馈控制器使系统稳定。,图2 基于PDE的方法设计多智能体控制律实现位置部署与队形控制,PDE描述的多智能体模型,边界条件，也可看作边界控制器,控制器设计,最后用傅立叶级数对全部子系统求和，得到整体系统的控制器如下：,通过采用傅立叶级数展开，得到与theta独
16、立的子系统， 然后再对简单的子系统设计控制器，其backstepping的核函数如下：,证明系统在L2,H1和H2空间稳定,对于二维的系统，如果要确保系统状态具有较好的函数性质，例如连续性，需要证明H2范数下稳定。 连续性使得在通讯拓扑网络上相邻的智能体在物理空间上也相邻，这个特性对于系统的实际应用非常重要，因为agent的通讯范围是有限的，这样agent就不会跑出与邻居的通讯范围之外，使系统失效。,观测器设计,为了实现真正的分布式控制，即每个agent只需要局部邻居的信息就能完成整体的控制目标，我们设计的观测器，能够估计所有agent的状态，也就是leader agent能够通过测量最近邻居
17、的状态，计算出所有agent的状态。 观测的设计与控制器的设计是对偶的，我们得到了精确的封闭表达式,证明带观测器的系统在L2,H1和H2空间稳定,估计系统中也有一个核函数在角度0-2pi上积分将估计的状态作为状态反馈进行边界控制，可实现级联系统的稳定控制,离散化获得分布式控制律,用有限差分方法离散化，离散化的误差取决于agent的数目和离散方法。 用三点中心法离散化，得到各个agent的分布式控制律,中间的智能体,离散化获得分布式控制律,得到一组常微分方程，描述每个agent的控制律（行为规则）。,领导者智能体,靠近极点的智能体,仿真,仿真,仿真,仿真,Khepera III机器人,Khepera III机器人,小型机器人 Khepera III机器人上安装的多传感器阵列，可以有效的检测出不同距离范围的物体。自身携带可更换充电电池，可使它高度自主。 机器人装有9个用于障碍检测的红外传感器，5个远距离障碍物检测的超声传感器。前面装有一组寻线传感器以及边缘检测。电机模块使用的是瑞士生产的高质量传动模块。高精度伺服电机保证了它移动的准确性和高效性,Khepera 4,用多个Khepera 4 小机器人作为多智能体协同控制的实验载体，验证算法的有效性。,49,Thanks,谢谢大家！,
