1、基于 Internet 机器人视觉伺服系统仿真实现第 20 卷第 2 期2008 年 1 月系统仿真JournalofSystemSimulationV1.20NO.2Jan.2oo8基于 Internet 机器人视觉伺服系统仿真实现王世华,胥布工 1 刘云辉(1.华南理工大学自动化科学与工程学院,广东广州 510640;2.香港中文大学机械与自动化工程学系,香港沙田)一摘要:为利用视觉伺服技术实现机器人的网络遥操作 ,基于所给出的仿真模型,在 RoboticsToolboxforMatlab 工具箱的基础上,通过 Matlab 数据引擎技术,实现了基于 Intemet 机器人视觉伺服系统的仿
2、真.为增强系统的实时性,仿真中采用了数据的同步收发和时延缓冲策略.通过给出图像特征点的方式,操作者能够利用Internet 实现对虚拟的 Puma560 机器人进行实时遥操作.关键词:网络遥操作机器人;视觉伺服仿真;Puma560 机器人;Matlab 引擎中图分类号:TP391.9 文献标识码:A 文章编号;1004731X(2008)02353 04SimulationofInternet-basedTeleroboticsVisualServoSystemWANGShihua,XUBu.gong,LIUYunhui(1.CollegeofAutomationScienceandEngin
3、eering.SouthChinaUniversityofTechnology,Guangzhou510640,China;2.DepartmentofMechanicalandAutomationEngineering,TheChineseUniversityofHongKong,Shatin,HongKong999077,China)Abstract:Inordertorealizerobotteleoperationvianetworkbyusingimagevisualservo,asimulationofIntemetbasedteleroboticsvisualservosyste
4、mwasachievedfromtheproposeclsimulationmodelbasedonRoboticsToolboxforMatlabthroughMatlabenginetechnique.Toenhancetheperformanceofrea1timesimulation,thenetworkdatagramssendingandreceivingsynchronicallyandthebuffetingschemeswereimplemented.TheoperatorscanteleoperatethevirtualrobotPuma56o 汛 realtimetLro
5、ughInternetbygeneratmgtheimagefeatures.Kevwords:Intemetbasedtelerobotics;simulmionofvisualservo;Puma560robot;Matlabengine引言在基于 Intemet 机器人遥操作闭环控制中,反馈通道中包括控制数据和大量现场视频数据.由于视频数据占用了大量网络带宽,控制数据时延增大,丢包概率剧增,系统闭环性能急剧下降.实际上,在反馈回操作端的视频数据中,实时运动的数据较少,更多的是冗余静止图像数据.所以,需要一种方案,要求在现场视频反馈同时能保证控制数据的通畅传输.这样,基于 Intemet
6、机器人视觉伺服控制,结合分段运动视频图像反馈的远程控制系统,是种很有前途的方案.目前,基于 Intemet 机器人视觉伺服系统的研究刚刚开始,采取的方式只是在视觉伺服的同时远程图像监控【2】.为了下一步利用视觉伺服的方式来实现网络遥操作机器人系统,本文构建了基于 Intemet 机器人视觉伺服反馈控制系统的仿真研究平台.机器人视觉伺服控制从 1979 年开始被广泛研究【3】,其任务是应用视觉信息,控制机器人末端位置对应于目标物或目标特征集4】.基于 Internet 视觉伺服则是通过网络传输图收稿日期 I20061030 修回日期 l2007020l基金项目 t 国家自然科学基金重点项目(60
7、334010);国家自然科学基金资助项目(60474047); 广东省自然科学基金项目 (06105413)作者简介?王世华 (1979.),男,安徽人,博士生,研究方向为机器人学,基于网络控制系统理论与应用;胥布工(1956 一),男,江苏人,教授,博导,研究方向为时滞和不确定控制系统的分析与综合,网络化控制系统理论及应用,IP 网络和现场总线的应用;刘云1V.(1965 一),男,香港人,教授,博导,研究方向为机器人学,机电系统,视觉伺服.像的特征点信息,实现机器人的远程闭环伺服控制.与动态观测环境(获得的是定性信息)并做出控制不同,伺服控制利用特征点反馈信息(获得的是量化信息)控制机器人
8、,提高了网络遥操作的控制精度.视觉伺服控制分为基于位置(Position.based)和基于图像(Image.based)的控制方式.采用基于位置的控制方式,控制精度在很大程度上依赖于目标位姿的估计精度,应用较复杂.基于图像的视觉伺服,其误差信号直接用图像特征来定义,可以克服摄像机标定误差及关节位置传感器误差对定位精度的影响,计算延时较小.因此本文实现的仿真平台采用基于图像的视觉伺服方式.由于机器人自身的高度非线性和强耦合,仿真机器人的运动学和动力学是相当困难的.本文在 RoboticsToolboxforMatlab51 的基础上实现六自由度 Puma560 机器人的运动学和动力学模型.Ma
9、tlab 作为后台数值计算服务器 ,实时计算Puma560 机器人的运动学和动力学模型.MicrosoftVC 编写用户界面和完成网络通讯及相应的控制功能,利用引擎技术实现对 Maflab 的调用.最后 ,基于 Intemet 仿真实验验证了该系统的有效性.l 仿真模型及实时性1.1 仿真模型在基于 Intemet 机器人视觉伺服系统中,需要计算图像雅可比矩阵,建立图像特征和机器人位置之间的联系,其控制结构如图 1 所示.其中,内环为关节伺服控制,外环为图?353?第 2O 卷第 2 期2008 年 1 月系统仿真,01.2ONo.2Jan.20O8像空间视觉控制器,其控制数据和反馈数据通过
10、Internet 实现双向传输,并通过时延缓冲器来调节数据传递时延(时延监控和缓冲器的讨论,有兴趣的读者可以参看文【6】).反馈特征点确定操作者期望特征点向量图迹 H 缓器(虚拟显示)lL-虿回操作端的图象特征点通过图形虚拟显示给操作者,结合分段视频反馈,操作者给出期望的图像特征点轨迹.相空间控制器图像特征点提取图 1 基于 lnternet 机器人视觉伺 B(Imagebased)根据摄像机安装位置的不同,一般将视觉伺服分为两类:眼固定(eye.and.hand)视觉伺服和眼在手-(eye.inhand)视觉伺服,本文研究了前者,其坐标设置如图 2 所示.图 2 眼固定视觉伺服设置图 2 中
11、坐标系下标,b 表示机器人的基坐标系,e 表示机器人末端坐标系,c 表示相机坐标系 .假设存在一个或几个特征点在机器人末端.机器人的关节角向量表示为霉,特征点在基坐标系和相机平面的坐标分别表示为 x 和.由机器人的前向运动学容易得到:=.,(g(1)其中.,( 霉) 为机器人雅可比矩阵.明显地:.=.瓦(2)其中.是从基空间到相机平面的相似变换矩阵.令特征点的相机平面坐标为 JI=,v,1 利用相机的投影模型得到y=KJ*cjrb/乙=Mx/z(3)其中矩阵口表示相机的内部参数:口=一“cotqUO0.fkvv0.001Sln 口0(4)上式中:.厂是相机焦距,和分别表示方向和方向的放大倍数,
12、表示方向和方向的夹角.矩阵表示口和.的乘积,则特征点的图像深度为 Zc=J,l,J,l 为的第 3 行.通过式(3), 可以得到:j=(MSc-y)/z=Ax/z【)其中 A 则为图像雅可比矩阵.关节式机器人 Puma560 的动力学方程如下式所示:日(霉)+(1/21:l(q)+C(q, 口)口+,)+G(霉)=f(6)其中日(口) 是 ,z,z 对称惯量矩阵,1/21:l(q)+C(q,口)表示哥氏力和离心力矢量,且 C(q,口)是一斜对称矩阵,srC(q,口)s=0Vs(7)F(口)表示库仑摩擦力,一般在仿真设计中可以忽略不予考虑,G( 霉 )表示机器人重力矢量,f 为关节力矩矢量.图像
13、期望点的位置表示为 Yd,则图像误差为:4y=JIdJI(8)根据文【7】中的李雅普诺夫函数,提出下面的控制器:Tn+l=G()一 l(In-J()(AnT+l/2m3,ay)曰(9)上式中控制器的第一项是重力补偿,第二项是速度反馈,最后一项表示视觉反馈.和四分别为正定的增益矩阵.值得注意的是,该反馈控制器中没有出现图像深度信息 1 项,简化了控制器的设计.1.2 实时性要求系统仿真的实时性反映了机器人响应输入命令速度的快慢程度,定性来说,如果 Puma560 机器人能够较快响应系统的输入命令,同时,模型计算输出产生的状态信息能够较快反馈至主输入端,系统实时性高,反之则低.所以,仿真的实时性主
14、要包括两个要求:(1)尽可能小的数据传递时延;(2)仿真计算时间尽可能小于图像采样时间.此处,传递时延主要包括网络时延和缓冲排队时间.首先,采取缓冲器队列管理算法,尽可能地降低数据的缓冲排队时间.其次,减小系统仿真的计算时间,优化仿真程序结构.为此,网络数据包的发送和接收分别有各自的线程控制,各线程的优先级相同,保证数据的发送和接收同步进行.同时,服务器端通过 Maflab 引擎对机器人的动力学 ,运动学的正解和反解进行运算,运行结果通过 VC 用户界面实时显示出来.为了减少程序模块之间的数据交换,加快程序执行速度,在 VC 里主要执行简单的运算,一些较复杂的矩阵求解等运算放在 Matlab
15、里执行.2 仿真实现通过对系统模型的分析可知,需要通过机器人的运动学和动力学方程来计算关节角变量和图像雅可比矩阵,同时,要尽可能减少时延对系统的影响.为此,提出如图 3 所示的实时仿真平台.?354?第 2O 卷第 2 期2008 年 1 月王世华,等:基于 Internet 机器人视觉伺服系统仿真实现Vb1.20NO.2Jan 一 20o8图 3 实时仿真平台图中,服务器控制输出按照式(9)计算.Matlab 作为服务器运行在后台执行计算功能,虚拟 Puma560 的运行 .利用 Matlab 引擎技术 ,可以在 Matlab 空间编写数值运算 ,统计分析及显示程序,利用 VC 通过字符流传
16、递参数和命令 ,可以实现程序的模块化,维护和升级容易.使用 TCPBP 传输数据,虽不存在丢包问题,但时延抖动较大.UDP/IP 协议虽然时延平稳 ,但存在丢包问题,为了能够与远程建立稳定的初始连接,采用 3 次握手策略.在上述仿真平台下,关键是实现机器人的非线性微分方程运算.通过对 Puma560 对象的构造,结合图象雅可比矩阵求解机器人运动学和动力学方程,可以得到系统的反馈控制向量.利用 RoboticsToolboxforMatlab 提供的计算模型,服务器端基于图象的伺服仿真结构见图 4.图 4 系统仿真结构利用 RoboticsToolboxforMatlab 提供的函数,根据图 4
17、X=TX.;X=Tc;xc【j 】;所示的仿真结构,求解机器人关节角加速度用 acce1.m,机(O.*Xc;.器人雅可比矩阵.,(g) 用 jacbin0.m,机器人重力补偿项用 A=M.vM(3,:);(1/zcdescesimageJac0binma.gravload.m,求解机器人前向运动学模型用 fkine.m.图 4 中torque=gravl_K1qdJ0(1:3,:)(A(:,1:3)+o.5M(3,1:3)deltay)Bdf 取系统图像采样时间.由于篇幅有限,此处只给出程序的 eltay;主要部分.(4) 服务器端的数值计算(1)构建机器人 Puma560 对象 BooLc
18、suoigD:.ul 咖.廿 cP.L;VOffp_处l-ar省n略)部分代码L 上,l 上 J.=link(pi/20,.叫gEvalsing(pView.m_ep,“torque=t0rqfun(p560,qO,q 也 K1,B,serv此处省略部分代码 .gl0bl0TcXe;f 此处省略部分代码oI【8770,300,0;090o40o000,:cameralframetoimIdgengEvalString(pView-mep,“qdd=Idccel(n0fricti.n(p560),qo,qd,torquframeTc=1,0,0,0;0,0,一1,0;0,1,0,3;0,0,0,
19、1;%TranslationmatrixfromlServQdd:engGetVariable(pView.L 印,?qdd?);tIJJ;%m.的 b.spe.f 此处省略部分代码 xe0-0.020.%1h.p.o.intonthed_.ffectspeSenrqoo=Servq00+Servqd0timeinterval+0_5servqddo】timein0560=robot(L,Puma560,Unimation):elT?tervalUmemterval;p56o.n 二 me=Pllma56.;Sf 此erv处qd省0略=部Se分rvq代d码0+l廿 d 册 a 丰 tp560.
20、manuf=.Umman0n.;,/getv=UV】1fmmMat】abaftertiffssamD】e 石 me/(2)求解特征点图像坐标.ingvj.w.印,“y:igey6o,q0)1);functiony=imagey(robot,q)ServYOutput=engGetVariable(pView.m_ep,?y);globalOTcXe;此处省略部分代码 】T=fkine(robot,q);X=TXe;%coordinatesinrob.tbse.3 实验和仿真结果Xc=TcX:%Coordinatesincameraframes.Zc:Xc(3);%Thedepth0ftheim
21、a 阻仿真中采用关节式机器人 Puma560,其 6 个关节都是转y=(1/Zc)OXc;%y=uV1动关节 ,前 3 个关节确定末端特征点的位置,后三个关节确(3)求解机器人控制力矩 f 定末端的姿态.futi.“rq.的 qfu“(robot,q,qd,K1,B,de)%KBisg 血机器人 Puma560 连杆参数见表 1.基于标准的 D.H吡dedeag.(_DenavitHartenberg)方法,若连杆参数已知,容易得到机器 globalOTcXe;一一一 .grIdv=grav1.ad(rob.t,q);JIdc.bO(rob.t,q);T:fldne(robot,q);人的坐标变换矩阵,进一步地就可以构造出机器人对象.?55第 20 卷第 2 期2008 年 1 月系统仿真,_01.20No.2Jan.,2008衰 1 机器人 Puma560 连杆参数实验中客户端和服务器处于校园网内两点.图像采样时间为 100ms.机器人特征点在末端坐标系内坐标为=0,.
