1、第38卷第1期2016年1月机器人ROBOTVol.38, No.1Jan., 2016DOI：10.13973/ki.robot.2016.0049基于机器视觉的Delta机器人分拣系统算法倪鹤鹏1,2，刘亚男1,2，张承瑞1,2，王云飞1,2，夏飞虎1,2，邱正师1,2（1.山东大学机械工程学院，山东济南250061；2.山东大学高效洁净机械制造教育部重点实验室，山东济南250061）摘要：针对分拣过程中视觉系统对工件的重复拍摄问题，提出一种基于时间与工件位置的图像去重复算法，以实时分拣系统的系统运行时刻作为各单元的时间基准，将预测的工件到达某一固定参考位置的时刻与工件当前位置组合成一组能
2、唯一识别工件的坐标，经周期性比较，判断并去掉重复图像信息同时为提高分拣效率，提出一种基于牛顿拉夫森迭代的动态抓取算法，建立了机器人跟踪工件的数学模型，并通过牛顿拉夫森方法求解该非线性数学模型最后用MATLAB对动态抓取算法进行了验证样机实验中最快分拣速度达110次min，误抓率小于2，漏抓率为0，证明了算法能够满足实时性要求，同时具有较高的准确性和稳定性关键词：工业分拣；Delta机器人；图像去重复；动态抓取中图分类号：TP242文献标识码：A文章编号：1002-0446(2016)-01-0049-07Sorting System Algorithms Based on Machine Vi
3、sion for Delta RobotNI Hepeng 1,2，LIU Yanan 1,2，ZHANG Chengrui 1,2，WANG Yunfei 1,2，XIA Feihu 1,2，QIU Zhengshi 1,2(1. School of Mechanical Engineering, Shandong University, Jinan 250061, China;2. Key Laboratory of High Efficiency and Clean Mechanical Manufacturing, Shandong University, Jinan 250061,
4、China)Abstract: To overcome the repeat shooting to workpieces by vision system in sorting process, an image deduplicationalgorithm based on time and workpieces positions is proposed. The running time of the real-time sorting system is usedas basis of each sorting module, and the predicted time that
5、workpieces arrive at a fixed reference position is combinedwith its current location into a set of coordinates to uniquely identify a part. So the duplicate image information can befound and removed by comparing those coordinates periodically. At the same time, in order to improve sorting efficiency
6、, adynamicpickingalgorithmbasedonNewton-Raphsonmethodisproposed. Thenon-linearmathematicalmodelisestablishedfor workpiece tracking, which is solved by Newton-Raphson iteration. Finally, the proposed dynamic picking algorithm isverified by MATLAB. In prototype test the maximum sorting speed can reach
7、 110 times per minute, mistaken-grab rate islower than 2, missing-grab rate is 0, which proves that the algorithms can meet the real-time, the accuracy and the stabilityrequirements.Keywords: industrial sorting; Delta robot; image deduplication; dynamic picking1引言（Introduction）Delta并联机器人1是应用最为成功的并联机
8、构之一2，其驱动机构可以放置在机架上，从动臂可以做成轻杆，因此末端可以获得很高的速度和加速度，特别适合小型物料的高速分拣操作3机器视觉技术是指用摄像机和计算机来模拟人的视觉功能，广泛应用在电子电器、航天、汽车和制药等领域4传统的机器人分拣流水线中，机器人的运动控制一般采用示教或离线编程的方法，无法适应多变的工作环境将机器视觉技术应用于工业分拣系统，能够显著提高生产效率，增强机器人的环境适应能力，因此基于视觉的Delta并联机械手分拣系统具有广阔的应用前景图像的去重复处理以及抓取模式的选择是分拣系统正常工作的前提在图像去重复算法方面，张策5提出了通过传送带上安装的编码器定距离地触发相机拍照，以这
9、一确定的位移变化作为判别依据对相邻两帧图像中的工件进行对比此算法容易理解，但相机采用编码器触发方式，硬件成本高，同时计算量大，程序实现较为复杂在抓取模式方面，相比动态跟踪抓取，定点等待抓取方式不能充分利用机器人的工作空间，分拣效率难以提高张文昌6提出了根据工件在传送带基金项目：高档数控机床专项资助项目（2014ZX04002021-003）通信作者：张承瑞，收稿录用修回：2015-06-16/2015-09-18/2015-11-094950机器人2016年1月上的分布密度来调整传送带速度的控制思想，以保证机器人总是处在最快抓取速度状态，并进行了简单的理论分析，但该方法实现较为困难，并且不符合
10、对生产节拍有要求的生产过程邓明星7等提出了基于PID控制（proportional integral derivativecontrol）的传送带跟踪算法，以当前位置与目标位置的偏差作为机器人运动规划的依据，有一定的跟踪效果，但实现过程较为复杂，难以跟踪大量工件本文以实时分拣系统的运行时刻作为各单元的时间基准，提出了一种基于时间和位置的图像去重复算法，将预测的工件到达某一固定参考位置的时刻与工件当前位置组合成一组能唯一识别工件的坐标以判断并去除重复，易于理解和实现；相机可由软件控制I/O模块实现触发，无需传送带编码器，降低硬件成本同时对匀速传送带上的工件动态抓取算法进行了研究，以几何分析为基础
11、建立了机械手追踪工件的数学模型，通过牛顿拉夫森迭代算法计算机器人末端与工件的相遇时间并确定抓取点，再规划机器人的运动，过程简单并能保证机器人轨迹平滑2图像去重复算法（Imagededuplicational-gorithm）2.1问题背景PF1V &PF1V-:j.4*6Ff-(jDeltaj 图1分拣系统模型Fig.1 Sorting system model如图1所示，整个分拣系统由视觉单元、机器人单元、传送带单元以及控制单元（上位机）组成零散工件在传送带I上匀速前进，视觉单元采集到工件的图像信息并传送给上位机，上位机通过图像处理，获得工件的位置信息并读取系统时刻以获取时间信息，然后规划机
12、器人单元的运动并向Delta机器人发送运动指令，将零散的工件抓取并放置到传送带II的托盘上，完成分拣操作在系统运行过程中，相机以一定的拍摄频率进行图像采集，若工件经过视觉识别区的时间大于相机的拍照时间间隔，同一工件就会被重复拍摄上位机根据图像获取工件信息时，需要进行去重复处理，以免在后续的机器人分拣中出现误抓现象，同时要保证不会去掉没有重复的工件信息，以免造成漏抓现象2.2算法描述如图2所示，视觉识别区为MN的矩形区域，建立视觉识别区坐标系Oxyz和机器人抓取坐标系Oxyz，将Oxyz沿x轴正向平移l1即可得到Oxyz软件通过控制I/O模块周期性地触发相机来采集图像信息为保证工件都能被相机捕捉
13、到并能通过图像处理过程识别出来，传送带速度v与相机拍摄频率f需要满足下列关系：M f v0 (1)CABABCyxMN?A jDEH LOPF1V F AyOj jxl1 l2图2视觉识别区及机器人抓取区Fig.2 Visual identification region and robot picking region通过图像处理算法，可以获得图像中各工件在视觉坐标系中的位置如图2，当前帧中A、B、C三工件的坐标分别为(xa,ya,z1)、(xb,yb,z1)、(xc,yc,z1)，当前时刻为t，用白色圆表示；下一帧图像时三工件到达下一位置，时刻为t，用蓝色圆表示，坐标分别为(xa,ya,z
14、1)、(xb,yb,z1)、(xc,yc,z1)为实现图像去重复，本文引入广义坐标8的思想，通过一组特定的坐标唯一描述工件在控制中为保证传送带单元、视觉单元与机器人单元的同步，选择实时分拣系统的运行时刻作为时间基准，系统时间分辨率为1s，满足精度要求基于系统时间的唯一性，选择工件到达某一特定参考位置的系统时刻作为1维坐标如图所示，以工件A为例，选取机器人抓取区域上边界H作为固定参考位置，这样选取的优点是计算得到的A到达抓取区域的时刻ta可以作为后续动态抓取计算的参数，减少计算量通过当前帧图像可计算A到达H的时刻为ta =t + l1xav (2)第38卷第1期倪鹤鹏，等：基于机器视觉的Delt
15、a机器人分拣系统算法51下一帧拍照时的系统时刻为t，满足关系t =t + 1f (3)则此时计算A到达H的时刻为ta =t + l1xav (4)其中xa = xa + vf (5)联立式(2)(5)可得ta =ta (6)即对于同一物体，其到达前方固定参考位置的系统时刻是确定不变的，因此若忽略视觉采集误差和图像处理误差，时间维坐标可以完全区分x坐标不同的工件，如A与C，但对具有相同x坐标的工件无效，如A与B，需要其他的坐标加以确定传送带沿x轴方向运动，若忽略视觉采集和图像处理误差，同一工件在不同帧图像中的y轴坐标是不变的，故选取y轴坐标作为另一维坐标至此，(ta,ya)可以作为一组区分图像中
16、各工件的坐标，获得每一帧图像后，通过比较该坐标，即|tata| vlim，即在Strap较大的情况下，当机器人末端采用没有匀速段的运动模式时，所需要的最大速度大于速度上限，所以此时能达到的最大速度为vlim，且中间需增加匀速段，则加速段和减速段运动时间Ttrap1、Ttrap3分别为Ttrap1 = Ttrap3 = vlim(1 +12)amax(13)加速段和减速段运动位移Strap1、Strap3分别为Strap1 = Strap3 = v2lim(2 +1)amax(14)总运动时间为Ttrap = Ttrap1 +Ttrap2 +Ttrap3 (15)其中Ttrap2为中间匀速段时间
17、Ttrap2 = StrapStrap1Strap3vlim(16)3.3路径规划抓取传送带上的工件并放置到传送带的托盘中是典型的PTP（point-to-point）过程，考虑到运动过程存在一定高度的障碍物，运动路径选择由3条直线段构成“门”字形轨迹为防止拐角处轨迹突变引起的机器人震颤，同时缩短运动时间，拐角处采用圆弧过渡方式12，如图3所示PF1V PF1VP2P6P7P5P1P3P8P4S1S3S2图3 PTP路径规划Fig.3 PTP path planning图中P1P5和P4P8分别是两侧的安全高度以末端由P1运动到P4为例，弧P5P6为竖直方向P1P2的减速段与水平方向P2P3加
18、速段运动合成后的混合段同理，弧P7P8也为两个方向运动合成后的混合段设P1P2、P3P4运动时间分别为T1、T3，P2P3运动时间为T2，同时设P1P5、P5P8、P8P4运动时间分别为t1、t2、t3，其中t2 = T2对P1P2段，若vmax 6vlim，则设定P5为P1P2的中点，可得t1 = T12 (17)若vmax vlim，则设定P5为P1P2减速段起点设P1P2的加速段、匀速段和减速段时间分别为T11、T12、T13，则有T1 = T11 +T12 +T13 (18)t1 = T11 +T12 (19)同理对P3P4段，若vmax 6vlim，则P8为P3P4的中点，且t3 =
19、 T32 (20)若vmax vlim，则P8为P1P2匀速段起点，设P3P4的加速段、匀速段和减速段时间分别为T31、T32、T33，则有T3 = T31 +T32 +T33 (21)t3 = T32 +T33 (22)则总运动时间为T =t1 +t2 +t3 (23)3.4动态抓取算法描述如图2，当前系统时刻为t且能够周期性更新，机器人完成了工件E的分拣，下一工件D到达抓取区域的时刻为td，比较t与td的大小可能存在两种情况：(1) t td第38卷第1期倪鹤鹏，等：基于机器视觉的Delta机器人分拣系统算法53DEFGPF1V PF1VOxy图4动态抓取示意图Fig.4 Dynamic
20、picking diagram(2) t td，即当前时刻工件D已经进入抓取区域，需要机器人对D进行动态抓取工件D进入抓取区域后，通过t与td的关系及D的y轴坐标可知D在机器人抓取坐标系下的坐标，设为(xd,yd,z1)放置点E位置已知，设为(xe,ye,z2)设点F为预测的抓取位置且抓取时刻为tf在DEF中作EGDF，可知G点坐标为(xe,yd,z1)在DEG中，由坐标关系可得边长DE为lDE =(xdxe)2 +(ydye)2 (24)所以有cos = xexdlDE(25)在DEF中，边长DF为lDF = v(tft) = vt (26)其中t为机器人末端由E点运动到F点运动一个门子型轨
21、迹的运动总时间由式(23)可知t =t3 +t2 +t1 (27)其中t1、t2、t3分别为P5P1、P8P5、P4P8段运动时间对t1，若P1P2段按无匀速段方式规划，所需最大速度vmax 6vlim，则t1 = 12vuuutS1(14 +18)amax(28)若vmax vlim，则t1 = vlim(1 +12)amax+S1vlim vlim(1 +12)amax= S1vlim(29)同理对t3，两种情况下的t3分别为t3 = 12vuuutS3(14 +18)amax(30)t3 = S3vlim(31)水平方向上首先进行没有匀速段的修正梯形算法规划，此时边长EF为lEF =(
22、14 +18)amax(tt1t3)2 (32)对DEF使用余弦定理得cos = l2DE +l2DF l2EF2lDElDF (33)联立式(24)(33)可得关于t的1元4次方程f1(t) =( 14 +18)2a2max(tt1t3)4v2t2 +2vt(xexd)l2DE= 0 (34)f1(t)即为无匀速段下机器人动态跟踪工件的数学模型直接求解式(21)比较困难，因此采用牛顿拉夫森迭代算法求解该方程，具体步骤为：Step1估计初值t0，以机器人末端到达G点时间t0作为迭代初值若水平方向无匀速段，且所需最大速度vmax 6vlim，则t0 =vuuut|xexd|(14 +18)ama
23、x+t1 +t3 (35)若vmax vlim，则t0 = |xexd|vlim+ vlim(1 +12)amax+t1 +t3 (36)Step2将tk代入迭代格式tk+1 = tk f1(tk)f1(tk)(37)求得tk+1，其中k = 0,1,Step3若|tk+1tk|63，输出tk+1并结束迭代；若|tk+1tk|3，且迭代次数k小于最大迭代次数N，转回Step2；若k大于N，结束迭代求得t后即可确定抓取点F的位置，若F在抓取区域以外或因迭代次数超过最大迭代次数N而退出迭代，则放弃该工件的分拣并做漏抓记录；若F在抓取区域以内，且水平段vmax 6vlim，即可对机器人进行无匀速段P
24、TP规划以实现抓取；若54机器人2016年1月vmax vlim，则需要进行有匀速段PTP规划，此时边长EF为lEF = vlim(tt1t3) v2lim(1 +12)amax(38)联立式(24)(31)、式(33)和式(37)，可得f2(t) = v2lim(tt1t3)2v2t22 v3lim(1 +12)amax(tt1t3)+2vt(xexd)l2DE + v4lim(1 +12)2a2max= 0 (39)f2(t)即为有匀速段下机器人动态跟踪工件的数学模型，可直接求解，结果为t1 = Q+Q24PW2P (40)t2 = QQ24PW2P (41)其中Q = 2v(xexd)v
25、2lim(t1 +t3) v3lim(1 +12)amax(42)P = v2limv2 (43)W = v2lim(t1 +t3)2 + 2v3lim(1 +12)amax(t1 +t3)l2DE + v4lim(1 +12)2a2max(44)对t的两个解，需要根据实际情况舍去不满足条件的解，然后确定抓取位置和运动路径；若两个解都满足，则选择时间较短的解；若两个解都不满足，则放弃该工件的分拣并做漏抓记录4实验验证（Experiment verification）4.1动态抓取算法测试实验取两侧垂直高度分别为S1 = 100mm，S2 =100mm；最大加速度amax = 3g，速度上限为v
26、lim =5m/s，通过MATLAB进行测试，实验结果见表1表1程序实验结果Tab.1 Program test resultv/(mm/s)xexd/mmyeyd/mmt/ms迭代次数误差/m100 100 300 351.3 2 0.250 300 353.1 2 0.1150 80 400 383.1 3 3.470 400 389.3 3 1.4200 110 300 349.7 2 0.180 300 361.8 3 0.1由实验结果可知该算法计算过程简单、迭代次数少且具有较高的精度4.2样机实验本次实验基于山东大学数控技术研究中心自主开发的Delta机械手高速分拣系统进行该系统采用
27、Windows操作系统，通过KRTS13拓展其实时性，并采用自主研发的EtherMAC14总线、松下网关模块及I/O模块；控制器CPU为Intel AtomN2600；相机选用Cognex CAM-CIC-300-120-G，标称帧率120帧秒，实验中可以在一定范围内设定拍摄频率；伺服电机为松下A5N网络型伺服；工件为直径70mm的圆片，实验样机如图5所示PF1VPC6(w&-(jDeltaj 图5实验样机Fig.5 Experimental prototype样机实验首先进行了动态抓取算法的运算时间测试，分析可知分拣过程中，由E点前往F点进行抓取运动的第1个通讯周期的计算量最大，且主要计算量
28、为F点位置的迭代计算和2次机器人逆解计算，故通过在此控制系统下模拟100万次该计算过程，共耗时43.216s，即每次计算耗时43.216s，在通讯周期为1ms的实时运算中能够满足实时性要求第38卷第1期倪鹤鹏，等：基于机器视觉的Delta机器人分拣系统算法55其次进行了样机抓取实验，主要测试在不同传送带速度下算法的准确性与稳定性考虑视觉采集、图像处理及尺寸测量等误差以及测试工件的尺寸，选择时间容差1 = 50ms，x方向位置容差2 =4mm，迭代误差3 = 1ms，实验结果见表2实验中最大抓取速率为110次分钟，测试时间大于100min，漏抓率小于2，误抓率为0，证明了算法的准确性与稳定性与文
29、5的实验结果相比，本文算法既具有较高的准确性，又无需传送带编码器，降低了硬件成本表2样机实验结果Tab.2 Prototype test result传动带速度/(mm/s)抓取总个数漏抓个数误抓个数100 504 0 0150 507 1 0200 501 1 05结论（Conclusion）本文提出的基于时间和工件位置的图像去重复算法，计算简单，易于编程实现；软件+ I/O模块的相机触发方式降低了对硬件的要求样机测试中漏抓率小于2，误抓率为0，证明了该算法能够有效地去除重复图像的信息同时提出的基于牛顿拉夫森迭代的动态抓取算法以几何分析为基础，迭代次数少，计算时间短，完全满足分拣系统的实时性
30、要求，可以达到110次分钟的抓取速率，具有较高的准确性和稳定性，适合工程实际应用参考文献（References）1 Vischer P, Clavel R. Kinematic calibration of the parallel DeltarobotJ. Robotica, 1998, 16(2): 207-218.2郎需林，靳东，张承瑞，等基于实时以太网的DELTA并联机械手控制系统设计J机器人，2013，35(5)：576-581Lang X L, Jin D, Zhang C R, et al. Control system designof DELTA parallel manip
31、ulator based on real-time EthernetJ.Robot, 2013, 35(5): 576-581.3王攀峰，梅江平，陈恒军，等基于多并联机械手的锂离子电池自动分拣装备控制系统设计J机械工程学报，2007，43(11)：63-68Wang P F, Mei J P, Chen H J, et al. Control system design forautomatic sorting of lithium ion battery using multiple paral-lel manipulatorsJ. Journal of Mechanical Enginee
32、ring, 2007,43(11): 63-68.4庄开岚，王吉忠，周洁机器视觉技术在角度检测方面的应用研究J装备制造技术，2011(4)：9-10Zhuang K L, Wang J Z, Zhou J. Application of machine visionin angle inspectionJ. Equipment Manufacturing Technology,2011(4): 9-10.5张策高速包装机械手视觉控制系统研究与开发D天津：天津大学，2008Zhang C. R&D of vision control system for a high speed pack-ag
33、ing robotD. Tianjin: Tianjin University, 2008.6张文昌Delta高速并联机器人视觉控制技术及视觉标定技术研究D天津：天津大学，2012Zhang W C. Control technique and kinematic calibration ofDelta robot based on computer visionD. Tianjin: Tianjin U-niversity, 2012.7邓明星，刘冠峰，张国英基于Delta并联机器人的传送带动态跟踪J机械工程与自动化，2015(1)：153-154Deng M X, Liu G F, Zha
34、ng G Y. Dynamic conveyor track-ing for Delta robot J. Mechanical Engineering & Automation,2015(1): 153-154.8叶敏，肖龙翔分析力学M天津：天津大学出版社，2001Ye M, Xiao L X. Analytical mechanicsM. Tianjin: Tianjin U-niversity Press, 20019于东，胡韶华，盖荣丽，等基于滤波技术的数控系统加减速研究J中国机械工程，2008，19(7)：804-807Yu D, Hu S H, Gai R L, et al. Re
35、search on acceleration and de-celeration for CNC machine tools based on filtering J. ChinaMechanical Engineering, 2008, 19(7): 804-807.10石川，赵彤，叶佩青，等数控系统S曲线加减速规划研究J中国机械工程，2007，18(12)：1421-1425Shi C, Zhao T, Ye P Q, et al. Study on S-shape curve accelera-tion and deceleration control on NC systemJ. Ch
36、ine Mechani-cal Engineering, 2007, 18(12): 1421-1425.11于金刚，林浒，张晓辉，等一种新型的Jerk连续加减速控制方法研究J组合机床与自动化加工技术，2009(8)：61-64Yu J G, Lin X, Zhang X H, et al. Research on a novel accel-eration and deceleration control method of continuous jerkJ.Modular Machine Tool & Automatic Manufacturing Technique,2009(8): 6
37、1-64.12王云飞，郎需林，张承瑞，等高速并联机械手最优加减速控制算法研究J机械设计与制造，2014(11)：85-88Wang Y F, Lang X L, Zhang C R, et al. The optimal accel-eration-deceleration control research of high-speed parallel ma-nipulatorJ. Machinery Design & Manufacture, 2014 (11): 85-88.13孙好春，张承瑞，胡天亮基于SMP的总线式软运动控制引擎设计J农业机械学报，2014，45(3)：288-292S
38、un H C, Zhang C R, Hu T L. Design of bus-style soft motioncontrol engine based on SMPJ. Transactions of the ChineseSociety for Agricultural Machinery, 2014, 45(3): 288-292.14张承瑞，王金江基于标准以太网的实时同步网络及其工作方法，中国：200710013313.0P2007-08-15Zhang C R, Wang J J. Real-time and synchronous control net-work and working method based on standard Ethernet, China:200710013313.0P. 2007-08-15.作者简介：倪鹤鹏（1991 ），男，硕士生研究领域：机器人运动学与动力学控制张承瑞（1957 ），男，博士，教授研究领域：机电控制基础理论，先进制造
