1、收稿日期: 2014 - 09 - 03基金项目:辽宁省高校创新团队资助项目( LT2014006) ；国家自然科学基金资助项目( 51405073, 61071057) .作者简介:史添玮( 1982 - ) ,男,辽宁鞍山人,东北大学博士研究生；王 宏( 1960 - ) ,女,辽宁沈阳人,东北大学教授,博士生导师.第36卷第10期20 1 5年10月东北大学学报(自然科学版)Journal of Northeastern University(Natural Science)Vol. 36,No. 10Oct. 2 0 1 5doi: 10. 3969 / j. issn. 1005 -
2、 3026. 2015. 10. 003基于光流的六旋翼飞行器悬停控制史添玮,王 宏(东北大学机械工程与自动化学院,辽宁沈阳 110819)摘 要:提出了一种应用惯性光流实现六旋翼飞行器悬停的非线性控制器.为克服外界因素的影响,提出一种辅助悬停控制系统.首先由球面相机获取目标平面的图像,并通过动态映射实现目标点到相机镜头表面的映射；然后比对连续时刻的图像获取目标点的平移光流；最后,使用分散平移光流作为控制器的反馈信息,实现飞行器的稳定悬停.目标平面为室内多纹理的平坦地面,共完成10次测试.实际飞行测试表明,飞行器在水平与高度方向的悬停位置误差为 5 cm,验证了该非线性控制器与辅助悬停控制系统
3、的可行性.关 键 词:六旋翼飞行器；惯性光流；非线性控制器；动态映射；辅助悬停控制系统中图分类号: V 249. 1 文献标志码: A 文章编号: 1005 - 3026( 2015) 10 - 1378 - 06Hovering Control of Hex- Rotor Aircraft Based on Optical FlowSHI Tian- wei, W ANG Hong( School of M echanical Engineering & Automation, Northeastern University, Shenyang 1 10819, China.Correspo
4、nding author: W ANG Hong, professor, E- mail: hongwang mail. neu. edu. cn)Abstract: A nonlinear controller was proposed to realize the hovering control for the hex- rotoraircraft by using the inertial optical flow. M eantime, an auxiliary hovering control system waspresented to overcome the influenc
5、e of external factors. Firstly, the spherical camera was used toget the image of target plane, and the projection from target point to camera lens was realized bydynamic mapping. Then the translational optical flow of target point was obtained by comparingthe two continuous time images. Finally, the
6、 divergent translational optical flow was utilized asthe feedback to implement the stable hovering control for the hex- rotor aircraft. The indoortextured floor was selected as the target plane, and this experiment was tested ten times totally.The actual flight tests showed that the errors on horizo
7、ntal and vertical directions were all less than 5 cm, which verified the feasibility of the proposed nonlinear controller and auxiliary hoveringcontrol system.Key words: hex- rotor aircraft； inertial optical flow； nonlinear controller； dynamic mapping；auxiliary hovering control system早在2005年,加拿大学者Ta
8、yebi等 1就已证明多旋翼飞行器可稳定飞行,并给出动力学模型.由于受有效载荷的限制,严重制约其自主性.一种可行的解决方法就是利用光流技术 2 .其适应性强,可与惯性测量单元组合,提供相对位置等信息.近年来,光流技术得到广泛应用,国内学者应用光流技术实现了目标跟踪 3 、运动小目标检测 4 、移动目标定位 5 、悬停控制模拟 6等.国外的研究机构已将光流技术用于机器人避障 7 、飞行器姿态估计的恢复 8 、飞行器的垂直降落及地形跟踪等 9 - 12 .虽然光流技术被应用于多旋翼飞行器的悬停控制,但其存在位置估计精度低 6 ,应用多相机导致数据处理花费过大等缺陷 12 .为解决上述问题,本文依据
9、六旋翼飞行器动力学方程,设计了非线性悬停控制器.将惯性导航与下视球面相机结合,获取飞行器的速度、高度等信息及目标平面的平移光流特性,并将发散光流作为控制器的反馈信息,该方式提高了悬停的位置精度.本文同时提出一种辅助悬停控制系统,以修正飞行器在特殊环境下产生的位置偏移.实际AcroPDF - A Quality PDF Writer and PDF Converter to create PDF files. To remove the line, buy a license.飞行测试表明,本文提出的非线性悬停控制器及辅助悬停控制系统是可行的,悬停位置精度达到 5cm,与类似方法比较,精度明显提
10、高.1 获取图像光流信息建立地面坐标系E与机体坐标系B. x,y, z为飞行器在地面坐标系中的位置；飞行器姿态由欧拉角(偏航角、俯仰角、滚转角) , , T表示,其定义为飞行器围绕机体坐标系zyx轴的旋转角度； 1 , 2, 3 T为机体坐标系相对于地面坐标系的转动角速度在机体坐标系各轴上的分量；假设球面相机安装在飞行器的质心处,焦距为1.1. 1 目标平面点到球面镜头表面的动态映射图1为平面相机与球面相机的几何图像动态. O与S2分别为平面相机镜头表面和球面相机镜头表面；向量V为机体坐标系中的机身质心平移速度； 为飞行器的转动角速度； P ( X, Y, Z) R3为目标平面的静止可见目标点
11、.该目标点映射到平面相机与球面相机的点分别为po, ps,映射过程为p P/ ( P) . ( 1)式中: ( P)为重新整定因数.对于球面相机, ( P) | P| /f；对于平面相机, ( P) | Z| /f.其中, f为球面相机的焦距.将两种相机的映射点对时间求导,并结合雅克比矩阵可得.ps J.po. ( 2)目标点相对于目标平面稳定,因此,目标点的位置移动仅取决于相机的位置移动,即飞行器的移动.图1 相机几何动态Fig. 1 Geometry dynamic of camera( a) 平面相机； ( b) 球面相机.对于球面相机,目标点映射到相机球面镜头表面的动态半径可统一表示为
12、 12.p - p - pV/ | P| . ( 3)式中: p为球面上的点p在球面S2的切线空间映射: p ( I3 - ppT) ；向量V RTv, v .表示地面坐标系中的机身质心平移速度.在地面坐标系中,定义d: d( t)为从目标平面到机体坐标系正交距离.因此,对于目标平面中的任意点P,满足 12d( t) P, k p, k | P| cos( u) | P| - k , , ( 4).d - k , v , ( 5).p - p - pVcos( ) / d( t) . ( 6)式中: k为惯性方向； 为惯性方向k与目标平面点映射到相机球面镜头表面位置夹角.1. 2 获取平移光流
13、.p, , k为已知数据, , k为惯性测量单元获得的估计值 13 . W 2窗口的平均光流为 12 = 蓦W 2.pdp = - k - QV/ d . ( 7)式中: 是以k为中心的球面镜头视场角度,如果W 2是以k为中心的半球表面,则 ； Q =ni = 1cos( i) pi = RT( Rt - 1RTt ) R是正定对称矩阵, i为目标点个数, Rt为目标平面相对于地面坐标系的方向矩阵, R为地面坐标系与机体坐标系间的转换矩阵.通常, Q iI3.由式( 7)可得平移光流 - ( Rt - 1RTt ) R( k) v/ d . ( 8)令d0为d的初始值,结合式( 5)并对其求积
14、分,可得d( t)d0 = exp( lgd( t)d0 ) = exp( - t0 k , d ) .( 9)2 基于光流的悬停控制基于光流的悬停控制,即实现飞行器线速度趋近于0的稳定控制.由式( 8)与式( 9)知, 与d( t) / d0为可量测量.因此,可依据飞行器动力学方程 12 :m.v m. . - RFEz GEz . ( 10)建立以u RdFEz f( , d( t) / d0)为输入的PI控制器:u = kP dd0 kIt0( dd0w) d GEz =1d0 ( kPv kIt0vd ) GEz , kP, kI 0 . ( 1 1)式中: Rd为飞行器的期望方向；
15、F为旋翼产生的合力； Ez为列向量,由于旋翼转轴与机体平面成9731第10期 史添玮等:基于光流的六旋翼飞行器悬停控制AcroPDF - A Quality PDF Writer and PDF Converter to create PDF files. To remove the line, buy a license.90夹角,因此, Ez ( 0, 0, 1 ) T； G为飞行器所受重力； 为外界干扰力； kP, kI, d0为正值,这保证了v呈指数稳定趋近于0.假设目标平面为地面坐标系中的xoy平面.当飞行器理想悬停时,期望方向与目标平面水平,即机体坐标系与地面坐标系平行.此时,变量
16、d为相机到目标平面的高度,则该控制器的闭环动态可以简化描述为. . - k1d0. - k2d0( - 0) . ( 12)式中: k1 , k2为未知系数； 0为飞行器初始位置； d0为飞行器初始高度.依据线性系统经典理论可验证呈指数收敛于 0 d0k2 .因此,当 0时,飞行器线速度趋近于0,可实现其在初始点位置处的稳定悬停.3 辅助悬停控制系统辅助悬停控制系统主要通过监测飞行器的位置、姿态及速度,实现消除特殊外界因素(如目标平面无明显可识别点)对飞行器悬停产生的失效.惯性导航系统将获取的实时加速度测量值分别进行一次与二次积分,即可得到飞行器的瞬时速度与位置为vx = vx0 t0axdt
17、, vy = vy0 t0aydt；x = x0 t0vxRcosydt, y = y0 t0vyRdt .( 13)式中: x, y, vx与vy为飞行器的经、纬度方向的位置与速度； vx0, vy0, x0与y0分别为飞行器速度与位置的初始值； R为地球半径.将惯性导航数据使用四元数法解算,即可获得实时姿态信息.四元数可表示为Q q0 q1 i q2j q3k,其与惯性导航姿态矩阵的关系矩阵为q20 q21 - q22 - q23 2( q1q2 - q0q3 ) 2( q1q3 q0q2)2( q1q2 q0q3 ) q20 - q21 q22 - q23 2( q2q3 - q0q1
18、)2( q1q3 - q0q2) 2( q2q3 q0q1 ) q20 - q21 - q22 q23.将各时刻q0, q1 , q2与q3代入关系矩阵得 atctan( 2( q1q2 - q0q3) / ( q20 - q21 q22 - q23) ) , arcsin2( q2q3 q0q1 ) , atctan( - 2( q1q3 - q0q2) / q20 - q21 - q22 q23) .( 14)简化的辅助悬停控制系统如图2所示.当飞行器悬停出现异常时,该系统自动启动.图2 简化的辅助悬停控制系统Fig. 2 Simplified auxiliary hovering con
19、trol system4 实验过程及结果4. 1 实验参数实验首先对飞行器完成悬停任务的可行性与稳定性进行了分析验证,然后与类似方法进行了比较.本文使用Lucas - Kanade算法估计并计算光流.相机可观测角度范围为圆周70 .设定飞行器的悬停高度为1 m,前向速度为1 m/ s.控制器参数: kP 1, kI 0. 28.光流采样频率为25 Hz.预设允许最大偏移误差为 10 cm,速度为1. 5 m/ s,偏航角、俯仰角与滚转角误差均为 5 .4. 2 实验过程及结果实验1 关闭辅助悬停控制系统,目标平面为纹理清晰的水平地面.理想状态下,悬停时刻光流为0且位置偏移为0.图3与图4分别为
20、飞行器的实际飞行轨迹与相应光流.从图中可看出, x轴与y轴的偏移在 5 cm范围内； z轴的偏移在 3 cm范围内；光流相对平稳并趋近于0,变化趋图3 飞行器的实际飞行轨迹Fig. 3 Actual flight path of aircraft0831东北大学学报(自然科学版) 第36卷AcroPDF - A Quality PDF Writer and PDF Converter to create PDF files. To remove the line, buy a license.图4 实际位置与相应光流Fig. 4 Actual positions and correspondi
21、ng optical flow势与位置偏移大致相同；该实验验证了本文提出方法的可行性与稳定性.实验2 关闭辅助悬停控制系统,相机镜头用白纸遮挡,模拟特殊环境(目标平面中无可识别点) .图5与图6分别为飞行器的实际飞行轨迹与相应光流.从图中可以看出, x轴与y轴最大偏移达到30 70 cm； z轴偏移在 5 cm范围内.飞行器已无法有效悬停,但光流变化趋势与位置偏移大致相同.该实验验证了本文提出方法的可行性.图5 飞行器的实际飞行轨迹Fig. 5 Actual flight path of aircraft实验3 开启辅助悬停控制系统,相机镜头用白纸遮挡,模拟特殊环境(目标平面中无可识别点) .
22、图7与图8分别为飞行器的实际飞行轨迹与相应光流.从图中可以看出:飞行器在xoy平面产生较大偏移,且方向不定, z轴偏移在 5 cm范围内；偏移达到预设允许最大偏移误差,但是,辅助悬停控制系统有效限制了飞行器继续偏移,并使飞行器悬停在允许的范围内；光流的变化趋势与位置偏移大致相同.该实验验证了本文提出方法的可行性与稳定性.图6 实际位置与相应光流Fig. 6 Actual positions and corresponding optical flow图7 飞行器的实际飞行轨迹Fig. 7 Actual flight path of aircraft图8 实际位置与相应光流Fig. 8 Actu
23、al positions and corresponding optical flow1831第10期 史添玮等:基于光流的六旋翼飞行器悬停控制AcroPDF - A Quality PDF Writer and PDF Converter to create PDF files. To remove the line, buy a license.由于预设允许最大偏移误差大于正常悬停时的偏移误差,因此,待飞行器姿态稳定后,辅助悬停控制系统自动修正飞行器悬停位置,将其调整至正常悬停时的偏移误差范围内.图9为飞行器自动修正悬停位置过程.图9 自动修正悬停位置Fig. 9 Automatic re
24、vise hovering position与实验1结果中的图4相比较,由于飞行器无法获取光流,导致悬停控制器失效；图8的悬停轨迹偏移较大,无法围绕初始悬停位置,且偏移方向无法估计.辅助悬停控制系统的介入,使飞行器能在预设允许误差内,适时修正位置、姿态与速度偏移,并待稳定后,自动修正悬停位置.此外,由实验结果可知,前向速度恒定的情况下,飞行器的位置与光流测量值被控制在期望值附近,并趋近于期望值.尽管测量值中存在光线变化、计算误差、飞行器振动等噪声,但噪声对光流控制的稳定性不产生影响.与吕强等 6提出的方法相比,本文提出的方法,在悬停高度与水平位置精度上均有显著提高,分别提高 6 cm与 4 c
25、m.表1为10组悬停测试的统计结果,表中的平均误差与平均光流误差均使用(平均值标准差)表示.表1 悬停测试的统计结果Table 1 Statistical results of hovering test实验x轴平均误差/ cm y轴平均误差/ cm z轴平均误差/ cm平均光流误差/ lm1 2. 1 1. 9 - 2. 6 1. 7 102. 4 0. 2 0. 03 0. 072 16 13. 7 - 27 17. 8 104. 7 0. 4 - 0. 08 0. 393 - 2. 8 2. 7 - 3. 4 2. 9 102. 6 0. 4 0. 04 0. 193修正3. 2 2.
26、4 3. 6 2. 7 104. 2 0. 7 - 0. 04 0. 165 结 论本文提出一种应用惯性光流与惯性导航,实现飞行器悬停的非线性控制器与辅助悬停控制系统.实验结果表明:理想悬停环境下,飞行器的位置误差与光流均趋于理想值,平均光流误差为0. 03 0. 07；水平位置误差与高度误差分别为 5 cm与 3 cm.特殊悬停环境下,飞行器高度位置精度为 5 cm,但在水平位置出现方向未知的较大偏移.辅助悬停控制系统将飞行器的位置偏移有效抑制在预设允许误差内,并最终将其调整至正常悬停时的偏移误差内.相比其他方法,该方法在悬停高度与水平位置精度上分别提高 6 cm与 4 cm.参考文献: 1
27、 Tayebi A, M cGilvray S. Attitude stabilization of a four- rotoraerial robot C / / IEEE Conference on Decision andControl. Paradise Island, 2004: 1216 - 1221. 2 Srinivasan M V, Zhang S W , Chahl J S, et al. Howhoneybees make grazing landings on flat surfaces J .Biological Cybernetics, 2000, 83( 3) :
28、 171 - 183. 3 吴垠,李良福,肖樟树,等.基于尺度不变特征的光流法目标跟踪技术研究 J .计算机工程与应用, 2013, 49 ( 15 ) :157 - 161.( W u Yin, Li Liang- fu, Xiao Zhang- shu, et al. Optical flowmotion tracking algorithm based on SIFT feature J .Computer Engineering and Applications, 2013, 49 ( 15 ) :157 - 161. ) 4 袁卫红,卢雁,毛海岑,等.基于光流的运动小目标检测算法 J
29、 .光学与光电技术, 2012, 10( 1) : 67 - 70.( Yuan W ei- hong, Lu Yan, M ao Hai- cen, et al. A smallmoving object extraction algorithm based on optical flow J . Optics and Optoelectronic Technology, 2012, 10 ( 1 ) :67 - 70. ) 5 郭力,昂海松,郑祥明.基于单目视觉的微型飞行器移动目标定位方法 J .系统工程与电子技术, 2012, 34( 5) : 996 -1000.( Guo Li, A
30、ng Hai- song, Zheng Xiang- ming. M oving targetgeolocation for micro air vehicles based on monocular vision J . Systems Engineering and Electronics, 2012, 34 ( 5 ) :996 - 1000. ) 6 吕强,倪佩佩,王国胜,等.基于光流传感器的四旋翼飞行器悬停校正 J .装甲兵工程学院学报, 2014, 28( 3) : 68 -72.( Lyu Qiang, Ni Pei- pei, W ang Guo- sheng, et al.
31、Hoveringcalibration of quadrotor aircrafts based on optical flow sensor J . Journal of Academy of Armored Force Engineering,2014, 28( 3) : 68 - 72. ) 7 Hyslop A M , Humbert J S. Autonomous navigation in three-dimensional urban environments using wide- field integrationof optic flow J . Journal of Gu
32、idance, Control, andDynamics, 2010, 33( 1) : 147 - 159.(下转第1392页)2831东北大学学报(自然科学版) 第36卷AcroPDF - A Quality PDF Writer and PDF Converter to create PDF files. To remove the line, buy a license.计算,每月可节省资金约481. 12万元.可见,在以较小的代价牺牲部分混煤煤质参数的情况下,标煤单价得到了大幅度的下降.表4 配煤方案Table 4 Solution of blend供应商1 2 3 4 5 6 7x
33、i /%8. 2 5 0 0 10 6. 3 10供应商8 9 10 11 12 13 14xi /%0 0 8. 9 26. 4 0. 2 15 104 结 语本文针对火电厂燃煤锅炉对混煤煤质的要求,建立了配煤成本最小且带有惩罚项的单煤资源受限型0 - 1混合整数规划模型.模型通过引入0 - 1整型变量实现了混煤中单煤数目的控制；其次允许混煤煤质参数超出模型的限定值,并通过目标函数中的罚函数加以限制,以这种方式,获得了更合理的配煤方案.此外,在追求标煤单价最低配煤方案的同时,还要注意结合生产工艺和技术改造,才能有效地提高企业利润.参考文献: 1 姜英.动力煤和动力配煤 M .北京:化学工业出
34、版社,2012.( Jiang Ying. Steam coal and steam coal blending M .Beijing: Chemical IndustryPress, 2012. ) 2 Rushdi A, SharmaA, GuptaR. An experimental study oftheeffectofcoalblending onash deposition J . Fuel, 2004, 83( 4) : 495 - 506. 3 Zhang XM , Liu Y H, W ang C A. Experimental study oninteraction and
35、 kinetic characteristics during combustion ofblended coals J . Journal of Thermal Analysis andCalorimetry, 2012, 107( 3) : 935 - 942. 4 Vasko FJ, NewhartDD, StraussAD. Coalblendingmodelsfor optimum cokemaking and blast furnace operation J .Journal of Operational Research Society, 2005, 56( 3) : 235
36、-243. 5 夏季,陆攀,华志刚,等.电站锅炉全局优化智能配煤模型的建立及系统开发 J .动力工程学报, 2010, 30( 7) : 512 - 517.( Xia Ji, Lu Pan, Hua Zhi-gang, et al. M odel set-up andsystem development for intelligent coal blending based onintegraloptimizationofutilityboilers J . Journal of ChineseSociety of Power Engineering, 2010, 30( 7) : 512
37、- 517. ) 6 GuptaA, Das AK, ChauhanGI S. Acoal-blendingmodel: atoolforbettercoalblendpreparation J . Coal Preparation,2007, 27( 1) : 28 - 38. 7 YinC G, Luo Z Y, Zhou J H. A novel non-linearprogramming-based coal blending technology for powerplants J . Transactions of the Institution of ChemicalEngine
38、ers, 2000, 78( 1) : 118 - 124. 8 W ang CA, Liu Y H, Zhang X M , et al . A study on coalproperties and combustion characteristics ofblended coals innorthwestern China J . Energy Fuels, 2011, 25( 8) : 3634 -3645. 9 周孑民,朱再兴,刘艳军,等.高强基于Elman神经网络的动力配煤发热量及着火温度的预测 J .中南大学学报,2011, 42( 12) : 3871 - 3875.( Zho
39、uJie-min, Zhu Zai-xing, Liu Yan-jun, et al. Predicationofcalorific value and ignition temperature of blended coalbased on Elman neural network J . Journal of CentralSouth University, 2011 , 42( 12) : 3871 - 3875. ) 10杨圣春.电站锅炉燃煤结渣预测模型及诊断软件的研究 M .北京:中国水利水电出版社, 201 1.( Yang Sheng-chun. Coal-fired power
40、 station boiler slaggingpredictionmodelanddiagnostic software M . Beijing: ChinaW aterPowerPress, 2011. ) 11 樊増权. 300 M W锅炉掺烧长焰煤的运行特性及配煤研究 D .保定:华北电力大学, 2003.( Fan Zeng-quan. The investigation of operating specificpropertyanddistributing coal ofthe 300M W s boilermixed D . Baoding: North China Elect
41、ric Power University,2003. )蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭 蕭(上接第1382页) 8 GrabeV, Bulthoff H H, Giordano P R. Robust optical-flowbased self-motion estimation for a quadrotor UAV C / /IEEE/ RSJInternationalConferenceonIntelligentRobotsandSystems
42、. SaintPaul, 2012: 2153 - 2159. 9 Kendoul F, Fantoni I, Nonami K. Optic flow-based visionsystemfor autonomous 3D localization and control of smallaerial vehicles J . Robotics and Autonomous Systems, 2009,57( 6) : 591 - 602. 10 Grabe V, Bulthoff H H, Giordano P R. On-board velocityestimationandclosed
43、-loopcontrolofaquadrotorUAVbasedon optical flow C / / IEEE International Conference onRobotics andAutomation. SaintPaul, 2012: 491 - 497. 11 Carrillo L R G, L pez A E D, Lozano R, et al. Combiningstereo vision and inertial navigation system for a quad-rotorUAV J . Journal of Intelligent & Robotic Sy
44、stems, 2012, 65( 1 / 2/ 3/ 4) : 373 - 387. 12 H riss B, Hamel T, M ahony R, et al. Landing a VTOLunmannedaerialvehicle on a moving platform using opticalflow J . IEEE Transactions on Robotics, 2012, 28( 1) : 77 -89. 13 M etni N, PflimlinJM , HamelT, etal. Attitudeandgyrobiasestimation for a flying u
45、av C / / IEEE/ RSJ InternationalConference on Intelligent Robots and Systems. Saint Paul,2005: 1114 - 1120.2931东北大学学报(自然科学版) 第36卷AcroPDF - A Quality PDF Writer and PDF Converter to create PDF files. To remove the line, buy a license.基于光流的六旋翼飞行器悬停控制作者： 史添玮， 王宏， SHI Tian-wei， WANG Hong作者单位： 东北大学 机械工程与自动化学院,辽宁 沈阳,110819刊名： 东北大学学报（自然科学版）英文刊名： Journal of Northeastern University (Natural Science)年，卷(期)： 2015(10)引用本文格式：史添玮.王宏.SHI Tian-wei.WANG Hong 基于光流的六旋翼飞行器悬停控制期刊论文-东北大学学报（自然科学版）2015(10)
