1、鱼眼镜头的发展概况及应用刘海毅、宋美婷、尹坤摘要 近年来，随着光学镜头及成像芯片技术的不断发展，基于常规镜头的传统视觉系统由于其有限的视场范围已经不能满足许多应用场合的需求。而广角成像具有大视野的显著特征，已成为当前计算机视觉研究的焦点和热点。而鱼眼镜头是一种基于仿生学的超广角镜头，通过引入桶形畸变，对物理空间进行“压缩形变” ，从而获得视角为 180270 度的超广角成像，尽管物像间差异很大，但不影响分辨率，且能保证物点与像点的一一对应关系，可以实现大范围的清晰成像，在天文、气象、森林防火以及国防军事等领域有重要应用。对鱼眼镜头的原理进行简单的概述，然后分析了它的一些关键问题，接着便是对鱼眼
2、镜头的应用进行了简要介绍，并在此基础上对鱼眼镜头的未来发展前景进行展望。中图分类号：TH744关键词：广角成像 鱼眼镜头 畸变矫正 发展 应用The Development and Application of Fish Eye LensAbstract: In recent years, with the development of optical lens and image formation chips, traditional lens with limited field of view no longer meet the needs. Thus wide angle imag
3、e formation techniques became a hot area of computer vision.Fish eye lens was a wide angle lens first put forward by J.C.Maxwell. It can provide a 180-270 field of view by introducing barrel distortion into the system and applying compressive deformation to the physical space. The distortion is not
4、a problem to the resolution because of the one-to-one correspondence between the object point and the image point. Fish eye lens has been applied in many fields such as astrology, meteorology, forest fire prevention, and military. The principle of fish eye lens is briefly described. Then some key pr
5、oblems are analyzed. Also the applications of fish eye lens are introduced, followed by a prospect of the future development of fish eye lens. Key words: wide-angle imaging; fish eye lens; distortion calibration; development; application一、鱼眼镜头的原理1.1 鱼眼镜头的结构原理鱼眼镜头是一种极端的广角镜头，也称全景镜头4。一般认为 16mm 或焦距更短的镜头
6、即为鱼眼镜头5，但是在工程上视角范围超过 140 度的镜头即统称为鱼眼镜头1。在实际中也有视角超过甚至达到 270 度的镜头。鱼眼镜头是一种具有大量筒形畸变的反远摄型光组7。这种镜头的前镜片呈抛物线状向前部凸出，形状与鱼的眼睛相似，因此得名“鱼眼镜头” ，其视觉效果类似于鱼在水中观察水面上的事物。当鱼在贴近水面的位置观察时，视角可以达到近 180的广角。这种现象在光学原理中属于全反射和光路可逆2。 超广角的鱼眼镜头是一种特殊镜头，但是在成像时因为实际生活中的景物是有既定的固定形态的,而通过鱼眼镜头产生的画面效果超出了这一范畴，所以图 1-1 鱼在水中观察水面事物图 1-2 全反射（左）和光路可
7、逆（右）需要合适的模型设计，以计算像点的准确位置。已知折射率公式为(1-1)=空气中 n=1。当 i=90时，(1-2)=1由于鱼眼前表面的曲率半径很大，如若将鱼眼外凸的前表面和眼前的水看成整体当作负透镜，该透镜将会有绝对值很大的负光焦度。借鉴仿生学原理，鱼眼镜头是其领域的一大突破，人类借鉴鱼类仰视水面之上半球空域的视觉原理，使用光学工程技术设计出鱼眼镜头，并用其成像，获得半球甚至超半球空域的场景图像。为使入射光线强度足够大，前置透镜的前表面改进为凸面并且相应增大后曲面的曲率，保证原有光焦度不变，以形成弯月形的透镜。如图 1-3弯月形透镜是作为第一个镜头，在其后面增加一定数量的透镜后组成透镜组
8、，以确保第一透镜能良好聚焦。鱼眼镜头的普遍结构特征为：透镜前组光焦度为负，后组光焦度为正，以加大同焦距不同类型镜头的后工作距离。鱼眼镜头具有广角、短焦的特点。图 1-4 为鱼眼镜头基本结构系统简化图 6。图 1-3 弯月形透镜1.2 鱼眼镜头成像畸变理论 在传统光学原理中，受到高斯原理成像视角限制，能成像的空间大小极为有限。但是在我们讨论的鱼眼镜头中，为了突破成像的局限性，鱼眼镜头引入畸变，在直径空间上进行压缩，以实现广角成像1 。普通光学系统一般遵循物像相似且致力于完善这种相似性。但是鱼眼镜头不满足针孔成像原理，是非相似成像的一种。对于鱼眼透镜成像公式，应满足视图范围中的图像字段定义域连续，
9、以作为一个鱼眼透镜投影函数。 1.3 鱼眼视觉系统模型鱼眼镜头成像重点之一就是能够正确描述三维立体空间里的目标点在成像平面上的像点，并且能够准确建立对应关系，要完成这一目标需要建立视觉成像模型并分析规律。鱼眼镜头多采用等距定理设计，图 1-6 为空间任意一点经鱼眼镜头折射后成像系统模拟图2。图 1-4 鱼眼镜头基本结构系统简化图图 1-5 相似成像与非相似成像对比示意图模型中鱼眼摄像成像模型由五个坐标系组成：世界坐标系、鱼眼镜头坐标系、摄像机坐标系、图像坐标系、成像坐标系。P 是三维场景中的一点； h 是点和投影表面展示空间之间的垂直距离；R 是鱼眼图像半径； P是场景点 P 在成像平面上的投
10、影点； 是点相对于中心入射角；r 是图像中心点 O与像点间的径向距离； 是场景点 P 在摄像机坐标系下的方位角； 是像点在图像物理坐标系下的方位角。S x、S y 是像素分别在横轴以及纵轴上的物理尺寸32。二、鱼眼镜头畸变校正鱼眼镜头靠人为引入大量桶形畸变获得大视角，从而能够获得大视场的图像信息，所以图像除画面中心处物体形状不变，其它本应是直线的部分都有一定的扭曲变形，这对其应用造成很多限制。例如，在安防领域，一个鱼眼镜头可以代替多个普通镜头，进行大范围的监视，由于视角可达 180，故几乎没有监控死角，即使只用一个镜头也几乎没有办法移动或破坏镜头而不被发现，然而由于图像的畸变使物体难以用人眼识
11、别，使监视能力大打折扣；又如在机器人领域，自动化的机器人要求能采集周围景物的图像信息，并加以识别，以采取对应的行动，若采用鱼眼镜头可使采集效率提高 2-4 倍，但由于引入了畸变使通常的识别软件难以应用。所以我们需要某种方式来识别鱼眼镜头所得图像。一种方式是直接在原图像中进行识别，例如文献1提供了一种算法，可以识别太阳在图像中的位置，但由于畸变的原因，同一物体在不同位置时其特征也会变化，这会极大地增加软件的运算量，也很难实现对复杂图形的识别。所以，现在通用的方法是通过一系列变换抵消图像中的畸变，从而获得正常的图像，图 1-6 鱼眼镜头系统模拟图进而加以识别。2.1.鱼眼镜头设计模型通常的光学系统
12、均基于高斯光学，遵循相似成像准则，而鱼眼镜头是非相似成像，故需要选择其他的成像公式来替换高斯光学成像公式，每一个成像公式对应一种镜头设计模型。常用的鱼眼镜头模型一共有四个，分别是等距投影（equidistance projection） 、等立体角投影（equisolid projection） 、体视投影（stereo graphic projection） 、正交投影（orthogonal projection） 。（2-rf1）（2-sinrf2）（2-3）2si(/)rf（2-4）tan式(2-2) 称为等距投影模型，如图 2- 1，入射光线的之间的角度相同，则其对应各投影点之间的间距
13、也会相同。如图 2-2，式(2-3)称为正交投影模型，该模型的畸变很大，尤其是近 180处的图像信息几乎全部丢失，且如果 180之外的情况无法描述。采用这种模型的镜头拍出的图片即使在视角较小的区域也会比其他模型的镜头的畸变更明显。视角相对较小的广角摄影镜头较符合这种模型，可以拍摄出明显的畸变效果。图 2-1 鱼在水中观察水面事物因此,针对艺术摄影类的广角镜头，该模型的校正效果较好。式(2-4)称为等立体角模型，该模型的特点是相等立体角的入射面会产生相等面积的像，其畸变程度介于等距模型与正交模型之间。(2-5)式称为体视模型；相比之下畸变最小。这两种镜头设计模型均很少被人采用。四种模型中，等距投
14、影因其成像高度与物方视场角成正比，方便信息处理，且具有高精度，实时性等优点，符合当今信息化的需求，故应用最为广泛，目前在军事、工程及科技领域使用的鱼眼镜头大多以等距投影为基础进行设计，本文也将以等距模型为例进行介绍。2.2.鱼眼镜头畸变校正2.2.1 利用鱼眼镜头的成像模型( 球面投影型及抛物面投影模型 )进行分析球面投影型是把鱼眼镜头的成像面等效为一个球面。这种方法的条件是所得图片的光学中心以及变换球面的半径，因而只适用于圆形区域。该算法由英向华及胡国义11提出。其算法思想为：约束条件是空间中直线的球面透视投影为大圆，以此来恢复鱼眼变形校正，将所有图像点都通过算法映射到一个球面上，并使这些球
15、面点满足球面投影的约束，即一条空间直线的投影必须为球面上的一个大圆。具体步骤如下：首先，在场景直线的投影曲线上选取采样点，用变形校正模型将其映射为球面点，由于采样点往往不全在直线上，故需要对这些采样点进行大圆拟合。求出能使各球面点拟合大圆的球面距离的平方和最小的参数，即为变形校正参数。抛物面投影模型是球面投影型的一个推广，把成像面看做抛物面进行变换，精度较球面投影形更高，但算法也更为复杂，应用得较少。2.2.2 基于 2D 和 3D 空间思想的校正算法图 2-2 正交投影2D 鱼眼图像校正是从二维空间直接校正图像，此方法不需空间点信息，而是直接在图像上对点进行坐标变换，投影到校正图像上，然后进
16、行像素灰度插值。具体包括经度坐标校正12、多项式坐标变换 13-16，以及极半径映射17-20等。 2D 模型的优点是简洁直接,一旦确定模型表达式,即可直接进行校正，但2D 模型的局限性在于仅能在鱼眼图像与校正图像之间直接映射 ,故当原图像的视角达到 180 时, 校正图像的大小将接近无穷大,因此 2D 模型不能适用于大视角区域的校正。3D 鱼眼图像畸变校正，包括投影转换和鱼眼镜头标定两种方法。具体上是把鱼眼图像上每个 2D 像平面点( x , y )映射到 3D 场景( X , Y , Z )投影构成的 2D平面点( x , y )，把图像像素点和光线 3D 向量一一对应起来，从而实现校正。
17、投影转换算法是将鱼眼图像转换成透视投影图像，或将鱼眼图像半径映射为入射角。原理是从照相机的位置上看，对任何投影，对于图像上每一个像素点，都有一个对应的 3D 向量光线。这类模型首先在像高和入射角之间建立关系 ,然后根据需要在空间中放置投影平面,由入射光线反投影到投影平面上获得校正图像 ,除个别模型（例如正交投影模型)外,一般的 3D 校正模型在理论上对于入射角在 0180之间没有限制。三、鱼眼镜头的应用最初，鱼眼镜头仅被应用于摄影，因其在成像过程中产生的桶形畸变具有特殊的美感。近年来，鱼眼镜头的应用更多地应用于广角成像领域，在军事、监控、全景模拟，球幕投影等方面。相较于其他系统，鱼眼镜头具有质
18、量轻、体积小等优势，同时也具有需要消除相差的不便捷之处。中国科学院长春光学精密机械与物理研究所及中国空空导弹研究院的姜洋等人在 2012 年设计了一种大视场凝视型红外共形光学系统18。该系统将共形整流罩与鱼眼镜头相结合，设计出一种应用于导弹导引的新型红外凝视成像导引头光学系统，提高了导引头稳定性并增大了观察视场。2014 年，军械工程学院的王龙等人提出一种应用鱼眼镜头的广角激光探测系统19。传统的激光探测系统主要应用法布里珀罗标准量具或迈克尔逊干涉仪，前者需要机械扫描，因此无法探测激光脉冲；后者视场小且结构复杂。而应用鱼眼镜头的广角激光探测系统无需机械扫描，可同时探测激光波长和入射方向。长春理
19、工大学光电工程学院的梁久伟等人在 2011 年提出了一种应用于监控系统的鱼眼镜头20，在原有鱼眼镜头的基础上针对监控系统的需求进行了改进，实现了单个镜头的全景监控。厦门大学物理与机电工程学院的张继艳等人在 2013 年设计了一种宽光谱日夜两用鱼眼监控镜头21 。现今市面上的日夜两用镜头多采用加大景深的方式，使成像在日间和夜间焦平面之间，成像效果因此降低。而张继艳等人所设计的宽光谱鱼眼监控镜头，工作波段长，成像范围大，日间夜间均成像清晰，且具有体积小隐蔽性高等优点。山东大学计算机科学与技术学院的张诚和汪嘉业在 2004 年提出了一种利用鱼眼照片实现三维重建和虚拟浏览的方法22。利用成像超过 18
20、0 度的鱼眼镜头对某一场景前后分别拍摄一张照片，即可建立一个三维模型，用户即可从任意角度对该场景进行观察。信息工程大学的李科等人联合 72515 部队，在 2013年研究发表了基于全景视频的虚拟地理环境建模技术研究23，利用装载鱼眼镜头的无人机等低空平台获取视频资料，将其转化为按时间排列的全景图像序列，从而建立虚拟地理环境模型。这种大范围的地理环境建模技术可应用于军队、消防、林业等领域的监测。北京林业大学水土保持学院的祁有祥等人在 2009 年提出了一种利用鱼眼镜头测量林冠郁闭度的简易方法24。首先用鱼眼镜头拍摄林分冠层的图像，然后应用 Photoshop 软件测定林分郁闭度的方法分析图像，从
21、而得出林冠郁闭度。该方法可用于研发操作简便的便携性郁闭度观测设备。上饶师范学院物理与电子信息学院的常山在 2012 年发表了利用鱼眼镜头对高斯光束的衍射变换作用，获得平顶化聚焦的精细激光束的方法25。该法获得的精细激光束可以应用于激光精细加工、微光机电系统和医学治疗等多种领域。球幕投影广泛应用于科技馆、天文馆等科普教育场所。在上个世纪 70 年代出现了球幕投影，其基本结构为一台放映机加鱼眼镜头。现今这种方式仍在沿用，不过传统放映机已换成了数字放映机。广州中国科学院工业技术研究的向鹏和王立钢在 2013 年设计了一种可附加在手机上的鱼眼镜头26，小巧轻便，易安装操作，用以增加手机摄影的乐趣和多样
22、性。四、发展瓶颈及未来展望4.1 设计方面4.1.1 初始结构的设计相较于一般的光学系统，鱼眼镜头的光学结构要复杂得多,因此对其初始结构的要求更高。但鱼眼镜头的设计大部分由商业公司完成，大学设计的较少，其参数均为商业机密,故被公开披露的系统类型、结构参数都很少,因而没有足够多的定型系统供分析借鉴，加大了设计难度。4.1.2 边界条件与质量函数之间的矛盾对于自动化光学设计来说,质量函数的优化必须被约束在由若干边界条件所规定的范围内。不过,边界条件越严格 ,则取得优化解的空间越小。因此,边界条件的约束与质量函数的优化是相互矛盾的。鱼眼镜头要实现成像，需要极大的视场和很高的相对孔径,因此必须以很大的
23、相对截面传递极度倾斜的光束,这使得其光学系统必须包含若干个光焦度很大的组元。以第一透镜为例,由于它在最前面,口径最大,第二面又极度弯曲 ,故被称为“弯月形透镜” 。 “弯月形透镜”是鱼眼镜头光学系统中最重要的组元,因为它对鱼眼镜头设计的成败具有决定性的影响。实践表明,在质量函数的优化过程中 ,这一组元的变化趋势多是进一步增大其曲率半径;而光学工艺、装配工艺和机械强度等厚度类边界条件常与这种趋势形成尖锐矛盾。此外,考虑到工程应用环境或成本因素,某些光学材料不宜被采用,因而材料类的边界约束被强化。与此同时,鱼眼镜头需要焦距很短而后工作距很长,这种要求常与像质函数的优化发生抵触。4.1.3 优化中的
24、“病态”处理“病态”是光学系统自动化过程中出现的发散、震荡、慢收敛和无优化解现象的统称。鱼眼镜头自动优化中， “病态”现象十分频繁。用传统方法处理鱼眼镜头优化中的“病态”是远远不够的，可能导致 “死循环”或接连不断的持续“病态”,使优化过程持久陷入困境。4.2 像差校正方面（1）当目标图像尺寸大于鱼眼照片尺寸约 4 倍以上，就存在明显的马赛克现象;（如图 4-1）图 4-1 鱼眼镜头拍摄的照片（左）和消除畸变后（右）（2）当目标图像尺寸小于鱼眼图像照片尺寸时，目标图像上相邻的像素就对应鱼眼照片上距离比较大的两点，那么当系统实时运转时，就会出现目标图像的闪烁。4.3 展望（1）作为新兴的光学镜头
25、，鱼眼镜头还有很大的应用潜力未被挖掘，可以根据各种需要设计多种多样的鱼眼镜头。（2）优化镜头组的设计，获得光学特性更加优良的镜头。（3）提高畸变校正和图像增强技术。五、参考文献1徐刚强，郑利平；可控畸变鱼眼镜头标定和成像校正方法研究；硕士毕业论文；2012-042曹丽业，张宝峰，朱均超；基于鱼眼镜头的全方位视觉系统参数标定方法研究；2012-033席志红,孙丽华,孙昭光；基于鱼眼镜头的全视觉图像；应用科技；文章编号1009-671X(2007)12-0008-05；2007-124许英朝，林洪沂，朱文章；鱼眼镜头的光学系统设计；厦门理工学院学报；2011-095仪翀，王雪晶；基于多幅图像的鱼眼
26、镜头标定方法研究;2010-056 D.SchneiderE, Schwalbe. Validation of geometric models for fisheye lensesJ, SPRS Journal of Photogrammetry and Remote Sensing 2009: 259-266. 7 Zhang Chen, Wang JY. 3D Model Reconstruction from fisheye images and virtual wark-throughJ. Journal of computer-aided design & computer gra
27、phic,2004(1):79-84. 8 王永忠. 鱼眼镜头光学 M. 科学出版社, 2006.8:20-88. 9陈晃明，陈向颖；鱼眼镜头光学；兵工学报；1989-0810. 徐晓冰、王建平、张崇巍、王熹徽：聚光系统中太阳位置的鱼眼图像识别J；计算机辅助设计与图形学学报；2008-0311 英向华，胡占义. 一种基于球面透视投影约束的鱼眼镜头校正方法J. 计算机学报, 2003,26(12):1702-1708.12 K, Yamazawa, Y Yagi, and M, Yachida. Hyperbolical Projection J. Proc. Int. Conf, on Omn
28、i-directional Imaging with Intelligent Robots and Systems Vo1.2, pp.1029-1034, July 1993.13 Glullo Sandlni, Jose Santos Victor, Tomas Pajdla, Fablo Berton. OMNIVIEWS: Direct Omni-directional Imaging Based on a Retina-like SensorJ. IEEE sensors, 2002.14 Tomas Svoboda, Tomas Pajdla and Vaclav Hlavac.
29、Motion estimation using central panoramic cameras J. In Stefan Hahn, editor, IEEE international Conference on Intelligent Vehicles, pages 335-340, pages 335-340, Stuttgart, Germany, Oct 1998.15 T. Svoboda. Central Panoramic Cameras Design, Geometry, EgomotionD. PhD thesis, Czech Technical University
30、, l999.16 Xianghua Ying, Zhanyi Hu. Catadioptric Camera Calibration Using Geometric invariants J.IEEE Transactions on Pattern Analysis and Machine Intelligence. Oct, 2004.17 Y Onoe, K Yamazawa, N Yokoya and H Takemura. Visual surveillance and monitoring systemusing an omni-directional video cameraJ,
31、 Proc. IEEE Intl. Conf. on Pattern Recognition, pp.18姜洋，孙强，孙金霞，刘英，李淳，王健，杨乐. 大视场凝视型红外共形光学系统设计J. 红外与激光工程，2012，V01.41 No.6.19Long Wang, Hongjun Dong, Weian Zhang, Xueju Shen. Optimum design of wide angle laser detecting system based on fish eye lens and sinusoidal amplitude grating J. Optics Communicat
32、ions 310(2014)173178, 2014.20梁久伟，罗春华，杨铭. 用于监控系统的鱼眼镜头光学设计J. 光学技术，2011，Vol.37 No.621张继艳，黄元庆，熊飞兵，孟宪国. 宽光谱日夜两用鱼眼监控镜头的设计 J. 激光与红外，2011，Vol.43 No.1222张诚，汪嘉业. 对鱼眼照片场景实现三维重建和虚拟浏览J. 计算机辅助设计与图形学学报，2004，Vol.16 No.123李科，熊自明，杜琳. 基于全景视频的虚拟地理环境建模技术研究J. 系统仿真学报，2011，Vol.43 No.1224祁有祥，骆汉，赵廷宁. 基于鱼眼镜头的林冠郁闭度简易测量方法J. 北京林业大学学报，2009，Vol.31 No.625常山，吴波，付敏. 用鱼眼镜头获得平顶化聚焦的精细激光束J. 红外与激光工程，2012，Vol.41 No.1126向鹏，王立钢. 手机附加鱼眼镜头的光学设计J. 光学仪器，2013，Vol.35 No.6
