汽车机器视觉安全技术国内外研究现状.doc

1、汽车机器视觉安全技术国内外研究现状一、国外研究现状目前车辆行驶状况的感知技术中， 视觉传感器与超声波、激光、雷达等相比较而言，可以获得更加丰富多彩的道路环境、运行轨迹等信息。而且很多道路与交通环境信息，如交通信号信息、交通标志信息、道路标线信息、前方车辆信息等都主要是作为视觉信号起作用，其他感知手段难以有效获得其表现内涵，因此基于机器视觉感知理解技术的汽车主动安全系统研究倍受关注国外非常重视汽车视觉主动安全系统及技术方面的研究。 基于视觉的汽车主动安全技术是 ITS 智能交通系统研究的核心问题， 能够很好解决交通安全的问题， 有利于缓解运输领域的交通堵塞和环境污染问题。因此，国外科研机构及汽车

2、企业不同程度地开展汽车视觉安全技术领域的探索研究。 目前， 汽车视觉安全技术的研究主要集中在前方障碍物探测，追尾防撞预警，车道偏离预警和驾驶人状态监控等方面，作为车辆主动安全技术研究领域的一个重要组成部分，吸引很多国家投入大量的人力、物力、财力进行研究和开发。1.汽车机器视觉主动安全系统国外研究现状德国联邦大学在成功研制 VaMoRsP 智能车系统后，开始发展新一代的 EMS-Vision 视觉系统。 该系统可以随着速度的变化，自动调节摄像机的焦距；对周围较宽范围内的物体感知，适应不平道路的颠簸环境，获得立体视觉的解释。美国 CMU 大学机器人研究所研制的 NabLab8，装备便携式计算机、视

3、觉传感器、GPS 全球定位系统，雷达和其它辅助设备。驾驶系统运行在 PANS 硬件平台之上，该平台为系统提供了计算平台、I/O 接口、位置估计、方向盘控制和安全监视等功能。法国帕斯卡大学研制的 Peugeot 系统，该系统充分利用单目机器视觉动态在线完成对道路标识线的检测与跟踪， 道路标识线的左、右两侧边缘信息通过高斯滤波和平均值估算灰度标准方差以及梯度计算获取， 并建立了道路多项式函数轨迹模型， 同时利用时空光滑方法降低噪声干扰，提高道路标识线检测的鲁棒性。美国卡内基梅隆大学的 SCARF 系统和 ALVINN 系统， 该系统运用色彩聚类技术划分道路图像中的像素点， 提出梯形道路区域假设，

4、在假设区域内利用 Hough 变换检测道路边界信息，通过神经网络学习控制车辆的行驶状态。意大利帕尔马大学的 GOLD 系统，该系统包括 3 个 CCD 视觉传感器，其中一个视觉传感器用于检测道路标识线，另外两个用于检测前方车辆障碍物。CCD 视觉传感器获取的图像信息通过图像采集卡 PCI 总线采集，该系统架设了 PAPRICA-3 硬件结构，能够实现图像处理算法的并行运算，执行无人驾驶车辆的控制任务。AURORA 系统由一个彩色 CCD 视觉传感器、数字转换器以及一个处理速度为 60Hz 的便携 SunSparc 工作站共同组成，以视觉传感器俯视安装采集的方式在线检测车辆一侧的道路标识线图像信

5、息。意大利帕勒莫大学的 AutoTrak 系统， 它由若干 PC-104 板卡组成， 雷达接口单元安装于汽车前部挡风玻璃下方的后视镜，并且能够进行实时在线自标定， 通过它的 LED面板显示车辆横向位置或者菜单选择信息。AutoVue 系统利用单目机器视觉实时监测本车在行车道中的运动轨迹， 预测本车与道路标识线之间的绝对距离，与设定的报警阈值进行对比，判断是否预警，当检测出车辆已经处于偏离车道行驶状态时， 系统发出类似于车辆在隆声带上行驶时发出的隆隆作响的声音来提醒驾驶人安全行车。DSS 系统通过 CCD 视觉传感器实时采集道路标识线信息、利用多传感器融合技术采集驾驶人的操作行为以及车辆行驶参数

6、等数据信息， 在线判断车辆在车道中的运行状态。如果发现车辆正在偏离本车道行驶，系统将以视觉、听觉以及振动转向盘等多元化的预警方式来警示驾驶人提高专注力保证安全驾驶。以色列的 Mobileye_AWS 系统， 该系统主要包含了前碰撞预警功能、 车道偏离预警功能、车距监控预警功能、低速防碰撞预警功能等，能够能有效避免因驾驶人疏忽，例如注意力不集中、疲劳驾驶、酒后驾驶等产生的交通事故，为驾驶人提供了安全保障。Safety Shield 系统主要包括了车道偏离预警系统、车辆防撞预警系统、智能巡航系统、车道保持系统、智能刹车辅助系统以及安全车距控制系统等，多项高科技系统可智能的统一协作，最大程度地保证驾

7、驶人的安全。AWS-3000 系统通过安装于汽车内饰仪表盘上方的 CCD 视觉传感器检测识别道路标识线和前方车辆障碍物信息， 当本车与前方车辆之间的相对距离过小时， 系统将会发出警示声音及液晶显示来提醒驾驶人。 此外， 若驾驶人在未打开转向指示灯的情况下进行换道行驶，系统同样也会以声光预警的方式提醒驾驶员注意安全行车。沃尔沃车载碰撞报警系统，该系统主要由车载视觉传感器以及毫米波雷达组成，以多传感器信息融合技术同时检测道路及前方车辆信息，在线辨识可能存在的潜在危险情况，如果危险情况即将出现，系统将启动自动刹车功能，并对驾驶人给予声光预警。2.基于机器视觉的道路标识线识别技术国外研究现状Yuji

8、Otsuka，Shoji Muramatsu 提出了一种基于道路形状边缘信息的多种道路标识线检测方法，充分利用了道路边界中包含了大量朝向道路扩张中心边缘点这一显著特征。R.Turchetto 等针对市内道路环境采用立体视觉和光度测量相结合的方法，提取道路图像中路面边缘处的高度及亮度梯度值特征， 根据相对距离信息检测道路边缘。 Sung yug Choi采用仅在感兴趣区域来检测特征的道路标识线检测识别方法，进一步减小干扰边界的影响并保证了检测的实时性。 Lena 用频域特征来检测车道边界，此方法在图像中的车道边界为倾斜的直线时有很好的效果，而当车辆处于变换车道的情况时不能很好的检测车道边界。Be

9、rtozzi 等利用结构化道路的几何特征，提出了路面平坦性假设，运用空间几何位置关系的逆投影映射技术消除了透视变换的影响， 实现了道路标识线的准确定位。Axel Gern等在道路检测过程中结合了两种不同的道路特征，不仅能够较为准确地预测道路曲率参数，而且能够稳定可靠地估算出车辆行驶过程中与道路之间的偏转角。Roland Chapuis，Jean Laneurit 等提出了一种利用三维模型识别道路图像边缘的方法，通过建立的三维道路模型实现了对道路曲率、车辆位置以及车辆运动姿态等参数的预测。 Tsai-Hong Hong 等运用彩色 CCD 视觉传感器和激光测距传感器信息融合技术检测定位道路边界，

10、同时利用激光测距传感器检测车辆前方的障碍物，并返回距离信息。Romuald Aufrere 等利用多传感器信息融合技术实现了对车辆周边一定范围的物体(例如道路边缘、墙壁等) 的检测追踪，有效地避免了对道路周边环境的错误感知。(3)基于机器视觉的车辆检测技术国外研究现状基于车辆线性几何特征信息的方法， 充分利用在图像信息中目标车辆的形状、灰度、对称性等客观存在的显著特征，进行目标的区域分割与信息识别，但是由于光线和周围环境的易变性，导致获取信息量不足，容易产生误检或者漏检。M.Bertozzi 在估计对称性时用边界信息来消除均匀区域，但是由于背景中的其它对称目标的存在常常使得该类方法产生错误的假

11、设。Narayan Srinivasa 等采用了基于边缘特征的车辆检测与跟踪方法，利用 Sobel 算子在图像中检测水平边缘和垂直边缘，利用八连通法合并边缘信息，分割车辆区域，利用基于 Hough 变换的线性滤波方法滤除了道路边缘的噪声。基于模板匹配的方法， 根据对目标车辆的先验知识设置匹配模板， 并与实际图像相互比对，认为相关性最大，则存在目标车辆，该方法受车辆运动姿态的影响较大，如果车辆同时存在多方向运动变化时，模板匹配相似度大幅下降，导致车辆检测的误检风险增加。Bensthair.A 等使用一个对称映射来检测图像中的对称区域搜索感兴趣区域，利用对称边缘图像建立矩形框模板，限制图像角度和大

12、小，通过检测矩形框的四个直角进行模板匹配。基于目标运动的方法主要利用光流法检测目标位置。Giachetti 等将一阶、二阶差分算法用于检测视频图像中的运动物体，算法主要通过连续的两帧图像完成，取得了一定的检测效果，但该方法不适用于静态物体的检测。基于神经网络训练的方法， 该方法通过目标与非目标两类模式分类问题替代传统的车辆检测问题， 对采集的图像信息样本用神经网络等学习方法进行训练，通过设置的分类器对目标车辆进行归类，非常适合用于车辆检测结果的有效性验证。基于活动轮廓的方法，M.Kass 提出了 Snake 的主动轮廓模型，构造能量函数，通过梯度下降法收敛到最近的局部极小值，该方法非常依赖于局

13、部信息，对它的初始位置和图像噪声是非常敏感的，轮廓经常会收敛到能量函数的某个局部极小值。Kichenassamy 在主动轮廓的基础上提出了测地线主动轮廓， 基于图像几何参数相关的“自然”能量函数，运用梯度下降法优化目标，并在延伸发展了一种用三维分割算法。基于立体视觉的方法，Yuta 等提出了一种在非结构化路面条件下利用双目机器视觉信息匹配 IPM 方法，融合左、右两侧的道路图像中的像素点，并通过一系列的坐标系转换，实现了对前方目标车辆的检测定位。Bertozzi 等提出了一种基于双目立体视觉的目标车辆检测方法， 通过双目视觉多角度采集图像信息进行融合，利用逆透视投影变换实现车辆定位， 双目立体

14、视觉定位比较准确，但是视觉融合过程中需要消耗系统大量资源，而且还需要借助特殊硬件设备，成本较高，对视觉传感器参数的依赖性大，现有的立体视觉技术还处在十分不成熟的阶段。二、国内研究现状1.汽车机器视觉主动安全系统国内研究现状在汽车机器视觉主动安全技术领域的研究中， 与国外发达国家相比较而言， 我国仍处于理论研究和探索阶段， 目前开展车辆安全辅助驾驶系统研究工作的科研单位和机构中最具代表性的主要有：清华大学、国防科技大学、吉林大学、东南大学、西安交通大学、同济大学和中科院沈阳自动化研究所等。 清华大学研制的 THMR 系列智能车，目前最具代表性的 THMR-V。THMR-V 已经能够实现结构化环境

15、下的车道线自动跟踪，准结构化环境下的道路跟踪，复杂环境下的道路避障、道路停障，视觉临场感遥控驾驶等功能。国防科技大学研制的 CITAVT 系列无人驾驶车，目前最具代表性的 CITAVT -IV，采用 A110DSP 自行开发的图像处理系统，基于 Unix 操作系统开发，利用两台 CCD 视觉传感器感知道路状况， 视觉感知结果交由一台计算机来完成道路特征和路面障碍的提取，提取的结果用来规划车辆的行驶速度和改变车辆的工作状态。吉林大学开发的 JLUVA 系列智能车，目前最具代表性的 JLUVA-IV 系统。该系统通过处理由 CCD 视觉传感器拍摄到的前方道路图像获得车辆在车道中的位置信息，结合转向

16、灯信号判断车辆是否在驾驶人无意识状况下偏离车道并给予预警，提醒驾驶人车辆偏离车道，减小安全隐患。东南大学主持研发的嵌入式车道偏离报警系统，该系统利用车载 CCD 视觉传感器获取被追踪道路标识线的模拟视频信号，通过视频解码器处理生成数字信号后使用高速嵌入式 DSP 视频处理模块提取道路标识线特征信息，最后通过视频编码器将处理结果转化为模拟视频信号液晶输出显示。西安交通大学研制的 Springrobot 智能车，实现了对车辆横向和纵向的自动控制改造，并且加装了多种传感器，运用多源信息融合技术，能够实现车道偏离预警系统、车辆防撞预警系统和自适应巡航控制系统等车载预警系统的基本功能。除此之外，国内其它

17、一些大学，例如上海交通大学、北京理工大学、湖南大学、西北工业大学、南京理工大学、电子科技大学、南京航空航天大学、江苏大学、武汉理工大学、重庆大学等也从不同程度开展了汽车视觉安全技术的研究工作，在研究过程中也取得了一些重要的研究成果和经验积累。2.基于机器视觉的道路标识线识别技术国内研究现状余天洪提出了一种基于双标准可调模板关联技术的道路标识线检测方法，获取了较为精确的车道线参数，解决了不同光照条件下的车道线识别的难题。 陆建业， 杨明等提出了一种利用一组特征线的几何一致性建立线性参数化的道路结构模型的道路检测方法，运用回归诊断技术预测道路模型参数，结合卡尔曼滤波跟踪方法，在城市结构化道路中取得

18、了良好的检测效果。程洪，郑南宁等提出了一种基于主元神经网络和 K-均值的道路识别方法，通过广义 Hebb 学习规则训练主元神经网络权值，然后通过主元神经网络获取道路图像的特征矢量，特征矢量通过 K-均值分类器分类，借助参考区域识别道路。 沈峘提出了一种面向结构化道路的单目视觉的车道线实时检测方法，基于方向优先级进行车道线搜索，利用图像的亮度信息及其变换识别出车道线。郭磊提出了一种应用方向可调滤波器的道路标识线检测方法，充分考虑了道路的方向性特征，划分区域并以车道线方向设置方向可调滤波器，取得了良好的效果。 徐友春提出了一种基于全局直线道路模型的道路标识线边缘检测方法， 采用自然边界作为道路识别

19、的依据，采用像素级特征和帧图像特征来识别道路边缘，通过检测与跟踪的模式，提高了道路识别的精确性和抗干扰能力。 廖传锦，黄席樾等提出了一种基于小波变换的高速公路道路标识线的边缘检测方法， 利用灰度以及几何特征对车道边缘进行实时检测跟踪，并且建立道路边缘模型，通过数据离散点拟合的模式勾勒出道路边界轨迹方程，预测道路的延伸方向。 王越等利用二维的道路模型，将道路中心线的检测问题转为求取样条曲线的控制点的问题，对道路进行检测和跟踪。3.基于机器视觉的车辆识别技术国内研究现状郭磊等提出了用自适应的双阈值方法检测车辆下方的阴影区域，利用能量密度校正车辆的垂直边缘，用可变模型来确定车辆检测方法。顾柏园提出了

20、日间、夜间、以及正在超越本车的车辆识别方法，并利用了卡尔曼滤波方法对下一帧图像中车辆的可能位置进行了预测。 施树明利用单帧图像识别出的路径标线建立初始感兴趣区，并对目标应用对称性测度确认前方车辆是否存在，在连续序列图像中，利用 Kalman 预估器进行目标跟踪。张增玲提出了基于多特征融合的车辆检测方法，在改进车辆后视特征的提取方法的基础上，提出了通过整合车辆的纹理、形状、对称性等客观信息的检测方法。胡铟利用车辆模型匹配的方法进行车辆检测与跟踪。该方法以车辆投影的完整度、匹配点相对于模型的偏移量期望和方差的加权作为相似性度量的依据，适应性较好。 高德芝提出了一种应用模糊逻辑融合车辆多特征检测目标

21、车辆的算法，充分考虑到车辆多个特征的重要性，将模糊理论中的模糊隶属度函数和特征置信度值相结合实现目标车辆的验证，实现前方车辆的检测。 刘亚东以多尺度边缘和局部熵原理为依据来检测前方车辆，由于对输入参数的依赖性较小，使得系统精度较高，并且降低运算量。李云翀提出了基于阴影特征和 Adaboost 的前向车辆检测方法，通过检测车底阴影特征来生成车辆假设，使用基于梯度特征的 Adaboost 方法来验证车辆假设，最后使用 Kalman 滤波对检测到的目标进行跟踪以改善系统性能。文学志提出了一种基于类 Haar 特征和改进 AdaBoost 分类器的车辆识别算法，基于积分图提取图像的扩展类 Haar 特

22、征，然后对所提取的海量类 Haar 特征应用改进的 AdaBoost 分类器训练方法进行特征选择及分类器训练，最后利用所选择的特征信息及训练得到的分类器进行两类分类识别。三、研究现状评述纵观国内外的研究现状不难发现， 虽然汽车机器视觉安全技术已经成为目前汽车主动安全领域研究的重点和热点，但是很多研究结果存在一定的局限性，并不适用于所有的应用领域。综上所述，关于汽车机器视觉安全技术的研究与应用现状总结如下：(1)在道路标识线方位与线型的视觉辨识研究中， 绝大部分识别方法仅从纯图像处理技术的角度出发，并没有充分利用道路标识线固有的局部结构特征、边缘轮廓特征、方向特征以及颜色特征等先验知识， 降低了

23、道路标识线检测识别的适应性和实用性。 传统的车辆横向偏航预警模型容易引起系统虚警率的增加， 驾驶人长时间工作在频繁虚警的状态下，将会产生心理上的“警告疲劳” ，干扰驾驶人对安全行车状态的正常判断。(2)常用的前方车辆图像识别方法忽略了目标车辆轮廓在图像中所表现出的多尺度方向特征信息，导致单一特征下局部有效鉴别信息的损失， 未能够较好地解决目标车辆识别过程中实时性与鲁棒性之间的矛盾， 而且使用单一检测手段，容易引起虚假目标车辆检测风险增大的问题。(3)在安全车距预警技术的研究中并未充分考虑驾驶人- 车辆-道路环境这个闭环反馈机构的交互影响，局限于对前、后两车之间后车驾驶人行为的研究，没有解决安全

24、车距预警决策中驾驶人注意力分散时的作用能力、 自车与前车相对行驶状态的多变性以及路环境信息刺激的多源性等不确定性问题。(4)针对机器视觉安全技术的核心算法研究更倾向于 PC 机亦或工控机架构环境，不利于成果的推广应用，同时由于嵌入式系统的硬件结构与工控机之间存在较大的差异，导致部分核心算法不能够很好地应用于嵌入式系统，兼容性有待于进一步增强。综上所述，我国针对客运车辆危险行驶状态机器视觉辨识技术的研究工作起步较晚，在很大程度上还是借鉴和参考国外先进的技术和研究成果，仍然处于学习和探索阶段，凭借着国民经济实力的不断增强，经济发展的不断腾飞，在不久的未来将会迎来新一轮的汽车机器视觉安全技术研究热潮，具有广阔的发展空间和市场前景。