1、计算机图像识别技术在 RTG 远程自动化控制改造中的应用 何平 上海沪东集装箱码头有限公司 上海沪东集装箱码头有限公司轮胎吊远程自动化改造上有关大车控制方面的应用, 经过半年多的生产运行, 轮胎吊单机作业箱量及行走小时数已与公司传统轮胎吊作业相同, 总体情况安全、稳定, 满足现场作业需求一、图像识别技术应用背景轮胎吊 (RTG) 是传统集装箱码头作业中的重要机械, 随着港口科学技术及信息化的不断发展, 港口对其机械化、自动化的需求程度也日趋提高。近年来, 沪东集装箱码头有限公司对传统轮胎吊的自动化改造进行了有效尝试, 尤其是在轮胎吊大车纠偏、定位及行车防撞方面, 创新开发多项基于计算机图像识别
2、的技术于其中, 如在轮胎吊大车防撞方面开发了基于双目立体视觉技术来实现防撞智能预警控制的技术, 在大车运行纠偏及定位方面成功运用图像识别技术实现自动纠偏及定位, 为轮胎吊自动化改造的提供了安全可靠的解决方案。二、轮胎吊双目立体视觉防撞智能预警技术1. 双目立体视觉概述双目立体视觉系统由左右两部摄像机组成。双目立体视觉是计算机图像识别的一种重要形式, 它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像, 通过计算图像对应点间的位置偏差, 来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别, 使我们可以获得明显的深度感, 建立特征间的对应关系, 将同一空间物理点
3、在不同图像中的映像点对应起来, 这个差别, 称作视差图像。双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点, 非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体 (包括动物和人体形体) 的测量, 由于图像获取是在瞬间完成的, 立体视觉方法是一种更有效的测量方法。2. 轮胎吊防撞智能预警系统设计思想及结构基于双目立体视觉技术的轮胎吊防撞智能预警系统, 其包括视频采集传感器系统、视频采集同步触发控制系统、辅助照明系统、图像分析处理主机系统、上位机通信接口、声光报警系统和电源系统。传感器系统包括工业相机或工业摄像头、千兆网交换机、视频传输线缆和接口;视频采集控制系统包
4、括采集触发控制器和触发线缆与端口、主机通信端口;辅助照明系统包括光源和光感应传感器;图像分析处理系统包括计算机或工控机硬件系统和应用软件系统。视频图像采集传感器系统, 每个视频检测传感器包含左右两个安装在同一水平面上的带外触发的千兆网 GIGE 相机。每个相机的 GIGE 端口都通过 GIGE 网线与千兆网交换机相连。千兆网交换机通过 GIGE 网线与图像分析识别主机相连。两个触发端口通过触发线缆连接到同步触发控制器的同一个端口, 保证左右两个相机的触发时间同步, 两个相机都安装在一个防水防尘的外壳内。系统可连接多个视频图像检测传感器。实时视频图像识别的轮胎吊防撞智能预警系统的辅助光源系统为
5、LED 补光灯和光照传感器组成, 光照度传感器检测当前照度并转换成电信号送入辅助光源系统进行判断, 当光照度低于软件设定的值时, 系统通过继电器点亮 LED 补光灯, 为视频检测传感器提供足够的照度, 以使得视频检测传感器能够拍摄满足识别要求的图像。视频采集同步触发控制系统原理, 主要由输入输出隔离光电耦合电路、单片机电路、稳压电源电路和 RS232 通信电路构成。其输入端口用于接收轮胎吊设备PLC 发出的行进方向指令, 当轮胎吊发出某个行进指令时, 光电耦合电路将与之对应的单片机 I/O 口电平拉低, 单片机根据 I/O 口的电平状态判断行进方向, 一方面通过改变同步触发端口的信号输出状态,
6、 使得相对应的传感器触发采集图像, 另一方面通过 RS232 端口向主机发出画面切换信号, 通知主机视频图像处理画面切换。同步触发控制系统另一个功能是根据照度传感器信号判断当前行进方向的光照度, 当照度低于一定值时, 触发打开辅助光源对视频检测传感器进行补光, 以保证视频检测传感器采集的图像保持在可识别范围内。图像分析处理主机系统由计算机 PC 或工控机 IPC 构成, 主机还包含有千兆网络通信设备 (千兆网卡) 、RS232 端口或 RS485 兼容端口等相关硬件。主机内安装有专门用于图像分析处理的应用软件。当应用软件启动后, 首先在网络内查找所有已连接的传感器内部相机, 并初始化所有符合条
7、件的相机。相机初始化成功后, 程序根据与同步触发控制器相连接的 RS232 口接收的信号判断处理哪组传感器图像并开始接收图像。同一时间内程序接收两幅图像, 分别对应传感器内部的两个相机。图像接收完成后, 程序首选对两幅图像进行画面预处理, 分为相机镜头畸变校正、亮度对比度变换、高斯模糊等, 两幅经过整定后的图像形成一个图像对, 进而在两幅图像中匹配对应点, 通过计算所有对应点的相对位置生成一幅用灰度值对应距离的视差图。系统计算生成视差图后, 程序根据传感器的安装高度和安装角度进行三维仿射变换, 计算出传感器视野范围内所有目标物体的三维空间坐标。程序对所有进入相机视野的人员及车辆等障碍物目标进行
8、目标检测、距离跟踪、判断。当目标进入检测区域时, 自动分析目标的危险系数, 必要时通过与 PLC 相连的RS232 端口发出预警、报警或者自动停止设备向危险方向运行的信号, 并可通过报警信号输出点向声光报警系统发出报警控制信号, 用于提醒现场车辆及人员等障碍目标及时做出相应反应。通过安装在 RTG 两侧的双目智能摄像头进行视差分析计算, 得到全屏幕的视差图像后, 采用背景建模的方式, 得到运动前景物体的视差图像, 再进行膨胀和腐蚀算法进行图像处理, 得到完整的可供分析的前景运动物体视差图。采用运动跟踪算法, 全屏实时监测物体的大小、运动轨迹, 并与事先设置的规则进行对比, 如果有人或集卡进入设
9、置的报警区域, 系统会控制大车运动单元进行联锁安全控制。3. 实际应用2017 年 3 月, 上海沪东集装箱码头公司结合轮胎吊远程自动化改造项目, 在一台传统的轮胎吊上安装了基于双目立体视觉技术的轮胎吊防撞智能预警系统。通过安装在 RTG 两侧的双目智能摄像头进行实时图像采集, 通过安装在电气房的工业计算机进行图像分析。如果有人、物体或集卡等车辆进入设置的预警或报警围界区域, 系统会控制大车运动单元进行连锁安全控制, 以实现轮胎吊防撞警示功能。该系统采用先进的 3D 识别技术, 具有检测速度快, 可存储报警物体图像用于追溯, 检测覆盖区域广无盲区, 目标全面, 应用灵活、全天候工作等优点, 同
10、时还可根据需要锁定检测行车通道双黄线区域, 具有随动性, 不会因 RTG 行车偏离而去误检测行车线外围物体, 有效避免了超声波、激光等检测系统的局限性, 提高了轮胎吊的大车行驶安全性。经过几个月的生产运行, 单机作业箱量及行走小时数已达到传统轮胎吊作业指标, 总体情况安全、稳定, 已满足现场作业需求。三、图像识别技术在轮胎吊大车纠偏及定位上的运用1. 大车自动纠偏大车在行驶过程中由于场地的平整度、轮胎的气压、大车梁的扭转和重量不平衡等原因常常会发生跑偏的现象。轮胎吊远程自动化操作大车运行, 有必要设计一种参照系来判断大车运行是否跑偏。沪东集装箱码头有限公司工程部设计人员根据堆场规划的大车行驶路
11、线, 预设了一排导向板, 并在导向板上铺设了3 条反光条, 反光条由很多像素点阵聚集而成。系统在初始化时先设置好反光条在智能摄像机中的所占的像素大小。这样在大车行车过程中, 当一端靠近导向板时, 3 条白色的反光条会在智能摄像机中所占的像素增加, 系统自动调整两个主动电机的频率差完成纠偏动作;当大车远离导向板时, 反光条在智能相机中的像素变小, 系统再自动调整两个主动轮的运行频率来实现纠偏。在行车过程中有时大车会出现一定跳动, 如果采用一条反光条这时可能造成智能相机失去跟踪目标, 从而影响纠偏效果, 因此在此特地设定了 3 条反光条进行安全冗余。2. 大车精确定位大车在自动驾驶到目标贝位后,
12、为了能够简单后面的吊具抓放箱动作, 系统有必要能够精准停靠大车到可以抓箱的位置。目前常用的做法有两种, 一个是用格雷姆线技术来实现精确定位, 另外一个是利用给大车安装绝对值编码器来实现精确定位。格雷姆线定位精度高, 造价高且需要另外一套系统来支撑, 理论上增加了系统的故障点。绝对值编码器技术安装比较困难, 由于大车行走时会发生跳动和打滑, 绝对值编码器的数据可能会出现偏差且绝对值编码器需要利用一定技术来进行计数清零。采用图像识别定位来实现大车定位, 即利用安装在堆场一侧的导向板, 将纠偏信息与定位信息合并, 形成反光条形码编码带既可以实现纠偏又能提供精确定位。通过安装反光条形码的编码带, 图像
13、视觉根据反光点像素的大小来进行自动判断大车是靠近还是远离导向板编码带, 实现大车的自动纠偏, 系统纠偏误差小于 3 cm。系统在安装时根据堆场的数据建立好条形码的编码空间, 使得堆场堆位和条形码数据空间一一精确对应。系统在利用图像识别智能进行纠偏的同时采集到运行在堆场的堆位空间位置信息, 实现大车的精准停车, 精度可达厘米级。上海沪东集装箱码头有限公司轮胎吊远程自动化改造上有关大车控制方面的应用, 经过半年多的生产运行, 轮胎吊单机作业箱量及行走小时数已与公司传统轮胎吊作业相同, 总体情况安全、稳定, 满足现场作业需求。目前正进一步研究未来将图像识别技术运用于轮胎吊运行机构等方面的智能检测, 譬如钢丝绳、吊具电缆、电缆拖链、高架滑触线受电杆、制动器等器件运行状态的智能化检测, 以及轮胎吊集装箱箱号识别、集卡箱区到位自动识别等技术研发, 为传统集装箱码头轮胎吊远程自动化改造提供一个有效的、全新的解决方案。
