1、高清处理器(ISP)介绍 工业相机与智能交通领域QQ原文地址：http:/ 高清图像处理器(ISP)产品介绍2014.11 QQ:49327237目录? ? ? ? ? ? ? ? ? ? 概述 主要 规格 功能架构 技术特点 ITS应用案例 治安人脸案例 SOC结合案例 客户评价 附属资料 前进中的技术摄像机中的ISP? ISP 是Image Signal Processor 的简称，即 图像 信号 处理器。通过光学透镜 后的图像被CCD 或者 CMOS采集，需要 经过ISP 的处理才可以输出我们应用 所需要的图像。 ? ISP是成像设备性能的决定 因素。动态 范围 信噪比 低照度ISP还原
2、度 智能 分析 解析度专有ISP带来极致图像? 图像传感器的 设计、工艺、制 造、整机设计等等因素使之有 着不同的特征表现，如不同的 色彩呈现，噪声 类型，失真等 等。 ? 不同的应用需求和各种光学条 件下都想得到符合应用的极致 画质，通用ISP芯片显然不能 满足！ ? 这时需要一颗高度定制化可编 程ISP，来获取所需的极致画 质和实现差异化目标。FPGA ISP挑战画质极限的背后? 挑战画质极限需要非常多的经验积累 以及强大的算法处理引擎。 ? 团队负责人参与和主持过三款数字视 频SoC产品开发 和流片，并实现批量 生产。 ? 团队成员都具有10年以上的图像处理 算法和芯片研发经验，大量的案
3、例和 长期技术积累。 ? 本地化的团队更懂中国市场，不 仅提 供最卓越最顶尖的技术，还有更优的 服务和支持。高清ISP简介本自主知识产权的高清CMOS/CCD图像处理器集成 SDNRTM降噪、宽动态wDRTM、低照度增强、透 雾 霾、清晰度提升、 Real ColorTM彩色管理等核心技术， 形成高清摄像机方案，适应特色化、定制化高清成 像需求，可广泛应用于智能交通、视频会议、工业 相机、航空相机、军事、手机、智能电视、图像识 别等领域。应用领域与产品形态领域 ITS 高端安防 工业相机 芯片设计 应用 智能交通，强光抑制，透雾， 200 万到2400万像素的多通道 CCD/CMOS电警、卡口
4、 摄像机 产品形态 FPGA IP*及 智能加速 成熟度 200万/400万/800万 CCD整机成熟出 货高端安防应用，如人脸卡口、宽 动态、背光抑制，制高点监控等机器视觉，高分辨率高帧率的面 阵CCD/CMOS 工业像机贵阳、江门等人脸卡 FPGA IP*及 SOC ISP 优化 口3000 多台FPGA IP* 2700台黑色/彩色 CCD/CMOS应用案例 09年完成电路设计， 逻辑稳定，正准备独 立流片 航空某可见光成像； 某红外增强；某边防 长距离观测跟踪成熟 应用带有Cam需求的DTV 、MB、平板、 RF-Code传输、手势识别、人脸 silicon IP 检测等芯片应用 航空
5、航天高可靠性高分辨率摄像 机，红外成像增强，超长距离观 测及微光观察系统 FPGA IP*国防军工*FPGA IP包括ISP的全部或部分流水及Xilinx Spartan?-6硬件设计。800W CCD整机? Kodak 800W CCD ? 4CH 800万16帧200/400W CCD? 200W Sony CCD整机 ? 400W Kodak CCD整机 ? 600W Sony CCD 整机HDR1080P整机? 09年唯一多曝光 WDR全高清整机 ? A3372+FPGA ISP ? 1080P30 HDR ? 1080P60 HDRFPGA增强模块? Xiinx Spartan?-6
6、 模组 ? 某军工红外、可 见 光增强ISP主要规格 支持720p/1080p/300万 /500/800万/2400万像素 CCD/CMOS Sensor； 支持2、4、 8多通道数据输入 支持16/14/12/10/8/6bit Raw data输入； 支持RGB/YUV444/422/420 输 出； 支持Level Shift/Gain/Channel curve; Lens Shading/2D Defect Compensation； 2D 自适应降噪； 3D 运动估计运动补偿降噪； 多曝光宽动态融合； 单帧HDR； 低照度增强； 智能去雾； 2D Color Interpolat
7、ion CFA； 全局和局部宽动态调整； 非线性缩放引擎； AE/AWB； 目标识别智能AE； 亮度 /色调/ 饱和度调整； 动态彩色校正与增强； 自定义伽马曲线调整； 锐度与边缘增强； 局部图像增强；简要架构图技术特点多规格图像传感器输入? 支持高清CCD/CMOS图像传感器 ? 支持200万、500万至2400万像素级别， 最高时钟频率150MHz*。*在Xilinx Spartan?-6平台下Multichannel fusion? 支持2CH 、4CH、8CH 等多通道CCD输入 ? 多通道图像信号拼接裁 剪为完整的一幅图像， 并自动补偿各个通道图 像参数，以达到图像一 致和消除通道间
8、接缝的 效果。De-Smear? 对行间转移面 阵CCD漏光现象 （Smear）进行硬件实时校正与补偿， 以达到消除和减弱CCD 在 强光源下的 垂直光斑干扰。BLC黑 阶校正? 图像传感器中的光敏半导体因工艺、工 作温度、ADC增益等原因会产生影响图 像质量的暗电流（dark cerrent） 。通过 实时读取传感器中optical black区域的数 据，逐像素进行black level correction。 以得到更高对比度、更大动态范围、更 低噪声的高质量图像Defect Pixel? 图像传感器在制造 过 程中或多或少都会 产 生坏点，表现为数据 暗点、高电平亮点和 光强不均匀固定
9、颜色 点。通 过自动邻域多 方向一致性检测和补 偿算法去除坏点。高精度demosaic? 采用颜色平面的差分梯度 算法，叠加彩色 边缘和 连 续性，恢复效果具有无伪 彩色噪声和主观效果自然 特点。 ? 同时采用了多方向 检测和 判定方法，保证了沿边缘 插值，消除了 锯齿和边缘 模糊。Lens shading? 基于LUT表的Pixel level 增益补偿，有 效消除因为光学镜头 原因造成图像边缘亮 度不够，使整个画面 造成亮度不均匀、 Chroma shading 或 局部色偏的情况。MEMC(Motion Estimation Motion Compensation)? 先进的运动 估计运
10、动补偿 引擎，根据相 邻场 (帧)信息，精确估计运动步长和运动方向， 利用运动向量信息，对融合、降噪信息、空 域清晰度提升等处理进行补偿，克服运动模 糊和拖尾现象TM wDR 多曝光宽动态Apical+A3372 WDR? wDRTM（wide Dynamic Range）， 宽动态处理包括多曝光数据融合、 全局对比度均衡、局部对比度融 合和增强，先 进的运动估计/运动 补偿等。该技术使得画面暗区细 节清晰可见，同 时抑制了亮区饱 和，实现120dB 以上宽动态 范围。 ? 多曝光数据支持Sensor 合成、 Frame base/Line base、棋盘格、 DOL 等WDR格式。Our+A
11、3372 WDRHDR高动态范围未开启HDR开启HDR? HDR（ High-Dynamic Range ），高动态处理 是在一 帧图像中通过全 局对比度均衡、局部对 比度融合和增强，提供 更多的画面动态范围和 图像细节。Smart-AE? 智能曝光控制是通 过 对 外界光照条件的自 适应判断，识别场景 中的运动目标、人员、 车辆、人脸、 车牌等 关键信息，对运动与 细节区域自适应测光， 分配曝光时间，在 复 杂光照下达到最优的 曝光效果。图像局部增强HK 800WOur 800W? 图像局部增 强技术采用目 标 识别、局部图像处理、wDR 等技术结合，对图像中的关 键信息（人员、人 脸、车辆
12、 、 车牌、车标等）进行运动补 偿、曝光补偿、HDR提升、 清晰度提升等增强，以达到 更好可识别和可处理效果。高阶透雾? 在不大幅增加硬件 资源 开销情况下实 时透雾功能。 ? 有效改善因雾霾造 成的图像质量降低。自然去雾霾? 通过对图像的 Depth of field进行 分析，根据Depth of field将图像 自适切片后分别透雾处理，再融 合输出。 ? 自然去雾霾对薄雾、霾、雨有良 好的去除性，无雾霾可提升图像， 并可改善护罩玻璃引入的图像质 量下降。特别适合与安防监控场 景。 ? 算法鲁棒性好，副作用小， 对不 影响图像色彩，无需手动开关。TM SDNR 降噪? SDNRTM（Su
13、per Dynamic Noise Reduction）技术， 采用2D空域和3D 时空域场 景自适应降噪方法，输出高 信噪比画面，有效减少运动 模糊。2D空域降噪? 空域滤波器采用 带边 缘 保护的低通滤波器 组，根据边缘强度和 方向自适应变化。 ? 保护图像边缘 ，避免 因降噪造成细节损失、 车牌断线等情况发生。时域三维降噪? 建立图像帧 信息和时间 信 息的三维结构，利用 视频 信号的空间相关性和时域 相关性，进行空域和时域 组合滤波，达到抑制噪声 的目的。 ? 配合先进的运动估计/运 动补偿克服运动模糊和拖 尾现象Dpeak降噪? 独立于2D/3D 降噪模 块，实现盐噪声和随 机噪声去
14、除，进一步 提升图像SNR。低照度增强? 低照度增强 技术，通 过运动估计和运动补 偿引擎 对低照度区域 有效信号积分，并融 合多帧自适应分析， 提高低照度达2-4倍。清晰度增强? 时空域提升算法，克服了空域处理导致的 负效应如噪声放大和过冲，处理后画面清 晰锐利自然，并保持了画面的稳定，有效 抑制了闪烁效应。非线性缩放-数字变焦? 于多方向检测 和判定 方法，保证了沿方向 插值，对强边缘、纹 理、和平坦区域具有 较强的鲁棒性，消除 了缩放后的锯齿和边 缘模糊。RealTM Color? Real ColorTM，采用多 区彩色精细调整和基 于人 类视觉系统的伽 马映射算法，减小了 色调、 饱
15、和度及肤色 的失真，自然颜色呈 现。色彩均衡? 通过对单个 颜色分 量进 行精确调整校 正，保证颜 色在一 系列增强前后的一 致性。白增强OrgResult? 通过对饱和像素的 像素 进行还原得到 实际像素值。解决 针对滤光片的饱和 像素还原失真的现 象。LED-Sync? LED-Sync功能通 过控制 AE使成像 器件的扫描频 率与 drive circuit of LED的控制频 率呈 一定同 步关系，从 而消除LED信号灯 在图像中的闪烁现 象。Low-Power? Memory 复用逻辑控制技 术，根据高清图像处理的 数据特点，采用复用控制 策略，大幅度节约内部 Memory开销的同
16、时，降 低了动态功耗。 ? 功耗2W ，低于 Altera+Apica的4-6W功耗应用框图多通道CCDAnalog signalADC RAWFGPA ISP 图像处理YUVDSP/SOC 智能应用CCD典型应用Global/ Rolling Shutter CMOSRAWFGPA ISP 图像处理YUVDSP/SOC 智能应用ISP工作模式： 1. 多通道CCD 2. G/S Shutter CMOS支持 3. 差异化raw 域处理 4. YUV后增强COMS典型应用CCD/CMOSRAWFGPA ISP 图像处理RAWDSP/SOC 智能应用RAW域 处理典型应用ITS特色应用ITS应用
17、关注点?全天候的车 牌绿标抓取 ?夜间低照度成像 ?夜间强光抑制 ?日间高动态范围 ?车身颜色修正 ?CCD多通道平衡 ?CMOS色彩校正 ?Y分量优先输出车牌/绿标抓取特色技术： 1、Smart-AE 对车辆进行精准曝光控制 2、局部增强 对绿标车牌进行局部色彩、 清晰度等增强，提升可识 别率 3、 2DNR降噪 带有方向判断的空间降噪， 有消除噪声同时避免因降 噪引起的字符断线。夜间低照度特色技术： 1、2D+ Dpeak降噪 保持图像细节下获取 最高信噪比图像。 2、HDR照度增强 单帧内提升照度，获 取更大可用信息。降噪对比 HK? HK降噪过 强，牺牲 细节降噪对比 DH? DH细节
18、牺 牲严重而并 噪声 较大降噪对比 Our? 虽然有轻微噪声， 但细节保留较好， 动态范围好。强光抑制特色技术： 1、Smart-AE 对局部进行测光分析， 减少车灯、红绿灯、霓 虹灯等对AE 的干扰因 素。 2、 HDR 结合Smart-AE通过 HDR进一步提升强光 抑制效果。日间强光特色技术： 1、Smart-AE 分区域加关键目标检 测，精准测光控制AE 2、HDR 结合Smart-AE通过 HDR进一步提升在强 光下动态范围。避免 阴影过暗或高光过亮。日间强光 DH? 亮区过曝日间强光 HK? 亮区过曝 ? 暗区提升造 成噪声较大， 以至于降噪 过强牺牲细 节道路应用 色彩还原DHO
19、ur特色技术： Real ColorTM，采用多 区彩色精细调整，尽可 能在高光、强光下还原 饱和失真的车身颜色HKCCD多通道平衡? 在动态AE下自动补偿各个通道 图像参数， 以达到 图像一致和消除通道间接缝的效 果。CMOS色彩校正OrgResult特色技术 1、色彩平衡及色增强 单个颜色分量进行精确调整 校正和增强，同时结合色彩 均衡、降噪、清晰度提升技 术，解决Global Shutter CMOS较CCD成像色彩灰暗、 通透度差、读出噪声大的问 题。GMS降噪Global shutter CMOS噪声经过GMS 降噪后? Global shutter CMOS解 决了Rolling
20、shutter的 partial exposure、skew、 wobble 等现象，同时也 引入了更大的读出噪声。 ? RMS降噪针对Global shutter 噪声特性进行优 化，得到最高信噪比图 像。Shutter-FusionRolling Shutter下的形变Global Shutter下的低SNR? Global shutter下高速运动 物体无畸变，但 SNR较差， 动态范围较低。 ? Rolling Shutter却有着更高 的帧率、更高的SNR ，更 大的动态 范围。 ? Shutter-Fusion技术根据场 景G/R Shutter 自动切换， 同时结合降噪、HDR、
21、增 强等模块，获取更平衡的 图像效果。Y分量优先输出? 自定义输出序列， 优先输出Y。减 少特定智能处理 器(DSP)下分离 YUV的计算资源 占用。治安/人脸检测案例人脸治安卡关注?有效的人脸图 像 ? 清晰的人 脸图像人脸卡口问题1、人脸曝光不足 传统的WDR或数字WDR是全局统计的动态范 围控制。而在治安卡口、银行等应用中，处 于背光的人员或人脸占图像比例较小，动态 范围不足人脸逆光情况严重，致使人脸检测 算法不能有效提取人脸。 2、人脸运动模糊 普通摄像机因为AE、 High-AGC、较差3D降 噪等原因，在略低的照度下人脸模糊不清。人脸卡口问题人脸动态范围不足运动模糊Face-AE发
22、现人员 发现人脸人脸曝光优化合成? Face-AE是Smart-AE 的深化应用，ISP 中集 成人员和脸检测跟踪 算法。自动到检测人 员/人 脸后控制AE、 WDR、HDR等技术对 图像精确曝光，得到 最佳人脸WDR图像。 ? 大幅提升复杂光照下 的人脸检测 和识别的 精度。人脸局部增强? 在Face-AE检测人脸 的功能之上 结合先进 的运动补偿引擎、 Shutter控制以及局 部清晰度等技术，提 升脸区域清晰度，减 少人脸图像的模糊不 清， 进一步提升有人 脸检测和识别精度。FPGA与SOC的结合应用优势结合? SOC内通用ISP有一定的 成本优势，但针对性差。 ? 竞争越来越白热化，成
23、本 面临巨大压力 ? FPGA专用ISP 弥补通用 ISP的不足 ? FPGA 专用ISP与SOC通用 ISP结合将带来成本与极 致画质的双重优势FPGA ISPFPGA工作模式? ? ? ? 1、CCD多通道融合 2、差异化 CMOS支持 3、RAW域特色处理 4、 YUV后增强FPGA实现差异化模块? ? ? ? ? ? ? ? 接口转换 多通道拼接 WDR融合 RAW域3D降噪 RAW域2D 降噪 清晰度增强 透雾 FPGA ISPSOC实现基本功能? AE控制 ? AWB ? 色彩变换等通用功 能同时我们也提供 SOC下优化策略客户评价及附属资料客户评价及附属资料详见附属文档 1、客户评价PPT 2、海信800W整机对 比测试报告 3、海信DHHK整机上杆盲测图片前进中的技术? 去模糊 ? 去抖 ? 红外/可见光融合 ? 红外增强 ? 自然宽动态 ? 高速AE ? Zynq SOC智能加速 ? 超高分辨超高帧率谢谢关注！
