1、2018/3/7,1,SENSOR内部框架图,2018/3/7,2,第一部分. Color-Space,1. 名词解译,Raw:原意就是“未经加工”.在这理解为CMOS感光芯面将捕捉到的光源信号转化为数字信号的原始数据.RAW文件记录了传感器的的原始信息，RAW是未经处理、也未经压缩的格式. 而对应的数据，我们又叫做 Raw-data.,YUV (YCbCr): “Y”表示明亮度（Luminance），也就是灰阶值；而“U”和“V” 表示的则是色度（Chrominance），作用是描述影像色彩及饱和度，用于指定像素的颜色。“亮度”是透过RGB输入信号来建立的，方法是将RGB信号的特定部分叠加到
2、一起。“色度”则定义了颜色的两个方面色调与饱和度，分别用Cr和Cb来表示。其中，Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异。而Cb反映的是RGB输入信号蓝色部分与RGB信号亮度值之间的差异。,Raw 与YUV(YcbCr) 的对应关系：详见文档,2018/3/7,3,2. 图解,每个像素点为三原色的光敏阵列,把光信号变成模拟电信号，模拟电信号通过A/D模数转换，变成量化的数字信号。,Raw-data,YUV(YCbCr),2018/3/7,4,.图像显示,DEMO 把Sensor 的据传至电脑，但要把图像数据显示在液晶或显示器上，最终显示的Color-Space为RGB24或
3、RGB30 格式。,因此我们从Sensor中得到的 YUV和Raw-dada 数据，都会通过我们插值和色彩空间转换算法转换成最终的RGB24或RGB30 格式。显示过程可以看作是CMOS芯片感应过程的逆过程。,2018/3/7,5,第二部分. 数据输出形式,数据输出形式,模拟输出,数字输出,并行输出： DVP,串行输出,PAL,NTSC,S-Video (s端子),其它,AV,SPI (Serial Peripheral Interface ),MIPI,USB,其它,（Parallel ）,（Serial）,2018/3/7,6,.部分名词解释,MIPI: (Mobile Industry
4、Processor interface移动行业处理器接口 ).是MIPI联盟发起的为移动应用处理器制定的开放标准.,2018/3/7,7,DVP: ( Digital Video Port 数字图像接口)，是并行输出接口，并行输出便是并行数据输出是将数据的所有位同时传送到接收端上，而需要多个数据通道同时工作的一种方式。,.MIPI对比DVP输出优点,MIPI 架构可通过减少其差分串行接口中的I/O 数目来降低处理器的引脚数目及功耗。MIPI 提供比单端接口更好的EMI辐射性能和EMI抗扰性能。由于连线减少，PCB设计灵活性得以提高，从而能够改进连接器或外设器件的布局。由于连线减少，PCB设计灵
5、活性得以提高，从而能够改进连接器或外设器件的布局。由于拥有更高的抗干扰性能，和低功耗的特点，图像受外界的干扰噪声和热噪声可以得到有效控制。MIPI产品可以拥有比DVP产品更高的图像传输帧率。,2018/3/7,8,第三部分. 部分图像算法,1. 名词解释,3A: (auto exposure(自动曝光) , auto focus control （自动对焦控制），and auto white balance （自动白平衡）)。,AE( auto exposure): 根据程序设定预先设定的图像亮度值，自动地设定图像的曝光时间和与亮度相关增益。,AFC( auto focus control )
6、: 不同的场景，物距不同，成像在CMOS上的清晰度不同，为了使无论是近景还是远景在成像在CMOS上的图像都是清晰的，我们可以改焦距，即更改镜头的位置和射入镜头的曲率来达到。而AFC就是通过对外部马达的控制，使得对焦物体聚焦在CMOS上。,AWB( auto white balance ):白平衡，字面上的理解是白色的平衡，白平衡的基本概念是“不管在任何光源下，都能将白色物体还原为白色”。自动平衡就是通过算法，通过对外景色温的感应，将白色的物体还原为白色。,2018/3/7,9,WDR: (Wide Dynamic Range（宽动态范围） ),宽动态就是场景中特别亮的部位和特别暗的部位同时都能
7、看得特别清楚。宽动态范围是图像能分辨最亮的亮度信号值与能分辨的最暗的亮光信号值的比值。宽动态是是通过WDR算法对多张图像计算得到。,LSC: (Lens Shading Correction ),从英文直译为镜头阴影校正，可以理解为亮度均匀性校正。我们可以通过LSC较正，使得图像亮度均匀性达到我们想要的标准。,Color shadingor Color Uniformity:,色彩均匀性，通过色彩均匀性调整，解决图像周边偏色问题。,2018/3/7,10,.算法前后图像对比,白平衡前后：,白平衡前,白平衡后,2018/3/7,11,LSC和Color shading前,LSC和Color sh
8、ading后,LSC和Color shading前后：,2018/3/7,12,WDR:,背景亮度适中，人像较暗。,宽动态处理后效果,人像适中，背景过曝,2018/3/7,13,第四部分. 高像素个体差异的应对方案,.针对高像素个体差异应对方案,个体差生产调整在零部件中，存在与色彩还原有关的特性，这种特性又存在着个体差。因此，若不进行调整，色彩就会不同。特别是以下所示的性能是色彩还原变动的主要原因。传感器分光特性、感光度光学系Ir cut filter生产工艺公差因素,选择与色彩相关的关键零部件传感器分光特性、SN、感光度、CRA光学系IR cut filter、CRA,取得色彩还原的基础参数
9、 作成在各光源下的色彩还原参数 设备与环境专用工作室,画质调整 进行想好的偏好色彩调整例白色、肉色、天空的颜色、緑色、等等色彩的浓度,评价 各种光源下的評価 一般评价（摘出设定以外的問題）,判定,or,NG,OK,2018/3/7,14,.我们针对高像素较正个体差异的生产流程,画质Tuning,画质评价,生产个体差调整,生产用评价,：设计完,H/W的性能发挥,判断,测量和规格的作成,START,设计开发领域,量产领域技术,or,2018/3/7,15,.个体较正前后图像差异,个体差调整前,个体差调整后,before,after,2018/3/7,16,个体差调整前,个体差调整后,before,
10、after,较正前后输出像素的色相分布,2018/3/7,17,.我们针对个体差异的解决方案,1 名词解释,EEPROM:（Electrically Erasable Programmable Read-Only Memory)）,OTPM: (one-time programmable Memory),简单的就是电可擦可编程只读存储器，一种掉电后数据不丢失的存储芯片。,OTPM就是一次性编程存贮器，就是说一个地址空间只能被烧录一次的存贮器。因为不能被重复烧录，因此当芯片内部的所有地址都被烧录过，且所烧录的内容不符合我们的要求时，产品就意味着不良 。,EERPOM和OTPM都只是数据的存贮空间
11、，但要解决产品差异，需要在存贮空间中加入产品差异较正参数。,2018/3/7,18,.我们针对个体差异的解决方案,EEPROM的解决方案,Sensor,MIPI etc.Capture Board,PC Application,Capture / Control S/W,个体差色彩调整算出PlugIn,缺陷像素色彩的掩盖,其他,PTB,E2PROM,固体差Database,量产Module,标准模组,Data,Sensor,ISP,PTB,E2PROM,固体差Database,量产Module,or,通过针对每个产品较正，把较正参数存入EEPROM,2018/3/7,19,.我们针对个体差异的
12、解决方案,OTPM的解决方案,Sensor,MIPI etc.Capture Board,PC Application,Capture / Control S/W,个体差色彩调整算出PlugIn,缺陷像素色彩的掩盖,其他,PTB,OTPM,固体差Database,量产Module,标准模组,Data,Sensor,ISP,PTB,OTPM,固体差Database,量产Module,or,通过针对每个产品较正，把较正参数存入OTPM,相对前面方案，节省了EEPROM.,Sensor,OTPM,固体差Database,2018/3/7,20,.我们针对个体差异的解决方案,OTPM的解决方案,Sen
13、sor,MIPI etc.Capture Board,PC Application,Capture / Control S/W,个体差色彩调整算出PlugIn,缺陷像素色彩的掩盖,其他,PTB,OTPM,固体差Database,量产Module,标准模组,Data,Sensor,ISP,PTB,OTPM,固体差Database,量产Module,or,通过针对每个产品较正，把较正参数存入OTPM,相对前面方案，节省了EEPROM.,Sensor,OTPM,固体差Database,2018/3/7,21,第五部分. AF三种马达介绍,.名词解译,VCM: (Voice coil Motor(音圈
14、马达),主要是由线圈和一个永久磁铁组成，可以实现单向动运。根据法拉第原理，对磁场中的线圈通电，通过对其加不同的电流，带一定电流的线圈在磁场的作用下，可以产生作用力，马达的中带有线圈动作机构可以在此力的作用下产生位移。,Piezo: 压电制动马达,该马达的工作原理是利用了类似于压电陶瓷的现象，即当该种压电材料施加一定的压力，使其在某个轴向产生位移时，该压电材料产生电压。而Piezo 马达的的工作原理就是利用这种逆压电陶瓷原理，对某压电材施加指定电压，该电材在电压作用下产生位移。对压和位移是一一对应关系。相对于VCM运动精确度更高。,LVAF: (LensVector AutoFocus),我们称
15、之为液晶（LC）马达，它不像传统的马达机械的解决镜头的物理位置来达到自动对焦的效果，而是通过动态改变穿过该马达的光线的折射率来实现。 LensVector在外界电压的控制下，LC细胞会发生旋转，通过这来实现折射率变化。,2018/3/7,22,VCM马达结构及工作原理,弗莱明左手法则,通过控制线圈的电流，在磁场的作用下，推动镜头上下运动达到自动对焦的目的。,2018/3/7,23,LAVF 结构及工作原理,在外界电压的控制下，LC细胞会发生旋转，射入镜头的折射率发生变化。,2018/3/7,24,Piezo 技术,2018/3/7,25,第五部分. 图像分辨率介绍,左图中标识了常用图像分辨率的
16、尺寸、简称、图像长宽比例。如万简称VGA（640*480)、M简称UGA(1600*1200)、3M简称QXGA(2048*1536)等等，这些产品的比例都是符合了图像尺寸4:3的比例，和我们ISO12233图像上以4:3充满的评价方式相符。,2018/3/7,26,VGA:,(Video Graphics Array),IBM在1987推出的一种视频传输标准.分辨率640*480 .,HD:,(High Definition ),HD 就是高分辨率的意思，高清晰度（HD）包括了 720P、1080i 以及1080p,720p(1280*720)、1080p(1080*1920)、1080i(
17、1080*1920),因此1080i和1080p又称为全高清，720p又称为标准高清。其中1080i 以及1080p 中的i（interlace）是指隔行扫描；P（Progressive）代表逐行扫描，这两者在画面的精细度上有着很大的差别，1080P的画质要胜过1080i。,PAL/NTSC: (National Television System Committee (国家电视委员会) /Phase Alternating Line(相位交互线) ),NTSC和PAL属于全球两大主要的电视广播制式，但是由于系统投射颜色影像的频率而有所不同。NTSC和PAL归根到底只是两种不同的视频格式，其主
18、要差别在于NTSC每秒是60场而PAL每秒是50场，由于现在的电视都采取隔行模式，所以NTSC每秒可以得到30个完整的视频帧，而PAL每秒可以得到25个完整的视频帧。,2018/3/7,27,第六部分. 其它BSI FSI,BSI/FSI :(Backside Illumination(背面照度)/FrontSide Illumination （前面照度）),在FSI影像感应器上，到达感光区的光在线某种程度上，受到将光子转换成电子的金属和介电层所限制。FSI方法会阻碍光线到达像素或使光线偏离像素，最终靠减少填充系数(Fill Factor)，并带来来影像之间干扰等问题。BSI颠倒了各层之间的安
19、排，从而使得金属和介电层位于感測器阵列的下方，为光线提供了到达像素最直接的通道。,感应器：光敏CMOS元件,2018/3/7,28,BSI/FSI在低亮度下图像对比,以上是二个芯片，在同等测试下的图像对比，可以看出，BSI的比FSI的亮度高很多，效果好些。不过相对BSI芯片价格较高。,2018/3/7,29,第六部分. 其它DSP ISP,DSP: (Digital Signal Processing，简称DSP，数字信号处理 ),DSP是一种独特的微处理器。具有可编程性，而且其实时运行速度可达每秒数以千万条复杂指令程序。主要用于复杂的算法高速运算。因此一般大量数据高速处理都会用到DSP，比如
20、像我们的Sensor中色彩空间的转换用到DSP。,ISP :,第一件解释：ISP（In-System Programming（在系统（线）可编程 ）,指电路板上的空白器件可以编程写入最终用户代码， 而不需要从电路板上取下器件，已经编程的器件也可以用擦除或再编程。因此ISP的定义为可以在线烧录的处理芯片都可以称为ISP芯片。,第二种解释：ISP (image signal processing (ISP) 图像信号处理),因此关于图像信号处理的芯片都可以称之为ISP。,因此DSP和ISP的概念不同，DSP芯片只是DSP处理器占主要功能的器件，而ISP则为图像处理或是在线编程烧录的芯片。,2018
21、/3/7,30,第七部分. 光学名词,CRA: ( Chief Ray Angle 主光线入射角),由于Sensor与传统的银盐感光介质相比，对光线入射角更加敏感，因此对入射角的要求求也相应较高，Sensor接收光能的效应一方面与Sensor本身有关，另一方面还与入射到Sensor上的光线角度有很大关系。CRA会影响图像shading.,超焦距（对焦距离）,模组对焦距离除了与镜头有关外，和芯片也有关系，因此，同一款镜头，选用不同的芯片，对焦距离不一样。,a）与镜头相关的因素： 镜头焦距f；光圈F.NO,b）与芯片相关的因素： Pixel Size,超焦距的计算公式：L=500f2/（Pixel Size F.NO）,2018/3/7,31,物距、后景深、前景深,2018/3/7,32,End !,TKS & B.R.,
