1、基于单幅图像目标物体深度信息提取摘 要由单幅二维图像重构出曲面的三维几何形状技术一直是图像领域研究的难点。论文首先回顾了 SFS 研究所走过的路程，总结了近年来在该领域的研究热点问题。在理解SFS 问题本质的基础上，系统地归纳总结了目前国内外现有 SFS 算法，即最小化方法、演化方法、局部方法和线性化方法。根据这四种算法所采用的不同假设，分析了它们的适用面，并对这四类算法的收敛速度、解的唯一性、解的存在性等方面进行了比较。最后采用 MATLAB 将重建后物体三维原型进行模拟显示。实验结果表明，利用本文的基于单幅图像的三维原型重建算法可以较好地重建物体的三维原型。该算法在兼顾了精确性和简化算法复
2、杂性的同时，降低了对环境的要求，操作简单，具有广泛的应用前景。关键词 单幅图像，明暗恢复形状，三维原型第 2 页 共 36 页Single image based on the depth of object information extraction technologyAbstractIt is still a very difficult Problem to reconstruct 3D surface geometry from on gray-level image in the field of image technology. At the beginning, a ful
3、ly survey about SFS methods is given. Then a systematic Summarize is made for all current SFS algorithm in the domestic and foreign， these methods include minimization approaches， Propagation approaches， local approaches and 1inear approaches, we have analyzed their applicability, and compared them
4、in terms of convergence rate， uniqueness and existence. At last this Paper simulate 3D Prototype in MATLAB.The experiment result proved that the 3D prototype reconstruction method introduced in this paper can be used to reconstruct objects 3D prototype. The reconstruction by using this algorithm is
5、accurate. The complexity of this algorithm is not very high. Its operation is simple. The environment requirement is decreased. This algorithm has a favorable application Prospect.Keywords Monocular Image，Shape from Shading，3D Reconstruction1 绪论1.1课题背景一直以来，恢复图像中物体的三维信息都是机器视觉研究领域中倍受关注的挑战性课题之一，而估计目标物体
6、的景深信息又是三维重建领域中非常重要的一环。传统的方法多是采用多幅图像来求得三维模型 1，这些方法中存在多幅图像匹配难等诸多问题，而单幅图像提取深度则不受图像对匹配的约束，无需迭代与匹配，速度快，简洁方便，第 3 页 共 36 页有利于推广使用。因此对如何从单幅图像中提取目标物体的深度信息技术的研究具有非常重要的理论和实际意义。提取目标物体深度信息可采用散焦成像的方法也可以采用明暗恢复形状的方法（shape from shading 简称 SFS），但是对于散焦成像的方法一般用于两幅或者两幅以上的图像恢复，所以本课题拟用明暗恢复形状的方法（shape from shading 简称 SFS）来
7、提取目标图像深度信息。明暗恢复形状（shape from shading 简称 SFS） 2 的方法测量速度快，效率高，同时具有非接触测量的优点。SFS 方法是计算机视觉领域中的一种重要方法，也是热点研究方向之一。将 SFS 方法应用在三坐标机上，实现智能化测量，可以提高测量的效率和精度。基于 SFS 的三维重构方法 3是一种被动式 3D 测量方法，即不需要投射受控的主动光源光到扫描对象上。基于 SFS 的三维模型构造方法所需要的器材只是一个普通的数码相机，通过从不同角度对物体进行拍摄，通过图象处理提取轮廓信息，再通过空间雕刻获得物体的体积模型，进而重构出逼真的物体三维模型 4。1.2明暗恢复
8、形状的方法（shape from shading 简称 SFS）研究的目地和意义随着计算机技术的不断发展，利用计算机自动获取图像或目标的三维信息己在社会生产生活的各个方面显示出越来越重要的地位和作用。特别是在一些三维形状或高程信息难以测量或不可测量的环境下，利用计算机自动获取三维信息就显得尤为重要。例如在遥感应用 5方面，过去仅据一幅航片或卫星照片是无法给出相应目标区域的高程信息的。然而高程信息对于很多遥感图像的应用是不可或缺的，例如在民用领域，根据某一区域的遥感图像的高程信息，对该区域进行洪涝灾害分析;为铁路、公路、水利建设或隧道工程设计提供所在山区的全景参考模型;为地形图的绘制、为地质工作
9、者地形丈量等提供参考模型;为在山区架设供电设备提供参考信息:甚至可以为旅游景点的勘察规划以及旅游路线的确定等提供必要的地形信息。六军用领域，三维军事地形信息的作用就更重要了。如对于战场的选择、战斗计一划的制定、部队以及武器装备的部署、最佳行军路线的确定，以及巡航导弹的制导等等，都离不开它。在文物保护方面，有些文物随着时光流逝逐渐变得暗淡甚至破损，必须对其进行数字化保存;有些古老文物因战争或者自然灾害等原因，只留下了历史照片，实物已经无处可寻。为了最大限度的保存和恢复古老文物，可根据现场拍摄的单幅照片或者遗留的历史照片进行几维仿真，重新制作文物模型。第 4 页 共 36 页在三维动画和虚拟现实领
10、域 6，如果能够从现实生活中物体的平面图片直接得到它的三维模型，这无疑会更好的和更逼真的描述物体原形，方便我们进行艺术加工，而且大大缩短完成周期。随着自动控制和书 L 器人技术的进步，视觉信息的获得和分析也越来越重要，如果能够把由摄像头得到的平面图片信息转化为三维空间信息，则将会使路径判断、物体识别等人工智能变的更加容易。因此，研究明暗恢复形状的算法有着非常重要的实际意义。1.3明暗恢复形状的方法（shape from shading 简称 SFS）的历史以及现状由明暗恢复形状(shape from shading)是一种根据物体图像灰度的变化来求解物体表面三维形状的方法，最早是 Horn 为
11、了解决月球表面的重构问题于上世纪七十年代最早提出的 7。近些年来，随着计算机视觉技术、辐射度学和光度学理论的发展，SFS 问题的求解算法取得了一定的进步。与传统的非接触式测量方法不同，该方法利用光照模型对图像辐照度方程进行逆向求解 8，所以只需要单幅图像就可以解决表面重构问题，成为了近年来研究的热点。光照模型描述了物体表面在光源照射下入射光与反射光强度之间的关系，同时还反映了使用摄像机或数字相机观察物体时，物体表面各点反射的光强度与该点对应的图像点亮度之间的关系。一般情况下，物体表面的灰度分布主要与以下儿个因素有关:物体表面的几何形状、光源的方向和强度、观察者的位置以及被光线照射的物体表面的反
12、射特性等。传统的 SFS 算法可以分为四类 9，即:最小化(minimization approaches)、演化方法(propagation approaches)、局部方法(local approaches)以及线性化方法 (line approaches)Horn10最早尝试解决这个问题，他最早的方法称为特征线(Characteristic strip method)。特征线是图像中一条特殊的线，如果知道这条线在起点处的初始值，沿特征线就能够计算出曲面的高度和方向。Horn 从单点(Singular points)的邻域开始构造初始曲面线。所谓单点，是指图象中具有最大强度的点。在假定相邻
13、特征线之间无交叉的情况下，沿特征线就可以逐步推出曲面形状信息。特征线的方向是强度梯度(intensity gradients) 11的方向。为了获得密集的曲面方向信息，当相邻两条特征线之间距离较大时，用插值方法可以得到一条新的特征线。其实，特征线方法本质上是一种演化方法(propagation approaches)。在他之后，又出现了其它一些演化方法。但是，即使是在图像中噪声很少的情况下，演化力一法仍有很高的误差，第 5 页 共 36 页这种误差会传播并不断累积。同时，这种方法的计算是不稳定的。于是，需要一种鲁棒性更强的算法，以便即使图像中存在不可避免的噪声的情况下，也能产生好的恢复结果。人
14、们从开始 SFS 研究的那一天起，就在不遗余力地寻找克服这些困难的办法，遗憾的是，时至今日，仍没有找到令人满意的最佳方案。进入九十年代后，随着计算机、仿生学、分形学、小波、神经网络、数理统计学、计算机视觉等多门与 SFS 密切相关的学科的迅速发展，SFS 领域 12出现了许多新的研究方向，这些知识的应用或许会为克服甚至彻底解决这些困难提供一个契机，未来的研究方向将集中在以下几个方面:a.混合反射模型的应用b.各种 SFS 算法的综合性研究c. SFS 技术与数据挖掘、数据融合技术的结合1.4论文安排论文由五章组成，各章内容及组织结构如下：第一章 绪论。着重论述了 shape from shad
15、ing 技术综述及其研究的意义，从阴影恢复形状方法的应用领域，目前研究存在的问题和最新研究方向，并简介本文的研究思路及主要内容。第二章 明暗恢复形状（简称 SFS）算法的分类及比较研究。深入分析总结了传统求解 SFS 问题的方法，并按基本原理，将其归纳为四种:最小化方法、演化方法、局部方法以及线性化方法。本章对每种方法作了详细介绍，并讨论了每种方法的特点。第三章 基于 SFS 的三维原型重建算法 13设计。汲取己有算法的精华，设计基于单幅图像的三维原型重建算法。第四章 基于 SFS 的三维原型重建软件实现。详细叙述了从开发环境的选择到算法程序的实现，通过对圆柱体的二维图像进行三维原型重建的精度
16、验证。第五章 结论及其展望。总结全文研究工作，展望未来研究方向。2 明暗恢复形状（shape from shading 简称 SFS）算法的分类通常 SFS 算法可以分为四类，即最小化方法(minimization approaches)、演化方法(propagation approaches)、局部方法(local approaches)以及线性化方法(linear approaches )。第 6 页 共 36 页最小化方法 14通过最小化一个能量方程解出 SFS 问题的解，它从整体上处理图像信息。构造合适的能量方程以及选择合适的最小化数值算法，是该方法的关键。演化方法是从图像中一组己知高
17、度的点(如奇点)出发，递推出整个曲面的形状信息。而局部方法则是基于对曲面形状的局部假设，进而推出曲面形状信息。该方法只能恢复曲面的方向信息，而无法得到曲面的高度值。线性化方法是通过将反射图线性化，来获得 SFS问题的解。2.1最小化方法最小化方法的关键问题是能量方程的构造以及最小化数值算法的选择。为构造能量方程，需引入合适的约束条件 15，其中，几种常见的约束条件有:亮度约束(brightness constraint)、光滑约束 (the smoothness constraint)、可积性约束(the inerrability constraint)、梯度约束 (the gradient
18、constraint)以及单位法失约束等。本节以Horn、 Zheng 和 Helipad 等人基于变分计算 (calculus of variations)的算法为例，来介绍这类方法的基本思想及求解方法。Horn 首先将 SFS 问题写成亮度约束的形式。亮度约束是 SFS 问题应满足的基本约束关系，它是直接从辐照度方程演化而来的，它将图像辐照度方程 (the image function)与反射图联系起来，形式为:式 2.1 2,ExyRpxyqdxy其中，E(x， y)是输入图像的亮度， R(p，q) 是由反射模型所确定的重建曲面的图像亮度。公式 2.1 表明输入图像与重建图像间的亮度误差
19、，重建要求两者之间尽可能相同，最佳的情况是两者相同。将误差项写为平方的形式，一是为了扩大两者之间的区别，另一方面，是保证结果非负。一般称 2.1 式为一个方程函数(function) 16，也就是函数的函数(a function of function)。能使该方程函数最小化的梯度值就是 SFS 问题的解。直接寻找该方程函数的极小值是相当困难的，于是，Holm 用变分计算的方法(the calculus of variation)寻找该方程函数的最小值。众所周知，方程函数的极值满足一个相应的欧拉方程组(Euler equation)。显然， 2.1 式是一个病态方程(ill-posed)，方程
20、有无穷多组解。也就是说，仅采用亮度约束无法获得唯一的曲面法失。因此，必须加入其它的约束条件，用于限制解的范围，这就是正则化(regularization)的方法。Horn 在假设重建曲面光滑的前提下，提出了光滑约束条件。这一条件的提出是为了使重建表面是光滑的，第 7 页 共 36 页也就是说，在一个小的领域范围，曲面方向变化很小。同时，引入光滑约束确保了SFS 算法收敛于一个唯一解。光滑约束的一种形式是:式 2.222xypqdx这里 p 和 q 是曲面沿:和 y 方向的梯度，即 是四个偏导数。该,xypq约束条件确保曲面在各个方向上是光滑的。光滑约束的另一种形式为:式 2.32xypqd这是
21、一个弱光滑约束，也就是说，仅要求 p 和 q 在 x 和 y 方向上连续变化。光滑约束条件也可以写成曲面法失的形式:式 2.42xynd这意味着曲面法失逐渐改变。Ketch 和 Horn 将 2.2 式作为惩罚项 (penalty term )代入 2.1 式中，组合成新的能量方程:式 2.5 2,2ExyRpqxpyqxyd 其中， 是拉格朗日乘数 (Lagrange multiple)。它控制着两种约束对重建过程的影响。如果几 =0，则光滑约束不起作用，方程仍然是病态的。如果 0 则亮度约束不起作用，实质上也就不存在 SFS 问题了。但是，如何选取合适的兄值，目前为止，并无统一的标准。还有
22、另外一种方程函数:式 2.6,xyFypqdx对应下列欧拉方程 17: 0ppxpy式 2.7qxqyF其中: 2,p PExyRq qFppxx第 8 页 共 36 页式 2.82qxxFpyyq于是，与 2.5 式对应的欧拉方程是:, 0p xyRExypp式 2.9,q xyqq引入拉普拉斯算子（the Laplacian operator）, 将 2.9 式写为:2,xy20ERp式 2.10q离散逼近(discrete approximation) 拉普拉斯算子可得:式 2.112,24ijijijp其中 是网格间距， 是法失的局部平均值。将其代入 2.10 式可得:,ij 2, ,
23、.4ijijijijPijpERpqq式 2.122, ,.ijijijijPijq于是，可以推出迭代过程： 21,.4k kkijijijijijPijijpERpqpq式 2.1321,.k kkijijijijijPijijq如果己知初始值(如遮挡边界处的值)，则利用 Jacobin 方法、Gauss- Seidel 方法以 及多网格 (multiple grid )方法即可求得方程组的解。第 9 页 共 36 页但另一方面，引入光滑约束会导致生成过分光滑(over- smoothed)18的曲面，同时，即使在满足光滑约束的情况下，重建曲面的梯度亦会表现出不一致。这意味着曲面一阶偏导不连
24、续，也就是说，存在 或 的情况。于是，对于同样的图像点，xyzxyp应用不同的积分路径，积分过程将导致得到不同的 z 值。也就是说，在曲面梯度与曲面高度之间，不存在唯一的对应关系。为了确保生成有效曲面，Horn 引入了可积性约束，也就是 它的形式是:xyz式 2.142yxpqd或:式 2.1522xyzzxd于是，新的能量方程为:式 2.162 2222,xyxyxxExyRpqpqzpzqdy 通过最小化该能量方程，可以直接计算出曲面高度值，而不需先计算出梯度值，然后再通过积分获得曲面高度值。Zheng 和 Helipad 用强度梯度约束取代光滑约束，以消除前述的光滑约束的局限性。强度梯度
25、约束 (the intensity gradient constraint)可以写成如下形式:式 2.1722xXyYREdxy这个公式意味着强度梯度约束，要求重建图像的强度梯度应该与该输入图像的强度梯度在 x 和 y 方向上相同。能量方程形式为:式 2.1822222XYxxERzpzqdy 2.2 演化方法演化方法从图像中一组已知方向或高度的参考点出发，逐步演化出整个曲面的形状信息。该算法的一个关键步骤是找到图像中可唯一确定形状的某一点或某一些点，并从这些点出发，通过迭代方式，或者沿图像中特定的直线或曲线路径积分，进而求得整个表面的解。这一节讨论这种算法。第 10 页 共 36 页Horn
26、 的特征线法(the characteristic strip methods)19实质上就是一种演化方法。Horn首先假定初始值己知，用三维坐标 和梯度 来标识。在初始点的领域内0,xyz0,pq移动一个 值可得:0yx式 2.19zpqy其中 是梯度值。梯度的变化可由下式获得:,pqxy式 2.20q上述 5 个微分方程就定义了一个新点，要解这组微分方程，就必须应用图像的强度信息。已知 ，于是，强度的变化可以写为:,ExyRpxPxqx式 2.21yyy选择最速上升方向为演化的方向，可得: PxR式 2.22qy将 2.22 式代入 2.19 和 2.20 式中，可得: pqzR式 2.2
27、3xyxEpqy于是，只要知道初始值，就可获得上述微分方程的解，通常，特征线的初值来自遮挡边界。Horn 特征线方法的缺点是，因为在沿特征线确定下一个值时，只使用了一个前驱点处的值，这导致了该算法的两个缺点，首先，误差会沿着特征线传播，其次，算法鲁第 11 页 共 36 页棒性不高，计算结果不可靠。于是，Oliensia，Buckstein，Touring 和 Ocher 等人从动力学的角度解释 SFS，并提出演化方法实际上是一类求解动力系统(dynamic system)问题的方法。SFS 基本问题可以看作是一 Hamilton 系统问题，求解该问题就是求解如下HamiltonJacobin
28、 方程 20:式 2.24221, 0spqExy其 Hamilton 函数 H 为:式221,spqxy2.25其中， 是光源方向。但是算法过于复杂了，近期的演化方法在,xyspzqp确定图像中某一点 处的高度值 z 时，使用了该点一个小领域内点的高度，于是基于 Dupuis 和 oiliness 的方法，Bache 和 Pent land 提出了一种称为最小化法 (minimum downhill approach)的算法来求解 SFS 演化问题。该方法指出，演化过程就是从图像奇点(图像灰度最大值点)。在一定条件下，该点所对应的表面形状可唯一确定出发，然后搜索当前点的邻点，并找出其中远离光
29、源方向的所有点，同时从这些远离光源的点中，选择离光源方向最近的点，再沿着这样构成的演化路径来计算图像中每一点的高度值，从而得到整个表面的高度。计算过程中，首先将图像旋转一个角度，使得图像的 X 轴与光源方向在图像平面上的投影方向一致，当计算完高度后，再将图像逆方向旋转至原来的位置，即得到原位置上与图像点所对应的表面点的高度。该算法原理和步骤可简述为:设表面某点沿 方向的微小增量为 ，用极坐,xyzd标表示为 其中 S 为路径参数。若与该点对应cos,sin,dxydz的表面法向量为 ，则它们之间应满足如下关系:123式 2.26230xyz第 12 页 共 36 页令表面斜率为 ，则有 ，对每
30、一个方向,dzkns123cosin,kn的邻点，在由领域点亮度决定的等亮度线上寻找最速上升斜率 ，并利用表面梯 k度(p， q)和 n 的关系 来得到 1233,npq其中， 为等亮度参数。这样对于每一个方向 ，cossi0d将会得到两组具有相反关系的表面梯度值 和 ，而且此时应首先选择使1,pq2,(l 光源为方向)的表面梯度值 (不妨设为 即通过选择远离cs,in0k 2,pq光源方向的表面梯度值(此即为下山原则)来求得 ，然后由各方向上的领域点高度k值求得当前点高度值，该值为:式 2.27 1 1,maxsup,t t tzyzxyzxy其中，t 为迭代次数，且:式 2.281 1,c
31、os,asup,t t tzxzdzzxy 2.3局部分析方法上述两类 SFS 问题的求解方法需要通过迭代或演化过程来将边界条件或初值条件扩展到整个物体表面，其求解过程是全局的，且不能独立得到物体表面的局部形状表示，而 SFS 问题局部分析方法则是将反射模型与假设的物体表面局部形状相结合构成关于物体局部形状参数的线性偏微分方程组，再利用己知边界条件来求得该方程组的唯一解，这样即可直接确定物体的局部三维表面形状。常用的局部形状假设为球形表面，显然这种假设所确定的物体表面是光滑的。因为算法没有迭代过程，且确定形状时，计算被局限在局部范围内，因此，局部方法的时间复杂度较小，效率较高。同时，算法的实现
32、也比上述两类全局方法简单。但是，因为没有迭代过程，所以该方法只能确定曲面的方向，因此，必须依靠积分的方式获得曲面的高度。下面以 Lee 和 Rosenfeld 的方法为例来介绍这类 SFS 问题的局部分析方法。Lee 和 Rosenfeld 的局部分析方法实际上是 Pentland21局部分析方法的一种改进，该方法也假设物体表面的局部形状是一个球形表面，其关键也是要首先找到图像的奇点，并通过对图像进行旋转，来使得图像的 X 轴与光源方向在图像平面上的投影方向一致，第 13 页 共 36 页同时计算在该坐标系下表面点的倾角和仰角，然后再将所得结果转换至原图像坐标系即可。算法的具体实现过程如下:首
33、先，要进行坐标系转换，从笛卡尔 (Cartesian)坐标系 转至新的坐标系XYZ新坐标系用光源方向 定义，确保 轴与光源方向一致， 轴和 轴的方向XYZ0SZ可以任意。在这个新的坐标系中，因光轴与光源方向一致，所以新的、相应的反射图是旋转对称的。于是，在新坐标系 中，可以用简单的方法计算曲面的仰角。如XY果假设物体表面的局部形状是一个球形表面，则仰角可以从图像辐照度方程 E(x，y)力线性变换的偏导中直接计算出来。设 和 分别为光源方向 的倾角和仰角， 和 分别为曲面法矢 的倾角和仰角。0S0n也就是说，用球坐标表示方向。这些参数是定义在 坐标系中的。用右上角的星号XYZ表示转换到 坐标系后
34、相应的值。假设两坐标系间的转换矩阵为 ，于是可得:XYZ 1T式 2.291XYTZ其中：式 2.301coscosinsiin0icoT 如果假定球的中心就位于两个坐标系的原点处，且其半径为 ，那么，在坐标系r中，可以用下面的方程定义球:XYZ式 2.31222,XYrYXr点 处的方向 定义如下:,xy0n01,TnZr用球坐标 表示的单位光源方向矢量 的定义如下:,0S式 2.320sico,si,cosT于是，根据图像辐射照度方程的定义:式 2.330,ExXyYEns第 14 页 共 36 页球的辐照度方程为: 0,sincosin,cosEExXyYXYzXYr2.33 于是，可得
35、上述方程的一阶偏导:0 si,sic,xyrzY式 2.340 o,in,XEEXY如果令 =0，也就是说令光源方向与光轴方向一致，那么就可简化上述偏导，于是表面点方向的仰角可由下式计算得到:式 2.35 arctncosincosyxxyE其中， 分别为图像灰度沿 方向上的导数， 和 分别为光源方向 的倾,xy ,0S角和仰角。利用上述的转换矩阵 ，可以得到下式:1T式 2.362,xx yy EXYEXY其中：式 2.372coscosininT 于是，剩下的工作就是计算图像点处曲面方向 的倾角 。在坐标系 中，方程：0XYZ式 2.3800cosEnsE表示了矢量 和 与图像辐照度方程的
36、关系。如果乘积 是己知的，那么:0ns 0E式 2.390,arcosxXyYE如果假设被测物体的一个方向与光源方向一致的话，那么光源强度和反射率的第 15 页 共 36 页成绩 就可以很容易地确定。那么光源方向与这个单曲(singular surface normal)法失0E的点积为 1，于是， 。最后，必须将曲面方向 的倾角 转换回坐标系 。0E0nXYZ转换的具体过程如下:式 2.40001sinco,iTn从 中计算 和 的公式如下：0n式 2.41arcosarctnyxx其中 。,0xyzn0xn2.4线性化方法线性化方法的思路是通过将反射图线性化，将非线性问题转化为线性问题。这
37、个思路基于这样的假设，反射图中的低阶项起主要作用。显然，这类算法适用于这种假设成立的前提下。以 Pent land 和 Tsai，Shah 22的方法为例，来介绍这种线性化方法。2.4.1 Pentland方法Pent land 使用了反射图的线性逼近。反射图可以写为:式 2.422cossinisn,1pqExyRpq其中 和 是光源的倾角和仰角。在 点处将反射图泰勒展开并忽略高阶0,项可得:式 2.4300000, , ,RRExyRpqpqpq对于 Lambertian 反射，上述公式在 处简化为:0式 2.44,cossinisnxypq接着，Pent land 在等式两边进行傅立叶变
38、换，由于右边第一项是直流项，可以化简 :第 16 页 共 36 页121,zzxyFi式12,zi2.45 其中 是 的傅立叶变换。zF,Zxy式12112cosin,sinEz ziF2.46其中凡是图像强度 的傅立叶变换。通过重新整理上式各项可以计算出高度图。,xy接着进行傅立叶反变换。这个算法使用傅立叶变换给出了一个非迭代、封闭(closed- form)的解决方案。问题存在于对反射图的线性逼近上，当非线性项很大时将引起麻烦。正如 Pent land 所指出的，当反射图中平方项起主要作用时，“ frequency doubling”就发生了。在这种情况下，重建的形状将不连续。2.4.2
39、Tsai和 Shah的方法Tsai 和 shah 用有限差分 (finite different)方法离散逼近 和 ，之后用 线性化pq,Zxy反射图。Lambertian 曲面的反射图是:式 2.4722 21cossinisn, 1spqpRpq q其中， 是光源的仰角， 是光源的倾角。ini,coscosssZqxy用下式离散逼近 和 :pq,1,Zxyy式 2.48,q于是，图像辐照度方程可写为:第 17 页 共 36 页0,1,1fExyZxyZ式 2.49, ,RXxy对应固定点 和给定的图像强度 ，将方程 2.49 进行泰勒展开，可得,xyE11101,nnnfEZZxyfxyZ
40、xyZx1 111, ,n nnnxyxyf1 111, ,1,n nnnZfExyZxyZxZx 1 111, ,n nnnxyxyfy 式 2.50 上式可以写成矩阵形式:式 1,11, ,.0,.0,.0.xyxyxyx xyNZaabZ2.51其中: 111, ,nnnxyafExyxyZxZ111, , ,nnnxybfEZ1 111, ,n nnnZfxyxyZx 1 111, ,1,n nnnxyfEZyZ 式 2.52 1 111, ,n nnnZfxyxZxx 第 18 页 共 36 页对于一个 的图像，会有 个这样的等式，它们可形成一个线性系统，N2N。用雅可比(Jacob
41、in)迭代方法 23可以很容易地解决这个线性系统，式 2.52 可AZB以简化为: 0,fxy1 111, , ,n nnndZfZxyZxyfZxy 式 2.53于是，对于，Z(x ，y)= Z n(x，y)第 n 次迭代的高度可以用下式计算:式 2.54 11 ,nn nfxyZxyxyd其中:式 2.5512222, 11n s sdfZxypqpqq 假定对于图像中所有的点，初始值为 ，根据式 2.55 就可以估计出0,Zxy所有的高度值。2.5小结本章系统总结了求解 SFS 问题的方法，并按基本原理，将其归纳为四种，即:最小化方法、演化方法、局部方法以及线性化方法。本章对每种方法简要
42、作了介绍，并讨论了每种方法的特点和问题。下一章将研究实验数据的生成方法，并在此基础上，给出不同 SFS 算法 24的实验结果，同时，给出对各类算法性能的比较和评价，为第三章算法的设计做好充分的理论准备。第 19 页 共 36 页3 基于明暗恢复形状(简称 SFS)的目标物体深度信息提取算法设计由第二章可知，从明暗恢复形状方法分为全局最小化法、全局演化法、局部分析法及局部线性化法 25。但这四种方法都有一定的局限性，本文参考局部分析法的设计思路，在基于单幅图像的三维原型重建算法方面展开了研究工作。3.1曲面的表示方式设三维曲面 是有界闭区域。上的有界函数，且 在任一点的偏导数,zfxy ,fxy
43、均连续，曲面上各点的高度值为 值，表面点法向矢量为,xyf zdepth曲面 z 表面法向矢量可以表示为 ，表面梯度为 ，123TNn 1xyNfTpq倾角 和偏角 。(1)根据倾角偏角计算表面法向矢量:式 3.1123sincol将表面法向矢量表示成 的形式，根据数学知识可知:1,xyf式 3.232sincotancosisxylfl因此，用倾角和偏角表示的表面法向矢量为 tancos,tasin,1(2)根据倾角偏角计算表面梯度由数学知识可知，梯度 grad 的数学表达式如下:,fxyGrad 式,ffij3.3因此 式tancosixypfq3.4第 20 页 共 36 页(3)根据表
44、面法向矢量计算倾角 和偏角式 3.5323arcostn(4)由表面法向矢量计算表面梯度由(1)和(2) 的分析可知，式 3.61233,xypfqn3.2从单幅图像重建三维原型算法设计原理假设物体表面符合朗伯体表面漫反射模型，即物体表面是理想不透明的，具有理想的漫反射，并且在所有方向上都具有相同的反射率，那么根据 Lambertian 余弦定律，有光源照明的表面灰度就随着表面法线而变化。采用观察者为中心的坐标系(即观察者和摄像机同在坐标原点)，物体表面各点的法向量为 ，被照射点至其光,xyzNn源方向矢量为 ，则被照射点的灰度可表示为方程:,xyzLl式 3.7222xyzxyznllNE假
45、设光源的入射强度为 I，物体表面反射率 26为常量 ，光源矢量与物体表面法向矢量的夹角为必时，则沿法向矢量方向的反射强度 E 可根据下面的公式获得:式 3.8cosEI假设表面光滑，且局部形状为球形，则物体表面必定存在一点的法向矢量方向与光源矢量方向相同，从而 ，根据公式 3.8 可知， ，此点亮度必然最大。由0maxEI此可知:图像中最亮点的表面法向矢量与光源矢量方向相同。因此，在光源矢量方向确定的情况下，图像中最亮点的表面法向矢量也随之确定。设图像中任意点 的反射强度i为 ，则从公式 3.8 可知:iE式 3.9cosiiEI若以光源方向为 Z 轴建立坐标系，则光源的倾角 =0，将 带入公
46、式 3.9 得ss第 21 页 共 36 页式 3.10maxcosiiEI从而， 点与光源方向的夹角 的值可由下面公式获得:i i式 3.11maxrcosiiE在光源矢量为 Z 的坐标系统中，夹角 即为表面法向矢量的倾角，根据 3.1 节中曲面i表达方式的描述知，若能得到曲面上各点的倾角和偏角，则曲面的形状可以唯一节中曲面表达方式的描述知，若能得到曲面上各点的倾角和偏角，则曲面的形状可以唯一绘出。若将光源表面梯度 和物体表面梯度 表示为倾角和偏角的函数，根据公,spq,ipq式 3.4 可得式 3.12tancositsisiqp带入反射强度公式 3.12 即可得到 E，将 E 表示为倾角 和偏角 的函数，得式cosinscosSSSE3.13假设物体的任意局部形
