1、河南大学硕士学位论文求解L1正则项优化问题的两种算法姓名：朱红申请学位级别：硕士专业：运筹学与控制论指导教师：肖运海201205摘 要求解欠定线性方程组在机器学习，信号处理，压缩感知，线性逆问题以及统计推断等领域有广泛的应用作为稀疏优化的分支，压缩感知问题可通过求解极小化它1一范数正则项问题处理这样得到的问题因其正则项的非光滑性而颇具挑战本论文提出两种求解压缩感知问题的算法，分别用修正的共轭梯度法和交替方向法求解大规模稀疏优化问题，给出一定条件下算法收敛性定理，并通过数值试验验证算法有效性第一部分，给出稀疏优化和压缩感知的定义，列出应用稀疏优化求解压缩感知问题的算法的最新研究进展，给出本论文研
2、究的理论基础并列出文中所用到的一些基本概念，符号，定义第二部分，受Nesterov的光滑化技巧启发，提出一种利用三项结构的Polak-Ribi色re-Polyak共轭梯度法求解稀疏信号恢复中的2l一范数最小二乘问题的算法每次迭代该算法只需求解三次矩阵一向量乘积运算算法所应用的理论基础保证了算法的全局收敛性其次，该算法通过连续性技巧加速，数值试验表明该连续性技巧明显提高了算法的执行效率算法的执行效果优越于同样使用Nesterov的光滑化技巧和梯度法的NESTA算法第三部分，分别基于原始模型和对偶模型：提出两种求解包含粤l一范数正则项和21范数数据拟合项优化问题的交替方向法该算法交替地极小化原始问
3、题和对偶问题的增广Lagrangian函数通过使用一维收缩算子或欧氏投影，所有子问题都存在显式解算法每次迭代仅需求解两次矩阵向量乘积运算，从而很容易实现最后给出一定条件下算法的全局收敛性，并讨论了算法在非负信号复原问题以及赋权值的正则项极小化问题中的应用数值试验说明该算法优于著名的YALLl算法最后，给出本文的总结，并提出一些值得继续探讨的方向关键词： 稀疏优化，压缩感知，共轭梯度法，交替方向法，对偶问题lIAB STRACTFinding sparse solutions to under-determined linear systems of equations has intensiv
4、ely involved in fields of machine learning，signal processing，compressive sensing，linearinverse problems and statistical inferenceGenerally，this task can be realized by solvingZlnorm regularized minimization problemsHowever，the resulting problem is challengingdue to its nonsmoothness of the regulariz
5、ation termIn this thesis，we use the conjugategradient methods and the alternating direct ion methods respectively to solve large scalesparse optimization problems in compressive sensingNumerical experiments are alsoreported，which illustrate that the proposed methods are practical and promisingIn the
6、 first chapter，we give the definition of the compressive sensing and sparse optimization，and list the recent progress of the algorithms in sparse optimizationMoreover，some important notations and symbols which used in the context are includedIn chapter 2，Inspired by NesterovS smoothing technique，we
7、propose a modifiedPolak-Ribi6re-Polyak(PRP)conjugate gradient method to solve Zlnorm least squareproblem for sparse signal restorationThe per-iteration cost of the proposed algorithmis dominated by three matrix-vector multiplications and the global convergence is guar-anteed by results in optimizati
8、on literatureMoreover，the algorithm is accelerated bya continuation technique as usualThe limited experiments show that this continua-tion technique benefits to its performanceNumerical experiments further illustrate thatthe proposed algorithm performs better than NESTAa recently developed code with
9、NesterovS smoothing techniqueIn chapter 3，we propose two primal and dual versions of the alternating directionalgorithms for the sparse signal reconstruction from its major noise contained observationdataThe algorithm minimizes a convex nonsmooth function consisting of the sum of11-norm regularizati
10、on term and el-norm data fidelity termWe minimize the corresponding augmented Lagrangian function alternatively from either primal or dual formsBothof the resulting subproblems admit explicit solutions either by using a one-dimensionalshrinkage or by an efficient Euclidean projectionThe algorithm is
11、 easily implementableand it requires only two matrix-vector multiplications per-iterationThe global conver-gence of the proposed algorithm is established under some technical conditionsTheIIIextensions to the nonnegative signal recovery problem and the weight ed regularizationminimization problem ar
12、e also discussed and testedNumerical results illustrate that theproposed algorithm performs better than the startof-the-art algorithm YALLlFinally：we list some concluding remarks and further research topics in the last chap-terKEY WORDS：compressive sensing，sparse optimization，conjugate gradient meth
13、od，alternating direction method，dual problemIV第一章 绪论求解大规模稀疏问题在机器学习，信号处理，压缩感知和统计推断等领域受到广泛关注记牙Rn为待复原原始信号假设孟在某些已知的基下稀疏，即存在正交矩阵WRnn，使得童：=WYc相对于它的维数n有很多零元素记线性算子ARmx,t(mn)，观测数据bRm满足关系式b=A孟显然，可通过求解线性方程组Ax=6得到原始信号牙的满意解但线性方程组Ax=6通常是欠定的或病态的，从而该线性方程组可能存在无穷多解本文结合压缩感知领域大规模稀疏优化问题的特点，给出两类复原原始信号牙的算法11稀疏优化压缩感失I(Comp
14、ressed Sensing，cs)作为稀疏优化领域的一个分支，本节首先给出稀疏优化领域的一些基本定义和定理这些理论为压缩感知的研究提供了理论基础定义111若向量zRnq,非零元素的个数七相对于n非常小，则称向量z是稀疏的；若向量z中非零元素的个数不多于后个，则称向量z是k一稀疏的j保留向量z中绝对值最大的前k个元素，其余元素均赋值为0，则称此时得到的向量是近似“稀疏的定义112若矩阵XRmn的列空间维数很低，即存在矩阵YRm黼，ZR七珊，使得x=YZ，其中七minm，n)，且y(z)的列竹夕向量相互独立，则称矩阵x是低秩矩阵定义113对于优化问题minf(x)b=Ax (11)若向量z是稀疏
15、向量，矩阵月的行向量从正交矩阵中随机选取，则称优化问题以“为稀疏优化定义114一般地，我们把矩阵月的所有线性相关列组成的集合中包含向量最少的集合的势称为spark，记作spark(A)1求解P1范数优化问题的两种算法定理115若问题n砂存在解撇II*IIoO是对噪声水平的估计显然，当问题(14)中6=o时即可得到问题(13)另一种常见的松弛方法是求解最小二乘问题：一rain。IIzII-+却6一例I；， (15)其中参数入与问题(13)中关于等式约束的罚参数有关，用来在极小化过程中平衡问题(15)的前后两项还有一种松弛模型利用极小化绝对压缩和选择算子14(1asso)min悄zbll；zRn”
16、 stIIxll,r， (16)复原原始信号，其中70为常数根据优化定理，当参数6，A和7-取值适当时，问题(14)(16)存在公共解但是，除非对特殊的情形(比如A为正交阵)，很难事先得出满足这样条件的参数f5】最新的研究结果显示，当观测值包含脉冲噪声时，用Z1范数拟合项代替问题(15)中的z2范数拟合项复原效果会更好考虑从高度损坏的线性观测数据b=A孟+u中复原大规模稀疏信号牙，其中tI为元素值可能无界的未知误差向量为复原原始信号牙，可求极小化Z11范数问题【6l：12即muinR。IIzIIl+吉lIuIll，8tAx+tI=b， (17)3求解它l一范数优化问题的两种算法其中参数l，06
17、】中大量数值实验说明对于在一定范围内取值的参数，模型(17)的复原精度要高于模型(13)模型(17)也可以应用到计算机视觉中的人脸识别领域【7】消除变量u，模型(17)可等价地写为rain。IIzIll+孑1 0Az一6111， (18)模型(18)中的z1范数拟合项使得模型(15)中的2一范数拟合项转变为精确罚函数【8】在大规模的脉冲噪声下模型(17)或它的等价模型(18)比模型(15)更可取f9J122经典算法基于大部分信号均可压缩的事实，Cand色s等人提出压缩感知定理【10_1 4I，使得压缩感知问题近年来受到广泛关注在压缩感知领域，稀疏信号首先通过计算机硬件设备编码为低维的线性投影，
18、然后通过求解一个它1一范数极小化问题，从受限制的观测数据中复原原始信号在压缩感知领域，算子A并不需要以显式矩阵的形式给出?而是随机地从正交矩阵中选取若干行，以线性映射的形式出现例如，在核磁共振成像领域，通常从离散傅里叶变换，离散余弦变换或者离散WalshHadamard变换中选取这样的算子月能够进行快速矩阵向量乘积运算，且不需要存储过去几年，涌现出大量求解Zl一范数极小化问题的算法比如，基于迭代压缩阈值化理论的固定点连续算法FPCBS，稀疏重构算法SpaRSAB61，迭代压缩阈值化算法IST 117-21I，两步的迭代压缩闽值化算法TwIST嗍，快速迭代压缩阈值化算；法FISTA2a；基于梯度
19、理论的分块坐标梯度下降法CGD24I，NESTA算法I矧，与BB梯度法f26相关的SPGLl算法127以及GPSR算法嗍基于交替方向法理论的YALLl算法f6】等等一系列数值试验说明这些算法执行效果非常好，并可以得到令人满意的结果GPSR算法通过分裂变量z=ut，其中蛳=maX毛，o)，仇=max(一孔，o)：把原始问题(15)转化为等价的二次规划问题：min互1：THz+cT2，5zo，其中z=(uT，t，T)T，矩阵日对称正定Figueiredo等人使用一种带BB步长的梯度投影算法求解上述等价问题，并通过对模型参数入使用连续性技巧来提高算法的执行速度以及增强算法的鲁棒性SpaRSA算法求解
20、极小化问题4min cl(z)+1c2(z)，王第一章绪论其中cl(z)为光滑函数，c2(x)im常是非光滑且非凸函数对当前迭代点z七，SpaRSA算法通过线性化函数C1(z)并加入一个临界点项更新变量z，即Xk+1=argmin(xz知)TVcl(z七)+等0zz七112+rc2(x)其中参数饥0因为函数c2(x)的正则性，上述迭代形式可通过收缩算子有效求解，从而该形式在很多文献中都有讨论FPC算法利用分裂算子求解问题(15)，并对模型参数A使用连续性技巧NESTA算法可以看作是Nesterov的光滑化技巧和梯度法的组合TWIST算法利用两步IST算法求解问题min y(x)+等IIAzbl
21、l2， 二其中A为线性算子，了(z)为通常意义下的正则项，即可以是z1范数，也可以是Ty算子TwIST算法的迭代框架为Xk+l=(1一a)xk一1+(口一6)Xk+6II()，其中，参数Q，60，钆()=arg minz了(z)+引Iz一引12YALLl算法通过加入辅助变量或约束条件把原始问题的目标函数转化为具有可分离结构的形式，并利用交替方向法交替地极小化其对应的增广Lagrangian函数来求解问题(13)-(15)以及(17)13 Nesterov的光滑化技巧本节简单回顾一下Nesterov提出的光滑化技巧【冽作为第二章所提算法的理论依据首先，考虑问题：m，in，(z)，霉Qp、“ (1
22、9)兵中，(z)是有界闭凸集Qp c Rn上的连续非光滑凸函数此时函数，(z)满足司分离结构，(z)=，(z)+。m。avx。(Wz，u)d一参(u)，但不要求可微，其中有界闭凸集Qd c Rd为Qp c Rn的对偶空间，符号(，)d表示Rd空间的向量内积，(z)和参(u)分别为Qp和Qd空间的连续可微凸函数，线性算子wRdn将空间Rn映射到它的对偶空间Rd从而，mvinp f(z)2婴爱，(z)+翼瑟(wz，u)d一参(让)=zmvin，f(引+umEavx。zmvin，(Wx，t)d-umEavx。(u)2翼瑟i-(tlJ+min。(Wx，t)d+，(z)j5求解e1范数优化问题的两种算法
23、记m(让)为Qd空间以仃d为凸参数的临界点函数，则瑚(让)在Qd上连续并且强凸NesterovZE文献【29】中借助临界点函数给出关于，(z)的带有参数p的光滑逼近函数：厶(引=max(W刚)d一参(让)一脚(u) (110)记(z)为问题(110)的最优解根据【29，Theorem 1】知丘(z)的梯度函数满足关系式V厶(z)=W札p(z)，其中W是Rd空间到R“空间的伴随算子此外，V厶(x)Lipichitz连续，且“pichitz常数为“=面1 M12定义Dd=maxuQd m(tI)，如(z)=maxuQ。(z，u)d一参(u)对任意zQp，有厶(z)fo(x)S厶(z)+#Dd从而，
24、函数L(z)可以看做是函数如(z)的一致光滑逼近函数因此，可用，(z)+厶(z)近似原始目标函数厂(z)14三项结构的PRP共轭梯度法非线性共轭梯度法因其执行简单，低存储，高效率以及收敛性有保证等优点在求解大规模无约束极小化问题中受到广泛关注共轭梯度法极小化函数：min，(z)，刊Rn其中假设函数，(z)可微，梯度函数V，(z)Lipschitz连续，即存在常数L，使得V，(z)满足关系式IIVf(x)一Vf(y)lILIIx一可0，V z，秒Rn共轭梯度法的迭代公式为-Tk+l 2Tk+Q七呶，其中Q七0为迭代步长，搜索方向d七满足定义以：坷f(xtg)， if k=0, (111)I-Vf
25、(孤)+凤dk-lif七0，第一章绪论标量仇的不同选取代表不同的共轭梯度算法然而，它们的收敛性质以及计算性能存在明显差别，尤其对非凸函数的极小化问题近年来，充分下降的共轭梯度法因其产生的搜索方向在每次迭代都自动下降而备受欢迎在此：仅介绍一下FI=IZhang，Zhou和Li提出的包含三项结构的PRP共轭梯度法130l，这也是本文第二章所提算法中要用到的方法记Y七一1=Vf(xk)一Vf(xk一1)，对于PRP共轭梯度法，口 vf(zk)。Yk一1肌2雨冗研在三项结构的PRP共轭梯度法中，搜索方向毗由公式如：坷f(xk) 订k 0 (112)I-Vf(xk)+凤dk一1一Okyk一1，if k0
26、，产生其中， 凤=糌，Ok-tVf(T,k)112 粉IVf(Xk)11，-脚一I 一1 I l显然，参数凤和以的定义使得对任意的k：搜索方向以满足Vf(xk)Tdk=一IIVf(x七)112即对三项结构的PRP共轭梯度法，每次迭代产生的搜索方向都是下降方向，该性质对迭代算法的全局收敛性非常重要15交替方向法交替方向法(ADM)的基本思想要追溯到Glowinslci，Marocco317Fl：iGabay，Mercier f32】等人的研究ADM算法被用来求解可分离结构凸优化问题：min 01(x)+02(r) (113)ZrstAx+Br=c，其中pl：R。-1R，02：R2 o R为凸函数
27、，ARll，BRl玳，cR1考虑问题(113)的增广Lagrangian函数：c一4(X,r,y)：01(z)+p2(r)一T(以z+Br-c)+鲁oAz+Br-cll；， (114)其中Lagrangian乘子YRl，罚参数卢0经典的增广Lagrangian算法(ALM)极小化问题(114)，迭代公式满足J (z七+l，r七+1)+-arg min。r c一(z，r，弧)，I弧+l+-讥一3(Axk+l+Brk+,一c)，7求解粤1一范数优化问题的两种算法其中(z七，rk，珧)为通过迭代公式得到的三元组ALM算法将问题(113)视为一般的极小化问题而忽略了它的可分离结构相较于ALM算法，AD
28、M算法依次对公式(114)中的变量z和r求极小，而不是同时极小化变量z和rADM算法通过，I Xk+l+-arg min王_(z：Yk)：rk+l+-arg minr cA(z七十l，r，挑)，l 3肌+l+-Ykp(Az七+1+Brk+1一c)，迭代其中，初始迭代向量ro和珈可任意选取ADM算法充分利用了目标函数0l(z)+如(r)的可分离结构过去几年，ADM算法理论逐渐趋于成熟3a一删，并在信号处理领域得到广泛应用【6,37-391实质上，ADM算法与DouglasRachford splitting算法【40】以及splitBregman算法【4l】密切相关f42t矧下面，我们不加证明地
29、给出ADM算法的收敛性定理：详细证明参见文献【44】的第四章定理151对于给定的p0，点列(z知，n，讥)由以DM算法的迭代公式通过任意有界初值生成，则(，)的任一聚点均是问题门“，的最优解16本文主要工作受Nesterov的光滑化技巧启发，本文第二章用一个光滑函数逼近问题(15)中的目标函数，并用三项结构的PRP共轭梯度法【30】求解相应的光滑问题全局收敛性可直接从文献f301中得出数值实验说明该方法是可行的，并且无论是在运行时间上还是在计算精确度上均可与著名的NESTA算法相媲美大量的理论和实验数据说明当脉冲噪声存在时，求解问题(18)比求解问题(15)更有利于信号的复原但是，关于求解问题
30、(18)的研究并不多见最近Yang并flZhang在文献【6】中把问题(18)转化为基追踪(BP)Ih-题，然后用交替方向法求解该Bpih-J题记A=游，6=南，蛐(才 从而问题(18)等价于量mR。in+。11宝11,，stA金=6 (116)为处理该BP Ih题，1g和Zh柚g通过在原始问题和对偶问题中加入辅助变量以及约束条件把原问题转化为与之等价的形式，交替地极小化相应的增广Lagrangiani甬数数值结果第一章绪论显示相关代码YALLl执行效果非常好尽管代码YALLl求解重11范数极小化问题非常有效，但它本质上是基于等价变换，在高维(n+m维)空间中求解变量岔所对应的BP f口-题能
31、否提出一种算法，无需任何变换便可直接求解原始问题(18)?受YALLl算法的启发，本文在第三章给出一个求解Zl一粤1范数极小化问题的有效算法，并对其进行分析和测试该算法分别交替地极小化原始问题和对偶问题所对应的增广Lagrangian函数每次迭代仅需进行两次矩阵向量乘积运算，并在一定条件下给出收敛性定理数值实验说明该算法可与著名的YALLl代码相媲美本文所用的符号：Z：R：Rn：J：A1：AT：IIII：Shrink(，)：()：实变量全体实数组成的集合全体n维实向量组成的集合单位矩阵矩阵A的逆矩阵A的转置向量2范数一维收缩算子B空间欧氏投影算子9求解粤1一范数优化问题的两种算法10第二章 基
32、于光滑化技巧和共轭梯度法的算法21 引言正如14节所言，共轭梯度法因其简单易行且低存储的性质在大规模无约束优化问题领域非常受欢迎但由于P1范数正则项的非光滑性，共轭梯度法在压缩感知领域的研究并不多见考虑无约束优化问题(15)，翼积IIxIIt+刳6一Ax幢受Nesterov的光滑化技巧启发，本章用一个光滑函数逼近模型(15)中的目标函数，并用三项结构的PRP共轭梯度法I删求解相应的光滑凸优化问题最后给出一定条件下该算法的全局收敛性定理并通过数值实验验证算法的有效性221 MPRP算法22 MPRP算法和收敛性分析取Jf(z)=钏Az-6112记厶(z)为忙Ill的某个光滑逼近函数根据文献【25
33、1，SlimNesterov的光滑化技巧，知几厶(z)_max。掣)一刚让)。；札(州I)， (21)其中z【l】表示向量z的第个分量，Qd=牡1Rn：Ilull1)，pd(U)=洲uIl2由m(t|)的定义知m(u)以盯d=1为其强凸参数函数机(Iz【训)满足定义妒p(1zH】I)=，m【0ax。】7lzI司l一互1 p72)=if Iz川0，点列z七)由算法2 2f通过任意初始点zo生成，则点列z七)收敛到问题俚剀的解因为问题(22)一致逼近到问题(15)，从而问题(22)的解一致逼近到问题(15)的解12第二章基于光滑化技巧和共轭梯度法的算法23连续的MPRP算法虽然由于问题(22)一致
34、逼近到问题(15)，使得问题(22)的解一致逼近到问题(15)的解但只有当参数，上充分小时问题(22)才能很好的逼近问题(15)实际应用中，对给定的精度通常很难从理论上确定“的具体取值从而本节利用连续性技巧来加速MPRP算法，该技巧在压缩感知领域的很多算法115,25,46,47】中都有应用连续性技巧通过求解一系列带有递减的光滑逼近参数鲰)：1的问题(22)逼近faj题(15)的解对每个肌并没有必要精确的求解问题(22)通常选取初始p为伽=o911ATbll，若观测数据b包含以口为标准偏差的高斯白噪声，则取肌满足地=01a记，7=(t,etpo)m， (24)从而有纵+l=叩鲰，显然，加JLl
35、lm综上所述，带有连续性技巧的求解原始问题(15)的-项结构的PRP算法可以表述为算法231MPRP恤)输入岛，入，e，P，(，t，伽，地i计算参数77给出初值zoj k：=0iFor p=po，pt DoWhile“不收敛”Do以p七为光滑参数通过算法22f中的Steps仁一4夕计算Xk+l；End Whilei己zo=xk+l；k：=七+1iEnd For24终止条件实际操作时，很多规则可用来迫使迭代算法221ig231终止运行为了便于与NESTA算法比较执行效果，类似与文献【25】，当五满足蛎=业患产o为算法容许误差，元(z七)表示算法在之前有限步的平均值，即 舳：=南嘣誊胍m仁6，13
36、求解孽1一范数优化问题的两种算法其中参数M为正整数下面详细比较一下7的不同选取对算法221和231运行效果的影响在这个简单的数值实验中，分别取7I=212，m=n8，入=000481 JAT 61l，并分别以p=001，脚=001作为算法MPRP和MPRP#的光滑逼近参数相应结果参见表21表21给出了对于M值的不同选取，通过算法复原的信号z与原始信号童之间的相对误差RelErr，即RelErr： (27)通过表21可以看出M的取值对算法精确度的影响并不大从而在本文接下来的实验中任意选取M4，5，12作为终止条件中参数M的取值表21 M值的不同选取对算法MPRPiFPMPRPp精确度的影响I M
37、 4 5 6 7 8 9 10 11 12MPRP 557e-3 558e-3 556e-3 556e-3 555e-3 359e-3 358e-3 357争3 357e-3MPRP弘 420e-3 478e-3 405e-3 400e-3 425e3 515e-3 380e-3 372争3 382争325数值实验本节分两部分完成数值实验第一部分的实验主要通过对MPRP算法与MPRP#算法的比较验证对参数肛使用连续性技巧的必要性第二部分通过与著名的NESTA算法作比较，说明算法221和231的有效性和稳定性所有的实验均在安装有Windows VistaPremium操作系统(英特尔酷睿2双核，
38、179GHz，1 GB内存)的联想手提电脑上用HhTLhBv76(R2008a)软件编写251 比较算法MPRP和MPRP#为了解释对光滑逼近参数p的取值使用连续性技巧的必要性，本小节比较算法MPRP和MPRP#的执行效果本实验选取满足t,=212，仇=s的瓦稀疏原始信号，其中瓦=m5原始信号孟的非零分量满足关系式邛】=-l-10w”，V iE， (28)其中E表示向量牙所有非零分量所对应的下标集合-yi满足【o，1】区间的平均分布，非零分量的符号随机选取系数Q满足关系式14口=Dyna20，第二章基J：光滑化技巧和共轭梯度法的算法其中信号的振幅“Dyna”以dB为单位在本实验中，线性算子月的
39、各行元素随机地从nn维的离散余弦系数矩阵(DCT)|，选取从而编码矩阵A可关于A和AT做快速的矩阵向量乘积运算且不要求存储观测数据b包含以仃=01为标准偏差的高斯噪声初始迭代向量：gO=ATb，当兄满足元0首先，固定变量z=z和可=弧，关于变量乱极小化问题(32)，得uM=argmin一1jII一订(Az七十u一6)+弘zk+u一嘲=argum卯in石1 11札11t+判u+Az知一6一弧77哟=arg嬲妻曲u(OI+渺i)+(觚)“)-，7)2)，19求解1范数优化问题的两种算法其中u(O表示向量U的第i个分量由上式知：对Vi，u肄。=shrink(6(t)一(Axk卢)+铭叩，南)，其中“
40、Shrink(y表示一维收缩算子因此，t七十l可以显式表示为 u川=maxib-Axk+咖I一历1，0)每端，其中II和“max”分别表示依分量求绝对值和最人值，且定义ooo=0其次，固定u=ifk+1和y=Yk，关于变量z极小化问题(32)，得叭-=argminIlxll一靠(Az+u川“)+如z+tt一6嚼=arg minIIzII，+罢11月z+(让七+一6一弧，7)I|；)(33)(34)问题(34)的解析解并不能显式求出线性化上式第二项，将其在z=z七处线性展开，记gk=AT(Ax知+tl七+1一bykl?)：为11Ax+(u七+lb一挑t7)1122在点z七处的梯度近似求解问题(3
41、4)，得。arg minIIzII。+77(羹(X-Xk)+剖1 zz)一g minIIzII+判zXk-T9洲)=Shrink(Xk-T鲰，寺)=maxIz,-rgkl一；：0)毒焉最后，对固定的tI=Ilk+1和z=z七+l，更新Lagrangian乘子Yk+1其中系数70为常数弧+l=玑一7，?(Axk+l+u七+l一6)，根据以上推导过程，求解z1一l一范数极小化问题(17)的原始ADM算法给出如下：算法321(PADM上1L1)j初始化?给定初值zo和珈i常数，叩，r；k：=02while不收敛”，do只 u七+l+-maxIb一月z七+vJ,loI一丙1：OI b-Axk+yy彳X
42、k+l 6-maxk一下鲰I-舌，0藻焉i曩 Yt+l七-弧一TT(Ax七+I+t,k+l一6)i岔 k+-七+1；7end while(35)(36)第三章求解Z11范数极小化问题的原始对偶交替方向法下面，我们分别用两个注记来说明算法PADM上1L1与YALLl算法16】以及由Zhang等人在【49】11，给出的一致的原始算法框架的区别与联系注记322为求解f*-l题模型门砂，YALLl算法使用迭代框架讥：rk+。l：=雪S七hrin叩k7(。XAk圣-七+r。Ar6(，A，圣七一6一讥77)，177) (37)来求解与之等价的卯问题，其中圣，A和6由公式pJJ给出对于给定的乱七+l，刚D从
43、L儿J算法的迭代公式可写为善z七+-2 shrink Xk-7“AT(AXk-k-Uk+l-6一讥77)，r77)， (38)I Yk+1=弧一rrT(Axk+l+tl七+16)比较迭代公式p砂和p到，PADM_LILl算法用新的u值即u七+l更新z七+1，而YALLl算法&-t-ek+l的迭代公式变量u并没有显式存在，考虑圣七+1=(，z矗l，tI七+lT)T，知MLLf算法利用tl七更新z七+1，并且圣在一个更高维伽q-n维J的空间更新注记323文献口彰中算法Al给出一类求解问题门砂的原始一对偶迭代算法框架其中系数C为常数算法PADM_LILI：和用Az七十uIAx+牡七+1z七+。arg
44、 z吨nlIzII。+7(夕(x-xk)+万1 ozz七幢)=arg mzinilzII-+判z一(z七一下夕洲)=龇g哑niizII-+昙llx-xk|l；+，7(zz七)T夕0=arg哑niizII+昙IIzz七1122+7(Ax,(以z七+u七+-近似求解z七+1另一方面，注意到argminI=arg哑nI=argmzinl(39)“一讥叩) (310)I。一yT(Az+u七+，一6)+罢IlAz+u七+一6II：+lllx-x七。车一，T)I,-YjCAz+u七+-一b)+互”llAz+i,k+1-6lI：+詈(zz七)(李一ATA)(X-zk)I-一j(Az+uM一6)+三IImz+
45、u川一6肛弘zAz七1122+判z咄哟=眦g哑nlizII-+翔zz七幢+，7(Az，(Az七十uM-6一讥叩)， (311)21、rJ2ILp，2QlII喝七-U一一bU1212斗22226纠一+咄妨崂一缸一m，、请舷一一+训队州扣aaA“：lmm弧ggv嘴吣酊=H眦跗甜踟ZZZ求解P1-范数优化问题的两种算法这恰好是公式阻io)公式似J纠和po砂的等价性，说明朋D肌LJLJ算法近似求解z七+1实质上相当于在精确模型p彳，后面加入一个临界点项洲zz七峰一叶T从而，算法以D朋上JLJ的迭代公式可表述为Izz七。季一叩TA，(312)比较迭代公式p圳和p1Z)，显然当p圳式中参数取Q1=o，Q2
46、=詈一叩AT月和c=l叼7时即为何J矽式，即以D从三J己f算法是从属于文献心彰中所提算法Al描述的迭代框架的这与交替方向法和却托拖叼B聊m口钆方法求解可分离的凸优化问题的等价性【42】一致但两者的收敛性条件不同，算法月1要求7-A(月TA)1并且O71322收敛性分析下面，给出PADM上1L1算法的收敛性定理及部分证明过程定理324对任意的，70，若参数1-：7满足关系式7-Am戤(ATA)+7吉，根据对偶范数的定义，存在zRm满足-llzlll和yTz1记u=tz，令_oo，有Tu-illuII=盯卜1112II。)_oo (320)结合公式(319)并fl(320)，即可得到(318)根据
47、(318)，显然当且仅当MI吉时才能保证圳心111一可T乱达到它的极小值o；否则，极小值为oo，这对求解问题并没有意义同理，可以得到nlinzRn(11211,一yTAz)的解引入辅助变量zRn，IbiS(17)的对偶问题等价于可Rm。a，：xR。YTb，s-t名=ATy，YB享，zB产， (321)其中B望：=YRm：IIvll)，BP：=【2Rn：IIzll1)因此，问题(321)有增广Lagrangian i函数(min) c4(z，矽，z)=一yT6+xT(AT3，一z)+兰|月T3，一20；， (3。22)其中变量秒B望，2Br，zRn是对应于原始变量的Lagrangian乘子，罚参数叩0固定Y=yk，z=z七，令V：_(z，觚，z七)=一z七一77(刀T纨一z)=0关于
