1、2015-8-24 1 基于稀疏模型的凸优化 算法及其应用 学生：刘翼鹏 导师：万 群 专业：信息与通信工程 Email: 电子科技大学博士学位论文答辩2015-8-24 2 主要内容 研究背景 压缩感知基础 分级稀疏的凸优化重建算法 有损稀疏信号估计：测量矩阵误差 有损稀疏信号估计：纯相位信号 压缩感知在宽带谱感知中的应用 分级稀疏约束在自适应波束形成中的应用 总结与展望2015-8-24 3 研究背景 压缩采样 医疗成像 无线通信 数字图像处理 光学/ 雷达成像 计算生物学 地球物理数据分析 金融投资组合选择 社会财富分配问题2015-8-24 4 压缩感知基础 稀疏表示 随机采样 稀疏
2、信号重建 凸优化算法 贪婪算法 性能分析2015-8-24 5 压缩感知基础 稀疏表示： 信号模型： 稀疏信号： 向量 中，大部分元素为零标准稀疏信号 向量 中，少部分系数包括向量大部分的能量 可压缩信号（近似稀疏信号） x n =+2015-8-24 6 压缩感知基本理论 随机采样模型：仅采样线性投影 () = +=+ y x n v Shannon/Nyquist Compressive Sensing M-by-1 M-by-N N-by-N N-by-12015-8-24 7 压缩感知基本理论 稀疏信号重建算法 优化准则： 传统方法 最小范数解 稀疏解（非凸）： 22 min yA l
3、 -+ 20 min l -+ yA 2015-8-24 8 压缩感知基本理论 稀疏信号重建算法 解稀疏问题（主要）： 凸优化算法 基追踪 Dantzig Selector 贪婪算法 匹配追踪 正交匹配追踪 正则化匹配追踪 分段正交匹配追踪 压缩采样匹配追踪 1 min , s. t. N H x xA y A x 1 min , s. t. N x xy A x 2015-8-24 9 压缩感知基本理论 稀疏信号重建算法 基追踪（Basis Pursuit, 又称LASSO ） 1 mins. t. N x x yA x = y Ax 2015-8-24 10 压缩感知基本理论 理论保证 零
4、空间特性：对所有的子集， 严格等距特性 相干度分析 常见随机采样矩阵 Gaussian matrices Bernoulli matrices Partial Fourier matrices ( log( / ) MsNs ( log( / ) MsNs ( log) ) MsN 2 22 12 12 12 22 2 11 SS xx A xx xx max j k jk aa 1 1 1, 2 , , , , , k e r 0 c NS S S SS v vv A 其中：2015-8-24 11 压缩感知基本理论 Analog-to-Information Converter Cande
5、s et al. (CalTech & Northrop Grumman): Random modulator pre- integrator (RMPI) Eldar et al. (Technion): Xampling Fudge et al. (Wisconsion & L3) Baraniuk et al. (Rice University): Single-pixel camera Dennis Healy, Defense Advanced Research Projects, (DARPA) 理论研究： Terence Tao (UCLA) Candes, Donoho, Bo
6、yd, et al (Stanford) Tropp (CalTech) Romberg (GeoTech) Baraniuk et al. (Rice University) Eldar, Elad et al. (Technion) Vetterli, Vandergheynst (EPFL) S. Mallat, Cohen (France)2015-8-24 12 分级稀疏的凸优化重建算法 应用背景 多子带的宽带通信信号处理 无线传感器网络 雷达信号处理 基因表示级测量 数字图像处理 多测量向量处理问题2015-8-24 13 分级稀疏的凸优化重建算法 分块稀疏信号（进一步开发结构信息
7、） f x 12 112( 1 ) 1 TT T K T dd d Kd N xxxxx x xx x x 0 12 0 , , : 0, for 1, 2,., , BS T T T T N T KK k K K xxx xx x ，2015-8-24 14 分级稀疏的凸优化重建算法 分级稀疏信号模型 总体稀疏分布，局部分布未知 总体稀疏分布，局部稀疏分布 总体稀疏分布，局部密集分布 0 , , SNKKSd 和 之间关系未知。 0m a x , , SNKKsd 0m i n , , / 0.5 SNKKsd 0 min (1) (2) ( ) min II I K ssss max 1
8、2 max K s ss s 2015-8-24 15 分级稀疏的凸优化重建算法 分级稀疏信号凸优化重建模型 总体稀疏分布，局部分布未知 总体稀疏分布，局部稀疏分布 总体稀疏分布，局部密集分布 22 1 arg min N K GLASSO k k x xy A xx 12 221 11 arg min N KK SS GLASSO k k kk x xy A x xx 12 221 11 arg min N KI SD GLASSO k i ki x xy A x xD x 2015-8-24 16 分级稀疏的凸优化重建算法 分级稀疏信号凸优化重建模型 全变差矩阵 , , iF i iB D
9、 D D , 00 0 0 00 0 0 000 0 000 00 iF 11 11 D 11 1 , 00 00 00 0 0 000 0 000 00 iB 11 11 D 11 1 2015-8-24 17 分级稀疏的凸优化重建算法 充分条件 GLASSO SS-GLASSO SD-GLASSO 0 0 0 0 0 0 1 11 1 1 11 1 1 11 1 S G SS AG S SS AG bB bB B Kd sKd Kd sKd Ks sKd 0 0 0 0 1 11 1 1 11 1 S G SS AG S SS AG Kd sKd Kd sKd 0 0 0 0 0 0 1
10、11 1 1 11 1 1 11 1 S G SS AG S SS AG A AA Kd sKd Kd sKd Ks sKd 2015-8-24 18 分级稀疏的凸优化重建算法 仿真实验（SD-GLASSO为例） 0 100 200 300 400 500 0 0.05 0.1 0.15 0.2 Real 0 100 200 300 400 500 0 0.05 0.1 0.15 0.2 Lasso 0 100 200 300 400 500 0 0.05 0.1 0.15 0.2 0.25 GLasso 0 100 200 300 400 500 0 0.05 0.1 0.15 0.2 SD
11、GLasso 0 100 200 300 400 500 0 0.05 0.1 0.15 0.2 Real 0 100 200 300 400 500 0 0.05 0.1 0.15 0.2 Lasso 0 100 200 300 400 500 0 0.1 0.2 0.3 0.4 GLasso 0 100 200 300 400 500 0 0.05 0.1 0.15 0.2 SDGLasso 80% 100% 2015-8-24 19 分级稀疏的凸优化重建算法 仿真实验（SD-GLASSO为例） 20 40 60 80 100 120 140 160 180 200 220 0 0.2 0
12、.4 0.6 0.8 1 1.2 1.4 1.6 measurement number MSEstandard Lasso GLasso SDGLasso 20 40 60 80 100 120 140 160 180 200 220 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 measurement number MSEstandard Lasso GLasso SDGLasso 80% 100% 2015-8-24 20 有损稀疏信号估计：测量矩阵误差 普通压缩感知结构 有损压缩感知结构 测量不确定性 测量样本的信息丢失 x x2015-8-24 21 有损稀疏信号估计
13、：测量矩阵误 差 存在测量矩阵不确定性的压缩感知 电子系统中的模数转换器中量化格点误差 信道估计中训练序列误差 自适应波束形成中的阵列流形中波达方向格点误 差 金融分析中投资组合选择等 x2015-8-24 22 有损稀疏信号估计：测量矩阵误差 信号模型 稀疏 + 抗测量矩阵误差的稀疏信号重建优化模型 , N yA xnx BAV 1 21 min s.t. M x y Bx x 2 1 min s.t. t M t t yB x x2015-8-24 23 有损稀疏信号估计：测量矩阵误差 仿真实验 0 50 100 150 200 250 300 350 400 450 500 0 0.2
14、0.4 0.6 (a) The real sparse signal0 50 100 150 200 250 300 350 400 450 500 0 0.2 0.4 (b) BP0 50 100 150 200 250 300 350 400 450 500 0 0.2 0.4 (c) AMUOThe real sparse signal BP AMUO 0 50 100 150 200 250 300 350 400 450 500 0 0.2 0.4 (a) The real compressive signal0 50 100 150 200 250 300 350 400 450
15、500 0 0.2 0.4 (b) LASSO0 50 100 150 200 250 300 350 400 450 500 0 0.2 0.4 (c) AUOThe real compressive signal LASSO AUO 标准稀疏信号估计 近似稀疏信号估计2015-8-24 24 有损稀疏信号估计：测量矩阵误差 仿真实验 01 10 # | # | ii i PPP P L 1 1.5 2 2.5 3 3.5 4 4.5 5 5.5 6 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 Number of nonzero elements Average wr
16、ong support numberBP AMUO 20 40 60 80 100 120 140 160 180 200 0 1 2 3 4 5 6 7 Number of measurements Average wrong support numberBP AMUO2015-8-24 25 有损稀疏信号估计：纯相位信号 信号模型 ap y f xy y diag zv y x phase( ) p zz 12 ,1 , 2 , phase( ) M p aa a M yy y yy y yy abs( ) aR R I I yyyy y y 2015-8-24 26 有损稀疏信号估计：纯
17、相位信号 凸优化稀疏重建模型 1 * min s.t. diag p x zA x1 1 min s. t. x zA x 1 min s. t. p x zA x 2015-8-24 27 有损稀疏信号估计：纯相位信号 仿真实验结果 0 20 40 60 80 100 0 0.50 20 40 60 80 100 0 0.50 20 40 60 80 100 0 0.50 20 40 60 80 100 0 0.5ADBP Real sparse signal POSSR POBP2015-8-24 28 有损稀疏信号估计：纯相位信号 仿真实验结果 ture L ss 1 2 3 4 5 6
18、 7 8 9 10 0 10 20 30 40 50 60 70 80 90 100 The number of nonzero entries The successful rate of support recovery (%)ADBP POBP POSSR 0 50 100 150 0 10 20 30 40 50 60 70 80 90 The number of measurements The support Recovery successful rate (%)ADBP POBP POSSR2015-8-24 29 压缩感知在宽带谱感知中的应用 研究背景 易于利用的无线频谱已分
19、配2015-8-24 30 压缩感知在宽带谱感知中的应用 研究背景 无线频谱的低利用率2015-8-24 31 压缩感知在宽带谱感知中的应用 信号模型 1 () () N nn n xtt 1( 1 ) 1 T tt Nt N tN xx x x tt y x 1( 1 ) 1 T tt Mt M t M yy y y , , 0 ( 1) ( 0) ( 1) T xt xt xt xt rN r rN r , , 0 ( 1) ( 0) ( 1) T yt yt yt yt rM r rM r 2015-8-24 32 压缩感知在宽带谱感知中的应用 信号模型 yx rA r 12 34 A
20、* 111 , 11 , 1 ,0 NN hankel 0 * 2 1,1 1, 1, 1 ( 1) , NNN hankel 0 3 1 1, 1,2 ,0 NN toeplitz 0 4 1,1 1, 1,1 1 ( 1) , NN teoplitz 0 x r p , yt t t rA pD p , 2, 01 ,1 , , 1, 1, , ij Mi j i j N i j N 2015-8-24 33 压缩感知在宽带谱感知中的应用 压缩宽带谱感知 频率谱感知 功率谱感知 1 2 min s. t. t f yS f 1 2 min s. t. t p rD p2015-8-24 3
21、4 压缩感知在宽带谱感知中的应用 基于分级稀疏约束的压缩宽带谱感知 分块稀疏约束的宽带谱感知（BS-CWSS ） 12 22 2 1 2 min s. t. K t pp p rD p 11 2 1 12 111 KK K T dd d d d pppppp ppp p 12 , . . . , 1 2 2 2 2 min s. t. , e 0, 1 K K i ee e i iii t e ei K p p rD p 12 , . . . , 1 * 2 min s. t. , 0, 1 K K i ee e i ii i ii t e e ei K e p Ip p rD p2015-8
22、-24 35 压缩感知在宽带谱感知中的应用 基于分级稀疏约束的压缩宽带谱感知 全变差的宽带谱压缩感知（TV-CWSS ） 多子带分块稀疏分布特征 时间上的慢变特征 1 2 2 min s. t. vec( ) Vp YB P pP2015-8-24 36 压缩感知在宽带谱感知中的应用 性能分析 TV-CWSS 和LASSO-CWSS （ S ）：非零元素位置变化的数 T ：快拍数 K ：平均每个子块内非零元素个数 S ：非零元素个数 ( 1) log / log /(2 ) TV mCT n KnK log / LASSO mT Sn S 2015-8-24 37 压缩感知在宽带谱感知中的应用
23、 仿真实验 单快拍情况：BS-CWSS 0 50 100 150 200 250 300 350 400 450 500 0 0.02 0.04 0.06 0.08 0.1 0.12 0.14 0.16 0.18 0.2 Frequency (MHz) PSD 0 50 100 150 200 250 300 350 400 450 500 0 0.05 0.1 0.15 0.2 (a) LASSO-CWSS Frequency (MHz) PSD 0 50 100 150 200 250 300 350 400 450 500 0 0.05 0.1 0.15 0.2 (b) BS-CWSS
24、Frequency (MHz) PSD2015-8-24 38 压缩感知在宽带谱感知中的应用 仿真实验 单快拍情况：BS-CWSS 22 2 22 2 , , BS LASSO kk LASSO k LASSO BS kk LASSO k vk pp p pp p 第 一用户活跃子带 第 一 用 户不活跃子带 v 123456789 LASSO 0.127 0.449 0.132 0.465 0.217 0.516 0.200 0.412 0.167 BS-CWSS 0.000 0.399 0.000 0.488 0.031 0.686 0.000 0.364 0.000 改进率 100% -
25、11.2% 100% 4.93% 85.6% 33.0% 100% -11.7% 100%2015-8-24 39 压缩感知在宽带谱感知中的应用 仿真实验 多快拍情况：TV-CWSS v 0 50 100 150 200 250 300 350 400 450 500 0 0.02 0.04 0.06 0.08 0.1 0.12 0.14 0.16 0.18 Frequency (MHz) Normalized PSD 0 50 100 150 200 250 300 350 400 450 500 0 0.02 0.04 0.06 0.08 0.1 0.12 0.14 0.16 0.18 F
26、requency (MHz) Normalized PSD 0 50 100 150 200 250 300 350 400 450 500 0 0.02 0.04 0.06 0.08 0.1 0.12 0.14 0.16 0.18 Frequency (MHz) Normalized PSD TV-CWSS LASSO-CWSS Real PSD 2015-8-24 40 压缩感知在宽带谱感知中的应用 仿真实验 多快拍情况：TV-CWSS v 0.3 0.35 0.4 0.45 0.5 0.55 0.6 0.65 0.7 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0
27、.9 1 Subsampling ratio False alarm ratioLASSO-CWSS TVM-CWSS 0.3 0.35 0.4 0.45 0.5 0.55 0.6 0.65 0.7 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Subsampling ratio Detection ratoLASSO-CWSS TVM-CWSS2015-8-24 41 分级稀疏约束在Capon波束形成中 的应用 阵列进行方向性发射和接收 应用背景 雷达、声纳、声学、天文学、地震学、通信 和医学成像 系统示意图 30 210 60 240 90 270 120
28、 300 150 330 180 02015-8-24 42 分级稀疏约束在Capon波束形成中 的应用 波束形成分类 确定性波束形成（数据独立） 自适应波束形成（依靠数据） 主要优点 更高的分辨率 更强的干扰抑制能力 主要缺点 导向向量估计误差敏感度高 高旁瓣水平2015-8-24 43 分级稀疏约束在Capon波束形成中 的应用 到达阵列的信号 阵列输出的信号 0 1 () ()() ()() () J jj j ks k k k xa an 0 1 () () () () () () () H J HHH jj j yk k skkk wx wa wa wn2015-8-24 44 分级
29、稀疏约束在Capon波束形成中 的应用 传统的Capon 方法 闭式解 缺点 SOI 的DOA 估计误差敏感度高 高旁瓣水平 0 min s.t. ( ) 1 H x H w wRw wa 1 0 1 00 () () () x MVDR H x Ra w aR a2015-8-24 45 分级稀疏约束在Capon波束形成中 的应用 波束图整形的稳健Capon 方法 稀疏约束： 加权稀疏约束 混合范数约束 0 1 0 arg mins.t. ( ) 1 HH SC x H w ww R w w A wa 1 1 0 arg mins.t. ( ) 1 HH WSC x H w ww R w w
30、 A Q wa 23 1 0 arg mins.t. ( ) 1 HHH MN x M S H w w wRw wA wA wa2015-8-24 46 分级稀疏约束在Capon波束形成中 的应用 范数约束的几何意义 -1.5 -1 -0.5 0 0.5 1 1.5 -1.5 -1 -0.5 0 0.5 1 1.5 二维平面内：p=0, 1, 2, inf 三围维平面内：0 p 12015-8-24 47 分级稀疏约束在Capon波束形成中 的应用 波束图整形的稳健Capon 方法 全变差约束 主瓣旁瓣能量比最大化 45 1 2 1 0 arg min s.t. ( ) 1 I T HHH T
31、VM x i M S i H w ww R wD w Aw A wa 22 6 22 0 arg mins.t. ( ) 1 HHH MSPR x M S H w ww R w w A w A wa 2 22 6 22 0 arg min 1s.t. ( ) 1 HHH MSPR x M S H w ww R w w Aw A wa 1 66 0 1 06 60 2() ()2 () (1 ) () 2( ) ( )2 () HH H H xM MM M s S H HH HHH xM MM M s S ii i ii RwA A wA AA Aa w aRwA A wA AA Aa2015-
32、8-24 48 分级稀疏约束在Capon波束形成中 的应用 仿真实验 没有SOI 角度失匹配情况 -80 -60 -40 -20 0 20 40 60 80 -100 -90 -80 -70 -60 -50 -40 -30 -20 -10 波达 方向 （ 度） 阵列 增益 （分贝 ）The Standard Capon Beamformer The Sparse Capon Beamformer The Weighted Sparse Capon Beamformer -80 -60 -40 -20 0 20 40 60 80 -110 -100 -90 -80 -70 -60 -50 -40
33、 -30 -20 -10 波达 方向（ 度） 阵列 增益 （分贝 ）The Standard Capon Beamformer The Sparse Capon Beamformer The Mixed Norm Shaped Capon Beamformer2015-8-24 49 分级稀疏约束在Capon波束形成中 的应用 仿真实验 没有SOI 角度失匹配情况 -80 -60 -40 -20 0 20 40 60 80 -110 -100 -90 -80 -70 -60 -50 -40 -30 -20 -10 波达 方向 （ 度） 阵列 增益 （分贝 ）The Standard Capon
34、 Beamformer The Sparse Capon Beamformer The TVM shaped Capon Beamformer -80 -60 -40 -20 0 20 40 60 80 -80 -70 -60 -50 -40 -30 -20 -10 波 达方向 （度 ） 阵列 增益 （分贝 ）The Standard Capon Beamformer The Sparse Capon Beamformer The MSERM shaped Capon Beamformer2015-8-24 50 分级稀疏约束在Capon波束形成中 的应用 仿真实验 3度的SOI 角度失匹配
35、-80 -60 -40 -20 0 20 40 60 80 -100 -90 -80 -70 -60 -50 -40 -30 -20 -10 波达 方向 （ 角） 阵列 增益 （分贝 ）The Standard Capon Beamformer The Sparse Capon Beamformer The Weighted Sparse Capon Beamformer -80 -60 -40 -20 0 20 40 60 80 -110 -100 -90 -80 -70 -60 -50 -40 -30 -20 -10 波达 方向 ( 度) 阵列 增益 (分贝)The standard Ca
36、pon Beamformer The sparse Capon Beamformer The MN based Capon Beamformer 2015-8-24 51 分级稀疏约束在Capon波束形成中 的应用 仿真实验 3度的SOI 角度是匹配 -80 -60 -40 -20 0 20 40 60 80 -100 -90 -80 -70 -60 -50 -40 -30 -20 -10 0 10 波达 方向 ( 度) 阵列 增益 ( 分贝)The standard MVDR Beamformer The sparse MVDR Beamformer The TVM based MVDR B
37、eamformer -80 -60 -40 -20 0 20 40 60 80 -90 -80 -70 -60 -50 -40 -30 -20 -10 波达 方向（ 度） 阵列 增益（ 分贝 ）The Standard Capon Beamformer The Sparse Capon Beamformer The MSERM Shaped Capon Beamformer2015-8-24 52 分级稀疏约束在Capon波束形成中 的应用 仿真实验 平均阵列增益2015-8-24 53 总结与展望 总结 理论：工作I ： 分级稀疏信号模型 对应的凸优化信号重建方法 充分条件 理论：工作II
38、有损稀疏信号估计：测量矩阵误差 信号模型 凸优化重建方法 有损稀疏信号估计：纯相位信号 信号模型 凸优化重建方法 应用：工作III 利用应用中新信息改进压缩宽带谱感知 BS-CWSS TV-CWSS 应用：工作IV 波束图整形约束改进Capon 波束形成2015-8-24 54 总结与展望 展望： 贪婪类解法 降低计算复杂度 矩阵完备问题 向量估计 矩阵估计 p 范数约束更进一步应用 充分、必要条件推导 相干度分析 严格等距特性 零空间特性2015-8-24 55 附录（1）：凸优化模型解法 “Bundle methods“ (Wolfe, Lemarchal) “Subgradient pr
39、ojection“ methods (Polyak) Interior-point methods (Nemirovskii and Nesterov) Cutting-plane methods Augmented Lagrangian method Ellipsoid method L1 Homotopy SpaRSA LARS2015-8-24 56 附录（2）：常用软件 CVX convex optimization l1_ls large-scale l1-regularized least-squares l1_logreg large-scale l1-regularized l
40、ogistic regression GGPLAB geometric programming L1-MAGIC convex optimization to Compressed Sensing SparseLab sparse solutions to linear equations, particularly underdetermined systems SeDuMi approximate solutions to combinatorial optimization problems2015-8-24 57 附录（3）：阶段性成果 第一作者文章(6 篇SCI 期刊) ： 1. Y
41、ipeng Liu, Qun Wan, “Robust Beamformer Based on Total Variation Minimisation and Sparse Constraint,” Electronics Letters, Vol. 46, No. 25, pp. 1697 - 1699, Dec. 2010 （SCI 、EI 收录国外期刊） 2. Yipeng Liu, Qun Wan and Xiaoli Chu, “Power-Efficient Ultra-wideband waveform design considering radio channel,“ ra
42、dioengineering, accepted （SCI 、EI 收录国外期刊） 3. Yipeng Liu, Qun Wan, “Anti-Sampling-Distortion Compressive Wideband Spectrum Sensing for Cognitive Radio,“ International Journal of Mobile Communications (IJMC), Accepted （SCI 、EI 收录国外期刊） 4. Yipeng Liu, Qun Wan, “Sidelobe Suppression for Robust Beamformer
43、 via The Mixed Norm Constraint,“ Wireless Personal Communications, Accepted （SCI 、EI 收录国外期刊） 5. Yipeng Liu, Qun Wan, Fei Wen, Jia Xu, Yingning Peng, “Anti- measurement Matrix Uncertainty Sparse Signal Recovery for Compressive Sensing,” International Journal of the Physical Sciences, Accepted （SCI 收录国外期刊） 6. Yipeng Liu, Qun Wan, Fei Wen, Jia Xu, Yingning Peng, “Sparse Support Recovery with Phase-Only Measurements,“ International Journal of the Physical Sciences, Accepted （SCI 收录国外期刊）
