1、盲源分离问题综述摘要：盲源分离，是从观测到的混合信号中恢复不可观测的源信号的问题。作为阵列信号处理的一种新技术，近几年来受到广泛关注。本文主要阐述了盲源分离问题的数学模型、典型算法以及盲源分离的应用，并结合盲源分离问题的研究现状，分析了其未来的发展方向。主题词：盲源分离;盲源分离的典型算法1. 引言盲信号分离问题起源于人们对“鸡尾酒会”问题的研究。 在某个聚会上，我们正在相互交谈，同一时刻同一场景下其他人的交谈也在同时进行着，可能还有乐队的音乐伴奏，这时整个会场上是一片嘈杂。但是非常奇妙的是，作为交谈对象的双方，我们能够在这混乱的众多声音中很清晰的听到对方的话语，当然，如果我们偶尔走神，将精力
2、放在乐队奏出的音乐时，我们也同样可以听清楚音乐的主旋律。这种可以从由许多声音所构成的混合声音中选取自己需要的声音而忽视其他声音的现象就是鸡尾酒会效应。如何在这种从观察到的混合信号中分离出源信号的问题就是所谓的盲分离（Blind Signal Separation, BSS）问题，有时也被称为盲源分离（Blind Source Separation）问题。1986 年，法国学者 Jeanny Herault 和 Christian Jutten 提出了递归神经网络模型和基于 Hebb 学习律的学习算法，以实现两个独立源信号混合的分离，这一篇开创性论文的发表使盲源分离问题的研究有了实质性的进展。随
3、着数字信号处理理论和技术的发展以及相关学科的不断深入,大量有效的盲分离算法不断被提出,使盲分离问题逐渐成为当今信息处理领域中最热门的研究课题之一,在无线通信、图象处理、地震信号处理、阵列信号处理和生物医学信号处理等领域得到了广泛的应用。2. 盲源分离问题的数学模型盲源分离是指在不知道源信号和信道传输参数的情况下,根据输入信号的统计特性,仅由观测信号恢复出源信号各个独立成分的过程。盲源分离研究的信号模型主要有三种:线性混合模型、卷积混合模型和非线性混合模型。2.1 线性混合模型线性混合模型在神经网络、信号处理等研究中常常用到,其数学模型描述为:， 是一个随机的时间序列，用 m 个话筒表示接收到的
4、混合信号，用1(t) 2(t) (t)， 来表示。它们有如下关系：1(t) 2(t) (t)1(t)=111(t)+1(t)(t)=11(t)+(t)其中 是未知的混合系数，在线性瞬时混合中，一般假定 是未知的常数矩阵。盲源 分离需要解决的问题就是如何从接收到的观察信号中估计出源信号 ， 和1(t) 2(t) (t)混合矩阵的过程。实际上式还应该存在一个干扰存项，如果考虑到噪声的存在，那么上式可以推广到更一般的情况，即为：X(t)=AS(t)+n(t)X(t)= ( ， )为接收到的 m 维随机向量，又称为观察向量，也是唯一可以1(t) 2(t) (t)利用的条件，S(t)= ( ， )是 n
5、 维独立的源信号组成的向量，又称为隐含1(t) 2(t) (t)向量，因为它们是未知的观察不到的向量，有时也称为独立分量，n(t)为噪声向量，A 是系数组成的混合矩阵。盲分离问题就是求得一个分离矩阵 W，通过 W 就可以仅从观察信号 X(t)中恢复出源信号 S(t)。设 y(t)是源信号的估计矢量，则分离系统可由下式表示：Y(t)=WX(t)2.2 卷积混合模型考虑到延迟和滤波的混迭信号的线性混合，这通常被称为卷积混合，其数学模型描述为:Y(t)=()()因为传输的延时以及接收系统频响的差异，瞬时混合系统盲分离算法一般不能够处理卷积混合问题。一类很有研究前景的方法就是频域盲源分离算法，利用频域
6、算法可以提高BSS 方法的收敛速度和学习速度，另外时域卷积问题可以变换为频域相乘问题。2.3 非线性混合模型非线性混合是一种研究最为广泛的模型,即将源信号线性混合后再通过一个非线性函数得到观察信号，其数学模型描述为:Y(t)=f(Z(t)=f(AS(t)求解时首先寻找一个非线性函数 g(t)，使得 g(t)= )，即非线性的校正阶段,然后同1(线性瞬时混合的盲分离求解一样寻找一个分离矩阵从而求得源信号的近似。3. 盲源分离问题的典型算法3.1 H-J算法Herault 和 Jutten 可能是最早对盲源分离问题进行研究的，他们引进了仿神经的算法，是一种逐步调整权重的神经网络。图一 H-J 算法
7、仿神经网络由图可知，Y(t)= X(t)- WY(t)，即 Y(t)= X(t)，算法的实质就是引入了信号(I+W)1的高阶统计信息，不过由于学习每一步过程中都要对矩阵（I+W）求逆，导致运算量增加。H-J 算法中非线形函数的选取具有随意性，在理论上没有给出令人满意的收敛性证明，但是在实际应用中的收敛性相当不错。不过需要注意的是 H-J 算法仅用于观察信号数目与源信号数目相同的情况下，仍然具有一定的局限性。3.2 最大熵算法从信息理论角度来考虑，盲信号分离问题就是一个以分离系统最大熵为准则，利用神经网络或自适应算法，通过非线性函数来间接获得高阶累积量的过程。这种方法的思想就是当神经元输出 Z
8、的各个分量 相互独立时，其熵最大，所以这种方法又称为最大熵算法。Bell 和 Sejnowski 的这种方法是将 Linskers 的信息传输最大化理论推广到非线性单元来处理任意分布的输入信号。这一原理具体内容如下：假设信号通过 S 型函数传输时，如果该 S 型函数的斜率部分与信号的高密部分保持一致时，则可以实现信息的最大化传输。由最大熵原理可以知道，当输出熵最大时，互熵也最大，即有最多的信息通过了可逆变换从输入端传输到输出端。这时输入变量的概率密度函数和可逆变换 G 之间的关系由Linsker 的最多信息原理（Infomax Principle）描述：当函数 G 的最陡部分与输入变量的最陡概
9、率部分向重合时，最大的信息从输入端传导了输出端。图二 最大熵算法网络结构示意图对于最大熵算法所处理的最基本的问题就是要使得一个神经网络处理单元的输出 Y(t)中包含的关于其输入 X(t)的互信息最大。这个算法只能够分离出超高斯信号的混合，这个限制的重要原因是在算法中使用了非线性函数 log，非线性函数是 log 就相当于强加一个先验知识超高斯分布给源信号。3.3 最小互信息算法最小互信息（Minimum Mutual Information, MMI）的基本思想是选择神经网络的权值矩阵 W，使得输出 Y 的各个分量之间的相关性最小化。这里的信号间的相互依赖关系可以用 Y 的概率密度函数及其各个
10、边缘概率密度函数的乘积间的 K-L 散度来表示。在使用互信息作为信号分离的代价函数时，对输出的各个分量无需使用非线性变换这种预处理手段。由随机梯度算法得到： ()=()()其中 为学习率, 函数的选取与独立元的本身性质有关。函数 的选取对于整个算() () ()法的性能有很大的影响，如果知道了真正的概率密度函数，最好的选择就是使用它们，但是实际中我们很难知道这些知识，只能够进行概率密度的自适应估计，所以对这个关键的非线性函数进行研究，也是一个值得关注的问题。3.4 最大似然算法最大似然估计（Maximum Likelihood Estimation, MLE）是利用已经获得的观测样本来估计样本
11、的真实概率密度。具有诸如一致性、方差最小性以及全局最优性等很多优点，但是最大似然估计需要知道关于输入信号概率分布函数的先验知识，这是很难满足的，所以必须尽量避开它。最大似然估计首先是由 Girolami 和 Fyfe 于 1996 年提出用于盲分离问题，而 Pearlmutter 和 Parra 从最大似然估计推导出通用的 ICA 学习规则。目前，最大似然算法是解决盲分离问题的一个非常普遍的方法。通过推导可以得到标准化的最大似然函数：L ( )= dx1,2,; ()(;)= H( )()|(;) ()由此式我们可以发现最大似然函数是由 Kullback-Leibler 散度和熵值得到的，而第
12、二项的熵不依赖于参数，相当于一个常数项。Cardoso 将上式转化为一个盲源分离问题： 为()x 的概率分布函数，混合信号由 X=AS 给出， 为所要求的未知的混合矩阵，参数集=是一组可逆的 NN 的矩阵。这样由上式可以得到最大似然估计的代价函数就变成=()|(;)3.5 独立分量分析算法(ICA)信号经过变换后,使不同信号分量之间的相关性最小化,并尽可能相互统计独立。目前已经有很多有效的在线 ICA 算法,如自然梯度算法、EASI 算法、广义 ICA 算法、灵活 ICA算法和迭代求逆 ICA 算法等。这些算法都可归类为最小均方算法(LMS),但 LMS 型算法存在收敛速度和稳态性能之间的矛盾
13、，一般有如下几种典型的独立分量分析算法。1.快速定点算法(FastICA)FastICA 算法基于非高斯性最大化原理,使用固定点迭代理论寻找 X 的非高斯性最大值。该算法采用牛顿迭代算法,对观测变量 X 的大量采样点进行批处理,每次从观测信号中分离出一个独立分量,是一种快速的寻优迭代算法。FastICA 算法适用于任何非高斯信号,具有良好的收敛性(二次收敛) ,同时不需要选择学习步长。但该算法只能以批处理的方式进行,不适合实时应用的需要,而且随着信号源个数的增加,算法性能会明显变差。算法的梯度公式如下:W = diag ( )diag ( )+Eg(y) W 式中: =- ; = - 。 1+
14、Eg() Eg()2.自然梯度算法由于分离矩阵的变化空间是黎曼空间,而自然梯度 W 是随机梯度 在黎( ; ) ( ; )曼空间的扩展,所以自然梯度更真实地反映了最速下降方向,同时由于右乘正定矩阵消去了矩阵求逆运算,因此自然梯度算法在收敛速度和稳定性方面都较随机梯度有所改善。梯度公式如下:W = I - g ( y) W，式中： 为学习步长 3.等变化自适应算法( EASI)EASI 算法用相对梯度 代替一般的随机梯度进行优化计算,是一种将白化过程和去( ; )除高阶相关过程同时进行的一种具有等变化性的算法。但是 EASI 算法需要选取学习率参数,且其选取是否合适直接影响算法的收敛性能,且其对
15、于超高斯信号的收敛速度没有递归最小二乘(RLS)算法快。其梯度公式如下:W = I - y + g ( y) - y ( y) W 自然梯度算法、EASI 算法和迭代求逆算法都具有等变化性,但只适合于亚高斯或超高斯信号单独存在的情况。在亚高斯和超高斯信号同时存在时,可以使用广义 ICA 算法和灵活ICA 算法等自适应算法,但它们的计算比较复杂。3.6 非线性 PCA算法主分量分析 PCA 是以输入数据协方差矩阵的最大特征值以及相应的特征向量定义的常规的统计信号处理方法，标准的 PCA 方法仅仅用到了输入数据的二阶统计量，输出数据之间满足互不相关。将高阶统计量引入标准的 PCA 方法中就称为非线
16、性 PCA（Nonlinear PCA, NLPCA）方法，利用非线性 PCA 可以完成对输入信号的盲分离。高阶统计量是以隐含的方式引入计算的，算法采用自适应迭代的方法，易于工程实现。非线性 PCA 有两个优点：一是输入输出间的映射是非线性的，而标准 PCA 只能够实现线性映射；二是非线性 PCA 在处理输入数据时，考虑了高阶统计量，而不仅仅是其二阶统计量，这个特性对于盲信号处理是特别有用的。非线性 PCA 的代价函数为：J(W)=E |V-Wg(V)|2这里的权值 W 是 mm 的矩阵,g()是对矢量的非线性函数，在非线性准则里，g()通常是一些奇函数，如亚高斯信号 g(t)=tanh(t)
17、，超高斯信号 g(t)= 等。 33.7 非线性混合盲分离算法在非线性混合模型中,盲信号分离算法的分离目标是获取逆线性混合矩阵。非线性盲分离的研究主要有以下几类方法:1.自组织映射(SOM)法:该算法不考虑非线性混合的具体形式,但其网络复杂性会随着源信号数目的增多呈指数增长,且在分离连续源信号时存在严重的插值误差。2.感知器模型法:1992 年,Burel 首先提出用一个两层感知器和基于 BP 思想的无监督训练算法,通过梯度下降算法最小化互信息量准则,得到一种可用于非线性混合信号的盲分离算法。1998 年,Yang 和 Amari 利用两层感知器网络结构 ,通过最大熵和最小互信息作为测量独立的
18、代价函数,提出了 BP 网络训练算法,当合理选择非线性函数时 ,该算法可以分离出一些特定非线性混合的源信号。3.径向基函数网络法:2001 年,Tan 等人提出了使用径向基函数 (RBF)神经网络逼近非线性混叠的逆映射,实现盲信号分离。4.后非线性混合盲分离方法: 1997 年,Taleb 和 Jutten 首先提出了后非线性混合模型,同时指出这类模型具有可分离性,并针对这类模型提出了一种非线性混合盲分离算法。Solazzi 和 Uncini 也针对后非线性混合模型,基于信息量最大化准则,利用自适应样条函数,提出了样条神经网络后非线性盲分离算法。利用多个独立同分布信号的线性组合仍服从高斯分布的
19、特性,先将观测信号变成高斯信号,然后用瞬时线性混合的算法分离提取源信号,这种算法省去了求逆的过程。5.贝叶斯集合学习算法:该算法采用多层感知器神经元网络(MLP) ,能够对非线性静态和动态过程实现盲分离。6.基于遗传算法的盲分离方法:该算法基于非线性混合模型:X(t)= AfHS(t)式中: A 和 H 为线性、瞬时结构的混合矩阵。利用遗传算法使信号非线性混合度最小化,然后对去除非线性后的数据进行线性分离,从而实现盲分离。与传统的梯度算法相比,基于遗传算法的盲分离方法有着更快的收敛速度和稳定性,能够在全局范围内寻找最优解。4. 盲源分离的应用4.1 语音信号处理Bell 和 Sejnoski
20、于 1995 年提出了最大熵算法，并且给出了语音信号分离的试验，证实了该方法的可行性和有效性。Lee 和 Bell 将基于自然梯度的信息最大传输盲源分离算法进行盲反卷积，并用于真实环境的语音信号分离，试验证实分离后，可以提高语音识别率。4.2 生物医学信号处理由于生理信号常常是由若干独立成分的加权（例如，诱发脑电总是被自发脑电所淹没，且常常伴随有心电、眼动、头皮肌电等干扰） ，用独立分量分析技术来分解，所得到的结果更具有生理意义，并有利于去除干扰等。4.3 金融数据分析Back 和 Weigend 于 1998 年利用独立分量分析对日本三年中每天的股票的 portfolio进行分析，假设得到的
21、多维时间序列（例如每天股票的 returns）是反映了一个系统（股票市场）的一些统计独立的时间序列相互作用的结果，并同 PCA 获得的结果进行比较。结果显示，应用 ICA 分解得到的独立成分能够对股票的价格完好的重建。因此 ICA 是 PCA 的一种有效的补充工具，它允许数据的基本结构能更轻易的观察得到。4.4 在阵列信号处理以及在移动通信中的应用一个未知的有限的带宽信道的频率响应经常会带来码间干扰（Inter symbol Interference, ISI） ，当输入未知时，要消除这种干扰，得到信道的传输函数，就必须要进行“盲”处理。在移动通信中“盲”处理显得格外重要。在移动通信中，由于时
22、变多径衰落会产生很严重的码间干扰。为了得到正确的实时的信息流，就必须对信道的时变特性进行辨识和均衡。虽然有很多技术，如码分多址访问（Code Division Multiple Access, CDMA）等的发展和应用使得信道的容量增大，但是由于进行辨识与均衡的部分所占的比例仍然很可观。如果我们不使用训练序列，而采用盲信道辨识，从接收信号直接估计信道的特征，就会大大节省信道容量，提高信道容量的利用率。利用盲分离技术可以成功的实现多用户信号的分离。5. 盲源分离问题的发展方向盲信号分离在最近十几年中获得了长足的发展,提出了若干理论和方法,但是还有许多问题有待进一步研究和解决,尤其是对以下问题的研
23、究:1.源信号个数未知且可能动态变化时的盲源分离问题的研究，包括源信号个数的有效确定,观测信号个数比源信号个数多(少)的超(欠)定等问题的研究,特别是关于欠定问题的研究。2.非平稳、非高斯混合信号的盲分离问题的研究。3.目前大多数算法都是在混合矩阵为列满秩的假设前提下完成的,当混合矩阵不满足列满秩的情况下如何尽可能多地去提取源信号。4.带噪声混合信号的盲分离。现有的盲源分离算法和盲反卷积算法,大都假设无噪声或者把噪声看作一个独立源信号。如何将现有的盲分离算法推广到一般的噪声混合模型,是有待于进一步研究的问题。5.各分量的排列顺序和幅值本身存在的不确定性,如何按顺序输出以及只提取一个或多个感兴趣
24、信号的盲分离问题研究。6.各种盲源分离算法的全局收敛性、渐近稳定性以及鲁棒性的研究等。7.卷积混合模型和对于更一般的非线性混合模型盲分离问题的研究较为复杂,有待进一步解决。总之，盲信号处理作为计算智能学的核心研究内容，已经发展成为许多领域研究的重要课题。随着这方面研究的不断深入，将会有越来越多的实际问题得到解决，也会对神经网络理论和信号处理理论起到积极的推动和促进作用。参考文献【1】李小军,朱孝龙,张贤达.盲信号分离研究分类与展望J.西安电子科技大学学报:自然科学版,2004 .【2】朱茉,季策,于洋.盲信号分离问题的分类和现状J.化工自动化及仪表,2009 .【3】陈锡明，黄硕翼.盲源分离综述问题、原理和方法J.电子信息对抗技术,2008.
