盲信号分离及其应用 ppt课件.ppt

1、合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 合肥工业大学 图像信息处理研究室,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ Party Effect,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 在生物医学信号中提取有效信号 在无线通信中利用一个信道实现

2、多用户通信服务 在语音识别中达到“鸡尾酒会效应”,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ Signal Separation, BSS）问题，有时也被称为盲源分离（Blind Source Separation）问题12,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 源信号的混合方式也是未知的,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 盲信号分离的发展状况,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:29

3、01393 Email: http:/ 线性卷积混合 非线性混合,单通道信号盲分离 多通道信号盲分离,返回,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 对其研究始于二十世纪八十年代中后期 有关的理论和算法都已经取得了较大的发展 对于线性瞬时混合信号的分离问题、卷积混合信号的分离问题以及非线性混合信号的分离问题都做了深入的研究，提出了许多经典算法 用于语音信号分离、图像特征提取和医学脑电信号的分离等方面,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 解决盲分离问题的典型算法 盲分离的

4、应用、研究现状和发展趋势,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 盲信号分离的可解性与独立性分析 盲信号分离的目标函数 盲信号分离的优化算法,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 线性卷积混合盲信号分离的数学建模 非线性（Post-Nonlinear, PNL）混合盲信号分离的数学建模,返回,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ Sn(t)是一个随机的时间序列，用m个话筒表示接收到的混合信号，用X1(t)，

5、X2(t) Xm(t)来表示。它们有如下关系：,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ aij也是未知的，在线性瞬时混合中，一般假定aij是未知的常数矩阵,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ Sn(t)和混合矩阵的过程。实际上式还应该存在一个干扰存项，如果考虑到噪声的迅在，那么上式可以推广到更一般的情况，即为：,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ = (X1(t)，X2(t) Xm(t)T为接收到的m维

6、随机向量，又称为观察向量，也是唯一可以利用的条件， S(t) = (S1(t)，S2(t) Sn(t)T是n维独立的源信号组成的向量，又称为隐含向量，因为它们是未知的观察不到的向量，有时也称为独立分量， n(t)为噪声向量， A是aij系数组成的混合矩阵。,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ =,这里x(t)和s(t)分别代表观察信号和源信号。A(k)为混

7、叠矩阵，又称为冲激响应。,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ Deconvolusion, BD）的数学模型,y(t) =,盲反卷积又被称为盲均衡(Blind Equalization)，其中W(k)被称为均衡器系数矩阵。,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研

8、究室Tel:2901393 Email: http:/ 1.寻找一个非线性函数g()，使得g()=f 1()，即非线性的校正阶段。 2.与线性瞬时混合的盲分离求解一样寻找一个分离矩阵，求得源信号的近似。,返回,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 独立性分析,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ free）情况，即n(t)很小，可以忽略不计,方程的个数小于未知量的个数，因此以数学观点看来，这是个无解的问题。 已经证明了在满足一定假设的条件下，仍然可以通过某些方法来求解

9、上述问题,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ Sn(t)在统计上是相互独立的 A是列满秩的常数矩阵 源信号是非高斯信号且至多有一个是高斯信号,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息

10、处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 一个信号和与之对应的混合矩阵的列之间互换一个固定的比例因子，对观察向量不产生任何影响。,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:

11、/ y2(t)的联合概率密度，假设y1(t)与 y2(t)的边缘概率密度分别p1(y1)和p2(y2)，如果有以下关系：,p2(y2)也有上述相似的关系式成立，那么称y1(t)与 y2(t)为相互独立。,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 算法特性如收敛性、数值稳定性则

12、依赖于优化算法,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 高阶累积量 互信息 Kullback-Leibler（K-L）散度,返回,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 利用标准化的累积量去近似表示这些概率密度,

13、Gram-Charlier展开Edgeworth展开,返回,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 二阶累积量是方差，它反映的是概率分布的离散程度 三阶累积量是三阶中心矩，描述的是概率分布的非对称性 四阶累积量描述的是概率函数同高斯分布的偏离程度,合肥工业大学 计算机与信息

14、学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ (x)和fy (y)，,返回,合肥工业大学 计算机与信息学院 图像信息处理研究室Te

15、l:2901393 Email: http:/ ；MAXKURT法、JADE法、 SHIBBS法等 自适应处理自然梯度算法,返回,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 最大熵算法 最小互信息算法 最大似然算法 定点算法 非线性PCA算法 其他模型的算法概述,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 和Jutten可能是最早对盲信号分离问题进行研究的30，他们引进了仿神经的方法61 。他们的算法为逐步调整权重的神经网络,合肥工业大学 计算机与信息学院 图像信息处理研究室Te

16、l:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ and Jutten提出了如下的学习规则：,和,是非线性奇函数，,是学习率,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像

17、信息处理研究室Tel:2901393 Email: http:/ Entropy, ME)方法。,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ Principle）描述：当函数G的最陡部分与输入变量的最陡概率部分向重合时，最大的信息从输入端传导了输出端。所以有时候也把Bell和S

18、ejnowski的这种方法称为Infomax算法。,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ | X)则是输出中不是从输入产生的熵，称为条件熵。在没有噪声的情况下（或者说我们不知道什么是噪声，什么是输入信号），X和Y之间的映射是确定的，并且H(Y | X)有它的最低值，趋于

19、。,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ M. Girolami 和T.J. Sejnowski

20、.提出了一种扩展的Infomax算法，它能够弥补以上算法的不足33。,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ Mutual Information, MMI）的基本思想是选择神经网络的权值矩阵W，使得输出Y的各个分量之间的相关性最小化。这里的信号间的相互依赖关系可以用Y的概率密度函数及其各个边缘概率密度函数的乘积间的K-L散度来表示。,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ Comon早在1994年就证明了互信息是独立分量分析的代价函数5。,在使用互信息作为信号分离的代价

21、函数时，对输出的各个分量无需使用非线性变换这种预处理手段。,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 为学习率， 函数的选取与独立元的本身性质有关。,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ 的选取对于整个算法的性能有很大的影响，如果我们知道了真正的概率密度函数，最好的选择就是使用它们，但是实际中我们很难知道这些知识，只能够进行概率密度的自适应估计，所以对这个关键的非线性函数进行研究，也是一个值得关注的问题。,返回,合肥工业大学 计算机与信息学院 图像信息处理研究室Tel:2901393 Email: http:/ Likelihood Estimation, MLE）是利用已经获得的观测样本来估计样本的真实概率密度。具有诸如一致性、方差最小性以及全局最优性等很多优点，但是最大似然估计需要知道关于输入信号概率分布函数的先验知识，这是很难满足的，所以必须尽量避开它。,