1、1第 1 章 高阶统计量的定义与性质1.1 准备知识1.随机变量的特征函数若随机变量 的分布函数为 ，则称x)(xFdxfedeExjjxj )()( 为 的特征函数。其中 为概率密度函数。xf离散情况： ,)( kkkkxjxj xppe* 特征函数 是概率密度 的付里叶变换。)(f例：设 ，则特征函数为x),(2aNdxejax2/)(1令 ，则2/)(axz dzeajjz21)(根据公式： ，则ABCCxBAde2221)(aje若 ，则 。0a21)(2.多维随机变量的特征函数设随机变量 联合概率分布函数为 ，则联合特征函数为nx,21 ),(21nxF ),(),( 21)()(2
2、1 21 nxjxjn xdFeeEn 令 , ，则TxxTn,21矩阵形式dXfeTj)()(x或 标量形式nnjn dxxfkn ,),(),( 1121 1 其中， 为联合概率密度函数。,)1xffx2例：设 维高斯随机变量为n,Tnx,21xTna,21anncc 21 )(,ov kiikiik axEx的概率密度为 x )()(21ep)2(12/ axccTnP的特征函数为矩阵形式aTTj1exp)(其中， ,n,21标量形式injjijiin Caj1121 2exp),( 3.随机变量的第二特征函数定义：特征函数的对数为第二特征函数为)(ln)(1)单变量高斯随机过程的第二特
3、征函数221l)( ajeaj(2)多变量情形 jniijjini Cj1121 2),(1.2 高阶矩与高阶累积量的定义1.单个随机变量情形（1） 高阶矩定义随机变量 的 阶矩定义为xkdxpxEmkk)(显然 ， 。随机变量 的 阶中心矩定义为10(1)xxxkkk )()(3由式(1)可见， , , 。102若 存在，则 的特征函数 可按泰勒级数展开，即)2(nkm x)(2)(!1( nknkOjm并且 与 的 阶导数之间的关系为k)(nkjdjmkkk ),0()(0（2）高阶累积量定义的第二特征函数 按泰勒级数展开，有x)(3)()(!ln1nknkOjc并且 与 的 阶导数之间的
4、关系为kc)(k nkjdjdj kkkkk ),0()()(ln1 00称为随机变量 的 阶累积量，实际上由 及 的连续性，存在 ，使kcx 1)0时， ，故第二特征函数 对 有意义且单值（只考虑对数)(ln(函数的主值） ， 的前 阶导数在 处存在，故 也存在。ln0kc(3)二者关系下面推导 与 之间的关系。形式地在式(2)与式(3)中令 ，并利用kcmnkkkk jcj)(!exp)(!1)( 1 nkkkkkk jcnjjc )(!1)(!2)(!211 比较上式中各 同幂项系数，可得 阶累积量与 阶矩的关系如下：,j1xEmc 2222 )()( xEc 333113 )( xEx
5、m 44121324 6xmmc4若 ，则 0xE01mc 22xEmc33xE2424 )(33xE由上可见，当随机变量 的均值为零时，其前三阶累积量与前三阶矩相同，而四阶累积量与相应的高阶矩不相同。2.多个随机变量情形(1)高阶矩给定 维随机变量 ，其联合特征函数为n),(21nx(4)(ep),( 2121 nn xxjE其第二联合特征函数为(5),(l),( 2121 nn 可见，联合特征函数 就是随机变量 的联合概率密度函数,21n ),(21nx的 维付里叶变换。),(21nxp对式(4)与(5)分别按泰勒级数展开，则阶数 的联合矩可用联合特征函nkkr21数 定义为),(21n
6、02121 2121 ),()( nnnn kkrkkk jxEm (2)高阶累积量同样地，阶数 的联合累积量可用第二联合特征函数 定义nkr21 ),(21n为021021 212121 ),(ln)(),()( nnnnn kkrkkrk jjc (3)二者关系联合累积量 可用联合矩 的多项式来表示，但其一般表达式相当复杂，这nkc21 nkm21里不加详述，仅给出二阶、三阶和四阶联合累积量与其对应阶次的联合矩之间的关系。设 和 均为零均值随机变量，则nx,21 4(6a),(21211xExcu(6b)33m),(43211xcum 32412314321 xExExExE(6c)5对于
7、非零均值随机变量，则式(6)中用 代替 即可。与单个变量情形类似，前三阶iixEi联合累积量与前三阶联合矩相同，而四阶及高于四阶的联合累积量则与相应阶次的联合矩不同。注意，式(6)中采用 表示联合累积量的方法在以后将时常用到。)(cum3.平稳随机过程的高阶累积量设 为零均值 阶平稳随机过程，则该过程的 阶累积量 定义为)(nxkk),(121, kxkmc随机变量 的 阶联合累积量，即)(,), 11kmnx )(,)(,( 112, kkxk mnxnxcuc 而该过程的 阶矩 则定义为随机变量),(121, kx的 阶联合矩，即),)(),1kmnnx )(,)(), 1112, kxk
8、 mnxnxo这里， 表示联合矩。)(o由于 是 阶平稳的，故 的 阶累积量和 阶矩仅仅是时延 的nxk)(xkk121,km函数，而与时刻 无关，其二阶、三阶和四阶累积量分别为 )()(,2mnEcx211,3 xmx )()()()(),( 32,1,232121,4 mcnc xxx (,13,2,2 mccxxx可以看出， 的二阶累积量正好就是其自相关函数，三阶累积量也正好等于其三)(nx阶矩，而 的四阶累积量则与其四阶矩不一样，为了得到四阶累积量，必须同时知道四阶矩和自相关函数。1.3 高阶累积量的性质高阶累积量具有下列重要特性：（） 设 为常数， 为随机变量，则),21(ki),2
9、1(kix, 111 kkik xcumxcum （） 累积量关于变量对称，即),(),(211 kiikx6其中 为 中的任意一种排列。),(1ki ),(（） 累积量关于变量具有可加性，即),(),(),( 101010 kkk zycumzxcumzyxcum （） 如果 为常数，则),(),( 2121 kk（） 如果随机变量 与随机变量 相互独立，则,(ix),21(kiy,)(),( 11 kkk cumxcuyxcum （） 如果随机变量 中某个子集与补集相互独立，则,2(ix 0)1kxcm1.4 高斯过程的高阶累积量1.单个高斯随机变量情形设随机变量 服从高斯分布 ，即 的概
10、率密度函数为x),0(2Nx21)(xep故有 2)(的第二特征函数为x(7)(ln)(2利用累积量 与 的关系式(3)，并比较(3) 与(7) 两式，可以得到随机变量 的各阶kc x累积量为， ， 012c2,0kck由此，我们有下列结论：(1)高斯随机变量 的一阶累积量 和二阶累积量 恰好就是 的均值和方差。x12x(2)高斯随机变量 的高阶累积量 等于零。)(kc(3)由于高斯随机变量 的各阶矩为为 奇 数， 为 偶 数kxEmkkk 0,)1(31可见，高阶累积量与高阶矩不一样。由于高斯随机变量 的高阶矩并不比其二阶矩多提供信x7息，它仍取决于二阶矩的统计知识 ，所以人们宁愿选择高阶累
11、积量这一统计量，直接把2多余的信息用零来处理。2.高斯随机过程情形先讨论 维高斯随机矢量 ，设其均值矢量为 ，协方nTnx,21x Tna,21a差矩阵为nnncc 212112其中nkiaxEkiiik ,21,)(维高斯随机变量 的联合概率密度函数为nx )()(ep)2(112/ axccTnp的联合特征函数为xcaTTj2exp)(其中， Tn,21的第二联合特征函数为x ninijijiTT cajj11221)(l)( ca由于阶数 的联合累积量 可由第二特征函数定义为nkkr21 nk210212121 )()( nnn kkrrkjc 于是， 维高斯随机变量 的各阶累积量为：n
12、),2nx（1） ，即 中某个值取 1(设 )，而其余值为零，于是rnk,21 ik)(0021 iii xEajcn（2） ，这有两种情况：r1） 中某两个值取 1(设 )，其余值为零，这时),2(nik jikji,1jiaxEcjc jjiiijji n (001218上式利用了关系式 。jiijc2) 中某个值取 2（设 ） ，其余值为零，这时),21(nki ik)( 20202 21 iiii axEcjcn（3） ，由于 是关于自变量 的二次多项式，因而 关于自变r)(,1(ni )(量的三阶或三阶以上（偏）导数等于零，因而 的三阶或三阶以上联合累积量等于零，即x3,02121
13、nk kcn 由上一节关于随机过程的累积量的定义可知，对于高斯随机过程 ，其阶次大于)(nx的 阶累积量 也为零，即k),(121, kxkmc3,0, k由于高斯过程的高阶累积量（当阶次大于时）等于零，而对于非高斯过程，至少存在着某个大于的阶次 ，其 阶累积量不等于零。因此，利用高阶累积量可以自动地抑制k高斯背景噪声（有色或白色）的影响，建立高斯噪声下的非高斯信号模型，提取高斯噪声中的非高斯信号（包括谐波信号） 。正因为这样，高阶累积量这一统计量已日益受到人们的重视并已成为信号处理中一种非常有用的工具。因此，文中在今后的算法研究中均代用高阶累积量而不采用高阶矩。1.5 双谱及其性质1.高阶谱
14、的定义设 为零均值平稳随机过程，则其 阶累积量 的 维付里叶)(nx k),(121, kxkmc )(变换定义为 的 阶谱(kth-order spectrum)，即k(8) 11 1121,21, exp),(),(km kiikxkxk jmcS 通常， 为复数，其存在的充分必要条件是 绝对),(2,xk ),(121, kxkmc可和，即11 ),(121,kmkxc高阶谱又称作多谱(Polyspectrum)，通常 阶谱对应于 谱。例如三阶谱对应双谱)1(k(Bispectrum)，四阶谱对应于三谱 (Trispectrum)，今后我们大多数采用多谱这一概念。取 时，式(8)分别简化
15、为功率谱、双谱和三谱公式，即4,32k，为功率谱N9(9)exp)()(1,2,2 mjcSmx ，为双谱3N 21 )(e),(),( 2121,321, mxx jc，为三谱4 231 )(exp),(),( 321321,4321, mxx mjmcS 容易看出，式(9)就是维纳-辛钦定理。可见，功率谱也是高阶谱的一种特殊形式。2.双谱的性质在高阶谱中，双谱处理方法最简单，且含有功率谱中所没有的相位信息，是高阶谱研究中的“热点” 。因此下面着重研究双谱及其性质。设 为零均值、三阶实平稳随机过程，其自相关函数和功率谱分别为)(nx)()()(,2mnxEcmrxx ep,2 jrSmxx
16、而其三阶累积量和双谱分别为(10)()(),( 2121,3 nnEcx (11)(exp,),( 2121,321,321 21 mjcSBmxx 由式(10)可知，三阶累积量 具有如下对称性：),(,3cx ),()(),( 12,3212,12,321,3 cmc xxx (12)(1,3, ccx由式(11)双谱的定义及式 (12)三阶累积量的对称性可知：(1) 通常是复数，即包含幅度和相位。),(21B),(exp),(),( 212121 BjB(2) 是以 为周期的双周期函数，即),(21),(),(2121 (3) 具有如下对称性),(21B),(),(),( 21*12*12
17、 B10),(),( 2121 BB21此外，双谱在实际应用中还具有如下重要特性：(1) 高斯过程 如果 为零均值、高斯平稳随机过程，则对于所有 ，都有)(nx 21,m，因此 。0),(21,3mcx 0,21B(2)非高斯白噪声过程 如果 是具有 ， ，)(w0)(nE)()()Qnw的非高斯白噪声过程，则其功率谱和双谱分别为一直,)()() 2121mnwnE线与一平面，即 ， 。QS),(B(3) 非高斯白噪声通过线性系统 设线性系统的传递函数为 ，系统的输入为零均)(zH值非高斯白噪声 ，且 ， ， ，则系统输出)(nw0)(nE22)(wnwnE33的功率谱与双谱分别为)(ny2)
18、()(HSw)(, 21*21321B设 )exp)(j)(,( 212121 BjB则)()(),( 2121321HBw由上可见，双谱的幅度谱和功率谱均由 决定，因而双谱的幅度谱与功率谱的信息)(一样多。但功率谱不含相位信息，而双谱则包含相位信息，这就使双谱在信号处理领域得到越来越多的应用，因为有些场合如对图像处理来说，相位信息比幅度信息还重要。(4) 非最小相位系统的辨识 双谱含有相位信息，因此在非最小相位系统辨识中变得十分有用，现用一个简单的例子加以说明。设输入为非高斯平稳白噪声过程 ，它有)(nw， ， 。线性系统为下列三种情形的二阶 FIR 系统。0)(nwE22)(wnwnE33
19、)(1) 最小相位系统10,),1)()1 babzazH系统输出为11)2()1()(1 nabwbanwy2) 最大相位系统)()(2zzH系统输出为)2()1()(2 nabwbanwy3) 混合相位系统)()(13zzH系统输出为)()()1)(3nbwanawy输出 ， 及 具有相同的自相关序列，即)(1ny23 )()()() 321 myEmyEmyEmr 20wbar2)1()(2wr3,0)(m这就意味着它们具有相同的功率谱，因此利用功率谱无法将三个系统区分开来。然而利用双谱则可以区分，因为 ， 及 具有不同的三阶累积量，见表 1.1。)(1ny)(2)(3ny这表明三阶累积
20、量可以用来辨识非最小相位系统，这在地震信号反褶积及数据通信中有重要的应用。表 1.1 具有相同自相关的三个系统的输出的三阶累积量累积量 最小相位系统 最大相位系统 混合相位系统)0,(cwba33)(1 wba33)(1 wba33)1(22 2)( 22)1(),2(cwba3wab3 w301a32)()( wba322)()( wba322)()(),(cw3 w3wba32b3)( ba)( )1(5) 混合高斯和非高斯系统的辨识 设一过程的功率谱为 ，双谱为 。若)(S),(21B12与 相匹配的线性系统的传递函数为 ，即)(S )(zH(13)2)(S而与 相匹配的线性系统的传递函
21、数为 ，即),(21B)(zT(14)(),( 21*2121TB当由式(13)求得的 与由式(14) 求得的 不同时，可用来辨识高斯与非高斯分量组合)H)的系统。下面就来研究这个问题。考虑如图 1-1 所示的过程 ，它由两个过程组成：一为高斯白噪声 通过 AR 滤波器nz )(n的输出 ，另一为非高斯白噪声 通过 AR 滤波器的输出 。设 与 相互独)(nx)(w)(yw立， )()(nx)(1zB)(nz)(1zA)(nw)(ny图 1-1 混合高斯和非高斯系统因此 与 相互独立。为方便起见，设 ， 。于是 的双谱是)(xy 12w3)(nz和 各自双谱的和，因为 是高斯过程，其双谱为零，
22、故 的双谱就是 的n)(nx )(y双谱。 的双谱可由式(14)确定，其中)(y)(1AT而 pkkja1)ex()(的功率谱为 与 各自功率谱的和，它由式(13)确定，其中)(nznxy13222)()()(BAH而qkkjbB1)exp()(这个例子表明，描述过程双谱的模型不同于描述过程功率谱的模型。双谱的这一特征使双谱在辨识高斯与非高斯分量组合系统时起着关键作用，这也是我们利用双谱及多谱（或高阶累积量）进行随机信号建模以及有色噪声中谐波恢复的理论依据。双谱还具有其它一些性质，如可用来检测二次相位耦合，辨识系统的非线性等，这里就不再详述。1.6 系统中的高阶累积量对于单输入单输出线性时不变
23、系统，输入与输出的高阶累积量及多谱之间的关系如下。定理 1 设线性时不变系统的单位脉冲响应为 ，传递函数为)(nh，系统是稳定的，即单位脉冲响应绝对可和 ，输0)()(nnjezehHj 0)(nh入过程 的 阶累积量 存在且满足平稳和绝对可和的条件，则xk),121, kxkmc(1)输出过程0)()(iinhny的 阶累积量 存在，且为k,121, kykmc ),(),()( 121,12, kxkh mcc其中)()(),( 110121, knkhk nhc (2) 的多谱为)ny ),()()(),( 121,1111121, kxkkkyk SHS 特殊地，若 为独立地服从同一分布的(i.i.d.)非高斯白噪声，即(x，则),),( 121,121, kxkkxk mmc (15)()(),( 110,121, knxkkyk mnhh (16)(, 1111,121, kkxkkyk HS 12公式(15) 和(16) 是我们文中进行非最小相位随机信号建模的基础。
