1、 第一章 语音信号的时域及频域特征 1. 语音信号的主要特点 1.1. 语音信号带宽 语音信号的带宽约为 5KHz ， 主要能量集中在低频段。 1.2. 语音信号是典型的随机信号 1） 人的每次发音过程都是一个随机过程。 很难得到两次完全相同的发音样本。 2） 在信 号处理中， 通常假设语音信号是短时平稳的。 例如，可以认为在语音的浊音段部分，语音的二阶矩统计量是平稳的(在 510mS 内 )，即二阶矩平稳，或称为宽平稳。 12. 语音信号的时域波形 语音信号的波形（ shi4） 2语音信号波形（ shi4）的局部细节 32.1. 语音时域信号特征 2.1.1. 语音时域信号的特点 1） 清音
2、段： 能量低， 过零率高， 波形特点有点像随机的噪声。这部分信号常与语音的辅音段对应。 2） 浊音段： 能量高， 过零率低， 波形具有周期性特点。 所谓的短时平稳性质就是处于这个语音浊音（元音）段中。 3） 过渡段： 一般是指从辅音段向元音段信号变化之间的部分。信号变化快，是语音信号处理中最复杂、困难的部分。 42.1.2. 语音的短时能量、短时平均幅度和短时过零率 （ 1）短时能 量 : =102)(NnwnS=E（ 2）短时平 均幅度 : =NM=10)(nwnS （ 3）短时过 零率 : =0101sgnsgn)(sgn1021xxnnSZNnw其中 )1(nSw53. 语音信号的短时谱
3、特征 3.1. 短时傅立叶谱分析 对于能量受限的时域信号 ， 它的傅立叶变换可以写成 )(tftje)(tf)(tf= tff )()(以上这个傅立叶变换， 在 “宏观上” 给出信号 的频谱信息，但是却无法确定某个“局部”时间段频谱的确切信息。或者也可以说， 我们不能通过观测局部的时域信号来了解整个 的频谱信息。为此我们引入了所谓的短时傅立叶谱分析技术。 6有许多技术都可以用来完成信号的短时谱分析。最典型的就是小波变换和我们现在常采用 FFT 短时谱分析技术。 傅立叶短时谱分析与窗的形状和位置有关（与时刻有关） 。假设窗函数为 ，那么信号 的短时傅立叶变换为 )(tw )(tftjet)0=t
4、wtwtff ()(|)(0例如，如果选择窗的形式为一个高斯函数 atea42tw21)( =7由于 1)( =dtt)(f=)(0|)(twf )(00=wdtttw所以有 |)(00 dtftw这说明 可以被加窗后的短时谱 所精确地分解。这正是我们所希望的性质。 f8对于时域离散信号 ，短时傅立叶变换定义： )(nxmjem)(n=其它nN 1=mjnnwmxeX()()(这里 为窗函数。例如，常用的窗函数有 w矩形窗： =nnw0,0 1,)(汉明窗：( )=)n/(N-.-.nw0,12cos460540)(=其它nNn 1093.1.1. 短时傅立叶变换的线性滤波实现形式 短时傅立叶
5、变换可以用两种滤波器实现形式来解释。 实现形式一： 对信号 进行调制， 将频谱搬移到低端， 然后用 滤波器进行滤波分析。 )(nx )(nw10=mjnnwmxeX()()(mjem)(jneX)(nxnje)(nw11实现形式二：对具有低通性质的 滤波器进行调制，得到带通滤波器，用此带通滤波器对信号 进行分析。 )(nw)(nxmjemw)()(jneXnj=mnjjnmnxeeX)()()(nxenjenw)(123.2. 语谱图： 横轴表示时间，纵轴表示频率，用灰度表示对应频谱分量的信号强度。 133.3. 浊音谱特征 3.3.1. 浊音谱的谱线结构 谱线结构是与浊音信号中的周期信号密切
6、相关的。具有与基音及其谐波相对应的谱线。 3.3.2. 浊音谱的共振峰结构 频谱包络中有几个凸起点，与声道的谐振频率相对应。这些凸起点称为共振峰（ Formant） 。其 频率称为共振峰频率。按频率由低到高依次为第一共振峰、第二共振峰 。相应频率用F1、 F2、 F3来表示。 14浊音信号的傅立叶分析谱 153.3.3. 元音三角形图 所谓的元音三角形图就是指不同元音的 F1、 F2 共振峰频率在平面图上的关系。 163.4. 清音谱特征 清音的频谱无明显的规律，比较平坦。在语音识别中使用统计模型的方法加以解决。 174. 基音与四声 4.1. 基音周期与基音频率 1） 基音的周期就是声带振动
7、的周期。 基音周期的倒数就是基音频率。 2） 基 音 是与人的声带长度、 质量等物理量有关。 因此与人的年龄、性别、情绪等生理状态有关。 注意 ：音 高 (Pitch)与基音 的关系。 音高是听觉量， 基音是物理量。正如冷热与温度的关系一样。 18基音周期示意图 194.2. 基音的检测 4.2.1. 时域上的基音检测方法 （ 1） AMDF 法： 定义平均幅度差函数 =+=10)()(lNnwlnSl )(wnS(n)T TL,n 21在这里 是加窗截取的一段语音信号。 Sw假 设 为语音信号的基音周期，当 ，nl = =时， )(l 函数接近局部极小值。 20AMDF 算法特点： 只用到简
8、单的加减法运算， 没有使用乘法运算。适合于早期普通的 CPU，因为这种 CPU 的乘法操作要比加减法操作费时。 （ 2）自相关 法 定义语音的自相关函数为： =+=10)()(lNnwlnSlR )(wnS ,n 21= R(l)当 ， 时， 函数接近局部极大值。 Tnl =L,自相关法特点： 在这个算法中使用了乘 -累加操作。 在数字21信号处理器中有专门的硬件指令来快速完成（只要一个周期）这种乘 -累加运算。 因此这种算法在 DSP 中得到了普遍的应用。 无论是使用 AMDF 法或是自关法求语音信号的基音周期，都要在基音周期 的范围内 搜索TmaxminTT )(l, 或 的极值点位置。
9、一般取R(l)max51 T.min50 lT. ， 先计算所有的 )(l或 值，然后再搜索得到基音。 R(l)22语音（浊音）的自相关函数和 AMDF 曲线 23（ 3）中心削 波法 在计算语音信号的自关函数时， 为了提高效率， 减少干扰，可以先对语音信号进行中心削波，然后再计算自相关函数。 根据实验观察， 自相关函数 的局部峰值点位置与语音幅度的峰值点位置重合。根据这个特点，在自关法中只需要计算这些峰值点位置的自关函数 ， 然后再搜索比较即可得到信号的基音周期。 )(lR)(lR24254.2.2. 频域上的基音检测方法 在频域中，常常是用谐波分析法，即对浊音信号的谱线结构进行分析来计算得
10、到基音周期。 注意 在频 域上可能不存在与基频对应的谱线。 264.3. 基音的平滑 由于在基音的提取过程中不可避免地要产生误差，主要是基音周期减半或加倍的现象（根据方法的不同，误差的现象会有所不同） 。 一般情况下 90%左右的基 音周期都会被准确提取，但是总有少部分的基音是提取不准确的。因此需要采取平滑的方法去掉这些奇异点。 在语音编码和汉语四声识别中，基音平滑直接影响到系统的性能。 27几种常用基音平滑方法： （ 1）非线性 平滑 例如：采用中值平滑。 中值 平滑点5中值 平滑点3（ 2）线性平 滑 例如：采用 FIR 滤波器进行低通滤波平滑 滤波 平滑FIR28（ 3）组合平 滑 例如： （ 1）和（ 2） 方法的组合 中值 平滑 线性 平滑中值 平滑 线 性平滑 延迟中值 平滑 线 性平滑延迟+29
