论文部分内容阅读
语种识别是给定一段语音，从语音信号中提取各语种的差异信息，并以此为依据来判断所属语种类别的技术。通常在国家安全、多语种语音服务等领域有着重要的应用。 主流的语种识别技术基于声学层特征和音素层特征。基于声学层特征的语种识别主要是提取声学频谱特征，通常使用高斯混合模型(GMM)和支持向量机(SVM)建模技术。音素层特征主要考虑了各语言间音节和音素不完全相同，出现频率的差异和出现前后关系的不同作为识别依据，通常使用并行音素识别器后接向量空间模型(PPRVSM)的方法。 音素层特征的语种识别考虑了语音的发音信息。通常来说，基于语音发音信息的音素层特征包含比声学层特征更直接、更明显的语种信息，是比声学层特征更高级别的特征，因此应该比基于声学层的系统有更好的识别性能。然而近年来的语种研究结果发现，声学层特征的结果已经逐渐接近甚至超过音素层的结果。基于因子分析的总变化量因子分析技术在声学层特征的成功应用，使基于声学层的语种识别系统性能有了明显提升。在2011年NIST举办的语种识别评测中，总变化量因子分析技术表现出比音素层语种识别技术在性能上的优势，尤其是在30s、10s测试集上，而在短时测试集上，Model Pushing技术结合了GMM和SVM的优势，也表现出比音素层语种识别技术更强的性能。 传统的基于音素层特征的语种识别系统使用音素识别器解码得到音素序列或者音素网格，然后采用N元文法对音素序列或者音素网格进行建模。音素层的语种识别系统受到两个主要方面的影响:一个是N元文法模型建模的好坏直接受前端音素解码器得到的音素序列或者音素网格的影响。通常在语种识别中使用的音素识别器解码的错误率达到40％-60％，得到的音素序列也只是音素识别器所包含音素集音素的近似表示，而在计算N元文法统计量时又会进一步增大统计错误。另一方面是N元文法阶数的影响。N元文法模型的大小会随着模型阶数呈指数增长，较低的阶数达不到期望的识别性能，而阶数越高，得到的模型越稀疏，并且由给定的单一阶数得到的N元文法也不能很好地拟合语音内容。 另外，随着语种识别技术的发展，人们越来越关注语种对之间的鉴别性。在2011年举办的NIST语种识别评测中，包含了更多的易混淆语种，其中不乏同一国家的不同方言，例如要区分阿拉伯地区的四个方言，还有本身带有亲缘关系的印地语和乌尔都语、捷克语和斯洛伐克语、印度英语和美国英语等，并且在评测中使用新的性能评价指标考虑最差的N个语种对的识别情况。所以需要寻找更好的语种建模方式，提高易混淆语种对的鉴别性。 本文主要研究基于音素相关信息的语种识别方法，主要从特征提取、建模、得分规整等方面展开。论文工作的主要创新点如下: 1.提出音素相关特征提取方法。音素相关特征首先对语音提取时间模式(TRAPs)特征，由于TRAPs特征轨迹左右两部分有一定的对称性，两部分轨迹对区分音节都有一定的贡献，同时考虑语音协同发音的现象，将特征左右两部分分别单独处理，送入神经网络分类器，然后将得到的两部分后验概率拼接，送入一个总的神经网络分类器，得到音素后验概率。音素后验概率转换到对数域，使其更符合高斯分布，然后使用主成分分析(PCA)降维和去相关，得到音素相关特征。为了去除信道差异、不同说话人发音等的影响，还对特征进行均值方差规整。与声学层特征相比，音素层特征包含了丰富的发音信息，而与传统的音素层特征相比，没有解码过程，即不需将语音转换成音素序列或者音素网格，从而避免了解码误差。 将音素相关特征引入GMM框架，提出共有鉴别性子空间映射的方法。首先对每句话提取高斯超向量，结合格拉姆-施密特正交算法得到每个语种的差异性子空间正交基底，每个语种的高斯超向量均值减去其映射到各个语种的差异性子空间正交基底的向量则得到相对共有向量，同样地，使用格拉姆施密特正交算法得到共有鉴别性子空间。共有鉴别性子空间既包含了每一个语种的内在特性，同时具有不同语种的鉴别性。高维的高斯超向量映射到该低维且具鉴别性的空间，得到共有鉴别性因子。该方法将音素相关特征结合GMM框架，使用SVM建模，达到了比传统方法更好的性能。 2.提出了音素相关特征的因子分析方法。在GMM框架下，定义了一个低维子空间，包含了音素相关的主要鉴别性信息，将高维的音素相关高斯超向量映射成低维且固定维数的向量。然后使用SVM对向量进行建模。在得分处理部分，语种识别中通常使用SVM一对多加高斯后端分类器的方法，SVM一对一加高斯后端分类器的方法在语种识别中性能很差，因此很少使用。本文对传统的SVM一对一分类方法进行改进，将SVM一对一得分重新建模，在不损失得分特征信息的情况下对得分进行降维，解决了SVM一对一得分接LDA加高斯后端分类器时LDA矩阵奇异的问题。 3.提出动态发音和语支鉴别性技术。由于语音的发音是动态的，音素相关特征每一帧考虑的是周围共310ms范围的发音信息，使用的是该范围发音的整体情况，并没有考虑到语音的动态变化信息。基于动态发音的语种识别对音素相关特征做时间差分处理，从而得到包含语音短时动态变化信息的音素相关差分特征。分别对音素相关特征和音素相关差分特征进行因子分析，然后在因子层拼接或者得分层融合，进一步提高了语种识别的性能。 语支鉴别性分析技术将语言学中语支的思想引入语种识别，将待识别的目标语种按亲缘关系进行分类，每一类为一个语支，使用因子分析的方法，得到各语支空间的变化量因子，并在因子层进行拼接，结合包含动态发音信息的音素变化量差分因子，在语支内和语支间建立SVM模型。这种在语支间粗分类，语支内部细分类的方法得到的语种模型更精细。该方法不仅提高了语种识别系统的整体性能，同时提高了容易混淆的语种间的鉴别性。