基于深度神经网络的通用伪造语音检测技术研究

• 作 者: 柳登凯
• 出 处: 柳登凯
• 发表日期: 2020年01期

近年来,基于深度学习的虚假信息伪造技术（Deepfake）迅速兴起且引发了社会各界的广泛关注。语音承载着人类语言信息,语音伪造是Deepfake实现舆论操控的核心技术之一,因此针对深度伪造语音检测技术的研究已经逐渐成为信息安全的一个重要的研究领域。现有伪造语音手段种类多样且发展迅速,给伪造检测技术带来巨大挑战,因此本文针对多种不同合成语音和声音转换伪造语音方法,从时域信号和频域特征等多个角度出发,基于时序卷积网络和深度可分离式卷积网络,实现通用的伪造语音检测框架。本文的主要研究内容及创新点如下:1)针对频谱特征在实践中涉及多种超参的调整且构造的神经网络可理解性较差等问题,考虑从时域波形出发,针对神经网络第一层引用启发式带通滤波Sinc卷积提取帧级多频带特征,利用SE模块对不同频带进行自适应重加权得到时序特征,首次引入时序卷积网络对时序特征进行分析,构造端到端通用伪造语音检测框架。实验结果表明,该模型针对测试集上多种未知伪造语音算法的语音样本检测等错误率能低至7.23%;针对声音转换等较难被检测的伪造语音算法,该模型的检测等错误率也能低至9.79%,相比较于基于时域信号的其它对比检测算法,具有显著的性能提升。2)针对现有伪造语音算法框架中的声纹特征存在相位失真的现象,本文提出基于相位功率谱特征的时序卷积网络通用伪造语音检测框架。根据一维时序卷积网络只能对帧间同频带能量和相位的相关性进行分析的事实,本文对相位功率谱特征进行频带划分,利用二维时序卷积对相位功率谱特征同时进行帧内帧间频带能量和相位相关性分析,来提取通用的伪造语音检测特征。实验结果表明,该模型在验证集上对于已知伪造算法生成的语音样本检测等错误率较低,同时对于测试集上未知伪造算法生成的样本检测等错误率比已有的基于频谱特征深度学习模型有所下降。3)针对现有基于深度神经网络的伪造语音检测模型复杂度较高的问题,本文提出基于原始复数频谱特征和深度可分离式卷积网络的轻型伪造语音检测框架。通过对原始频谱特征的复数矩阵进行实虚部分解,采用复数卷积对特征进行预处理以提取包含更丰富时频相位信息的特征,基于深度可分离式卷积网络进行伪造语音检测特征提取和分类。实验结果表明,相比较于现有的其它基于深度神经网络的伪造语音检测框架,该模型待训练参数较少且检测错误率基本持平。本文基于深度学习特征表征实现了3种通用的伪造语音检测框架,所用特征包括基于时域波形模拟时频变换特征,相位功率谱特征和复数原始频谱特征。该研究成果表明,包含丰富频谱信息的低层次特征配合精心构造的深度神经网络可以有效地提升伪造语音检测算法在未知说话人和未知伪造语音算法的泛化能力。本文研究成果可以为防止互联网络上伪造信息泛滥提供技术支持。