基于声谱图特征的声音事件识别

• 作 者: 黄费贞
• 出 处: 湘潭大学
• 发表日期: 2020年01期
• 关键词: 声音事件识别 声谱图 Curvelet变换 完全局部二值模式 卷积循环神经网络

随着信号处理技术和计算机硬件的不断发展,关于声音事件识别技术的许多应用近年来受到越来越多的关注。声音事件识别技术可以作为音频监控系统、机器人导航、智能穿戴设备等其他的情景感知应用系统的辅助部分。经历几十年的发展,针对声音事件识别的特征提取和分类模型研究已取得了较大的进步,使得相应的应用系统的性能获得了较大的提升。然而,由于声音事件自身的结构特性,经常是在具有噪声条件下发生的。虽然声音事件识别系统在低噪声的条件下具有较好的识别性能,但随着噪声强度的增加,其稳健性逐渐变差,系统的性能明显降低。通过将声音信号转换成类似于图像的声谱图,并利用图像处理技术提取相关的特征进行声音事件识别已成为一种新的研究趋势。但是,在现有方法中没有充分的研究声谱图和图像之间的差异,如何从声谱图中提取出有效的特征仍然是研究的难点。本文基于声谱图与声音信号的密切关系,探讨了基于声谱图特征的声音事件识别方法。本文的主要内容如下:1.提出了基于耳蜗谱图纹理特征的声音事件识别方法。首先,使用Gammatone滤波器组将声音事件转化为灰度耳蜗谱图;然后,对耳蜗谱图进行Curvelet变换得到不同尺度不同方向的Curvelet子带;再采用改进的完全局部二值模式(Improved completed local binary pattern,ICLBP)提取Curvelet子带的纹理特征并生成分块统计直方图,将统计直方图级联作为一种新的声音事件特征。实验结果表明,与其他声音特征相比,使用所提特征对各种噪声环境下的声音事件能够取得较好的识别结果。2.提出了基于多尺寸卷积核的卷积循环神经网络声音事件识别方法。首先,将耳蜗谱图作为卷积神经网络的输入层,卷积神经网络可以通过学习在时间和频率上发生偏移的滤波器来有效地处理谱图的时频变化,并通过在最后一个卷积层上使用三种不同尺寸的卷积核与特征图进行卷积操作,可以捕获特征图上不同区域的特征,丰富了提取的特征;然后,将这些特征分别馈送到循环神经网络,循环神经网络通过在序列历史上集成动态变化的上下文窗口来捕获谱图中关于声音事件的时间上下文信息;再将注意力机制作用于循环神经网络的输出层,使声音特征更具区分性;最后,将注意力层的输出拼接到全连接层,使用Softmax分类器对声音事件进行分类。实验结果表明,该方法对各种噪声条件下的声音事件可以取得较好的识别结果。