人类能够正确地分辨出说话人声音的不同，是因为人耳的听觉系统具有很高的复杂度。要使机器正确区分说话人，必须对说话人的声纹进行特征提取，使之成为机器可以区分的特征参数 [20] 。本文采用MFCC，GFCC和语谱图组成三通道特征，不仅提高了模型在各种情景下的泛化能力，提取各种特征使模型对不同的频段的声音都有优秀的分类效果。

Mel频率与人耳所听到的声音的频率的关系可以表示为：

$\text{Mel}\left(f\right)=2595\lg \left(1+\frac{f}{700}\right)$

MFCC特征提取的第一步是将语谱信号通过一系列Mel滤波器进行滤波处理。这些滤波器的频率划分按照Mel频率刻度进行，目的是模拟人类听觉系统对声音频率的感知。然后进行离散余弦变换，最后进行倒谱变换通常是取前几个(本文提取前13个通道) DCT系数，这些倒谱系数即为最终的MFCC特征参数。MFCC的提取流程如 图1 所示。

对于输入的语言信号的预处理主要分为三个部分，预加重：信号通过一个高通滤波器，增强高频部分，减少信号中的噪声和失真。分帧：将预加重后的信号分成短时窗口(通常20~40毫秒)，每个窗口称为一帧。加窗：对每一帧应用窗函数(如汉明窗)，以减少帧末端的截断效应。

GFCC特征的提取流程如 图2 ，输入信号首先通过一组Gammatone滤波器。这些滤波器模拟人耳内的基底膜响应，按照非均匀的频率刻度(即伽马音频刻度)对信号进行滤波。每个Gammatone滤波器对应于不同的中心频率，能够更准确地反映人类听觉系统对不同频率的敏感性。

Gammatone 滤波器是一种基于标准耳蜗结构的滤波器，其时域表达式如下：

$g_i\left(t\right)=A{t}^{n-1}{e}^{-2\pi b_{i}t}\cos \left(2\pi f_i+{\varnothing }_i\right)U\left(t\right),t⩾0,1⩽i⩽N$

每个Gammatone滤波器的输出是信号在特定频带上的能量或幅度。之后计算每个滤波器输出的功率谱。再对每个滤波器的功率谱取对数，最后对取对数后的功率谱进行离散余弦变换(DCT)，将其转换为倒谱系数。DCT可以有效地将频谱特征编码为压缩的系数表示。从DCT得到的倒谱系数中选取前几个系数，这些系数即为GFCC特征。这些特征包含了信号的频谱和时域信息，更接近于人耳听觉系统的响应特性。GFCC的整个流程强调了对声音频率的更精确模拟，适合于需要捕捉细微听觉特性的任务。

语谱图将信号直接转换成频率和时间的二维图像，本文将信号按2048个采样点的窗口进行分割帧移的长度设置为窗口长度的一半，对每个窗口进行傅里叶变化，取变化后的幅度谱的平方作为该窗口的功率谱，将各个窗口的功率谱合并在一起形成最后的语谱图，语谱图中的每个代表了特定时间的频率范围内信号的能量，其特供了对声音的直观表示，更加全面的提供噪音的全局特征，除此之外MFCC和GFCC收声音信号质量的影响，例如低信噪比、失真或重叠等问题可能会降低分类的稳健性和准确性，相比MFCC，语谱图在一定程度上受到信号质量影响的程度可能较小。即使在低信噪比、失真或重叠等情况下，语谱图仍然可以提供较为清晰的频谱信息，有助于从噪音中提取特征。

本文提出了一种对于噪音分类的新型神经网络结构，该结构为两路卷积神经网络，其中一路网络对MFCC特征和GFCC特征进行分别处理如 图2 所示，分别包含卷积层，激活层，池化层，归一化层和全连接层。分别将特征数据先后进行三层卷积归一化，之后将两路特征混合之后输入全连接层，另一路卷积网络处理处理语谱图特征如 图3 所示，语谱图特征包含了噪音信号的更多的全局特征，所以这一路神经网络对比另一类网络除了包含卷积层，激活层，池化层，归一化层和全连接层之后，还多了一个注意力模块，使网络可以更从全局的数据中更多的注意到更多的关键数据，语谱图特征先进行一层5*5的卷积快，激活层和5*5的最大池化层，在进行两层3*3的卷积层和CAM注意力通道，进行归一化层处理后输入全连接层。

将两路卷积神经网络处理后的两个全连接层得到的结果，进行平均贝叶斯融合，最后将融合后的结果输出如 图4 所示，最后得到双路卷积神经的分类。

注意力机制是一种用于增强特征图中重要通道的表现力的技术，主要用于卷积神经网络(CNN)中。它通过计算每个通道的重要性系数，以自适应地调整特征图中的通道权重，从而提高模型对特征的学习能力 [21] 。本文中在第二路卷积中使用注意力机制是因为对比MFCC和GFCC特征，语谱图特征包含了声音信号的全部信息，经过三层卷积之后，语谱图数据为16*64*9*13的数据，通过本模型中的注意力模块，模块结构如 图5 ，该模块使用两个池化操作，分别为平均池化(avg_pool)和最大池化(max_pool)，这两种池化分别从输入特征图中提取通道的全局平均信息和全局最大信息。通过一系列全连接层将池化得到的通道描述向量进行压缩与扩展。经过ReLU层激活后数据再恢复到64的维度。这一过程能够挖掘出通道之间的关系，并强调重要通道。最终，平均池化和最大池化生成的两个输出向量相加，形成一个通道权重向量。然后，它通过Sigmoid函数得到一个范围在[0, 1]的系数，使得每个通道可以根据其重要性进行加权。

我们所提出的模型在数据集上获得的先进实验结果。数据集中包含5个社会声音类别，分别为自然噪音，施工噪音，交通噪音，社会噪音，工业噪音。数据集中包含11,322条实验数据，每条实验数据长度为4秒钟，总时长为704分钟，采样频率为16 khz。数据集详细信息如 表1 所示，数据集的训练采用五折交叉验证训练和测试模型的性能。

我们的实验基于 表1 数据集。我们采用五折交叉验证训练和测试模型的性能，评估指标包括：

a) 准确率(Accuracy)：模型预测正确的样本比例。

b) 精确率(Precision)：预测为正样本中实际为正样本的比例。

c) 召回率(Recall)：实际为正样本中被预测为正样本的比例。

d) F1-score：精确率与召回率的调和平均数，用于综合评估模型性能。

硬件方面实验在NVIDIA GTX 4060GPU上进行，软件方面，所有的实验都在编程环境为python3.10，模型基于pytorch框架进行分类模型的搭建，音频特征提取基于librosa和torchaudio库。在训练阶段，采用交叉熵函数作为损失函数，使用其衡量模型预测的概率分布与真实标签之间的差异，使用的优化器为Adam优化器学习率为0.001，Adam优化器结合了动量(Momentum)和自适应学习率(Adaptive Learning Rate)，训练过程中，优化器根据计算出的梯度调整每个参数的值。

在本节中，我们将分析提出的模型在数据集上的性能表现。特别地，我们关注于模型在文本分类任务中的准确率、召回率和F1-score等指标。通过与当前主流模型进行比较，我们希望展示我们的方法在处理特定类型数据时的优势。如 表2 所示，本文模型相对比传统的CNN模型，RNN模型，LSTM模型在本文数据集下各种指标值有明显提升。

由 表2 可以看出，在语音识别中表现效果很好的循环神经网络(RNN)和长短时间记忆网络(LSTM)对于处理噪音分类问题效果不是很好，处理二维数据更占优势卷积神经网络(CNN)有不错的效果，可以得到对于噪音分类问题卷积神经网络是更好选择，故此本文使用的基本模型框架选用卷积层对噪音特征进行处理，本文使用模型的比其基本的网络模型在本数据集中无论准确率，准确率，召回率F1-score都有了大幅度提升大约提升了10%。同时为了证明混合特征的双路卷积网络是否优于单一特征的通道网络，通过实验对比不同的单路通道网络和本模型对于分类精度的影响。 表3 列出了不同的组合得出对比结果，对于MFCC，GFCC，MFCC和GFCC混合特征，spectrogram特征分别都使用本文网络模型中的相对应部分进行训练，来进行对比实验。

不同特征的模型数据表示当模型的输入为MFCC特征和GFCC特征混合时，相比起单一的MFCC或者GFCC作为模型的输入，模型的准确率有了大约4%到6%的提升。由 表3 可以看出，虽然语谱图特征的模型数据不如MFCC + GFCC混合特征，但语谱图特征中包含更多的声音信息，故此本文的模型采用的MFCC + GFCC混合特征和语谱图特征的双路卷积结合，准确率，准确率，召回率F1-score都有了提升，对于声音信息的处理更加全面分类更加精准，语谱图特征的使用能够提供许多对比模拟人耳的MFCC和GFCC特征中被隐藏的信息。可以从原始的声音数据的层面来使模型的泛化性和鲁棒性提升。

同时因为语谱图数据的数据量偏大，保留了声音频谱图的全部数据，因此使用注意力机制对不同的特征通道分配不同的权重，能够自动突出重要的特征，同时抑制不重要的特征。这种选择性增强有助于模型更好地捕捉关键信息。通过强调重要特征并抑制噪声，通道注意力可能帮助模型在训练过程中降低过拟合的风险，提升其在测试集上的泛化能力。对此通过 表4 可以看出对于语谱图特征，和混合特征，分别进行无注意力模块网络训练，和有注意力机制模块训练。