问题描述

Audio Captin 是一种将音频信号用自然语言进行表述的任务。本次实验基于 DCASE 2020 权威声学比赛任务6 - Automated Audio Captioning 展开。总的来说，Audio Caption 的基本任务可分为：

1. Tag acoustic event
2. Identify acoustic sences 基于此， Automated Audio Captioning Systems 可以对目标的时空关系(例如“先打开煤气罐上的煤气阀门，然后再点火”)、概念性描述（例如“低沉的声音”）、前景和背景(例如“机器在运转，人们在后面说话”)、物体和环境的物理特性（例如“大汽车的声音”、“人们在小而空的房间里说话”、“坚硬的木门”）和高级知识（例如“时钟响三声”）进行建模。

数据介绍

Paper Dataset

DCASE 2020 Task6 使用 ICASSP 2020的开源数据集 Clotho [1]。Clotho 由 15s~30s 的音频样本组成，每个音频样本附带五个 Caption，长度为8~20个单词，共有4981个音频样本，带有 24905个 caption（即 4981 个音频样本*每个样本5个 caption）。Clotho专注于音频内容和标题多样性，所有音频样本均来自 Freesound 平台，并且 caption 是使用 Amazon Mechanical Turk 并由来自说英语国家的志愿者标注的。

Figure 1. Clotho 中音频文件的持续分布时间

Figure 2. 训练集和验证集中最常见的10个词

在实验开始前我们先对 4981 个音频样本进行以下划分：

• 训练集：验证集：测试集 = 2893:1045:10433:1:1 [2] 通过绘制词频分布图对 Clotho 数据训练集和验证集的 caption 多样性进行了初步分析(Figure 3)。该分布图表示，最常见的单词如 “water”、“background”、“birds”大约出现了2000次。

实验方法

数据预处理

对于音频数据，我们从原始音频中提取 log Mel-spectrograms (Log Mel 谱图是一种从人类听觉感知机制出发所设计的音频特征提取方式) 作为声学特征。 对于 caption 数据，我们先将每个音频的所有 caption 组合形成一个训练标签，将词频最高且不超过两个字母的单词给去除，然后还原单词的词干，最后选取剩余单词中词频最高的 300 个单词做分类，比如 “chirp”, “someone”, “person”, “talk”, “run”, “walk”, “sound”, “noise”, “object”, etc. 这样每个音频的标签就变成了 multi-hot vector。

Figure 3. 实验流程图

预训练

本次实验的模型基于 Encoder-Decoder [3] 结构设计，其中 Encoder 由 10 层 CNN 网络构成而 Decoder 由两层 Transformer 网络构成。直接使用音频特征可能不足以训练 CNN Encoder 进而使得 Transformer Decoder 难以优化。为了在训练过程中更有效的优化 Decoder，我们将 Audio Caption 任务转换为使用 300 个类别的多标签分类任务从而对 Encoder 进行预训练。 该实验部分的输入是 log Mel-spectrogram，输出是 ( K 类的概率)

超参设置：

• loss function： cross-entropy
• learning rate：1e-3
• epoch 数：60

正式训练

在训练过程中，实验加载预先训练好的 Encoder 权重并冻结 CNN 参数(这部分的参数在训练过程中不会再更新）来训练 Decoder 。 超参设置：

• loss function： cross-entropy
• batch size：16
• learning rate：3e-4
• epoch 数：50

此外实验还采取SpecAugument和 Label smoothing方法来提高模型性能，避免过度拟合。 *SpecAugument 是一种对输入音频的 log mel 声谱图而非原始音频本身进行运算的增强方法 *Label Smoothing 是对损失函数的修正，避免模型对于正确标签“过于自信“

微调

为了进一步优化 Encoder 的性能，我们可以选取更小的学习率 (1e-4) 对 Encoder 进行 fine-tuning。 4. 实验结果

Table 1. Scores of each metric with different methods on evaluation data.

Table 1 展示了前文中提到的各种方法的不同指标得分(实验结果主要看指标 SPIDEr*，分数越高性能越好)。其中 Origin 表示没有使用任何方法的基础模型；SA 表示 SpecAugument 方法，LS 表示 label smoothing 方法，PC 表示预训练方法，FT 表示 fine-tunning 方法。

*SPIDEr 是 SPICE 和 CIDEr 分数之间的算数平均值，SPICE 和 CIDEr 都是用来计算候选句子和参考句相似度的文本生成评价指标，具体解释可参考这里。

Table 2. Scores of each metric with different models on evaluation data.

参考文献

1. Drossos, K., Lipping, S. and Virtanen, T., 2020, May. Clotho: An audio captioning dataset. In ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (pp. 736-740). IEEE.
2. Xu, X., Dinkel, H., Wu, M. and Yu, K., 2020. The SJTU submission for DCASE2020 task 6: A CRNN-GRU based reinforcement learning approach to audiocaption. DCASE2020 Challenge, Tech. Rep.
3. Chen, K., Wu, Y., Wang, Z., Zhang, X., Nian, F., Li, S. and Shao, X., 2020, November. Audio Captioning Based On Transformer And Pre-trained CNN. In Proceedings of the Detection and Classification of Acoustic Scenes and Events 2020 Workshop (DCASE2020). Tokyo, Japan (pp. 21-25).

附录