学界|FAIR提出通用音乐转换网络：你的口哨声也能变成交响乐

选自arXiv

作者：Noam Mor等

机器之心编译

参与：干树

、刘晓坤

Facebook AI Research 近日提出了一种基于多域 WaveNet 自编码器的跨乐器、流派、风格的音乐转换方法。在 NSynth 和从专业音乐家收集的数据集上的实验评估上，该网络实现了令人信服的音乐转换，甚至可以转换口哨声；这使得未经训练的人类也具有了创作乐器音乐的潜能。

图 1：网络架构。其中混淆块（虚线所示）只在训练中使用。

WaveNet 自编码器

研究者重用了基于 WaveNet 解码器和类似 WaveNet 扩张卷积编码器的现有自编码器架构 [16]。每个解码器的 WaveNet 条件制约于编码器所产生的潜表征。该自编码器和 [16] 之间存在着两个不同之处。首先，该自编码器不以音调为条件，而是让它成为编码本身的一个组成部分。其次，研究者略微修正了 WaveNet 方程，使其架构适合于 NVIDIA 提供的推断时间 CUDA 内核（https://github.com/NVIDIA/nv-wavenet）。

编码器是一个全卷积网络，可以应用于任意序列长度。网络由三个块组成，每个块有 10 个残差层。每一个残差层包含了一个随着核尺寸递增的扩张卷积、一个 RELU 非线性单元，还有一个在第一个 RELU 之前的、跟随在激活值残差和之后的 1×1 卷积。其固定的宽度为 128 个通道。在这三个块之后，还有一个额外的 1×1 层。为了获取 R64 的编码，存在一个平均池化层，其核尺寸为 50 毫秒（800 个样本），实施了一个 ×12.5 因子的时域下采样。

该编码采用最近邻插值法进行时域上采样达到原始音频传输速度，并将其用于决定 WaveNet 解码器，随后紧接一个 1×1 层，该层对每个 WaveNet 层来说是不同的。音频（包括输入和输出）使用 8 位 mu-law 编码进行量化，与 [11,16] 类似，这会导致一些固有的音频品质损失。WaveNet 解码器具有 4 个块，每块 10 个残差层，因此解码器具有包含 4,093 个采样或时长为 250ms 的感受野。

表 1：转换任务的 MOS 分数（均值 ± 标准差）。

表 2：转换任务的自动化质量分数。

图 2：一组实验结果。（a）普通听众倾向于选择与源相同的域，无论实际源如何。（b）大部分时间下，音乐家 A 都无法识别出源。（c）业余爱好者 T 和（d）业余爱好者 S 也在大部分情况下无法识别，但是 S 的结果更一致。

论文：A Universal Music Translation Network

论文地址：https://arxiv.org/abs/1805.07848

摘要：

我们提出了一种跨乐器、流派、风格的音乐转换方法。该方法基于多域 WaveNet 自编码器，具有共享的编码器和一个可以进行端到端波形训练的解缠潜空间（disentangled latent space）。利用多种训练数据集和大规模网络容量，独立于域的编码器使我们甚至能从训练期间未曾见过的音乐域进行转换。该方法是无监督的，它不依赖于域或音乐转录之间的匹配样本的监督。我们在 NSynth 和从专业音乐家收集的数据集上评估本方法，并实现了令人信服的音乐转换，甚至可以转换口哨声；这使得未经训练的人类也具有了创作乐器音乐的潜能。

本文为机器之心编译，

转载请联系本公众号获得授权

?------------------------------------------------

加入机器之心（全职记者/实习生）：hr@jiqizhixin.com

投稿或寻求报道：

content

广告&商务合作：bd@jiqizhixin.com