Google应用神经网络开发音讯编码器，不只压缩音讯还能抑制噪音

Google发表最新将人工智能应用在音讯解编码器的研究，释出端到端神经解编码器SoundStream，这是一个应用神经网络的音讯解编码器，可以提供高音质的音讯，并且支援清楚的语音、有杂音和回声的语音，甚至是混杂音乐、语音和环境音的音讯，Google提到，SoundStream是第一个可以处理语音和音乐的神经网络解编码器，可以在智能手机上即时执行。

音讯解编码器用于有效率地压缩音讯，以减少储存和网络带宽需求，而理想的情况，音讯解编码器的存在，应该要让使用者无感，包括无法察觉解码后的音讯，与原始音讯间存在差异，而且解编码的过程，也不能产生可察觉的延迟。

市面上以及Google的各种影音服务，大量使用了音讯解编码器，像是Opus和增强型语音服务（Enhanced Voice Services，EVS）。Opus是一种多功能语音和音讯解编码器，支援从6 kbps到510 kbps的位元率，已经被Google用于视讯会议平台Meet，还有串流媒体服务YouTube等应用程序中。而EVS则是3GPP标准化机构所开发，是针对移动电话所开发的解编码器，和Opus相同，是能够处理多种位元率的多功能解编码器。

这两种解编码器虽然可以在中低位元率中表现出色，但是在极低位元率，像是小于等于3 kbps的情况，音质就会急转直下，Google提到，过去人类利用专业知识，以及增加压缩算法的效率，来最佳化音讯的处理，但最近研究人员开始使用机器学习来代替人工设计，以资料驱动的方法学习解编码音讯。

Google发布最新的端到端神经解编码器SoundStream，其主要技术便是使用神经网络，由编码器、解码器和量化器组合而成，所有这些都经过端到端训练。编码器会将输入的音讯，串流为编码讯号，接着使用量化器对其进行压缩，并且使用解码器将讯号转换回音讯。

研究人员提到，SoundStream使用了神经音讯合成领域中，目前最先进的解决方案，透过训练判别器（Discriminator），计算对抗性和重建损失函式的组合，让重建的音讯听起来就像是未压缩的原始音讯，进而提供高品质音讯输出。

经过训练后，解码器和编码器可以分别在单独的客户端运作，以提高网络传输高品质音讯的效率。SoundStream处理音讯的效率非常好，特别是在低位元率的情况，研究人员解释，SoundStream使用3 kbps位元率所提供的音讯品质，超过使用12 kbps位元率的Opus，以及9.6 kbps的EVS，位元率是这些解编码器的三分之一到四分之一，这代表SoundStream可以使用更小的带宽，提供类似的音讯品质。

在早前，Google发表了基于回归网络的Lyra音讯解编码器，而与SoundStream比起来，SoundStream仍然优于Lyra当前的版本，研究人员也提到，在传统音讯处理工作管线中，压缩和增强使用不同模组进行，但这样的方法会增加系统延迟。而Google采取不同的策略，将压缩和增强功能综合在同一个模型中，能够同时进行压缩和背景降噪，但又不增加延迟。

Google表示，SoundStream是将机器学习技术，应用在音讯解编码器中重要的一步，比目前最先进的解编码器Opus和EVS效果更好，而且只需要部署一个可扩展的模型。SoundStream会与下一版本的Lyra一起发布，借由整合SoundStream与Lyra，开发人员可以利用现有的Lyra API和工具，来提供更好的音质。