字节跳动博士研制的“AI 音乐家”火了:可一键完美分离人声和伴奏
消息来源:baojiabao.com 作者: 发布时间:2024-05-14
AI 可以写歌、填词、改换风格、续写音乐。今天,AI 又来做编曲人了。
上传一段《Stay》,一键按下,伴奏和人声就轻松分离。
人声颇有种在空旷地带清唱的清晰感,背景乐都能直接拿去做混剪了!
这样惊人的效果也引发了 Reddit 热议。
这项研究的主要负责人孔秋强来自字节跳动,全球最大的古典钢琴数据集 GiantMIDI-Piano,也是由他在去年牵头发布的。
那么今天,他又带来了怎样的一个 AI 音乐家呢?
一起来看看。
基于深度残差网络的音源分离
这是一个包含了相位估计的音乐源分离(MSS)系统。
首先,将幅值(Magnitude)与相位(Phase)解耦,用以估计复数理想比例掩码(cIRM)。
其次,为了实现更灵活的幅值估计,将有界掩码估计和直接幅值预测结合起来。
最后,为 MSS 系统引入一个 143 层的深度残差网络(Deep Residual UNets),利用残差编码块(REB)和残差解码块(RDB)来增加其深度:
残差编码块和残差卷积块中间还引入了中间卷积块(ICB),以提高残差网络的表达能力。
其中每个残差编码块由 4 个残差卷积块(RCB)组成,残差卷积块又由两个核大小为 3×3 的卷积层组成。
每个残差解码块由 8 个卷积层和 1 个反卷积层组成。
实验结果
接下来,将这一系统在 MUSDB18 数据集上进行实验。
MUSDB18 中的训练/验证集分别包含 100/50 个完整的立体声音轨,包括独立的人声、伴奏、低音、鼓和其他乐器。
在训练时,利用上述系统进行并行的混合音频数据增强,随机混合来自同一来源的两个 3 秒片段,然后作为一个新的 3 秒片段进行训练。
以信号失真率(SDR)作为评判标准,可以看到 ResUNetDecouple 系统在分离人声、低音、其他和伴奏方面明显优于以前的方法:
在消融实验中,143 层残差网络的表现也证实了,结合有界掩码估计和直接幅值预测确实能够改善声音源分离系统的性能。
作者介绍
这项研究的论文一作为孔秋强,本硕都毕业于华南理工大学,博士则毕业于英国萨里大学的电子信息工程专业。
他在 2019 年加入字节跳动的 Speech, Audio and Music Intelligence 研究小组,主要负责音频信号处理和声音事件检测等领域的研究。
2022-05-08 03:13:34相关文章
- 美国法院裁定阿里须为Squishmallows玩具侵权案答辩
2023-12-28 19:59:34
- 小米汽车传员工3700人 雷军称小米汽车不可能卖9万9
2023-12-28 19:41:57
- 国家新闻出版署:认真研究《网络游戏管理办法(草桉徵求意见稿)》关切 实行前进一步完善
2023-12-28 19:14:56
- 天猫新规可以无条件申请“仅退款”了?淘宝天猫又离狗多多零元购近了一步
2023-12-28 18:57:55
- 印度以打击金融犯罪为由逮捕了两名 vivo 高管
2023-12-26 16:49:01
- 在国外微信收不到国内信息?微信和WeChat将被拆分
2023-12-15 10:40:15
- 苹果iPhone15 系列手机发布最新消息 预计上市发布时间9月
2023-08-06 23:21:02
- 华为将发布鸿蒙HarmonyOS4操作系统 功能五大升级支持设备清单
2023-08-06 23:17:37
- 整治自媒体网红账号 400万粉丝网红发布擦边视频被无限期封禁
2023-07-12 09:56:09
- 网传微信文件传输助手是真人是真的吗?微信官方回应
2023-06-27 15:53:32
- 电信移动送手机成了“信用购”?你上了运营商的贷款套路了吗?
2023-06-12 17:18:55
- 中国电信广东地区崩了无信号 客服回应已在核实处理
2023-06-08 15:39:04
- 消息称小米新能源汽车价格表正讨论定价区间:双版本不同配置,高配或超 35 万元
2023-03-06 12:56:03
- 华为因制裁被传或分拆剥离手机业务? 内部人士回应:可能性不大.
2023-03-05 23:26:41
- OPPO正式发布安第斯智能云,让终端更智能
2023-02-24 16:02:27
- 华为与OPPO签订全球专利交叉许可协议 包括5G蜂窝通信专利
2023-02-24 16:02:26
- 老蛙将推MINI镜头新品:目前未知具体规格 官宣将于12月20日发布
2023-02-24 16:02:26
- 首发全新35mm定制光学系统 努比亚Z50性能同样强悍
2023-02-24 16:02:25
- Redmi K60屏幕细节曝光:全系标配2K护眼柔性直屏+5000mAh大容量电池
2023-02-24 16:02:25
- OPPO Find N2今天发 合金金属折叠屏更轻了
2023-02-24 16:02:24