非营利人工智能研究组织OpenAI发布了最新的人工智能应用Jukebox,这是一个可以产生各种类型和风格歌曲的神经网络,OpenAI现在将模型权重和程式码,以及用于探索生成样本的工具发布在GitHub上,供其他研究人员进一步深入研究。
在早前就有不少音乐自动生成的研究,最先出现的是音符产生器,生成可以弹奏的乐谱,但是这种方法虽然能够安排音符出现的时机、音高、速度和演奏乐器,制造出巴哈圣咏、复音音乐等作品,但是其具有不少限制,无法捕捉人声,以及其他音乐细节,像是音色、力度和表现性。
另一种音乐自动生成的方法,则是直接以音讯层级生成音乐,但这种方法也不容易,光以16位元44 kHz的CD音质,产生典型4分钟的歌曲,就需要超过一千万时步(Time Step),研究人员提到,这是要在音讯层级产生音乐的一大挑战,相比OpenAI Five在每场Dota游戏中,才花费数万时步而言,千万时步是一个很大的前进,因此要学习音乐的高阶语义,模型需要能够处理极长的相依关系。
OpenAI提到,他们之所以会开始进行人工智能在音乐上的应用,因为这是生成模型当前的界限,OpenAI之前的相关研究MuseNet,探索了大量MIDI资料合成音乐的方法,而现在他们从原始音讯中,让模型解决高多样性和超长结构的问题,且特别的是,在原始音讯域无法容忍发生在短期、中长期和长期时序的错误。
OpenAI研究团队使用自动编码器解决这个问题,编码器会移除无关的讯息位元,将原始音讯压缩成较低维的空间(下图),而新模型会在压缩空间中产生音讯,然后将其采样回原始音讯空间。
为了训练这个模型,OpenAI在网络上抓了120万首歌组成新的资料集,其中有60万首是英文歌,并配对LyricWiki的歌词和元资料,歌曲元资料包含艺术家、专辑类型和歌曲年份,还有与每首歌曲相关联的心情和播放列表关键字,以32位元44.1 kHz的原始音质,并随机降混(Downmix)左右声道产生单声音讯,达到资料增强的目的。
研究人员提到,虽然Jukebox无论是在音乐品质、连贯性、音讯样本的长度,以及对艺术家、类型和歌词的适应能力都往前一大步,但Jukebox所创建的音乐与人类的作品相比,仍是天壤之别。虽然Jukebox产生的歌曲,在局部具有连贯性,可产生遵循传统的和弦模式,甚至表现出深刻的独奏,但是却不会有像是重复的副歌这类大型的音乐结构。
而且由于受Jukebox所使用的采样技术影响,采样的过程非常缓慢,约要9个小时才能渲染出一分钟的音讯,所以现在的成果还不能放在互动式的应用程序中。此外,Jukebox的训练资料集,主要是西方音乐,歌词的部分都是英文,将来OpenAI希望可以将Jukebox扩展应用更多地区的歌曲。
除了研究成果之外,这项研究在推特上受到讨论的另一个点,在于版权问题,因为Jukebox自动产生各种风格的歌曲,这些歌曲可能包含知名歌手的声音以及相似风格的旋律,因此OpenAI也被质疑,在把这些歌曲作为训练资料集之前,是否有取得适当的授权,但有人则认为,这可能要讨论用来训练人类跟训练机器人原始资料的不同之处。
相关文章
- YouTube更新违反规定政策,提升惩处透明度和一致性
2023-12-31 14:00:52
- 传苹果将把中国iCloud正式交给本地化经营 苹果手机icloud换区存储操作
2023-12-27 18:34:43
- 刘德华代言什么手机?刘德华成华为Mate 60 RS非凡大师华为5G新手机代言人
2023-09-26 21:55:08
- WebOS新系统:Palm Pre手机最新款高价登港
2023-06-23 15:39:14
- 帮助企业组织对抗勒索软件,资安通报机构设立防护专区,可协助事前、事中与事后因应
2023-06-22 09:36:10
- 蔚来全系产品降价3万 取消免费换电 换一次电池180元
2023-06-12 17:27:49
- 电商平台三巨头开打最大规模折扣 价格战再次打响
2023-03-05 18:58:40
- 爱立信节省成本裁员四千人 爱立信全球员工总数五分之一
2023-02-24 22:27:29
- 蜜芽关停近况,八位数重金买三字顶级新域名mia.com也关闭
2023-02-23 16:18:14
- 联想CEO杨元庆:联想集团需要裁员32%削减部分业务支出
2023-02-18 12:45:25
- 蓝色光标2022营收亏损18亿 客户预算减少明显
2023-02-18 12:40:08
- 三星工厂或将80%生产转至越南 因本地劳动力成本上升
2023-02-17 23:09:16
- 香港八达通卡如何激活?没用失效过期余额怎么办
2023-02-17 18:34:51
- 中兴通讯被曝将裁员20% 称只裁国外的
2023-02-17 18:33:26
- 苹果新iPhone15Pro手机终于改用USB-C(火牛)数据线??Lightning充电接口退出
2023-02-17 16:57:22
- 突发!蓝色光标曾为中国民企500强龙头 如今业绩亏损断崖下跌
2023-02-16 14:31:19
- 三星发布自家carplay车载中控系统 Car Mode for Galaxy 可以连接carplay吗?
2023-02-14 00:53:17
- Opera浏览器宣布集成ChatGPT 一键生成网页内容摘要
2023-02-14 00:32:08
- 谷歌google计划重返进入中国市场?但结果可能令你失望
2023-02-13 16:57:15
- Zoom紧急裁员1300人 佔员工总数15%
2023-02-08 14:59:11
最新资讯
- YouTube更新违反规定政策,提升惩处透明度和一致性2023-12-31 14:00:52
- 美国法院裁定阿里须为Squishmallows玩具侵权案答辩2023-12-28 19:59:34
- 小米汽车传员工3700人 雷军称小米汽车不可能卖9万92023-12-28 19:41:57
- 吉利飙逾6% 电动车品牌极氪新车款极氪007昨上市 预售价格22.99万元2023-12-28 19:30:28
- 日本丰田汽车厂11月全球产量创新高2023-12-28 19:26:02
手机
- 中国11月手机出货量增34% 5G手机出货量2709.2万部2023-12-28 19:27:57
- 荣耀发布新一代旗舰荣耀Magic5系列,新款上市价格分期0首付3999元起2023-03-06 16:12:32
- 美国商务部指违禁,长江存储被美国拜登制裁名单面临停工裁员2023-02-17 18:41:53
- 苹果Apple iOS车载系统CarPlay支持哪些更多汽车品牌2023-02-02 17:33:27
- 香港去哪买三星手机回来吗? 买香港便宜售价手机市场地点和网站2023-02-02 11:03:11
数码
- 华为5G芯片正式亮相:预示华为将发首款5G手机2023-08-31 13:22:33
- 腾讯传计划放弃虚拟现实VR硬件计划2023-02-17 23:32:30
- 三星手机份额大跌!三星手机中国市场份额变化国内仅剩3%2023-02-01 17:06:15
- 三星手机份额大跌在中国没市场了!国内市场占有率仅剩1%国外比苹果销量高2023-02-01 16:59:53
- vivo发布2022 vivoNEX手机极简易浏览器下载:简洁流畅无广告!2022-12-02 17:29:30
科技
- 中兴受美国制裁事件 被罚了20亿美元过程事件始末 中兴被制裁后公司现状2023-11-02 22:12:46
- B站怎么炸崩了哔哩哔哩服务器今日怎么又炸挂了?技术团队公开早先原因2023-03-06 19:05:55
- 苹果iPhoneXS/XR手机电池容量续航最强?答案揭晓2023-02-19 15:09:54
- 华为荣耀两款机型起内讧:荣耀Play官方价格同价同配该如何选?2023-02-17 23:21:27
- google谷歌原生系统Pixel3 XL/4/5/6 pro手机价格:刘海屏设计顶配版曾卖6900元2023-02-17 18:58:09