APP下载
报价宝  ›  资讯  › 

Beyond 超清回归,不止为情怀而来

报价宝 来源:baojiabao.com 发布时间:2022-12-19 18:39:56 11月12日更新
报价宝综合消息Beyond 超清回归,不止为情怀而来

7 月 3 日晚,一场独特的演唱会上线抖音、西瓜视频、今日头条、鲜时光 TV,引发 1.4 亿乐迷集体怀旧。这是"Beyond Live 1991 生命接触演唱会"及纪念音乐会的精选重映。Beyond,是华语摇滚乐发展历史上的璀璨明珠,更是一代人的青春记忆。

而这次当亿万观众沉浸在 DNA 被唤醒的怀旧情绪中时,可能也有很多朋友并不知道,他们看到的、听到的穿越 31 年时光而来的画面和声音,其实是经过超清修复的。只是在原汁原味的真实还原下,很多人并未发现而已。

完成这次超清修复的,就是字节跳动旗下的云服务平台火山引擎。

超清修复,不止是提升音画清晰度

如果你看过 Beyond Live 1991 生命接触演唱会原版视频,就能真切感受到这次超清修复版的提升。比如下面这张修复前后的效果对比图,就是肉眼可见的提升。

时隔多年后依然能看到这场演唱会如此清晰的版本,的确是一件幸事。相信也有朋友会好奇,抖音到底施了什么魔法?火山引擎到底是怎么修复的呢?

这里不妨为大家解释一下。

首先,因为是演唱会的修复,所以不可避免会分成两个部分:画质修复和音质的修复。

画质修复方面,我们先看看存在哪些难点。

第一是画面的模糊受损,早期因为技术条件差,演唱会在拍摄、制作、压缩、传输等整个过程都会出现画面模糊、噪声多的情况。比如那时的影片一般都是隔行扫描,编码、显示都会带来交错条纹等瑕疵。

第二是演唱会独特的色彩、亮度和舞台氛围感,比如怎样平衡亮度调节和底噪被放大之间的矛盾,也是难点。

第三是需要对人像面部进行精细处理,普通的画质修复算法难以做到,而且调节人像效果和背景之间的差异也是难点。

这些是演唱会修复的核心难点,对于这些难点,火山引擎则研发了专门的算法技术进行攻克。比如画面模糊受损的问题,他们有清晰度增强和瑕疵修复算法,这些是基于大量数据训练的深度学习算法,提升分辨率的同时,还能在缺少纹理的区域生成丰富的细节。

同时,还能利用基于运动补偿的深度学习多帧交错算法,解决各行扫描格式视频存在的拉丝和横纹情况。

下面这张照片就展现了修复前后的对比,可以明显看到修复前拨吉他的手部有横纹、模糊的情况,修复之后整个明显更清晰锐利了。

提升画质的同时还要注重演唱会艺术氛围的保留。火山引擎给出了基于美学评分的自适应分区域色彩亮度增强算法,它会根据片源的效果,依据美学评分,在色彩,亮度,对比度,饱和度,人像 ROI 和背景区域分别增强,使亮区与暗区都能得到最好的表现效果。

比如下面这张修复前后的对比,修复之后的色彩明显更饱满,同时整体风格上也没有失去演唱会灯光的氛围感。

而人像的修复方面,火山引擎则通过自研的自适应人像增强算法,进行人物高清五官重建。对不同大小(近景 / 中景 / 远景 )、不同姿态(侧脸 / 俯视 / 仰视),不同遮挡程度的人脸都有较好的修复增强效果。

音质修复方面,也是类似。原版演唱会视频天然存在早期设备条件不好导致的音质差的问题,还有环境噪声带来的干扰。另外那时的设备、压缩算法不成熟,也会导致音频截止频率低。演唱会混响过大影响收音质量、以及响度不均衡问题造成的听感不适等。这些都是音质修复存在的难点。

针对原版音频的噪声,火山引擎给出了多元素场景的自研降噪算法,可以针对音乐场景和人声场景实现兼容的 AI 降噪。普通的降噪算法主要针对人声,给演唱会降噪时难免对部分声音造成损伤,而火山引擎的这套算法可以保留人说话 / 唱歌 / 音乐的同时,抑制其他噪声。

比如下面这张对比图,原版携带噪声的音频频谱整体非常浑浊,噪音(紫色的部分)整个演唱会都存在,而经过 AI 音频降噪算法处理过后,频谱图清晰了很多。

对于早期设备音频带宽不够的问题,火山引擎也有音频超分算法予以解决,它能够对演唱会中的人声部分进行频带拓展,丰富高频信息,提升音质,并且在处理过程中不会引入其他失真使体验变差。

此外还有响度算法,则是提取演唱会中的歌唱人声部分,然后进行响度的调整,使得整体的人声更加舒适。

当然,这次演唱会重映之后,最新也向火山引擎方面了解到,修复的工作也并不完全是 AI 算法进行的,也会有人工处理的部分,只是人工参与的很少。比如在画质修复时,主要是和色彩相关的会加入部分人工,而音频部分主要是在响度调整上做了一些人工的细节调整。

总体来说,这次演唱会的修复绝大部分工作通过 AI 算法技术来完成的,并且我们也能看到,修复的工作不仅仅是提升音画清晰度这么简单,还涉及到艺术氛围的保留、噪声、细节的取舍、色彩的调整、重编码等等,是一个成体系的复杂流程。而这个流程,火山引擎已经能用技术在无人工参与的情况下完成绝大部分。

最终呈现在我们面前的,就是一场音画全面焕发新生,同时艺术感又原汁原味的经典演唱会,成就了一场情怀的狂欢。

比情怀更重要的,是赋能

从效果来说,这次 Beyond 演唱会的超清修复是让人惊叹的,看了上面的介绍,相信会有朋友自然地想到,这些修复技术这么厉害,而且很少需要人工参与,那如果能将它们开放出来,让更多的主体能参与到这种颇具意义的修复中去,岂不是更好?

其实这些,就是火山引擎视频云正在做的,而且他们提供的能力还有更多。

相信大家也能感受到,视频在如今互联网传媒时代的重要性。IDC 在年初曾发布一份《中国视频云市场跟踪(2021 上半年)》报告,其中显示,2021 上半年中国视频云市场规模达到 43.7 亿美元,同比增长 38.7%。我们正在迎接一个全新的"超视频时代":不管是企业到用户,还是用户到用户,一个行业内的信息传递有 50% 以上是通过视频承载,就可以认为是"超视频时代"。

总之,在广泛的商业场景正在从图文走向视频的大背景下,视频正在成为一种新的生产力,各行各业都在思考如何建设自己的视频能力。

而火山引擎这家字节跳动旗下的云服务平台,恰好通过视频云为各行各业带来完整的视频能力。这次修复 Beyond 演唱会所涉及的相关技术,其实只是火山引擎视频云能力的"冰山一角"。

根据今年 2 月火山引擎公布的最新视频云产品矩阵,这是一个包含泛互联网、游戏、金融、广电等场景,视频点播、veImageX、实时音视频等核心产品,以此构成完整的解决方案。最底层的核心中台,则是火山引擎在服务抖音、西瓜视频等优秀应用积累和沉淀下来的技术能力,覆盖网络传输、智能生产和智能处理全链路的能力。

而细分到每一项能力方面,火山引擎视频云也有对应的技术优势。比如在编码方面,火山引擎的 BVC 系列编码器在视频编码器全球顶级赛事 MSU2020 中获得 17 项冠军。

在视频播放体验上,火山引擎拥有独创的"零首帧"优化,实现短视频首帧起播小于 100ms,长视频首帧起播小于 400ms,带来无感知的流畅播放体验。

还有他们的 VQScore 画质评估算法体系也已经在多媒体领域世界级学术会议 ICME2021 拿到第一名,稳定性方面更是能将应用崩溃率降到低于 1/100000。

正因为拥有这些技术优势,火山引擎视频云才能为不同的行业提供极致的视频体验。并且在视频体验方面,火山引擎也建立了自己的数据体系标准,从互动体验、播放体验、画质体验、性能体验四个方面做细致优化,从而让用户体验可量化、可优化。

举例来说,现在很多"超新 Z 世代"喜欢在快看上看"漫剧",这种全新的视频内容形式背后就有火山引擎视频云的助力。火山引擎视频云为快看"漫剧"创作提供了强大的视频编辑,推动 UGC 内容的繁荣,同时还为快看提供了零首帧的相关优化经验,提升了用户观看体验。

(快看世界技术 VP 安尝思)

再比如今年 5 月,Pico 以 8K 3D VR 的方式举办了郑钧"We Are"VR 私人唱聊会的互动直播,火山引擎视频云为 Pico 提供了从 VR 采集、VR 编码推流、VR 云导播、虚拟现实特效叠加到 VR 播放器的全链路能力。

(郑钧"We Are"VR 私人唱聊会)

总体来说,目前火山引擎视频云已经服务了很多的行业,覆盖游戏、电商、金融、教育等各个领域。包括前面我们说的修复 Beyond 演唱会过程中所使用的各种技术,在各行各业也都已经有很成熟的应用。也许,修复 Beyond 演唱会并和大家一起来一场免费的怀旧狂欢,是一件很有情怀的事,但小编觉得,能够将这些能力开放出去,赋能给千千万万需要用视频建设生产力的主体,是比情怀更重要的事情。

结语

Beyond Live 1991 生命接触演唱会的重映已经结束,但小编相信,类似这样用技术修复文化的情怀不会止步。去年,抖音、西瓜视频联合火山引擎已经为我们修复了超百部经典动画,这次是 Beyond 的经典演唱会,未来,也许还有更多被时光侵蚀的作品会重新焕发生机。

而这样的事情,只靠为数不多的企业来完成,远远不够,相反需要更多的企业或主体参与进来。火山引擎视频云的赋能,对推动这样有价值的事情,无疑会起到非常重要的作用。

文章标签: 视频 引擎 火山 演唱会 算法 技术 体验 部分 方面 能力 同时 画质 音频 噪声 效果 编码 色彩 难点 情怀 人像 报价宝 降噪耳机价格 耳机价格 红米手机价格 华为手机价格 小米手机价格 电视机价格 笔记本电脑价格 笔记本价格 汽车价格 数码相机价格 手机价格 笔记本价格 笔记本电脑价格 降噪耳机价格