“得画质者得人心”客户端实时超分，清晰度华丽转身

在短视频、直播、社交等并进的互动时代，ZEGO 即构科技认为："得画质者得人心"，超高清已然成为越来越多用户希望可以享受到的画质核心体验之一。

不管是音视频内容的生产商还是服务商，极致的画质体验已经成为获得用户注意力资源的武器，画质越好整体的业务时长就会增加已经毋庸置疑。

因此，打造画质能力也已成为兵家必争之地，那么极致的画质体验如何突破？

客户端实时超分

画质 / 码率增益明显提升

目前一个热门的解法就是客户端实时超分 -- 在手机、平板电脑等移动设备上，通过 AI 算法来放大原有图像的分辨率以达到提升画质的效果，弥补设备硬件、网络带宽、原始素材等客观条件限制，进而获得高画质的图像和视频。

那么何种场景适合使用超分？可以简单理解为用于想提升画质，却又受到某些限制的环境。具体分为以下几类：

网络环境受到限制。对于网络环境压力大的地区，选择超分提升画质档次，避开网络的限制；

硬件条件受到限制。摄像头无法提供高分辨率、推流端的性能不够编码更高分辨率的视频；

购买成本受到限制。期望提升画质，但是对应的分辨率 / 带宽 / 流量档位价格太高。

尽管端上实时超分对画质及码率的增益明显提升，但受限于移动端算力、算法功耗、多机型兼容性等问题，在移动端上部署实时超分技术面临挑战。

即构客户端实时超分能力更快、更低、更好、更广在资源受限的移动端，基于深度学习的自研超分、自研去编码效应，对比业界 SOTA 及友商，模型大小相当时，ZEGO 即构科技自研的客户端实时超分，在本地边播边超分，实现画质清晰度从 540P 到 1080P 的华丽转身。

以下展示数据均为即构客户端实时超分的实测运行能力：

更快 -- 极低功耗，极低耗时

即构客户端实时超分，模型大小仅为 12KB，不占空间；整体功耗低至~60mA / h。

极小超低轻量级模型，仅 0.69G FLOPs，我们在 Set5 中的 PSNR / SSIM 可以达到 36.898/0.9554，在此运算量下，几无对手。

更低 -- 低延迟，高帧率

低至 20ms 以内的处理延迟，以及高达 30fps 的帧率。（高通骁龙 845）

更好 -- 超高画质体验

在本地将实时画质的分辨率放大两倍（x2），比如将 540P 超分成 1080P，在移动端可将视频分辨率增强至最高 1440P，同时进行去编码块效应、智能锐化、抗锯齿、基础降噪等提升，极大改善观看体验。

更广 -- 多平台多机型兼容

支持跨平台使用，机型覆盖更广，支持 3500 + 种机型，在 iOS 系统和安卓系统环境下均无缝连接，国内 Android 设备覆盖率为 70%，iOS 设备覆盖率为 90%。

终端客户体验升级

助力业务时长增长

减少 CDN 流量消耗，降本增效。首先，使用客户端实时超分可以减少数据下发过程中 CDN 的消耗，实现降本提效。

画质增益显著，终端客户体验升级。当客户端网络不稳定或者带宽受限，导致视频播放卡顿时，端侧超分技术可以让终端用户的浏览体验更顺滑。超分后的画质更清晰、纹理细节更细腻、文字更清楚，不会出现画面脏及过度曝光的现象，主观视觉舒适。

场景适用丰富，助力业务时长增长。目前，即构科技已可以在 1v1 视频通话，秀场直播、电商直播等单主播场景，低分辨率场景，智能硬件，跨端通信等场景接入超分，在用户活跃、留存、使用时长等指标上带来明显助力。

当前的互动时代，远不止画质等信息的"通信"传输，更强调的是：共享时空，实时互动。除了客户端实时超分，主体分割与传输、场景化降噪、范围语音、万人状态实时同步…… 即构正不断打磨极致音画质，助力客户搭建无限玩法 / 场景，共建实时互动的世界。