最高增强至 1440p，阿里云发布端侧实时超分工具，低成本实现高画质

近日，阿里云机器学习 PAI 团队发布一键端侧超分工具，可实现在设备和网络带宽不变的情况下，将移动端视频分辨率提升 1 倍，最高可增强至 1440p，将大幅提升终端用户的观看体验，该技术目前已在优酷、夸克、UC 浏览器等多个 App 中广泛应用。

观看上图不难发现，左侧画面和右侧画面的清晰度有极大差别。事实上，两侧画面的视频播放源完全相同，区别在于右侧画面使用了特殊的"一键超分"工具，从而实现清晰度从 540p 到 1080p 的华丽转身。

超分，即"超分辨率"，是指通过深度学习方式将低分辨率图片或视频的清晰度提高，获得更高分辨率，进而达到更好的观看体验和识别准确率。通过特殊的卷积神经网络（CNN）对已知的高分辨率资源进行学习，即可实现对任意低分辨率图像和视频资源进行超分处理的模型。

在移动互联网普及并成为主流的今天，用户对"上网冲浪"的体验愈加关注，更快速、更高清也成为 App 开发者们不懈的追求。在"更高清"这个方向，纯软件化的优化方案 -- 端侧超分进入开发者的视野：通过在手机、平板电脑等移动设备上运行超分算法，弥补设备硬件、网络带宽、原始素材等客观条件限制，进而获得高画质的图像和视频。但是，受制于端侧算力、设备兼容等问题，端侧超分方案规模化落地并不像想象中简单。

阿里云机器学习 PAI 团队近日发布搭载 PAI-AISR 模型的一键端侧超分工具，通过对模型进行量化剪枝等加速优化、以及对端侧多设备（CPU / GPU / NPU）进行异构计算和内存 I / O 优化等，具备以下优势：

超高画质体验：在移动端可将视频分辨率增强至最高 1440p，同时进行锯齿和底噪抑制、色彩增强等提升，极大改善观看体验。体积小，易适配：PAI-AISR 算法最低只需要 50KB，不占空间；功耗低至每小时 50-100ma。低延迟，高帧率：低至 20ms 以内的处理延迟，以及高达 30 fps 的帧率，适用于直播、短视频、视频通话、实时监控等各种场景。多平台多机型兼容：支持跨平台使用，在 iOS 系统和安卓系统环境下均无缝连接，甚至在 IoT 设备（如摄像头、电视机、视频会议设备等）均可平稳支持。数据格式兼容：支持所有主流图片和视频格式。

对移动 App 开发者来说，PAI 端侧一键超分工具主要具备以下两点价值。首先，使用端侧超分可以减少数据下发过程中 CDN 的消耗，实现降本提效。其次，当客户端网络不稳定或者带宽受限（例如处于 3G 状态下，或者处于地铁、电梯等信号不稳定的环境中），导致视频播放卡顿时，端侧超分技术可以让终端用户的浏览体验更顺滑。同时由于整个推理过程在端侧进行，避免了云端推理成本高、时延长等问题的出现。

目前，PAI 一键端侧超分方案已经在优酷、夸克、UC 浏览器等多个移动应用成功落地，在不断提升终端用户体验的同时，带来应用研发效率的提升。