脸书利用使用者所上传的公开影片来训练AI模型

脸书于12日发表了Learning from Videos专案，准备利用使用者上传到脸书的公开影片，来学习人们在现实生活中的声音、文字与视觉呈现，以用来改善各种应用的核心AI系统，而不是只透过资料集来学习，而该专案的首个实际应用则是Instagram Reels的推荐系统。

脸书表示，比起只从小规模的数据集来学习，可从公开影片中学习的AI将更能分析未经整理、现实世界中的各种视野与声音，特别是这些影片可能涉及每一个国家与数百种语言，使得AI系统不仅能改善精确性，还能适应快速变动的世界，以及理解不同文化与地区之间的细微差别。

此外，此一全面且实际的学习，也能协助研究人员摆脱对标签资料的依赖，改善基于AI的产品并创造全新的体验。

迄今脸书已利用自我监督学习框架来理解使用者上传至该平台的影片，并改善其电脑视觉及语音辨识系统，让语音辨识错误减少了20%，现在则直接部署一个相关的AI模型至Instagram Reels的推荐系统。

Instagram Reels是一个类似TikTok的短影片服务，根据脸书的研究，热门的影片通常具备同样的音乐及舞步风格，只是由不同的人所表演或创造，而自我监督模型则可自动学习这些主题，将它们聚集，继之提供给推荐系统。该系统可以根据使用者最近观看的影片来推荐其它影片，还能过滤几近重复的影片，与过去推荐系统最大的不同在于：它并没有替每个分类任务提供清楚的训练标签。

Instagram Reels推荐系统也借助了脸书所开发的通用资料转换（Generalized Data Transformations，GDT）技术，用以学习影片中声音与视觉上的关系，也发现在不同影片中有类似的声音对于推荐相关内容上极有帮助。

脸书对AI系统的野心并不只在于单纯的推荐系统，该公司正在发展AR眼镜，期许此一标榜时尚风格且轻便的眼镜能够理解使用者所看到的情境，Learning from Videos专案的目的是能够理解影片中每个单独存在的声音、文字与画面，也能理解这些元素之间的关联性。脸书指出，该专案在机器对影片的理解上带来典范式的转移，替打造更聪明的AI系统铺路。