今年 AI 论文 8 大领域突破：AI 赛博朋克手臂、编程神器 GitHub Copilot、特斯拉的自动驾驶等

自动驾驶、图像生成、2D 转 3D……

2021 年，哪些 AI 论文最火？又是哪些论文最具突破性？

最近一位 ÉTS 研究生、YouTube 博主总结了今年 AI 最新突破列表，视频、文章和代码一应俱全。

我们从中梳理出八大类，就跟大家一起来康康。

视频博主看过来

从中梳理最多的，当属一些利好视频博主的技术了。

比如，这个 TimeLens，它可以制作慢动作视频，最大范围可从原有的 30 帧扩展成 900 帧。

再比如，这个编辑神器 VGPNN-- 单个视频几秒内多样化生成。

像删除或添加某人、改变背景、时间拉长、改变长宽比、分辨率等功能在它面前，都是基本操作。

还有像在不影响背景或其他对象情况下，移动图像中的对象；使用 AI 分离真实世界中的声音，语音、音乐和音效之类……

具体在画质处理上，今年英特尔就用英伟达显卡做了画质增强补丁。今年 6 月，这个 Demo 在全网火了一把。

为了在 GTA 上效果更真实，研究人员改变了视频中 3 点特征：增加汽车的光泽、改善植被的整体外观、让沥青路面看起来更光滑。

对此，有网友表示，这比路径追踪便宜多了。

如果说肆掠的疫情让视频会议火了一把，那么视频会议软件让背景替换技术搬到了台前。

谷歌研究员就提出了一种重新光照的方法 Total Relighting，来给人像做背景替换。

它能根据新添加的场景光线，重新点亮任何肖像，以此看起来更加真实。

这一方法还可进一步延伸至电影、专业视频制作中，up 主可以用起来。

此外，除了背景替换，还有文字替换，风格还保留的那种。

今年，Facebook 提出了一种 AI 模型，它可以直接翻译或编辑图像中的文本，并且遵照同样的风格。

类似这样～

DALL・E 领衔的图像生成

图像生成领域，最具突破性的当属 DALL・E--OpenAI 在新年推出的"AI 设计师"，吴恩达点赞的那种。

简单来说就是，提出你的文本需求，它来生成图像。从原理上看，类似于 GPT-3 在文本合成图像方向上的扩展版。

比如输入"OpenAI 公司门面"，它就能给出十几张设计图供你选择。

还有像根据手绘草图来生成图像、使用随机微分方程进行图像合成和编辑等进展。

2D 图像生成 3D 模型

这是除图像生成外，另一个 2021 AI 领域热度极高的研究方向。

试想一下，如果只在现实生活中拍摄一张对象照片，就可创建 3D 格式将其插入视频或者游戏中，会有多酷。

谷歌研究院提出的 ShaRF 就可以做到，比如随意拍的一个椅子。

英伟达也提出了类似的解决方案 GANverse3D，只需一张图像，就可创建可自定义的 3D 动画。

还有前段时间火爆外网的假 3D 场景，也是通过一组照片渲染出来的。

以及 LASR 模型 -- 从短视频中单拎出一个对象来，创建人类或动物的 3D 模型…… 类似的方法还有很多。

万物皆可与 Transformer 结合

你是否想过把 CNN 与 Transformer 结合起来？

2021 年，"跨界输出"在 AI 领域掀起潮流。

基于 CNN 效率和 Transformer 的表达能力，德国海德堡大学的研究人员提出一种高分辨率图像生成的方法 --Tl;DR。

还不只是 CNN 和 Transformer。

斯坦福和 Facebook 的研究人员提出 GANsformers-- 基于 StyleGAN2 架构中 Transformer 的注意力机制，来生成场景图片。

应用层：试衣间、天气预报

除此之外，还有原有模型基础上应用层面的延伸。

就如谷歌提出了基于 StyleGAN2 架构的改进版，创建了一个 AI 在线试衣间。

只需要提供一张你的图像，就能自动试穿任何衣服。

还有像巴塞罗那大学的研究人员开发了一种基于深度学习，能从航拍图像中自动检测漂浮的垃圾，并计算数量。

为此，他们还制作了一个 App，用户可在海面图像中识别这些垃圾。

还有 Apple 提出应用在相册的 ML 算法，在 iOS 15 上自动识别私人照片中的人；DeepMind 提出了一个使用雷达深度生成模型，来更准确的预报天气。

AI 驱动的赛博朋克手臂

明尼苏达大学的研究人员打造了一款赛博朋克手臂 --AI 驱动的神经接口。

据介绍，截肢者可以像寻常人一样灵巧的控制手臂。

编程神器：GitHub Copilot

对于开发者而言，今年最具突破性的进展莫过于编程神器 --GitHub Copilot，由 GitHub 与 openAI 联合开发。

只需描述出你想要执行的命令，就能生成相应的代码。

甚至程序员只要写下一段注释，Github Copilot 就可以补全剩下的代码、提出改进的建议，为程序员省去大量查找的时间。

特斯拉的自动驾驶

值得一提的是，这次还有特斯拉的自动驾驶入选。

在特斯拉的 AI day 上，人工智能总监 Andrej Karpathy 展示了特斯拉如何通过 8 个摄像头来获取图像到道路导航的过程。

这当中包括压缩数据、二维转变为三维输出等操作。

除此之外，还有像面对第三次人工智能浪潮，研究人员对 AI 中快与慢思考；AI 伪造类似"探探"个人档案，来探讨人类会不会向右滑动；Transformer 是如何在 CV 领域取代 CNN 的。