Stable Diffusion 入侵短视频，导演玩得太 6，小扎都来请她

咋，我不就接个电话，怎么手机秒秒钟变了八百个样？！

就在你眼前，苹果手机直接变成了复古电脑。要说这种魔法，特效根本学不来。

最近，这样一则短视频在社交平台上爆火，揭秘视频 20 + 万观看，5400 + 点赞。

视频里的这位是一名华人导演。所谓的魔法，正是使用了如今爆火的 Stable Diffusion。

这已经不是她第一次用 AI 整花活了。比如街头时装秀。

还参与策划了世界首张由 AI 设计的杂志封面，20 秒内即搞定。

如何入侵短视频？

只需简单几步，Stable Diffusion 就可以入侵短视频。

首先，你得预设情节制作视频，以本次为例，除了手机之外全靠自身演技。

接着就来看 Stable Diffusion 是如何"偷梁换柱"的。

据这次技术负责表示，最难的就是保证其视频的连续性。在没有补帧的情况下，每一帧都是由插值嵌入和可变去噪强度产生的。

这时候，就需要制定一个合适的「提示词、seed 以及去噪强度」组合，以挑选合适的 AI 图片，第一张和最后一张确定好，去噪强度范围在 0 到 0.8。

随后用 Huggingface 定制的扩散器管线进行转换。不过这过程中还需要一些小技巧调整修复蒙版来让他们之间的转换更加自然。

华人导演用 AI 整花活

在 Karen X.Cheng 的个人简介上，就很直白的写着：导演，分享她的 AI 创意实验。

而这位华人导演呢，前期仅靠一部手机拍摄，后期就交给各种 AI，来实现各种刁钻的拍摄角度和大成本的特效。

就比如说下面这个类似无人机拍摄的场景。

全程没有用到无人机，她让一位小哥帮忙拿手机沿着无人机的部分关键路径进行拍摄，后期则处理全权交由 NeRF。

而 AI 处理的过程也不是很复杂，黑色框是 NeRF 渲染所必需的关键帧，红色则为最后生成视频的路径。

此外，她还用 DAIN 插值模型，通过在图片之间插入平滑帧，做出了一些酷（sha）炫（diao）的视频。

甚至有时想犯犯中二病了，AI 也会努力打配合。

靠 AI 制作小成本特效视频也成功带火了这位华人导演，目前她在 ins 上的粉丝数已达 120 多万。

最近，Karen X 还受扎克伯格之邀，主持 MetaConnect 大会，还与小扎隔空击了个掌。

在这之后，Karen X 开始也玩起了 AR 和 VR，前几天她就联合 Meta 创建了一个可大可小的虚拟世界。

看完这位华人导演的经历，你是不是也心痒痒想试一试用 AI 做视频呢？

参考链接：

• [1]https://twitter.com/karenxcheng

• [2]https://www.instagram.com/karenxcheng/

本文来自微信公众号：量子位 （ID：QbitAI），作者：杨净 Pine