从视频合成到配乐剪辑，全由AI操刀完成：首部AI科幻电影《创世纪》预告片震撼登场
来源：机器之心
作者：杜伟、泽文
最近两天，一则时长不到一分钟的科幻电影预告片《Trailer: Genesis》（《创世纪》）在社交媒体上火了起来。
跳转观看
是不是很科幻呢？更「科幻」的是，从图像视频合成、音乐到剪辑，所有一切都是由 AI 完成的 。
制作者 Nicolas Neubert 列出了对应的 AI 工具，其中 Midjourney 处理图像、Runway 处理视频、Pixabay 处理音乐、CapCut 剪辑视频 。
Midjourney 是大家熟悉的 AI 绘图神器，目前已经更新到了 5.2 版本。Runway 是基于 AI 的视频制作生成工具，目前 Gen-2 已经开启免费试用。CapCut 剪辑工具对所有人免费，不过也可以选择在 Adobe Premier 或 Final Cut Pro 中剪辑。
推特 @iamneubert
据了解，Neubert 花了 7 个小时，Midjourney 生成了 316 条提示、放大了 128 张图像，Runway 生成了 310 个视频，还有一个带有文本的视频，预告片中共使用了 44 个视频。
今天，Neubert 更是撰写了一篇长文，详细介绍了《创世纪》的制作过程，包含了具体流程、如何使用上述 AI 工具。我们一一来看。
关于电影想法，他表示自己反乌托邦主题的想法来自自己看过的几部电影，并以它们为基础编写了一个故事。
正式制作的第一步是构建世界和故事 。
对于预告片《创世纪》的故事情节，Neubert 想一步步地增强紧张感。因此定义了以下 3 个阶段：
- 设置场景
- 引入威胁
- CTA 中的高潮
具体地讲，Neubert 先制作预告片的第一个文案草稿，包括「分享一切、承担后果然后呼吁人类采取行动」。
这样定义了整体基调后，他开始围绕这些主题生成相应的场景。Neubert 滚动了大量有关环境、军事科技、战斗主题的人类和科幻剪辑，然后从中收集到一个故事。
同时为了增加一些深度，他添加了三个带有发光护身符的孩子的镜头，暗示了更深层次的故事情节。
第二步是在 Midjourney 中生成连续的图像 。
这里要特别注意提示（prompt）。Neubert 对自己在以往帖子中获得的稳定提示进行了优化，创建了一个模板，这样在预告片的每个镜头中都能重复使用它。模板如下：
___________，星球大战、风格为精细的人群场景、朴实的自然主义、青色和黄色、寒霜朋克、室内场景、cinestill 50d—ar 21:9— 原始风格
对于每个场景，他都会用自己想要的场景来填补空白，确保其他 tokens 最大限度地保持主题、颜色和照明的连贯性。
此外利用强变化（Strong Variations）功能，使得更容易创建不同的场景，同时保留之前的调色板。女战士的场景可以转变为普通公民、网络黑客或战斗的场景，无需生成新的提示。
第三步是在 Runway 中生成动画图像 。
Neubert 发现这一步是最简单的。在设置上，他总是尝试激活放大（Upscaled）模式。不过该模式常常遇到面部问题，所以针对人物镜头，他通常使用标准质量。
值得注意的是，他没有使用文字提示与图像提示相结合的方式，而是拖放一张图像并重新生成它，直到得到自己满意的结果。
最后一步是在 CapCut 后期剪辑 。
在 Midjourney 和 Runway 生成输出的同时，Neubert 首先放置自己知道将发挥重要作用的关键场景。就预告片而言，他认为外景镜头将成为开场。
接着开始计划文本。当根据音乐来定位文本时，时间轴中没有任何剪辑，这是有可能的。他在不到一个小时的时间里就按照时间线编好了内容并定了位。这对生成图像很有帮助，你需要一个额外的固定点来考虑仍然缺少了哪些场景。
具体的步骤变得很简单，生成剪辑→ 将它们拉入 CapCut → 放置在时间轴上，然后慢慢拼凑故事。他还对 2 到 3 个编辑包进行了颜色匹配，让它们看起来更像宏大的电影场景。
使用 CapCut 唯一需要的技巧是对剪辑进行节拍的同步。当音乐中出现「BWAAA」时，他总是尝试连接剪辑内的动作或者排列后面的剪辑。这会令整个序列更有身临其境的感觉。
此外 Neubert 还考虑了如何在剪辑中加入大量的动作 。这里他使用了两个技巧来增加动作。
第一个技巧：Runway 会接收一张图像，然后根据模型计算哪些部分应该进行动画处理。他对这个思路进行了逆向工程，尝试在 Midjourney 中输出暗示运动的图像。这意味着可以在镜头中加入运动模糊或者可以捕捉移动头部或人物的静止图像。
第二个技巧：当你分析 Runway 视频时会发现在 4 秒剪辑中，场景经常发生很大的变化。因此在预告片场景中，他只使用了完整的 4 秒剪辑两次。所有其他剪辑的长度均为 0.5-2 秒，并将剪辑的速度提高了 1.5- 3 倍。这样做的原因是，作为观看者，你只能看到时间很短的剪辑，因而会在场景中感知到更多运动，本质上是快进了该部分。
一番操作下来，最终呈现出给大家的就是开头的那个震撼的《创世纪》预告片。该预告片也得到盛赞，有人表示，这是自己至今为止看过的最好的 Runway 生成视频。
其实，在 Runway Gen-2 可以免费试用后，不少网友大开脑洞，将它与 Midjourney 结合起来，大胆创作。
Midjourney+Runway：神奇的 AI 创作工具组合
这里与大家分享一些其他的生成用例。
Runway 对与人物动作细节的把握也是较为准确的。在网友申城的视频中可以看到，人物眼睛的细节让动态视频更加传神，也可以说了平添了几分「演技」。
来源：https://twitter.com/OrctonAI/status/1682420932818661378
图片动起来之后，人与马在夜色中的动作十分自然，对于人物，甚至后续动作的想象空间也有了更大留白。
来源：https://twitter.com/OrctonAI/status/1682420932818661378
Midjourney 与 Runway 的组合看起来很是无敌，在人物关键动作上能刻画出适当的故事感。
推特：@ai_insight1
还有一些变化更加丰富，也更具创意的生成结果。
推特 @kkuldar
推特：@Akashi30eth
也有网友利用一系列 AI 工具生成视频短片，可是结果似乎不尽人意。
推特用户 @nickfloats 使用 ChatGPT 撰写脚本、Midjourney 生成图像、Runway 生成视频、Triniti 生成音乐、Eleven Labs AI 配音，剪辑就将其简单的拼接在一起，不做其他调整。
ChatGPT 撰写的脚本
网友记录了自己制作的全过程，想看看全程使用 AI 制作广告短片需要多久。
这名网友对这个短片成果的评价是 「The ad sucks」。这广告中，人物的动作僵硬，画面的逻辑关系不强，整体也很难凸显出想要表达的主题。AI 的通力合作似乎并没有出现惊喜，反而是「惊吓」更多一些。
与《创世纪》相比，这个广告短片时长是它的一半，但是用时极少。其中最大的差异就是人类参与的细节。它没有仔细斟酌后的主题、追求连贯的不断调整以及对细节的高要求。
如果只让 AI 来参与，或是只根据 AI 的生成来产出作品，显然还不能够由高质量的成果。人类对它们的应用和调整似乎才能体现这些工具的真正价值。