谷歌宣布开发 Lumiere，一款基于 AI 的下一代文本到视频生成器

Lumiere 生成的示例结果，包括文本到视频生成（第一行）、图像到视频（第二行）、样式引用生成和视频修复（第三行;边界框指示修复蒙版区域）

谷歌研究院的一组人工智能研究人员开发了一种名为Lumiere的下一代基于人工智能的文本到视频生成器。该小组发表了一篇论文，描述了他们在arXiv预印本服务器上的工作。

在过去的几年里，人工智能应用已经从研究实验室转移到了整个用户社区——例如，ChatGPT 等 LLM 已经与浏览器集成，允许用户以前所未有的方式生成文本。

最近，文本到图像生成器允许用户创建超现实的图像。文本到视频生成器允许用户仅使用几个单词即可生成短视频剪辑。在这项新的努力中，谷歌的团队宣布了一款名为 Lumiere 的文本到视频生成器，将最后一个类别提升到了新的高度。

Lumiere，可能是以开创早期摄影设备的Lumiere兄弟命名的，允许用户输入一个简单的句子，比如“两只浣熊在一起读书”，然后返回一个完整的视频，显示两只浣熊在一起读书，而且它的分辨率高得惊人。新的生成器通过创建更好看的结果，代表了文本到视频生成器发展的下一步。

谷歌将新发电机背后的技术描述为“开创性的时空U-Net架构”。它被设计成在一个单一的模型中生成动画视频。

演示视频显示，谷歌增加了额外的功能，比如允许用户通过突出显示视频的一部分并输入指令来编辑现有视频，比如“将衣服颜色改为红色”。生成器还生成不同类型的结果，例如样式化，其中创建主题的样式，而不是全彩色表示。它还允许子样式，例如不同的样式引用。它也有cinemagrapics，用户可以突出显示静止图像的部分或全部，并将其动画化。