今天,我们将在 Gemini API 中发布付费预览版 Veo 3.1 和 Veo 3.1 Fast。经过更新后的该模型获得了一些改进,并能在从图像生成视频时提供更好的输出结果。这些新模型可通过 Google AI Studio 和 Vertex AI 中的 Gemini API 使用。Veo 3.1 也可在 Gemini 应用和 Flow 中使用。
Veo 3.1 和 Veo 3.1 Fast 经过重大升级,现可使开发者创建更具吸引力的内容。这些模型现在可以生成更丰富的原生音频(从自然的对话到同步的音效),并通过提高对电影风格的理解来提供更好的叙事控制。增强的图像转视频功能可确保更精准遵守提示要求,同时提供卓越的音频和视觉质量,并在多个场景中维持角色的一致性。
Link to Youtube Video (visible only when JS is disabled)
除了模型更新之外,我们还将引入新的模型功能,包括使用参考图像来指导视频生成、扩展现有的 Veo 视频以及生成第一帧和最后一帧之间的过渡。
您现在可以通过提供 1 个角色、对象或场景的最多 3 个参考图像来指导生成过程。这有助于在多个镜头之间保持角色的一致性,或将特定风格应用于视频。
Link to Youtube Video (visible only when JS is disabled)
from google import genai
from google.genai import types
client = genai.Client()
operation = client.models.generate_videos(
model="veo-3.1-generate-preview",
prompt=prompt,
config=types.GenerateVideosConfig(
reference_images=[reference_image1, reference_image2],
),
)
请参阅文档,了解更多信息。
您的故事不再受原始生成视频的限制。借助场景扩展,您可以生成衔接上一个视频的新片段,从而创建更长的视频,这种视频甚至能持续一分钟以上。每个新视频都是根据上一个片段的最后一秒生成的。这能保持视觉画面的连续性,使该功能成为用背景音频扩展镜头的理想选择。
Link to Youtube Video (visible only when JS is disabled)
from google import genai
client = genai.Client()
operation = client.models.generate_videos(
model="veo-3.1-generate-preview",
prompt=prompt,
video=video_to_extend
)
请参阅文档,了解更多信息。
创建连接两张不同图像的流畅、自然的场景。通过提供开头和结尾图像,您可以指导 Veo 3.1 生成二者之间伴有音频的过渡画面。
Link to Youtube Video (visible only when JS is disabled)
from google import genai
from google.genai import types
client = genai.Client()
operation = client.models.generate_videos(
model="veo-3.1-generate-preview",
prompt=prompt,
image=first_frame,
config=types.GenerateVideosConfig(
last_frame=last_frame,
),
)
请参阅文档,了解更多信息。
Veo 3.1 的用途
生成式 AI 电影工作室 Promise Studios 在其 MUSE 平台中使用 Veo 3.1 来增强生成式故事板和可视化预览,以实现由导演掌控过程、达到专业制作级别的叙事。
Latitude 正在其生成式叙事引擎中尝试使用 Veo 3.1,即时将用户创建的故事变为现实。
Veo 3.1 和这些新功能现处于付费预览阶段,可通过 Gemini API 使用。
Veo 3.1 的价格与 Veo 3 相同。我们非常期待看到您利用这些新功能构建的成果!