上下文窗口长度为 200 万个令牌的 Gemini 1.5 Pro、代码执行功能和 Gemma 2 现已推出

六月 27, 2024
Logan Kilpatrick Senior Product Manager Gemini API and Google AI Studio
Shrestha Basu Mallick Group Product Manager Gemini API
Ronen Kofman Group Product Manager Gemini API

今天,我们将为开发者提供上下文窗口长度为 200 万个令牌的 Gemini 1.5 Pro、Gemini API 代码执行功能,并在 Google AI Studio 中新增 Gemma 2


长上下文和上下文缓存

在 I/O 大会上,我们宣布了上下文窗口长度为有史以来最长(200 万个令牌)的 Gemini 1.5 Pro 等候推出。今天,我们将面向所有开发者推出上下文窗口长度为 200 万个令牌的 Gemini 1.5 Pro。

随着上下文窗口增加,投入成本也会随之增加。为了帮助开发者降低在多个提示中使用相同令牌的任务的成本,我们在 Gemini API 中同时为 Gemini 1.5 Pro 和 1.5 Flash 推出了上下文缓存功能。


代码执行

LLM 一直难以解决数学或数据推理问题。生成和执行可以对此类问题进行推理的代码有助于提高准确率。为了向开发者解锁这些功能,我们同时为 Gemini 1.5 Pro 和 1.5 Flash 启用了代码执行功能。一旦开启,模型就可以动态利用代码执行功能来生成和运行 Python 代码,并根据结果进行迭代学习,直到获得所需的最终输出。由于执行沙盒未连接到互联网并标配几个数字库,所以开发者只需要为模型使用的输出令牌付费。

这是我们在添加代码执行作为模型功能方面迈出的第一步。此功能于今天正式推出,您可以通过 Gemini API 和 Google AI Studio 中的“高级设置”进行使用。


Google AI Studio 中的 Gemma 2

我们希望所有开发者都能使用 AI,无论您是希望通过 API 密钥集成我们的 Gemini 模型,还是使用我们的开放模型(如 Gemma 2)。为了帮助开发者亲自体验 Gemma 2 模型,我们将在 Google AI Studio 中提供 Gemma 2 模型,以供实验使用。


生产环境中的 Gemini 1.5 Flash

Gemini 1.5 Flash 旨在满足开发者对速度和成本的最高要求。我们还是对开发者如何使用 Gemini 1.5 Flash 进行创新以及如何在生产环境中使用该模型感到兴奋:

  • Envision 让弱视者能够通过应用或智能眼镜更好地了解周围环境,并询问具体问题。利用 Gemini 1.5 Flash 超快的速度,Envision 让用户能够获得周围环境的实时描述,这对于他们的导航体验至关重要。

  • Plural 是一个自动化的政策分析和监控平台,使用 Gemini 1.5 Flash 为非政府组织和对政策感兴趣的公民生成复杂立法文件的摘要并进行相关推理,从而影响法案的通过方式。

  • Dot 是一款旨在与用户一起成长并随着时间的推移变得越来越个性化的 AI 工具,利用 Gemini 1.5 Flash 来完成大量对于其代理的长期记忆系统十分重要的信息压缩任务。对于 Dot,1.5 Flash 与更昂贵的模型类似,可以执行摘要生成、筛选和重新排名等任务,但成本不到后者的十分之一。

根据上个月的公告,我们正在努力为所有开发者提供 Gemini 1.5 Flash 调整功能,以实现新的用例、额外的生产稳健性和更高的可靠性。1.5 Flash 中的文本调整功能现已进入测试阶段,并将从今天开始逐步向开发者提供。所有开发者都可以在 7 月中旬之前通过 Gemini API 和 Google AI Studio 使用 Gemini 1.5 Flash 调整功能。


我们很高兴了解您如何使用这些新功能,您可以访问我们的开发者论坛并加入对话。如果您是企业开发者,请参阅我们如何使 Vertex AI 成为最适合企业使用的 genAI 平台