Gemma 系列中纳入了更多为开发者和研究人员量身定制的模型

四月 12, 2024

Tris Warkentin Director, Product Management

Jane Fine Senior Product Manager

今年 2 月，我们宣布推出 Gemma，这是我们最先进的轻量级开源模型系列，利用创建 Gemini 模型所用的研究和技术创建而成。社区令人难以置信的反应确实令人鼓舞，包括给人留下深刻印象的微调变体、Kaggle Notebooks、可以集成到工具和服务中、使用 MongoDB 等数据库的 RAG 方案等等。

今天，我们很高兴地宣布推出第一轮为 Gemma 系列新增的内容，从而提高 ML 开发者以负责任方式进行创新的可能性：用于代码补全和生成任务以及指令跟随的 CodeGemma；以及用于研究实验的效率优化架构 RecurrentGemma。此外，我们还会分享我们根据社区和合作伙伴的宝贵反馈对 Gemma 和条款所作的一些改进更新。

前两个 Gemma 变体简介

CodeGemma：面向开发者和企业的代码补全、生成及聊天

以 Gemma 模型为基础，CodeGemma 为社区带来轻量但功能强大的编码功能。CodeGemma 模型有以下三种变体：专门用于代码补全和代码生成任务的 7B 预训练变体，经过指令调整、用于代码聊天和指令跟随的 7B 变体，以及适合在本地计算机上实现快速代码补全的 2B 预训练变体。CodeGemma 模型具有以下优点：

智能代码补全和生成：补全代码行、函数，甚至生成整个代码块 – 无论您是在本地工作还是利用云资源。

更高的准确性：CodeGemma 模型使用 5,000 亿个令牌（主要包含 Web 文档、数学和代码中的英语数据）进行了训练，生成的代码不仅在语法上更正确，而且在语义上更有意义，因此有助于减少错误和调试时间。

多语言熟练程度：Python、JavaScript、Java 和其他热门语言的宝贵编码助手。

简化的工作流：将 CodeGemma 模型集成到您的开发环境中，以编写更少的样板文件并更快地专注于有趣且差异化的代码。

CodeGemma integrated within an existing AI dev project with

此表比较了 CodeGemma 与其他类似模型在单行和多行代码补全任务方面的性能。

在我们的报告中了解有关 CodeGemma 的更多信息，或根据此快速入门指南进行试用。

RecurrentGemma：支持研究人员在更高的批量大小下，以更快的速度进行高效推理

RecurrentGemma 是采用独特技术开发的模型，利用循环神经网络和局部注意力来提高记忆效率。在达到与 Gemma 2B 模型相似的基准分数性能的同时，RecurrentGemma 独特的架构还具有以下优势：

减少内存用量：更低的内存要求有助于在内存有限的设备（如单 GPU 或 CPU）上生成更长的样本。

更高的吞吐量：由于内存用量减少，RecurrentGemma 可以在批量大小显著更高的情况下执行推理，从而大幅提高每秒生成的令牌数（特别是在生成长序列时）。

研究创新：作为非 Transformer 模型的 RecurrentGemma 也可以实现高性能，突出了深度学习研究方面取得的进步。

Graph showing maximum thoughput when sampling from a prompt of 2k tokens on TPUv5e

此图表揭示了如何无论序列长度如何，RecurrentGemma 都能保持其采样速度，而 Gemma 等基于 Transformer 的模型的采样速度会随着序列变长而变慢。

要了解基础技术，请查看我们的论文。如需进行实践探索，请尝试根据记事本中的模型微调方法进行操作。

依托 Gemma 扩展功能

以原始 Gemma 模型遵循的原理为指导，新模型变体具备以下优势：

开放提供：向所有人开放并提供灵活的使用条款，以鼓励创新和协作。

高性能和高效的功能：借助特定于代码的领域专业知识和经过优化的设计，提升开放模型的功能，以实现异常快速的补全和生成。

负责任的设计：我们致力于以 Responsible AI 的方式行事，以确保模型提供安全可靠的结果。

适用于各种软件和硬件的灵活性：

- CodeGemma 和 RecurrentGemma：使用 JAX 构建而来，并且兼容 JAX、PyTorch、Hugging Face Transformer 和 Gemma.cpp。支持在各种硬件上进行本地实验和经济实惠的部署，包括笔记本电脑、台式机、NVIDIA GPU 和 Google Cloud TPU。

- CodeGemma：还兼容 Keras、NVIDIA NeMo、TensorRT-LLM、Optimum-NVIDIA、MediaPipe，并且可以在 Vertex AI 上使用。

- RecurrentGemma：将在未来几周提供对所有上述产品的支持。