解析 Gemma：Gemma 3 的新功能

2025年4月30日

Ju-yeong Ji Sr. Technical Consultant Gen AI – AI Studio

Ravin Kumar Senior Research Engineer Google DeepMind

“解析 Gemma”系列的前几篇文章详细概述了 Gemma 模型系列的架构。您可以在下方找到每篇帖子的链接：

解析 Gemma：Gemma 模型系列架构概述

解析 Gemma：Gemma 2 新功能

解析 Gemma：RecurrentGemma 架构

解析 Gemma：PaliGemma 架构

在本文中，我们将深入探讨最新发布的模型：Gemma 3。让我们开始吧。

Gemma 3

与之前版本相比，Gemma 3 的一项重大变化是新增了对视觉语言能力的支持。熟悉 PaliGemma 架构的人可能会注意到，Gemma 3 中使用了 SigLIP 编码器，不过它已经针对这一特定实现进行了定制调整。

以下是这款新模型的核心参数。

让我们来一起探索 Gemma 3 的关键特色与改进之处。

关键特色

虽然 Gemma 3 的架构继承了其前代模型的部分特性，但它也包含了一些新的改进，具体描述如下。

视觉语言支持

Gemma 3 的一项重大提升是新增了视觉语言理解能力。4B、12B 和 27B 模型采用自定义的 SigLIP 视觉编码器，使模型能够解读视觉输入。

视觉编码器以固定的 896x896 正方形图像为操作对象。为了处理不同宽高比或高分辨率的图像，编码器采用了“Pan&Scan”算法。该算法以自适应的方式裁剪图像，将每个裁剪部分调整为 896x896 的尺寸，然后对其进行编码。尽管这种方法提升了性能，尤其是在需要详细信息的情况下表现更佳，但它也会导致推理过程中计算开销的增加。

此外，Gemma 3 将图像视为由 MultiModalProjector 生成的紧凑“软令牌”序列。这种技术通过使用固定数量的 256 个矢量来表示视觉数据，显著减少了图像处理所需的推理资源。

在进一步讨论之前，您可能会想：“我应该在什么情况下使用 Gemma 3，而不是 PaliGemma 2？”

PaliGemma 2 的优势在于 Gemma 3 所不具备的功能，例如图像分割和目标检测。然而，Gemma 3 集成并扩展了 PaliGemma 的技术，提供多轮对话能力以及强大的零样本性能，可直接处理各种视觉任务。

您的最终决定还应考虑可用的计算资源，以及对长上下文或多语言支持等高级功能的需求，而这些方面正是 Gemma 3 的显著改进之处。

架构改进以提升内存效率

架构经过修改，以减少 KV 缓存的内存用量，因为长上下文往往会增加内存消耗。

5:1 交织注意力机制

更新后的模型架构由重复的交织模块组成，每个模块包含 5 层局部注意力（采用 1024 的滑动窗口）和 1 层全局注意力。这种设计使模型能够同时捕捉短程和远程依赖关系，从而生成更准确且与上下文更相关的响应。

^注意：^{Gemma 1 完全依赖全局注意力机制，而 Gemma 2 则通过在局部注意力和全局注意力层之间交替引入了一种混合方法。Gemma 3 进一步整合了 5 层专用的局部注意力层，从而生成更加精确且符合上下文的响应。}

Gemma 3 local and global attention layers depicted in a table, compared to Gemma 1 and Gemma 2

无软上限

Gemma 2 和 Gemma 3 都采用了分组查询注意力 (GQA)，并结合了 RMSNorm 的后规一化和前规一化。然而，Gemma 3 通过引入 QK 规一化取代了 Gemma 2 的软上限机制，从而在提升准确性的同时实现了更快的处理速度。

更长的上下文

由于上述架构改进，Gemma 3 利用交织注意力机制降低了内存需求，从而支持扩展的上下文长度。这使得模型能够分析更长的文档和对话内容，而不会丢失上下文信息。具体而言，1B 模型可处理 32k 个令牌，而更大规模的模型则能支持高达 128k 个令牌。

^注意：^{128k 令牌的上下文窗口使模型能够处理相当于一部普通长篇小说的文本量（约 80,000 个单词）。该窗口大小大约相当于 96,000 个单词、198 页文字、500 张图像，或者以每秒 1 帧的速度处理超过 8 分钟的视频内容。}

视觉编码器与处理

Gemma 3 仅在处理图像输入时使用双向注意力机制。

普通注意力机制（也称为单向注意力）就像阅读。想象一下阅读一本书，您会根据前面的词语来理解每个词的含义。这就是语言模型中典型注意力机制的工作方式：它按顺序进行，并通过回顾先前的内容来构建上下文。

另一方面，双向注意力机制更像是观察一幅拼图。不妨将图像想象成一副拼图，而“图像令牌”就像是单独的拼图碎片。这意味着每块碎片都会“关注”并与图像中的所有其他碎片建立联系，而不受其位置的限制。这种机制能够同时从整体上把握全貌，而不仅仅依赖顺序处理。鉴于每个部分都与其他所有部分相关联，这种机制能够带来更全面的理解。

那么，为什么不在所有场景都使用双向注意力机制呢？虽然双向注意力能够全面把握上下文的能力听起来更优越，但它并不总是适用于文本处理。这完全取决于具体任务：

理解（双向注意力更优）
对于那些我们拥有完整文本并需要深入理解的任务（例如在 BERT 等模型中），双向注意力表现出色。

预测（单向注意力更优）
当任务是预测下一个词或生成文本时，选择单向（自回归）方法更符合逻辑，因为预测后续内容本质上是一个顺序过程。此外，这种方法通常也更具计算效率。

关键区别在于，双向注意力方法适用于模型无需生成序列的场景。

以下可视化图展示了 Gemma 3 中的注意力机制。

代码：

from transformers.utils.attention_visualizer import AttentionMaskVisualizer
visualizer = AttentionMaskVisualizer("google/gemma-3-4b-it")
visualizer("<start_of_turn>user\n<img>What is this?<end_of_turn>\n<start_of_turn>model\nIt's an image of a cat.<end_of_turn>")

Python

输出：

您还可以从中看出，这种注意力机制与 PaliGemma 的机制有何不同。为了更好地理解这一对比，PaliGemma 的工作方式是接收一张或多张图像以及基于文本的任务描述（即提示或前缀），然后以自回归的方式生成预测结果，输出为一段文本字符串（即答案或后缀）。

代码：

visualizer = AttentionMaskVisualizer("google/paligemma2-3b-mix-224")
visualizer("<img> caption en", suffix="a cat standing on a beach.")

Python

输出

Attention mechanism in PaliGemma : Output

新分词器

由于对数据组合进行了调整，并增加了多语言数据（包括单语和双语平行数据）的数量，Gemma 3 的多语言能力得到了提升。

Gemma 3 还引入了改进的分词器。词汇表规模已调整为 262k，但仍使用相同的 SentencePiece 分词器。为避免错误，请在 Gemma 3 中使用新的分词器。这一分词器与 Gemini 所使用的相同，对非英语语言的支持更加均衡。

Gemma 3 27B

Gemma3ForConditionalGeneration(
  (vision_tower): SiglipVisionModel(
    (vision_model): SiglipVisionTransformer(
      (embeddings): SiglipVisionEmbeddings(
        (patch_embedding): Conv2d(3, 1152, kernel_size=(14, 14), stride=(14, 14), padding=valid)
        (position_embedding): Embedding(4096, 1152)
      )
      (encoder): SiglipEncoder(
        (layers): ModuleList(
          (0-26): 27 x SiglipEncoderLayer(
            (self_attn): SiglipSdpaAttention(
              (k_proj): Linear(in_features=1152, out_features=1152, bias=True)
              (v_proj): Linear(in_features=1152, out_features=1152, bias=True)
              (q_proj): Linear(in_features=1152, out_features=1152, bias=True)
              (out_proj): Linear(in_features=1152, out_features=1152, bias=True)
            )
            (layer_norm1): LayerNorm((1152,), eps=1e-06, elementwise_affine=True)
            (mlp): SiglipMLP(
              (activation_fn): PytorchGELUTanh()
              (fc1): Linear(in_features=1152, out_features=4304, bias=True)
              (fc2): Linear(in_features=4304, out_features=1152, bias=True)
            )
            (layer_norm2): LayerNorm((1152,), eps=1e-06, elementwise_affine=True)
          )
        )
      )
      (post_layernorm): LayerNorm((1152,), eps=1e-06, elementwise_affine=True)
    )
  )
  (multi_modal_projector): Gemma3MultiModalProjector(
    (mm_soft_emb_norm): Gemma3RMSNorm((1152,), eps=1e-06)
    (avg_pool): AvgPool2d(kernel_size=4, stride=4, padding=0)
  )
  (language_model): Gemma3ForCausalLM(
    (model): Gemma3TextModel(
      (embed_tokens): Gemma3TextScaledWordEmbedding(262208, 5376, padding_idx=0)
      (layers): ModuleList(
        (0-61): 62 x Gemma3DecoderLayer(
          (self_attn): Gemma3Attention(
            (q_proj): Linear(in_features=5376, out_features=4096, bias=False)
            (k_proj): Linear(in_features=5376, out_features=2048, bias=False)
            (v_proj): Linear(in_features=5376, out_features=2048, bias=False)
            (o_proj): Linear(in_features=4096, out_features=5376, bias=False)
            (q_norm): Gemma3RMSNorm((128,), eps=1e-06)
            (k_norm): Gemma3RMSNorm((128,), eps=1e-06)
          )
          (mlp): Gemma3MLP(
            (gate_proj): Linear(in_features=5376, out_features=21504, bias=False)
            (up_proj): Linear(in_features=5376, out_features=21504, bias=False)
            (down_proj): Linear(in_features=21504, out_features=5376, bias=False)
            (act_fn): PytorchGELUTanh()
          )
          (input_layernorm): Gemma3RMSNorm((5376,), eps=1e-06)
          (post_attention_layernorm): Gemma3RMSNorm((5376,), eps=1e-06)
          (pre_feedforward_layernorm): Gemma3RMSNorm((5376,), eps=1e-06)
          (post_feedforward_layernorm): Gemma3RMSNorm((5376,), eps=1e-06)
        )
      )
      (norm): Gemma3RMSNorm((5376,), eps=1e-06)
      (rotary_emb): Gemma3RotaryEmbedding()
      (rotary_emb_local): Gemma3RotaryEmbedding()
    )
    (lm_head): Linear(in_features=5376, out_features=262208, bias=False)
  )
)

Python

^注意： ^{严格来说，RoPE（旋转位置嵌入）是嵌套在 SDPA（缩放点积注意力）内部的，但我们在图中对其进行了简化。} ^{如需精确的架构细节，}^{请参阅详细代码。}

Gemma 3 1B

Gemma3ForCausalLM(
  (model): Gemma3TextModel(
    (embed_tokens): Gemma3TextScaledWordEmbedding(262144, 1152, padding_idx=0)
    (layers): ModuleList(
      (0-25): 26 x Gemma3DecoderLayer(
        (self_attn): Gemma3Attention(
          (q_proj): Linear(in_features=1152, out_features=1024, bias=False)
          (k_proj): Linear(in_features=1152, out_features=256, bias=False)
          (v_proj): Linear(in_features=1152, out_features=256, bias=False)
          (o_proj): Linear(in_features=1024, out_features=1152, bias=False)
          (q_norm): Gemma3RMSNorm((256,), eps=1e-06)
          (k_norm): Gemma3RMSNorm((256,), eps=1e-06)
        )
        (mlp): Gemma3MLP(
          (gate_proj): Linear(in_features=1152, out_features=6912, bias=False)
          (up_proj): Linear(in_features=1152, out_features=6912, bias=False)
          (down_proj): Linear(in_features=6912, out_features=1152, bias=False)
          (act_fn): PytorchGELUTanh()
        )
        (input_layernorm): Gemma3RMSNorm((1152,), eps=1e-06)
        (post_attention_layernorm): Gemma3RMSNorm((1152,), eps=1e-06)
        (pre_feedforward_layernorm): Gemma3RMSNorm((1152,), eps=1e-06)
        (post_feedforward_layernorm): Gemma3RMSNorm((1152,), eps=1e-06)
      )
    )
    (norm): Gemma3RMSNorm((1152,), eps=1e-06)
    (rotary_emb): Gemma3RotaryEmbedding()
    (rotary_emb_local): Gemma3RotaryEmbedding()
  )
  (lm_head): Linear(in_features=1152, out_features=262144, bias=False)
)

Python

这款仅支持文本的 1B 模型专为设备端使用进行了优化，使得先进的 AI 技术能够轻松应用于移动设备和嵌入式系统。这一进步极大地提升了无障碍性、隐私保护和性能表现，因为即使在网络连接受限或无网络的情况下，AI 驱动的应用依然能够高效运行。

重要研究结果

我们在技术报告中提供了深入的详细信息，同时，关于 Gemma 3 的主要研究结果简要总结如下：

同尺寸下的卓越性能：
Gemma 3 模型在预训练和指令调优版本的各项基准测试中，均展现出比 Gemma 2 更优越的性能。它是能够适配单块消费级 GPU 或 TPU 主机的最佳模型。截至 2025 年 4 月 12 日，Gemma 27B IT 模型在 LM Arena 排行榜中位列前十，超越了许多规模更大的开源模型，并且其 Elo 评分显著高于 Gemma 2。

KV 缓存内存缩减：
相较于 Gemma 1 中使用的仅全局注意力机制以及 Gemma 2 中 1:1 的局部/全局比例分配，Gemma 3 的架构改进有效降低了在处理长上下文时推理过程中 KV 缓存的内存开销。

高效的长上下文处理：
Gemma 3 模型在预训练期间通过 RoPE 重新缩放后，能够适应以支持长达 128k 的上下文长度。我们将全局自注意力层的 RoPE 基础频率从 10k 提高到 1M，同时保持局部层的频率为 10k。

多语言能力的提升：
Gemma 3 使用了与 Gemini 相同的分词器，该分词器对非英语语言的支持更加均衡。我们还调整了预训练数据的组合以及后训练流程，以进一步增强其多语言处理能力。

视觉编码器分辨率的提升：
更高分辨率的视觉编码器在视觉任务中表现出更优的性能。Pan & Scan 方法进一步提升了编码器在涉及非方形宽高比、高分辨率图像以及图像中文本识别等任务中的表现。

总结

我们深入探讨了 Gemma 3 的架构，重点介绍了其区别于先前版本的新功能。这些架构设计使 Gemma 3 能够在更广泛的任务中表现出更优的性能，包括增强的多语言能力与图像互动功能，同时也为未来更强大且资源效率更高的多模态语言模型铺平了道路，使其更适合标准硬件环境。

我们相信，Gemma 3 的创新将助力研究人员和开发者打造新一代高效且强大的多模态语言模型。

感谢您的阅读！

参考文献

论文

Gemma 3 技术报告

PaliGemma 2：适用于迁移学习的多功能 VLM 系列

语言图像预训练的 Sigmoid 损失

BERT：用于语言理解的深度双向 Transformer 预训练模型

代码示例

使用 Gemma 库通过图像和文本进行提示

Gemma 3 表情包生成器

📋 The complete Gemma architecture series

解析 Gemma：Gemma 模型系列架构概述

解析 Gemma：Gemma 2 新功能

解析 Gemma：RecurrentGemma 架构

解析 Gemma：PaliGemma 架构