Menor tamaño, mayor seguridad, más transparencia: desarrollo de IA responsable con Gemma

JUL 31, 2024
Neel Nanda Research Engineer
Tom Lieberum Research Engineer
Ludovic Peran Product Manager
Kathleen Kenealy Research Engineer

En junio, lanzamos Gemma 2, nuestros nuevos modelos abiertos mejores de su clase, en tamaños de parámetros de 27.000 millones (27B) y 9000 millones (9B). Desde su debut, el modelo 27B se convirtió rápidamente en uno de los modelos abiertos mejor clasificados en la tabla de LMSYS Chatbot Arena, en la que incluso supera a los modelos populares de más del doble de su tamaño en cuanto a conversaciones reales.

Pero Gemma no solo tiene un excelente rendimiento. Se basa en una IA responsable y da prioridad a la seguridad y accesibilidad. Para respaldar este compromiso, nos complace anunciar tres nuevas incorporaciones a la familia de Gemma 2:

  1. Gemma 2 2B: una nueva versión de nuestro popular modelo de 2.000 millones (2B) de parámetros, con avances de seguridad incorporados y un excelente equilibrio entre rendimiento y eficiencia.

2. ShieldGemma: un paquete de modelos de clasificadores de contenido de seguridad, basados en Gemma 2, para filtrar las entradas y salidas de los modelos de IA, y mantener la seguridad del usuario.

3. Gemma Scope: una nueva herramienta de interpretación de modelos que ofrece estadísticas incomparables del funcionamiento interno de nuestros modelos.

Con estas incorporaciones, los investigadores y desarrolladores ahora pueden crear experiencias más seguras para los clientes, obtener información sin precedentes sobre nuestros modelos e implementar con confianza una poderosa IA de manera responsable, directamente en el dispositivo, lo que permite aprovechar nuevas posibilidades de innovación.


Gemma 2 2B: disfruta del rendimiento de nueva generación, ahora en el dispositivo

Nos complace presentar el modelo Gemma 2 2B, una incorporación muy esperada a la familia de Gemma 2. Este modelo ligero produce resultados descomunales, ya que aprende de modelos más grandes a través de la destilación. De hecho, Gemma 2 2B supera a todos los modelos de GPT-3.5 en Chatbot Arena, lo que demuestra sus habilidades excepcionales de IA conversacional.

Graph - LYMSYS Chatbot Arena leaderboard scores
Puntuaciones de la tabla de clasificación de LMSYS Chatbot Arena capturadas el 30 de julio de 2024. Puntuación de Gemma 2 2B: +/-10.

Gemma 2 2B tiene las siguientes características:

  • Rendimiento excepcional: ofrece el mejor rendimiento de su clase para su tamaño, por lo que supera a otros modelos abiertos de su categoría.

  • Implementación flexible y de bajo costo: ejecuta Gemma 2 2B de manera eficiente en una amplia variedad de hardware, desde dispositivos perimetrales y laptops hasta implementaciones sólidas en la nube con Vertex AI y Google Kubernetes Engine (GKE). Para mejorar aun más su velocidad, el modelo se optimizó con la biblioteca NVIDIA TensorRT-LLM y está disponible como NVIDIA Nim. Esta optimización se creó para varias implementaciones, como los centros de datos, la nube, las estaciones de trabajo locales, PCs y dispositivos perimetrales, y utiliza las GPU NVIDIA RTX y NVIDIA GeForce RTX o los módulos NVIDIA Jetson para la IA perimetral. Además, Gemma 2 2B se integra perfectamente con Keras, JAX, Hugging Face, NVIDIA NeMo, Ollama y Gemma.cpp, y pronto también con MediaPipe para lograr un desarrollo optimizado.

Desde hoy, puedes descargar los pesos del modelo Gemma 2 desde Kaggle, Hugging Face y Vertex AI Model Garden. También puedes probar sus capacidades en Google AI Studio.


ShieldGemma: protección de los usuarios con clasificadores de seguridad de última generación

Implementar modelos abiertos de manera responsable para garantizar resultados de IA atractivos, seguros e inclusivos requiere un esfuerzo importante de los desarrolladores e investigadores. Para ayudarlos en este proceso, presentamos ShieldGemma, una serie de clasificadores de seguridad de última generación diseñados para detectar y mitigar el contenido dañino en las entradas y salidas de los modelos de IA. ShieldGemma se diseñó específicamente para cuatro áreas de daño claves:

  • Discurso de odio

  • Acoso

  • Contenido sexual explícito

  • Contenido peligroso

Generative AI application model architecture

Estos clasificadores abiertos complementan nuestro paquete actual de clasificadores de seguridad del conjunto de herramientas de IA responsable, que incluye una metodología para crear clasificadores adaptados a una política específica con un número limitado de puntos de datos, además de los clasificadores actuales de Google Cloud disponibles a través de la API.


Aquí te mostramos cómo ShieldGemma puede ayudarte a crear aplicaciones de IA más eficientes y seguras:

  • Rendimiento de última generación: creado sobre la base de Gemma 2, ShieldGemma es el clasificador de seguridad líder en la industria.

  • Tamaños flexibles: ShieldGemma ofrece varios tamaños de modelos para satisfacer diversas necesidades. El modelo 2B es ideal para tareas de clasificación en línea, mientras que las versiones 9B y 27B proporcionan un mayor rendimiento para aplicaciones sin conexión, en las que la latencia es menos preocupante. Todos los tamaños aprovechan las optimizaciones de velocidad de NVIDIA para lograr un rendimiento eficiente en todo tipo de hardware.

  • Abierto y colaborativo: la naturaleza abierta de ShieldGemma fomenta la transparencia y la colaboración dentro de la comunidad de IA, lo que contribuye al futuro de los estándares de seguridad de la industria del aprendizaje automático.


“A medida que la IA continúe madurando, toda la industria tendrá que invertir en el desarrollo de evaluadores de seguridad de alto rendimiento. Nos complace que Google haga esta inversión y esperamos que continúe participando en nuestro Grupo de trabajo de seguridad de IA”. ~ Rebecca Weiss, directora ejecutiva, ML Commons
Evaluation results based on Optimal F1(left)/AU-PRC(right), higher is better.
Resultados de la evaluación basados en Optimal F1 (izquierda)/AU-PRC (derecha); los valores más altos indican los mejores resultados. Para el cálculo de las probabilidades, usamos 𝛼=0 y T = 1. ShieldGemma (SG) Prompt y SG Response son nuestros conjuntos de datos de prueba y OpenAI Mod/ToxicChat son puntos de referencia externos. La fuente de los resultados del rendimiento de los modelos de referencia en conjuntos de datos externos es Ghosh et al. (2024); Inan et al. (2023).

Para obtener más información sobre ShieldGemma, consulta los resultados completos en el informe técnico y comienza a crear apps de IA más seguras con nuestro conjunto integral de herramientas de IA generativa responsable.


Gemma Scope: toma de decisiones de IA más eficaz gracias a los codificadores automáticos abiertos y dispersos

Gemma Scope ofrece a los investigadores y desarrolladores una transparencia sin precedentes en los procesos de toma de decisiones de nuestros modelos Gemma 2. Gemma Scope, que funciona como un poderoso microscopio, utiliza codificadores automáticos dispersos (SAE) para acercar puntos específicos dentro del modelo y hacer que su funcionamiento interno sea más interpretable.

Estos SAE son redes neuronales especializadas que nos ayudan a desempaquetar la información densa y compleja que procesa Gemma 2, y expandirla a una forma que es más fácil de analizar y comprender. Al estudiar estas vistas ampliadas, los investigadores pueden obtener insights valiosos sobre cómo Gemma 2 identifica patrones, procesa información y, en última instancia, hace predicciones. Con Gemma Scope, nuestro objetivo es ayudar a la comunidad de investigación de IA a descubrir cómo creamos sistemas de IA más comprensibles, responsables y confiables.

Estas son las razones por las que Gemma Scope es una herramienta pionera:

  • Demostraciones interactivas: explora las funciones de los SAE y analiza el comportamiento del modelo sin escribir código en Neuronpedia.

Obtén más información sobre Gemma Scope en el blog de Google DeepMind, el informe técnico y la documentación para desarrolladores.


Un futuro basado en la IA responsable

Estos lanzamientos representan nuestro compromiso continuo de proporcionar a la comunidad de IA las herramientas y los recursos necesarios para construir un futuro en el que la IA beneficie a todas las personas. Creemos que el acceso abierto, la transparencia y la colaboración son esenciales para desarrollar una IA segura y beneficiosa.


Comienza hoy:

  • Prueba Gemma Scope en Neuronpedia y descubre el funcionamiento interno de Gemma 2.

¡Acompáñanos en este emocionante viaje hacia un futuro con una IA más responsable y beneficiosa!