Incorporación de texto de vanguardia a través de la API de Gemini

MAR 07, 2025
Logan Kilpatrick Senior Product Manager Gemini API and Google AI Studio
Zach Gleicher Product Manager Google DeepMind
Parashar Shah Product Manger Google Cloud

[Imagen creada por Google con la generación de imágenes nativa de Gemini 2.0 Flash]


Actualmente, estamos trabajando en un nuevo modelo de incorporación de texto experimental de Gemini (gemini-embedding-exp-03-07),1 disponible en la API de Gemini.

Entrenado dentro del modelo Gemini en sí, este modelo de incorporación heredó la comprensión de lenguaje y contexto con matices de Gemini, lo que lo hace aplicable a una amplia gama de usos. Además, supera a nuestro modelo anterior de vanguardia (text-embedding-004), alcanzó el primer puesto en el ranking multilenguaje Massive Text Embedding Benchmark (MTEB) e incluye nuevas funciones, como mayor capacidad para tokens de entrada.


Nuestro modelo de incorporación de texto más capaz hasta la fecha

Entrenamos el modelo para que sea notablemente versátil, y ofrezca un rendimiento excepcional en diversos dominios, incluyendo finanzas, ciencia, legal, búsqueda y mucho más. Además, como funciona de manera efectiva desde el primer uso, no es necesario hacer muchos ajustes para tareas específicas.

El ranking MTEB (multilenguaje) califica los modelos de incorporación de texto en diversas tareas, como recuperación y clasificación, a fin de proporcionar un punto de referencia integral para la comparación de modelos. Nuestro modelo de incorporación de Gemini logró una puntuación media (por tarea) de 68.32, un margen de +5.81 por encima del modelo que le sigue.

MTEB Leaderboard text model performance ranking
Nuestro nuevo modelo de incorporación de texto de Gemini (gemini-embedding-exp-03-07) obtuvo puntuaciones altas en el ranking MTEB (multilenguaje) (haz clic con el botón derecho para abrir la imagen en una nueva pestaña).

¿Por qué incorporación?

Desde la creación de sistemas inteligentes de generación aumentada de recuperación (RAG) y recomendación hasta la clasificación de textos, la capacidad de los LLM para comprender el significado del texto es vital. A menudo, la incorporación es fundamental para construir sistemas más eficientes y reducir los costos y la latencia, y también suele proporcionar mejores resultados que los sistemas de coincidencia de palabras clave. Las incorporaciones capturan el significado semántico y el contexto a través de representaciones numéricas de datos. Los datos con un significado semántico similar tienen incorporaciones más afines. Estas son algunas de las aplicaciones de las incorporaciones:

  • Recuperación eficiente: Encuentra documentos relevantes dentro de grandes bases de datos, como una recuperación de documentos legales o búsqueda empresarial, comparando las incorporaciones de búsquedas y documentos.

  • Generación aumentada de recuperación (RAG): Mejora la calidad y relevancia del texto generado a través de la recuperación y la incorporación de información contextualmente relevante en el contexto de un modelo.

  • Agrupación y categorización: Agrupa textos similares para identificar tendencias y temas dentro de tus datos.

  • Clasificación: Categoriza automáticamente el texto en función de su contenido, por ejemplo, para análisis de opiniones o detección de spam.

  • Similitud de texto: Identifica contenido duplicado, lo que permite realizar tareas como la deduplicación de páginas web o la detección de plagio.

Puedes obtener más información sobre la incorporación y otros casos de uso de la IA en los documentos de la API de Gemini.


Comienza a usar la incorporación con Gemini

Los desarrolladores ya pueden acceder a nuestro nuevo modelo de incorporación experimental de Gemini a través de la API de Gemini. Es compatible con el extremo embed_content.

desde Google importa genai
 
client = genai.Client(api_key="GEMINI_API_KEY")
 
result = client.models.embed_content(
        model="gemini-embedding-exp-03-07",
        contents="¿Cómo funciona alphafold?",
)
 
print(result.embeddings)

Además de mejoras de calidad en todas las dimensiones, la incorporación en Gemini también incluye lo siguiente:

  • Límite de entrada de 8,000 tokens: Mejoramos la capacidad de contexto de modelos previos para permitirte incorporar grandes cantidades de texto, código y otros datos.

  • Resultados de 3,000 dimensiones: Ofrecemos incorporaciones de varias dimensiones, con casi el cuádruple de tokens en comparación con los modelos de incorporación anteriores.

  • Aprendizaje de representación Matryoshka (MRL): MRL te permite truncar las 3,000 dimensiones originales para reducir la escala y respetar tu costo de almacenamiento esperado.

  • Compatibilidad con más lenguajes: Duplicamos la cantidad de lenguajes compatibles a más de 100.

  • Modelo unificado: Este modelo supera en calidad a nuestros modelos anteriores de tareas específicas multilenguaje, exclusivos en inglés, y específicos para código.


Aunque actualmente se encuentra en fase experimental y tiene capacidad limitada, este lanzamiento te da la oportunidad de explorar las funciones de incorporación de Gemini. Al igual que en todos los modelos experimentales, está sujeto a cambios, y estamos trabajando para agregar una versión estable y disponible a nivel público en los próximos meses. Nos encantaría recibir tus comentarios en el formulario de comentarios sobre incorporación.



1 En Vertex AI, el mismo modelo se ofrece a travésdel extremo“text-embedding-large-exp-03-07”. Para su disponibilidad general, se mantendrá el nombre.