Ya están disponibles la ventana de contexto de Gemini 1.5 Pro 2M, las capacidades de ejecución de código y Gemma 2

JUN 27, 2024
Logan Kilpatrick Senior Product Manager Gemini API and Google AI Studio
Shrestha Basu Mallick Group Product Manager Gemini API
Ronen Kofman Group Product Manager Gemini API

Hoy, les brindamos a los desarrolladores acceso a la ventana de contexto de 2 millones de tokens para Gemini 1.5 Pro y capacidades de ejecución de código en la API de Gemini, y agregamos Gemma 2 a Google AI Studio.


Contexto extenso y almacenamiento en caché de contexto

En I/O, presentamos la ventana de contexto más extensa de la historia, de 2 millones de tokens, en Gemini 1.5 Pro, detrás de una lista de espera. Hoy, permitimos que todos los desarrolladores accedan a la ventana de contexto de 2 millones de tokens en Gemini 1.5 Pro.

A medida que la ventana de contexto crece, también lo hace el costo potencial de los insumos. Para ayudar a los desarrolladores a reducir los costos relacionados con las tareas que usan los mismos tokens en diferentes solicitudes, lanzamos el almacenamiento en caché de contexto en la API de Gemini, tanto para Gemini 1.5 Pro como para 1.5 Flash.


Ejecución de código

Los LLM siempre han tenido problemas con las matemáticas o el razonamiento de datos. Generar y ejecutar código que pueda razonar frente a tales problemas ayuda a mejorar la precisión. Para ofrecer estas capacidades a los desarrolladores, habilitamos la ejecución de código tanto para Gemini 1.5 Pro como para 1.5 Flash. Una vez activada esta función, el modelo puede aprovecharla dinámicamente para generar y ejecutar código Python, y aprender iterativamente de los resultados hasta llegar a un resultado final deseado. La zona de pruebas de ejecución no está conectada a Internet, viene de serie con algunas bibliotecas numéricas y a los desarrolladores simplemente se les factura en función de los tokens de salida del modelo.

Este es nuestro primer paso adelante en relación con la ejecución de código como capacidad de modelo y está disponible hoy a través de la API de Gemini y en Google AI Studio, en "Configuración avanzada".


Gemma 2 en Google AI Studio

Queremos que la IA sea accesible para todos los desarrolladores, ya sea que estén buscando integrar nuestros modelos de Gemini a través de una clave API o utilizando nuestros modelos abiertos, como Gemma 2. A fin de ayudar a los desarrolladores a poner en práctica el modelo Gemma 2, lo pondremos a disposición en Google AI Studio para que lo experimenten.


Gemini 1.5 Flash en producción

Gemini 1.5 Flash se creó para satisfacer la principal solicitud de velocidad y accesibilidad de los desarrolladores. Nos entusiasma la forma en que los desarrolladores están innovando con Gemini 1.5 Flash y utilizando el modelo en producción:

  • Envision permite a las personas con baja visión comprender mejor su entorno inmediato a través de una app o anteojos inteligentes, y hacer preguntas específicas. Aprovechando la velocidad de Gemini 1.5 Flash, los usuarios de Envision pueden obtener descripciones en tiempo real de su entorno, lo cual es fundamental para su experiencia al recorrer los espacios.

  • Plural, una plataforma automatizada de análisis y supervisión de políticas, utiliza Gemini 1.5 Flash para resumir y analizar documentos legislativos complejos para ONG y ciudadanos interesados en políticas, de modo que puedan tener un impacto en la forma en que se aprueban los proyectos de ley.

  • Dot, una IA diseñada para crecer con un usuario y personalizarse cada vez más con el tiempo, aprovechó Gemini 1.5 Flash para una serie de tareas de compresión de información que son clave para su sistema de memoria a largo plazo. Para Dot, 1.5 Flash funciona de manera similar a los modelos más caros, por menos de una décima parte del costo, en tareas como el resumen, el filtrado y la & reclasificación.

Como anticipamos en nuestro anuncio del mes pasado, estamos trabajando arduamente para que el ajuste de Gemini 1.5 Flash esté disponible para todos los desarrolladores, a fin de permitir nuevos casos de uso, mayor solidez en la producción adicional y más confiabilidad. El ajuste de texto en 1.5 Flash ya está listo para las pruebas de equipo rojo y se implementará gradualmente para los desarrolladores a partir de hoy. Todos los desarrolladores podrán acceder al ajuste de Gemini 1.5 Flash a través de la API de Gemini y en Google AI Studio, a mediados de julio.


Esperamos ver cómo usas estas nuevas funciones. Puedes unirte a la conversación en nuestro foro de desarrolladores. Si eres un desarrollador empresarial, echa un vistazo a cómo estamos convirtiendo a Vertex AI en la plataforma de IA generativa más apropiada para las empresas.