Presentamos Gemma 3 270M: el modelo compacto para una IA hipereficiente

Los últimos meses han sido un momento emocionante para la familia de modelos abiertos Gemma. Presentamos Gemma 3 y Gemma 3 QAT, que ofrecen un rendimiento de vanguardia para aceleradores únicos de nube y escritorio. Luego, anunciamos el lanzamiento completo de Gemma 3n, una arquitectura móvil que lleva inteligencia artificial multimodal potente y en tiempo real directamente a los dispositivos perimetrales. Nuestro objetivo fue proporcionar herramientas útiles para que los desarrolladores compilen con IA, y seguimos sorprendidos por el vibrante Gemmaverse que estás ayudando a crear, celebrando juntos que las descargas superaron los 200 millones la semana pasada.

Hoy estamos agregando al kit de herramientas de Gemma 3 una nueva herramienta altamente especializada: Gemma 3 270M, un modelo compacto de 270 millones de parámetros diseñado desde cero para el ajuste preciso de tareas específicas con sólidas capacidades de seguimiento de instrucciones y estructuración de textos ya entrenadas.

Funciones principales de Gemma 3 270M

• Arquitectura compacta y capaz: Nuestro nuevo modelo tiene un total de 270 millones de parámetros (170 millones de parámetros incrustados gracias al gran tamaño del vocabulario y 100 millones por nuestros bloques de transformadores). Gracias al amplio vocabulario de 256,000 tokens, el modelo puede manejar tokens específicos y raros, lo que lo convierte en un modelo base sólido para ajustarse aún más en dominios e idiomas específicos.

• Eficiencia energética extrema: Una ventaja clave de Gemma 3 270M es su bajo consumo de energía. Las pruebas internas en un SoC Pixel 9 Pro muestran que el modelo cuantificado INT4 utilizó solamente el 0.75% de la batería para 25 conversaciones, lo que lo convierte en nuestro modelo Gemma más eficiente en el consumo de energía.

• Instrucciones siguientes: Se publica un modelo ajustado a las instrucciones junto con un punto de control entrenado previamente. Si bien este modelo no está diseñado para casos de uso conversacional complejos, es un modelo sólido que sigue las instrucciones generales desde el primer momento.

• Cuantificación lista para la producción: Los puntos de control capacitados para la cuantificación (QAT) están disponibles, lo que te permite ejecutar los modelos con precisión INT4 con una degradación mínima del rendimiento, lo cual es esencial para la implementación en dispositivos con recursos limitados.

La herramienta adecuada para realizar el trabajo

En ingeniería, el éxito se define por la eficiencia, no solo por la potencia bruta. No usarías un mazo para colgar un cuadro de fotos. El mismo principio se aplica a la compilación con IA.

Gemma 3 270M representa la filosofía de "herramienta adecuada para el trabajo". Es un modelo fundacional de alta calidad que sigue las instrucciones desde el primer momento, y su verdadero poder se aprovecha a través del ajuste detallado. Una vez especializado, puede ejecutar tareas como la clasificación de texto y la extracción de datos con notable precisión, velocidad y rentabilidad. Al comenzar con un modelo compacto y capaz, puedes compilar sistemas de producción ágiles y rápidos cuya operación es considerablemente más barata.

Un plano del mundo real para alanzar el éxito

El poder de este enfoque ya dio resultados increíbles en el mundo real. Un ejemplo perfecto es el trabajo realizado por Adaptive ML con SK Telecom. Ante el desafío de la moderación de contenido multilingüe y matizado, optaron por especializarse. En lugar de utilizar un modelo masivo de uso general, Adaptive ML ajustó un modelo Gemma 3 4B. Los resultados fueron impresionantes: el modelo especializado de Gemma no solo cumplió, sino que superó el rendimiento de modelos patentados mucho más grandes en su tarea específica.

Gemma 3 270M está diseñado para permitir a los desarrolladores llevar este enfoque aún más lejos y aprovechar una eficiencia aún mayor para tareas bien definidas. Es el punto de partida perfecto para crear una flota de modelos pequeños y especializados, cada uno experto en su propia tarea.

Pero este poder de especialización no es solo para tareas empresariales; también permite potentes aplicaciones creativas. Por ejemplo, echa un vistazo a esta aplicación web de Bedtime Story Generator:

Cuándo elegir Gemma 3 270M

Gemma 3 270M hereda la arquitectura avanzada y el fuerte entrenamiento previo de la colección Gemma 3, lo que proporciona una base sólida para tus aplicaciones personalizadas.

Cuándo es la opción perfecta:

• Tienes una tarea de gran volumen y bien definida. Ideal para funciones como el análisis de opinión, la extracción de entidades, el enrutamiento de consultas, el procesamiento de texto no estructurado a estructurado, la escritura creativa y las verificaciones de cumplimiento.

• Debes hacer que cada milisegundo y cada microcentavo cuenten. Reduce drásticamente, o elimina, tus costos de inferencia en la producción y brinda respuestas más rápidas a tus usuarios. Un modelo de 270 millones ajustado puede funcionar en una infraestructura liviana y económica, o directamente en el dispositivo.

• Necesitas iterar e implementar rápidamente. El tamaño pequeño de Gemma 3 270M permite realizar experimentos de ajuste rápido, lo que te ayuda a encontrar la configuración perfecta para tu caso de uso en horas, no en días.

• Debes garantizar la privacidad del usuario. Debido a que el modelo puede ejecutarse completamente en el dispositivo, puedes crear aplicaciones que manejen información confidencial sin tener que enviar datos a la nube.

• Quieres una flota de modelos de tareas especializados. Crea e implementa múltiples modelos personalizados, cada uno entrenado por expertos para una tarea diferente, sin sobrepasar tu presupuesto.

Comienza con el ajuste

Queremos que convertir Gemma 3 270M en tu propia solución personalizada sea lo más fácil posible. Se basa en la misma arquitectura que el resto de los modelos Gemma 3, con instrucciones y herramientas para que comiences a usarlo rápidamente. Puedes encontrar nuestra guía sobre el ajuste completo con Gemma 3 270M como parte de los documentos de Gemma.

• Descarga el modelo: Consigue los modelos Gemma 3 270M en Hugging Face , Ollama, Kaggle, LM Studio o Docker. Estamos lanzando modelos preentrenados y ajustados a la instrucción.

• Prueba el modelo: Prueba los modelos en Vertex AI o con herramientas de inferencia populares, como llama.cpp Gemma.cpp, LiteRT, Keras y MLX.

• Comienza a ajustar: Usa tus herramientas favoritas, incluidas Hugging Face, UnSloth y JAX.

• Implementa tu solución: Una vez ajustado, puedes implementar tu modelo especializado en cualquier lugar, desde tu propio entorno local hasta Google Cloud Run.

El Gemmaverse se basa en la idea de que la innovación viene en todos los tamaños. Con Gemma 3 270M, estamos permitiendo a los desarrolladores crear soluciones de IA más inteligentes, rápidas y eficientes. No podemos esperar a ver los modelos especializados que crearás.