Presentamos PaliGemma 2: modelos de lenguaje-visión poderosos, ajuste simple

Crear una IA personalizada y avanzada que pueda “ver” solía implicar un esfuerzo complejo que requería muchos recursos. La historia cambió. En mayo pasado, lanzamos PaliGemma, el primer modelo de lenguaje-visión de la familia Gemma, con el que dimos un paso importante para hacer que la IA visual líder en su clase sea más accesible. Hoy, nos complace presentar PaliGemma 2, la próxima evolución en modelos de lenguaje-visión sintonizables.

PaliGemma 2 se basa en los modelos Gemma 2 de alto rendimiento, pero suma el poder de la visión y hace que sea más fácil que nunca realizar ajustes para obtener un rendimiento excepcional. Con PaliGemma 2, estos modelos pueden ver, comprender e interactuar con la información visual, lo que abre un mundo de nuevas posibilidades.

¿Qué novedades incluye PaliGemma 2?

• Rendimiento escalable: optimiza el rendimiento de cualquier tarea con los diferentes tamaños (parámetros 3B, 10B, 28B) y resoluciones (224px, 448px, 896px) de los modelos de PaliGemma 2.

• Subtítulos largos: PaliGemma 2 genera subtítulos detallados y contextualmente relevantes para las imágenes, que no son solo una simple identificación de objetos, sino que describen acciones, emociones y la historia general de la escena.

• Expansión a nuevos horizontes: nuestra investigación demuestra un rendimiento líder en el reconocimiento de fórmulas químicas y partituras musicales, el razonamiento espacial y la generación de informes de radiografías de tórax, como se detalla en el informe técnico.

Quienes utilizan actualmente PaliGemma verán que actualizar a PaliGemma 2 es muy fácil. La nueva familia de modelos se diseñó como un reemplazo directo que ofrece una variedad de tamaños de modelos con ganancias de rendimiento inmediatas en la mayoría de las tareas sin modificaciones importantes en el código. Además, su flexibilidad hace que el ajuste para tareas y conjuntos de datos específicos sea sencillo, lo que permite adaptar sus capacidades a tus necesidades precisas.

Obtén más información sobre cómo funciona PaliGemma 2, incluso cuándo usar más parámetros y resoluciones más grandes, en nuestro informe técnico.

Aprovechamiento del éxito de PaliGemma

Desde su lanzamiento, la familia Gemma se convirtió rápidamente en un ecosistema vibrante, el Gemmaverse, que incluye decenas de miles de modelos y aplicaciones. Este rápido crecimiento es un testimonio del ingenio de la comunidad. Las primeras innovaciones que utilizan PaliGemma, como los avances de ColPali en la recuperación visual de documentos, las técnicas de ajuste de RoboFlow y el progreso en el seguimiento de objetos en tiempo real, demuestran el potencial de expansión de Gemmaverse.

Comienza hoy

¿Todo listo para explorar el potencial de PaliGemma 2? Aquí te mostramos cómo hacerlo:

• Descarga modelos y código: encuentra modelos preentrenados y código en Hugging Face y Kaggle.

• Aprende e integra: explora nuestra documentación completa y nuestros cuadernos de ejemplo para integrar rápidamente estas potentes herramientas en tus proyectos. En el caso de PaliGemma, comienza con nuestro cuaderno de inferencias y, luego, intenta ajustarlo con un conjunto de datos personalizado.

• Usa tu marco de trabajo preferido: aprovecha tus herramientas y marcos de trabajo preferidos, incluidos Hugging Face Transformers, Keras, PyTorch, JAX y Gemma.cpp.

Tenemos muchas ganas de ver lo que creas con PaliGemma 2. Únete a la vibrante comunidad de Gemma, comparte tus proyectos en el Gemmaverse y continuemos explorando juntos el potencial ilimitado de la IA. Tus comentarios y contribuciones son invaluables para dar forma al futuro de estos modelos e impulsar la innovación en el campo.