Nos complace celebrar las increíbles contribuciones de la comunidad en el concurso Desbloquear la comunicación global con Gemma en Kaggle. Los desarrolladores abordaron el desafío fundamental en IA de adaptar modelos de lenguaje grande (LLM) de vanguardia para diversos contextos culturales y lingüísticos.
A menudo, los modelos muestran un sesgo hacia los idiomas de altos recursos debido al lenguaje predominante de sus conjuntos de datos de capacitación y evaluación. Esto puede conducir a una brecha de rendimiento, donde los últimos avances en IA pueden no realizarse en idiomas con menos recursos. Además, estos modelos pueden no solo carecer de comprensión del idioma, sino también de un contexto culturalmente relevante que haría que estos modelos fueran útiles para las comunidades.
Nos impresionaron increíblemente las soluciones creativas de la comunidad para la traducción de idiomas, letras, textos antiguos y más.
A través de cientos de presentaciones, los desarrolladores demostraron cómo llevar el poder transformador de los LLM a los idiomas de todo el mundo. Los proyectos aprovecharon conjuntos de datos personalizados y métodos eficientes posteriores a la capacitación a fin de adaptar Gemma para seguimiento de instrucciones, traducción y dominios específicos. Te animamos a explorar los cuadernos de Kaggle para ver estas técnicas en acción y aplicarlas a tus propios proyectos multilingües.
El primer proyecto adaptó Gemma para la comprensión del swahili, abriendo nuevas posibilidades para llegar a más de 200 millones de hablantes del idioma. Los modelos de Gemma se adaptaron con técnicas de ajuste fino de parámetros eficientes para los tamaños de parámetros 2B, 9B y 27B.
Un aspecto clave del ajuste fue la “notable flexibilidad de Gemma en el formato de instrucción-respuesta”, que permitió a los modelos analizar instrucciones con restricciones estructurales mínimas y generar respuestas coherentes en diferentes formatos de entrada.
Kyara, por sus siglas en inglés Knowledge Yielding Adaptive Retrieval Augmentation, exploró los procesos de recuperación para el ajuste fino de LLM, y demostró cómo mejorar la capacidad de Gemma para generar respuestas informadas en chino tradicional.
El proyecto se centró en la creación de conjuntos de datos de preguntas y & respuestas (Q&A) de alta calidad utilizando un enfoque basado en gráficos para la recuperación de conocimientos, inspirado en cómo los humanos aprenden conectando conceptos.
El proyecto ajustó Gemma para las tareas del idioma árabe, incluida la traducción, el resumen, la narración y la generación de diálogos.
Siendo un idioma con un rico pasado histórico, el proyecto también tenía como objetivo mejorar la comprensión de las formas más antiguas del árabe utilizadas en textos literarios y arte, utilizando múltiples técnicas para unir tareas entre el árabe estándar moderno y el árabe clásico.
Este proyecto se centró en mejorar la comprensión del idioma italiano para Gemma a través de un enfoque rentable posterior al entrenamiento que aborda trampas como las alucinaciones y la interferencia catastrófica.
Los tamaños de los modelos 2B y 9B se ajustaron a una combinación de datos, incluido un nuevo conjunto de datos de ajuste de instrucciones creado utilizando “LLM como juez” para garantizar la calidad de las traducciones.
Este proyecto desarrolló un “Experto en chino antiguo” utilizando Gemma para comprender y generar traducciones de textos chinos antiguos, destacando el potencial de los LLM para la preservación cultural histórica.
El modelo se ajustó a un conjunto de datos integral para mejorar la comprensión lingüística, y las técnicas posteriores al entrenamiento incluyeron técnicas para mejorar el seguimiento de instrucciones.
Este proyecto abordó desafíos matizados específicos de la traducción de letras impulsada por IA, mejorando la sensibilidad de Gemma a las referencias culturales y el lenguaje simbólico, al mismo tiempo que garantizaba la fidelidad rítmica a la canción original.
Un conjunto de datos multilingüe contenía traducciones de letras anotadas para capturar el contexto cultural crucial, el tono emocional y las características rítmicas, lo que permitió al modelo captar y replicar la profundidad artística del contenido lírico.
Este proyecto adaptó Gemma 2 JPN para generar Yomigana/Furigana, una ayuda de lectura para texto en japonés y una ayuda para los estudiantes o lectores del idioma para encontrar kanjis complejos.
Si bien actualmente existen otras herramientas basadas en reglas, los LLM pueden reconocer mejor los kanjis raros e “interpretar el contexto de una oración, lo que permite una desambiguación precisa de los kanjis polifónicos”. El cuaderno también señaló que las capacidades conversacionales se habían degradado debido al entrenamiento en la tarea de traducción singular.
Este proyecto mejora la comprensión matemática y lógica de Gemma en palabras numéricas en hindi, lo que presenta un desafío para que los modelos interpreten formaciones de palabras complejas dadas, por ejemplo, “दो सौ” para “200” o “ढाई” para “2.5”.
El modelo 9B se ajustó a un conjunto de datos seleccionado y verificado por expertos humanos con una amplia gama de tipos de preguntas, usos de desbloqueo para herramientas educativas impulsadas por IA, tutoría automatizada y contenido localizado.
Este proyecto afinó el modelo Gemma 2 9B para las tareas de traducción en kazajo. Como es un idioma escrito en tres alfabetos distintos (cirílico, latín y árabe), la versión cirílica requiere aproximadamente el doble de tokens que el inglés, lo que presenta un desafío para el entrenamiento con recursos limitados.
El rendimiento del modelo mostró mejores comparativas que la variante 27B Gemma y Google Traductor, lo que demuestra cómo adaptar los LLM para idiomas subrepresentados con un enfoque rentable.
Este proyecto permite a Gemma comprender y traducir inglés antiguo, la forma más antigua registrada del idioma inglés. Se creó un conjunto de datos personalizado con pares de idiomas inglés antiguo-inglés moderno para ayudar a abordar el desafío de trabajar con idiomas históricos y datos limitados disponibles públicamente.
El cuaderno también cuenta con un componente de generación de audio adicional, basado en un modelo de texto a voz islandés de código abierto, que ofrece una aproximación de cómo podría haber sonado el idioma.
Con más de 7,000 idiomas hablados en todo el mundo, el potencial de la IA para cerrar las brechas de comunicación es inmenso. La familia de modelos abiertos de Gemma proporciona una base sólida para que los desarrolladores adapten modelos de alto rendimiento a idiomas de bajos recursos.
La innovación y la dedicación demostradas por la comunidad de Kaggle en la adaptación de Gemma 2 para varios idiomas son realmente inspiradoras. Mientras seguimos construyendo un futuro en el que la IA potencia la comunicación global para todos, nos entusiasma la llegada de Gemma 3, que brinda ayuda preentrenada para más de 140 idiomas, lo que la convierte en una excelente base sobre la que construir.
Alentamos a los desarrolladores a explorar las posibilidades de Gemma, a compartir sus conjuntos de datos y modelos con otros, y a seguir avanzando juntos en la IA multilingüe.
T5Gemma: A new collection of encoder-decoder Gemma models
Presentamos Gemma 3n: guía para desarrolladores
Advancing agentic AI development with Firebase Studio
Announcing GenAI Processors: Build powerful and flexible Gemini applications