Hacia una comprensión global: avances de la IA multilingüe con Gemma 2 y un desafío por USD 150,000

En Google, creemos que la IA puede cerrar las brechas de comunicación en nuestro mundo diverso. Con más de 7,000 idiomas e innumerables matices culturales, el potencial para fomentar la comprensión global a través de la IA es inmenso. Nos entusiasma compartir los pasos hacia este objetivo, para el cual nos centramos en ayudar a las comunidades a fin de que creen una IA que refleje la riqueza de los idiomas humanos.

Una forma de hacerlo es a través de Gemma, nuestra familia de modelos de código abierto, ligeros y de última generación, construidos a partir de la misma investigación y tecnología utilizadas para crear los modelos de Gemini. Desde su lanzamiento, hace menos de ocho meses, surgió en torno a Gemma una comunidad vibrante, a la que llamamos Gemmaverse, y se generó un increíble ecosistema de herramientas y decenas de miles de variantes de modelos ajustados.

Presentamos un modelo multilingüe poderoso y accesible

Aprovechando ese impulso, hoy en el Gemma Developer Day en Tokio, presentamos una nueva variante de Gemma 2 de 2,000 millones de parámetros ajustada para japonés. Lanzamos este modelo, junto con materiales de capacitación, para ofrecer ejemplos prácticos y recursos de aprendizaje para desarrolladores de todo el mundo. Nuestro objetivo es capacitar a las comunidades para que adapten Gemma a sus propios idiomas, utilizando su profundo conocimiento de sus idiomas y culturas.

Las evaluaciones iniciales muestran que el modelo realiza tareas en japonés comparables a GPT 3.5, que se consideraba un modelo de frontera no hace mucho tiempo, sin dejar de ser lo suficientemente ligero como para funcionar de manera eficaz en dispositivos móviles. El modelo logra este dominio mejorado del japonés sin sacrificar sus excelentes capacidades en el idioma inglés, lo que destaca el potencial para crear modelos multilingües verdaderamente equilibrados que puedan cerrar las brechas de comunicación y servir a diversas comunidades en todo el mundo.

A partir de hoy, puedes descargar los pesos del modelo Gemma 2 desde Kaggle o Hugging Face.

Crear en una comunidad pujante

Independientemente de nuestros propios esfuerzos, el Gemmaverse se está expandiendo rápidamente, con desarrolladores que logran resultados notables en la adaptación del modelo para una amplia gama de idiomas y abordan desafíos específicos de cada región. Nos inspiramos especialmente en proyectos como Navarasa, en el que los desarrolladores indios ajustaron Gemma para 12 idiomas índicos, lo que demuestra la capacidad de la comunidad para adaptar el modelo a las necesidades lingüísticas globales.

También estamos observando esfuerzos inspiradores para admitir más idiomas en todo el mundo. Los desarrolladores ya publicaron modelos de Gemma ajustados para idiomas como el árabe, el vietnamita, el zulú y muchos otros, lo que demuestra el potencial de esta tecnología para cerrar las brechas de comunicación y empoderar a las comunidades globales. Es particularmente inspirador ver a la comunidad abordar desafíos únicos de regiones específicas, como la preservación de dialectos en peligro de extinción, como lo demostró un desarrollador en Corea que creó un traductor para el dialecto de la isla de Jeju.

Desbloquear la comunicación global a través de la colaboración

Estas iniciativas impulsadas por la comunidad resaltan la importancia de empoderar a los expertos locales para crear una IA verdaderamente global. Para apoyar aún más este esfuerzo de colaboración, lanzamos la competencia Desbloquear la comunicación global con Gemma, que ofrece USD 150,000 en premios en Kaggle. Este concurso invita a los desarrolladores de todo el mundo a ajustar Gemma 2 para sus idiomas y compartir sus conocimientos a través de blocs de notas reproducibles, y la exploración de aplicaciones como la fluidez lingüística, las tradiciones literarias, los textos históricos y más.

Únete al movimiento

Acompáñanos en Kaggle, comparte tus conocimientos y ayúdanos a crear un futuro en el que la IA trascienda las barreras de los idiomas y empodere a todas las personas, independientemente de sus ubicaciones. Juntos, desbloqueemos todo el potencial de la IA de idiomas y creemos un mundo más conectado y comprensivo.