전 세계 누구나 이해할 수 있도록 – Gemma 2를 사용한 다국어 AI 발전과 150,000달러가 걸린 챌린지

Google은 AI가 다양한 세상에서 커뮤니케이션 격차를 해소할 수 있다고 믿습니다. 7,000여 개 언어와 셀 수 없이 많은 문화적 뉘앙스를 감안할 때, AI를 통해 전 세계적인 이해를 증진시킬 수 있는 잠재력은 엄청납니다. 인간 언어의 풍부함을 반영한 AI를 개발하고자 커뮤니티의 역량 강화에 중점을 두고 이 목표를 향한 발걸음을 여러분과 함께하게 되어 기쁩니다.

이를 위해 택한 한 가지 방법은 Gemini 모델을 만드는 데 사용된 것과 동일한 연구와 기술로 개발된 경량의 최첨단 개방형 모델 제품군인 Gemma를 사용하는 것입니다. 출시된 지 8개월도 지나지 않았음에도 Gemma를 중심으로 Gemmaverse라 일컫는 활기찬 커뮤니티가 등장했고 믿기 힘들 정도로 놀라운 도구 생태계와 수만 가지의 미세 조정된 모델 변이를 만들었습니다.

강력하고 접근하기 쉬운 다국어 모델 소개

그 추진력을 바탕으로, 오늘 도쿄의 Gemma Developer Day 행사에서 매개변수가 20억 개에 이르고 일본어에 맞춰 미세 조정된 새로운 Gemma 2 변이 모델을 공개했습니다. 교육 자료와 더불어 전 세계 개발자를 위한 실용적인 예제와 학습 리소스로서 이 모델을 출시합니다. 저희의 목표는 커뮤니티가 자신의 언어와 문화에 대한 깊은 이해를 바탕으로 Gemma를 각 언어에 맞게 조정할 수 있도록 지원하는 것입니다.

초기 평가에 따르면 이 모델은 얼마 전까지 프런티어 모델로 여겨졌던 GPT 3.5에 필적하는 일본어 작업 수행 능력을 갖추었으면서도 모바일 기기에서 효율적으로 실행할 수 있을 만큼 가볍습니다. 이 모델은 우수한 영어 실력의 손상 없이도 향상된 일본어 실력을 보여주며, 커뮤니케이션 격차를 해소하고 전 세계 다양한 커뮤니티에 서비스 제공이 가능한 매우 균형 잡힌 다국어 모델을 만들 수 있는 잠재력을 잘 보여줍니다.

오늘부터 Kaggle 또는 Hugging Face에서 Gemma 2의 모델 가중치를 다운로드할 수 있습니다.

활발한 커뮤니티 기반의 개발

Gemmaverse는 저희가 기울인 노력 이상으로 빠르게 확장되고 있으며, 개발자들은 광범위한 언어에 맞게 모델을 조정하고 지역별 과제를 해결하는 데 있어 괄목할 만한 성과를 달성하고 있습니다. 특히 Navarasa와 같은 프로젝트가 인상적이었습니다. 이 프로젝트는 인도 개발자들이 12가지 인도어에 대해 Gemma를 미세 조정하여 전 세계적인 언어적 요구에 맞게 모델을 조정할 수 있는 커뮤니티의 능력을 잘 보여준 사례입니다.

또한 전 세계적으로 더 많은 언어를 지원하기 위한 여러 고무적인 노력도 목격하고 있습니다. 개발자들은 이미 아랍어, 베트남어, 줄루어 및 기타 여러 언어에 대해 미세 조정된 Gemma 모델을 공개해 커뮤니케이션 격차를 해소하고 글로벌 커뮤니티에 힘을 실어줄 수 있는 이 기술의 잠재력을 입증했습니다. 한국의 한 개발자가 제주도 방언 번역기를 개발한 사례에서 볼 수 있듯이 멸종 위기에 처한 방언 보존과 같이 지역의 고유한 문제를 해결하는 커뮤니티는 특히 깊은 감동을 주었습니다.

협업을 통한 글로벌 커뮤니케이션 능력 발휘

이러한 커뮤니티 중심의 이니셔티브는 진정한 글로벌 AI를 개발하는 데 있어 현지 전문가 역량 강화의 중요성을 강조합니다. 이러한 공동의 노력을 더욱 든든히 뒷받침하기 위해, 저희는 Kaggle에서 15만 달러의 상금을 걸고 Unlocking Global Communication with Gemma(Gemma를 통한 글로벌 커뮤니케이션 능력 발휘) 대회를 개최합니다. 이 대회에서는 전 세계 개발자들이 자신의 언어에 맞게 Gemma 2를 미세 조정하고 재현 가능한 노트북을 통해 지식을 공유하여 언어 유창성, 문학적 전통, 역사 기록 등의 응용 분야를 탐구합니다.

운동 참여

Kaggle에 가입하여 개발자 여러분의 지식을 공유하고 세계 어디에서든 AI가 언어 장벽을 초월하고 모든 사람에게 힘을 실어주는 미래를 건설하는 데 동참해 주세요. 우리 함께 언어 AI의 잠재력을 최대한 활용하고 더 긴밀히 연결되고 서로를 더 잘 이해하는 세상을 만들어 나갑시다.