グローバルな理解に向けて – Gemma 2 と 15 万ドルのチャレンジで多言語 AI を進化させる

10月 03, 2024
Glenn Cameron Product Marketing Manager AI Developer
Robert Dadashi Research Scientist Google DeepMind

Google は、AI によって多様な世界のコミュニケーション ギャップを埋めることができると信じています。世界には、7,000 以上の言語と、細かな違いを持つ数え切れないほどの文化が存在しています。そのような世界にあって、AI はグローバルな理解を促進する計り知れない可能性を秘めています。ここで、この目的に向けたステップ、とりわけ人間の多様な言語を反映した AI を構築するコミュニティのサポートについて共有できることをうれしく思います。

その方法の 1 つが、Gemma です。Gemma は最先端の軽量オープンモデル ファミリーで、Gemini モデルと同じ研究技術で構築されています。リリースされてからまだ 8 か月弱しか経過していませんが、Gemma を中心とした活発なコミュニティ(私たちはこれを Gemmaverse と呼んでいます)が出現し、ツールやさまざまなファイン チューニング済みモデルによるすばらしいエコシステムが生まれています。


強力で使いやすい多言語モデルを導入する

この勢いを受けて本日開催されたのが、Gemma Developer Day in Tokyo です。そしてそこで新たに発表されたのが、日本語向けにファイン チューニングした 20 億パラメータの Gemma 2 バリアントでした。トレーニング素材と併せて、このモデルを世界中のデベロッパー向けの実例および学習リソースとして公開します。私たちは、言語や文化を深く理解したコミュニティが Gemma を自分たちの言語に対応させることをサポートしたいと考えています。

初期評価によると、このモデルはモバイル デバイスで効率的に動作できるほど軽量であるにもかかわらず、その日本語タスクの実行能力は、少し前まで最先端モデルだと考えられていた GPT 3.5 に匹敵します。さらに、確かな英語能力を犠牲にすることなく、日本語能力が強化されています。そのため、真にバランスのとれた多言語モデルによってコミュニケーション ギャップを埋め、世界中の多様なコミュニティにサービスを提供できる可能性が明確に示されています。

Gemma 2 2B JPN running offline on an Android phone via MediaPipe LLM Inference API

Gemma 2 モデルの重みは、本日より、Kaggle または Hugging Face からダウンロードできます。


活発なコミュニティの力を借りる

Gemmaverse は、私たちの取り組みの範囲を超えて急速に拡大しています。デベロッパーは、さまざまな言語にモデルを適応させ、地域ならではの課題に取り組むことを通して、めざましい成果を上げています。とりわけ私たちが刺激を受けたのは、インドのデベロッパーが 12 のインド語派言語向けに Gemma をファイン チューニングした Navarasa のようなプロジェクトです。このプロジェクトは、コミュニティがモデルをグローバルな言語ニーズに適応させることができることを示してくれました。

Link to Youtube Video (visible only when JS is disabled)

さらに、対応言語を増やすという刺激的な取り組みを世界中で目の当たりにしています。デベロッパーの皆さんは、すでにアラビア語ベトナム語ズールー語など、たくさんの言語向けにファイン チューニングした Gemma モデルを公開しています。それにより、この技術がコミュニケーション ギャップを埋め、グローバル コミュニティに力を与える可能性が示されています。消滅の危機にある方言の保存など、特定の地域ならではの課題に取り組むコミュニティを目にするのは特に刺激的です。その実例は、済州島の方言翻訳機能を開発した韓国のデベロッパーです。


コラボレーションを通じてグローバル コミュニケーションを実現する

こういったコミュニティ主導の取り組みからわかるように、真にグローバルな AI を構築するためには、各地のエキスパートができることを増やすことが重要です。このようなコラボレーションをさらに進めるため、Gemma でグローバル コミュニケーションを実現するコンペティションを Kaggle で開催します。この賞金 15 万ドルのコンペティションでは、世界中のデベロッパーが Gemma 2 を自分たちの言語向けにファイン チューニングし、ノートブックで再現可能な形で知識を共有することにより、言語の流暢さ、文学的伝統、歴史的な文章などの応用分野に取り組みます。


ムーブメントに加わろう

ぜひ Kaggle で私たちに合流し、皆さんの知識を共有してください。そして AI によって言語の壁を超え、場所に関係なく、すべての人が輝ける未来作りに協力してください。私たちと一緒に、言語 AI の可能性を最大限に引き出し、確かなつながりと相互理解に根ざした世界を作っていきましょう。