Menuju Pemahaman Global – Memajukan AI Multibahasa dengan Gemma 2 dan Tantangan $150.000

OKT 03, 2024
Glenn Cameron Product Marketing Manager AI Developer
Robert Dadashi Research Scientist Google DeepMind

Di Google, kami percaya bahwa AI bisa menjembatani kesenjangan komunikasi di seluruh dunia. Dengan lebih dari 7.000 bahasa dan ragam budaya yang tak terhitung jumlahnya, potensi untuk menumbuhkan pemahaman global melalui AI sangatlah besar. Kami sangat antusias membagikan langkah-langkah menuju sasaran ini, dengan fokus untuk membantu memberdayakan komunitas guna membangun AI yang mencerminkan kekayaan bahasa manusia.

Salah satu cara yang kami lakukan adalah melalui Gemma, rangkaian model terbuka yang ringan dan canggih, serta dibuat dari penelitian dan teknologi yang sama dengan yang digunakan untuk membuat model Gemini. Sejak diluncurkan kurang dari delapan bulan lalu, sebuah komunitas yang dinamis – kami menyebutnya Gemmaverse – bermunculan di sekitar Gemma, menciptakan ekosistem alat yang luar biasa dan puluhan ribu varian model yang telah disempurnakan.


Menghadirkan model multibahasa yang kuat dan mudah diakses

Melanjutkan momentum tersebut, hari ini di Gemma Developer Day di Tokyo, kami meluncurkan varian Gemma 2 dengan 2 miliar parameter yang telah disempurnakan untuk bahasa Jepang. Kami merilis model ini, bersama dengan materi pelatihan, sebagai contoh praktis dan sumber pembelajaran bagi developer di seluruh dunia. Tujuan kami adalah memberdayakan komunitas untuk mengadaptasi Gemma ke dalam bahasa mereka sendiri, dengan menggunakan pemahaman mendalam tentang bahasa dan budaya mereka.

Evaluasi awal menunjukkan bahwa model ini melakukan tugas-tugas bahasa Jepang yang sebanding dengan GPT 3.5, yang dianggap sebagai model terdepan belum lama ini, sekaligus cukup ringan untuk berjalan secara efisien pada perangkat seluler. Model ini mencapai kefasihan berbahasa Jepang yang ditingkatkan tanpa mengorbankan kemampuan berbahasa Inggris yang kuat, sekaligus menyoroti potensi untuk menciptakan model multibahasa yang benar-benar seimbang yang bisa menjembatani kesenjangan komunikasi dan melayani komunitas yang beragam di seluruh dunia.

Gemma 2 2B JPN berjalan offline di ponsel Android melalui MediaPipe LLM Inference API

Mulai hari ini, Anda bisa mendownload bobot model Gemma 2 dari Kaggle atau Hugging Face.


Membangun komunitas yang berkembang

Di luar upaya kami, Gemmaverse berkembang dengan pesat, para developer mencapai hasil yang luar biasa dalam mengadaptasi model ini untuk berbagai bahasa dan mengatasi tantangan-tantangan spesifik secara regional. Kami sangat terinspirasi oleh project seperti Navarasa, di sana developer India menyempurnakan Gemma untuk 12 bahasa Indic, yang menunjukkan kemampuan komunitas dalam mengadaptasi model ini untuk kebutuhan bahasa global.

Link to Youtube Video (visible only when JS is disabled)

Kami juga menyaksikan upaya yang menginspirasi untuk mendukung lebih banyak bahasa di seluruh dunia. Para developer telah memublikasikan model Gemma yang disempurnakan untuk bahasa-bahasa seperti Arab, Vietnam, Zulu, dan banyak bahasa lainnya, yang menunjukkan potensi teknologi ini untuk menjembatani kesenjangan komunikasi dan memberdayakan komunitas global. Sungguh menginspirasi saat melihat komunitas mengatasi tantangan unik di wilayah tertentu, seperti melestarikan dialek yang terancam punah, seperti yang ditunjukkan oleh developer di Korea yang membuat penerjemah untuk dialek Pulau Jeju.


Membuka komunikasi global melalui kolaborasi

Inisiatif yang digerakkan oleh komunitas ini menyoroti pentingnya memberdayakan pakar lokal untuk membangun AI yang benar-benar global. Untuk lebih mendukung upaya kolaboratif ini, kami meluncurkan kompetisi Membuka Komunikasi Global dengan Gemma berhadiah $150.000 di Kaggle. Kompetisi ini mengundang developer di seluruh dunia untuk menyempurnakan Gemma 2 ke dalam bahasa mereka dan membagikan pengetahuannya melalui buku catatan yang dapat direproduksi, mengeksplorasi aplikasi seperti kefasihan bahasa, tradisi sastra, teks sejarah, dan lainnya.


Bergabunglah dengan gerakan ini

Bergabunglah bersama kami di Kaggle, bagikan pengetahuan Anda, dan bantu kami membangun masa depan dengan AI yang melampaui batasan bahasa dan memberdayakan semua orang, di mana pun lokasinya. Bersama-sama, mari kita buka potensi penuh AI bahasa dan menciptakan dunia yang lebih terhubung dan saling memahami.