Google AI Edge Gallery: Kini dengan Audio dan di Google Play

Di Google I/O, kami mempratinjau Gemma 3n dengan input teks dan gambar serta meluncurkan aplikasi Google AI Edge Gallery di Github. Google AI Edge Gallery adalah tempat bermain interaktif berbasis open source yang dirancang untuk menginspirasi dan mendukung developer dengan memberikan contoh praktis, metrik performa yang transparan, dan link langsung ke dokumentasi yang Anda perlukan untuk mulai membangun pengalaman yang didukung oleh model AI di perangkat. Responsnya sangat luar biasa, dengan 0,5 juta download APK dalam 2 bulan, menunjukkan antusiasme komunitas terhadap AI generatif yang kuat dan pribadi di perangkat.

Hari ini, kami sangat senang dapat mengambil dua langkah besar ke depan: menambahkan dukungan audio sebagai modalitas baru ke dalam stack Google AI Edge dan menghadirkan Google AI Edge Gallery ke Google Play Store.

Kemampuan Audio Baru dengan Gemma 3n

Selain teks dan visi, stack Google AI Edge kini mendukung audio. Model pertama kami dengan kemampuan ini adalah Gemma 3n, yang bisa diakses melalui MediaPipe LLM Inference API untuk Android dan untuk Web. Pemahaman audio membuka fitur baru yang kuat di perangkat, termasuk:

• Speech-to-Text Berkualitas Tinggi: Mentranskripsikan audio ke teks dari berbagai bahasa yang diucapkan.

• Ucapan-ke-Teks-Terjemahan: Menerjemahkan audio yang diucapkan menjadi teks dalam bahasa lain.

Dalam rilis awal ini, MediaPipe LLM Inference API mendukung inferensi batch audio untuk klip hingga 30 detik. Dukungan audio streaming adalah prioritas berikutnya dalam roadmap kami.

Cobalah sendiri di Google AI Edge Gallery

Agar Anda dapat merasakan modalitas baru ini secara langsung, kami telah menambahkan kemampuan “Audio Scribe” baru ke Google AI Edge Gallery. Dengan Audio Scribe, Anda bisa mengupload klip audio atau menggunakan mikrofon perangkat Anda untuk merekam audio, dan melihat Gemma 3n mentranskripsikannya secara langsung di ponsel, tanpa perlu koneksi internet.

Google AI Edge Gallery di Play Store

Agar demonstrasi yang luar biasa ini lebih mudah diakses, Google AI Edge Gallery kini tersedia dalam versi Open Beta di Google Play Store. Kode akan terus tersedia secara open source di Github, memberikan Anda yang terbaik dari kedua dunia: cara termudah menikmati demo melalui Play Store, dan kode sumber lengkap yang dapat dijelajahi di GitHub.

Apa Berikutnya

Ini hanyalah permulaan. Tujuan kami adalah menjadikan Google AI Edge Gallery sebagai etalase yang paling inspiratif dan bermanfaat untuk AI di perangkat. Dalam beberapa bulan mendatang, kami berencana untuk:

• Menghadirkan aplikasi ke pengguna iOS.

• Menunjukkan lebih banyak contoh menggunakan Google AI Edge Generative AI Tasks seperti Retrieval Augmented Generation (RAG) dan panggilan fungsi di perangkat.

• Melakukan migrasi aplikasi dari MediaPipe LLM Inference API ke LiteRT-LM, runtime LLM baru kami yang sepenuhnya open source, untuk memberikan fleksibilitas dan transparansi yang lebih besar kepada developer.

• Bekerja sama dengan komunitas untuk mengonversi, mengoptimalkan, dan memublikasikan lebih banyak model open source ke komunitas Hugging Face LiteRT dan mengintegrasikannya ke dalam aplikasi.

Download aplikasinya dari Play Store atau lihat project open source-nya di Github. Kami tak sabar ingin segera melihat kreasi Anda!

Ucapan terima kasih (dalam urutan abjad)

^{Alice Zheng, Chunlei Niu, Cormac Brick, Deepak Nagaraj Halliyavar, Fengwu Yao, Grant Jensen, Ho Ko, Ireneu Pla, Ivan Grishchenko, Jae Yoo, Jae Yoo, Jianing Wei, Jing Jin, Joe Zou, Juhyun Lee, Karthik Raveendran, Kris Wright, Lin Chen, Lu Wang, Marissa Ikonomidis, Mark Sherwood, Matsvei Zhdanovich, Matthias Grundmann, Na Li, Ram Iyengar, Raman Sarokin, Rishika Sinha, Ronghui Zhu, Sachin Kotwani, Sebastian Schmidt, Suleman Shahid, Terry (Woncheol) Heo, Vladimir Kirilyuk, Wai Hon Law, Weiyi Wang, Yasir Modak, Yite Lu, Youchuan Hu, Yu-hui Chen, Zi Yuan}