Google AI Edge Gallery: agora com áudio e no Google Play

No Google I/O, fizemos o pré-lançamento do Gemma 3n com entradas de texto e imagem e lançamos o app Google AI Edge Gallery no Github. O Google AI Edge Gallery é nosso playground interativo de código aberto projetado para inspirar e capacitar os desenvolvedores ao fornecer exemplos práticos, métricas de desempenho transparentes e links diretos para a documentação necessária para começar a criar experiências habilitadas por modelos de IA no dispositivo. A resposta foi incrível, com meio milhão de downloads do APK em dois meses, o que demonstra o entusiasmo da comunidade por uma IA generativa poderosa e privada no dispositivo.

Hoje, temos o prazer de anunciar que demos mais dois passos importantes: a adição da modalidade de áudio à pilha do Google AI Edge e a inclusão do Google AI Edge Gallery na Google Play Store.

Novos recursos de áudio com o Gemma 3n

Além de texto e visão, a pilha do Google AI Edge agora tem suporte a áudio. Nosso primeiro modelo com esse recurso é o Gemma 3n, acessível por meio da API MediaPipe LLM Inference para Android e para a Web. A compreensão de áudio desbloqueia novos recursos poderosos no dispositivo, incluindo:

• Conversão de voz em texto de alta qualidade: transcreva áudio para texto a partir de uma variedade de idiomas falados.

• Conversão de voz em texto traduzido: traduza áudios falados em textos em outro idioma.

Nesta versão inicial, a API MediaPipe LLM Inference dá suporte à inferência de áudio em lote para clipes com até 30 segundos. O suporte a streaming de áudio é o próximo passo em nosso roteiro.

Experimente no Google AI Edge Gallery

Para permitir que você experimente essa nova modalidade em primeira mão, adicionamos um novo recurso "Audio Scribe" ao Google AI Edge Gallery. Com ele, você pode fazer upload de um clipe de áudio ou usar o microfone do dispositivo para gravar um áudio e assistir enquanto o Gemma 3n o transcreve diretamente no telefone, sem necessidade de conexão com a Internet.

Google AI Edge Gallery na Play Store

Para tornar essas demonstrações poderosas mais acessíveis do que nunca, o Google AI Edge Gallery agora está disponível na versão Beta aberta na Google Play Store. O código continuará sendo aberto no Github, oferecendo o melhor dos dois mundos: a maneira mais fácil de experimentar as demonstrações por meio da Play Store e o código-fonte completo para explorar no GitHub.

O que vem por aí

Isso é só o começo. Nossa meta é tornar o Google AI Edge Gallery a vitrine mais inspiradora e útil para a IA no dispositivo. Nos próximos meses, planejamos:

• Disponibilizar o app para os usuários do iOS.

• Demonstrar mais exemplos usando tarefas de IA generativa do Google AI Edge, como geração aumentada via recuperação (RAG, na sigla em inglês) e chamadas de função no dispositivo.

• Migrar o app da API MediaPipe LLM Inference para o LiteRT-LM, nosso novo ambiente de execução de LLMs totalmente de código aberto, para dar aos desenvolvedores mais flexibilidade e transparência.

• Trabalhar com a comunidade para converter, otimizar e publicar mais modelos de código aberto para a comunidade do LiteRT no Hugging Face e integrá-los ao app.

Faça o download do app na Play Store ou confira o projeto de código aberto no Github. Mal podemos esperar para ver o que você vai criar!

Agradecimentos (em ordem alfabética)

^{Alice Zheng, Chunlei Niu, Cormac Brick, Deepak Nagaraj Halliyavar, Fengwu Yao, Grant Jensen, Ho Ko, Ireneu Pla, Ivan Grishchenko, Jae Yoo, Jae Yoo, Jianing Wei, Jing Jin, Joe Zou, Juhyun Lee, Karthik Raveendran, Kris Wright, Lin Chen, Lu Wang, Marissa Ikonomidis, Mark Sherwood, Matsvei Zhdanovich, Matthias Grundmann, Na Li, Ram Iyengar, Raman Sarokin, Rishika Sinha, Ronghui Zhu, Sachin Kotwani, Sebastian Schmidt, Suleman Shahid, Terry (Woncheol) Heo, Vladimir Kirilyuk, Wai Hon Law, Weiyi Wang, Yasir Modak, Yite Lu, Youchuan Hu, Yu-hui Chen, Zi Yuan}