No Google I/O de 2023, lançamos o Projeto Gameface, um "mouse" de código aberto para jogos que dispensa o uso das mãos e permite que as pessoas controlem o cursor do computador usando movimentos da cabeça e gestos faciais. As pessoas podem levantar as sobrancelhas para clicar e arrastar ou abrir a boca para mover o cursor, tornando os jogos mais acessíveis.
O projeto foi inspirado na história do streamer de videogames tetraplégico Lance Carr, que convive com a distrofia muscular, uma doença progressiva que enfraquece os músculos. Nós trabalhamos em colaboração com Lance para dar vida ao Projeto Gameface. A história completa por trás do produto está disponível no blog Google Keyword.
Foi com grande satisfação que vimos empresas como a playAbility utilizarem os elementos essenciais do Projeto Gameface, como os MediaPipe Blendshapes, em seus produtos de software inclusivo. Agora, estamos transformando mais códigos em código aberto para o Projeto Gameface a fim de ajudar os desenvolvedores a criar apps Android que tornam todos os dispositivos Android mais acessíveis. Por meio da câmera do dispositivo, as expressões faciais e os movimentos da cabeça são rastreados de forma otimizada e traduzidos em controle intuitivo e personalizado. Os desenvolvedores agora têm a capacidade de criar aplicativos nos quais os usuários podem configurar sua experiência personalizando expressões faciais, alcances de gestos, a velocidade do cursor e muito mais.
Para este lançamento, colaboramos com a Incluzza, uma empresa social da Índia que apoia pessoas portadoras de deficiências, para saber como o Projeto Gameface pode ser expandido para ambientes educacionais, profissionais e outros, por exemplo, para permitir a digitação de mensagens para familiares ou a busca de novos empregos.
Link to Youtube Video (visible only when JS is disabled)
Durante a elaboração do Projeto Gameface para Android, baseamos nosso design e desenvolvimento de produtos em três princípios fundamentais:
2. Criar uma solução econômica que esteja geralmente disponível para permitir o uso escalonável.
3. Aproveitar os aprendizados e princípios orientadores do primeiro lançamento do Gameface para tornar o produto fácil de usar e personalizável.
Estamos lançando uma nova maneira de começar a operar um dispositivo Android. Com base no feedback positivo do Projeto Gameface, notamos que os desenvolvedores e usuários gostaram da ideia de mover um cursor com o movimento da cabeça e realizar ações usando expressões faciais.
Replicamos a mesma ideia para trazer um novo cursor virtual para os dispositivos Android. Estamos usando o serviço de acessibilidade do Android para criar um novo cursor e aproveitando a API Face Landmarks Detection do MediaPipe para programar o cursor para se mover de acordo com o movimento da cabeça do usuário.
Dentro da API, há 52 valores de blendshape facial que representam a expressividade de 52 gestos faciais, como levantar a sobrancelha esquerda ou abrir a boca. Usamos alguns desses 52 valores para mapear e controlar efetivamente uma ampla gama de funções, oferecendo aos usuários possibilidades expandidas de personalização e manipulação. Também estamos aproveitando os coeficientes dos blendshapes, que dão aos desenvolvedores a capacidade de definir limites diferentes em cada expressão específica, o que os ajuda a personalizar a experiência.
Na versão do Windows do Projeto Gameface, habilitamos os usuários a replicar ações comuns de clique. No entanto, no Android, há uma gama mais ampla de recursos que os usuários precisam executar. Há eventos de toque que são inseridos no SO e outros eventos de ação global, como voltar mudar para multitarefa e início. Usamos as ações de dispositivo móvel com suporte na API de acessibilidade do Android para determinar quais ações poderiam ser fornecidas ao usuário. Atualmente, o Projeto Gameface para Android dá suporte a GLOBAL_ACTION_HOME, GLOBAL_ACTION_BACK, GLOBAL_ACTION_NOTIFICATIONS e GLOBAL_ACTION_ACCESSIBILITY_ALL_APPS
O feed da câmera melhora significativamente a experiência do usuário, facilitando configurações de limite precisas e uma compreensão mais profunda dos gestos. Ele também envia um sinal claro ao usuário de que a câmera está sendo usada ativamente para entender seus movimentos de cabeça e gestos.
A simples criação de uma sobreposição do feed da câmera teria impedido que os desenvolvedores acessassem algumas seções importantes de seus dispositivos Android, como as configurações. Usamos o serviço de acessibilidade do Android com o Projeto Gameface para permitir que a câmera continue flutuando mesmo nas configurações do Android e em quaisquer outras seções importantes do dispositivo Android de um usuário.
Atualmente, o serviço de acessibilidade do Android não possui um método direto para que os usuários arrastem a tela de forma interativa e em tempo real. No entanto, nosso produto passou por um upgrade para incluir a funcionalidade arrastar, permitindo que os usuários definam os pontos iniciais e finais. Consequentemente, a ação arrastar será executada com perfeição ao longo do caminho especificado.
Mal podemos esperar para ver o potencial do Projeto Gameface e como ele será usado por desenvolvedores e empresas para criar novas experiências. O Gameface agora tem seu código aberto no Github.
Gostaríamos de agradecer as contribuições inestimáveis das seguintes pessoas para o Projeto Gameface para Android: Edwina Priest, Sisi Jin, KC Chung, Boon Panichprecha, Dome Seelapun, Kim Nomrak, Guide Pumithanon, Lance Carr, Communique Team (Meher Dabral, Samudra Sengupta), EnAble/Incluzza India (Shristi G, Vinaya C, Debashree Bhattacharya, Manju Sharma, Jeeja Ghosh, Sultana Banu, Sunetra Gupta, Ajay Balachandran e Karthik Chandrasekar
