Processo de criação da experiência de RA do CES 2024: guia virtual do Android com tecnologia do Geospatial Creator

Conferir o que há em uma convenção de grande escala como o CES pode ser cansativo. Para que o participante possa aproveitar ainda mais, criamos uma experiência de realidade aumentada (RA) em escala de evento de 360° em nosso estande do Google. Nosso amigável Android Bot serviu como um guia digital, com as vantagens a seguir:

• Orientação perfeita dentro do nosso estande, informando sobre as demonstrações imperdíveis
• Conteúdo incrível, possível apenas com RA, como substituir a fachada do Centro de Convenções de Las Vegas por nossos Planos de fundo de IA generativa ou projetar uma versão interativa do Android na Sphere para quem não pôde acompanhar no mundo real
• Dicas de navegação úteis e rotas rápidas para os centros de transporte (monotrilho, ônibus de traslado)

Em parceria com a Left Field Labs e o Adobe, usamos as mais recentes tecnologias de RA do Google para inspirar desenvolvedores, criadores e marcas sobre como elevar a experiência da videoconferência para os participantes. Confira os bastidores de como usamos o Geospatial Creator, com tecnologia ARCore e blocos fotorrealistas em 3D da Plataforma Google Maps, para promover o poder e a utilidade do Google no Android.

Ferramentas que usamos

Geospatial Creator no pré-lançamento do Adobe Aero

O Geospatial Creator no Adobe Aero permite que criadores e desenvolvedores visualizem facilmente onde no mundo real querem disponibilizar conteúdo digital, semelhante à forma como o Google Earth visualiza o mundo. Com o Geospatial Creator, conseguimos transformar o Centro de Convenções de Las Vegas em blocos fotorrealistas em 3D da Plataforma Google Maps e entender os arredores do estande do Google. Neste caso, o estande não existia nos blocos fotorrealistas em 3D porque essa foi uma construção temporária para a conferência. Porém, ao utilizar o modelo 3D do estande e as coordenadas de onde ele seria construído, conseguimos estimar e visualizar facilmente o estande dentro do Adobe Aero e construir a experiência em torno dele de forma integrada, incluindo pontos de ancoragem para o conteúdo digital e os melhores pontos de visualização dos participantes para a experiência.

“No CES 2024, a experiência de RA do Android, criada em parceria com as equipes de RA do Google, Android e Adobe, trouxe sorrisos e entusiasmo aos participantes, e isso é o que realmente importa. A experiência mostrou o grande potencial da RA sem app com Geospatial Creator e as aplicações práticas para melhorar a navegação e o envolvimento em eventos, tudo acessível com uma simples leitura de QR code.”

– Yann Caloghiris, diretor executivo de criação da Left Field Labs

Com o Geospatial Creator, tivemos várias vantagens para projetar a experiência:

• Iteração rápida com pré-lançamentos ao vivo de ativos 3D e visualização de alta fidelidade do local com blocos fotorrealistas em 3D da Plataforma Google Maps foram cruciais para criar uma experiência de RA com base em localização, sem a necessidade de estar presente fisicamente. 
• A fácil seleção do Centro de Convenções de Las Vegas e as visualizações robustas do ambiente, como você navegaria no Google Earth, nos ajudaram a visualizar e desenvolver a experiência de RA com precisão e alinhamento com o local do mundo real.

Além disso, as imagens do Google Street View geraram uma skybox panorâmica, o que ajudou a visualizar as linhas de visão no Cinema 4D para storyboards. Importamos essas imagens e blocos fotorrealistas em 3D da Plataforma Google Maps para o Unreal Engine a fim de visualizar modelos de oclusão em escala verdadeira.

No Adobe Aero, fizemos a montagem final de todos os ativos 3D e criamos todos os comportamentos interativos na experiência. Também o usamos para animar elementos de navegação mais simples, como os recursos do painel de informações no estande.

O Adobe Aero também é compatível com apps do Google Play Instant e com o Clips1, o que significa que os participantes não precisavam baixar um app para acessar a experiência. Bastava digitalizar um QR code no estande e iniciar diretamente a experiência, o que provou ser ideal para integrar usuários e facilitar o processo, especialmente em um evento movimentado como o CES.

O Unreal Engine foi usado para trazer os blocos fotorrealistas em 3D, permitindo a criação do Android Bot animado em 3D com interação próxima ao ambiente circundante. Essa abordagem foi crucial para pré-visualizações da experiência e para entendermos as linhas de visão e onde localizar melhor o conteúdo para uma visualização ideal do estande do Google.

O Autodesk Maya foi usado para criar o personagem do Android Bot, máscaras ambientais e adereços 3D adicionais para as diferentes cenas da experiência. Ele também foi usado para a criação dos materiais finais.

O exportador Babylon foi usado para exportar do Autodesk Maya para o formato glTF a fim de importar para o Adobe Aero.

O Figma foi usado para projetar elementos simples de interface do usuário que poderiam ser facilmente importados para o Adobe Aero.

O Cinema 4D foi usado para visualização adicional e fotos promocionais, o que ajudou no alinhamento das partes interessadas durante o desenvolvimento da experiência.

Criação da experiência

Durante a fase de design, imaginamos que a experiência de RA tivesse várias interações, de modo que os participantes pudessem ver elementos precisos e robustos de RA combinados com o mundo real ao redor. Além disso, tivemos a informação contextual incorporada útil nos objetos reais ao redor, com os dados certos no momento certo.

Storyboard criativo

A criação de um storyboard eficaz para uma experiência de RA do Geospatial usando o Adobe Aero começa com uma visão clara de como as sobreposições digitais interagem com os locais do mundo real.

A Left Field Labs começou mapeando os principais pontos geográficos no local do Centro de Convenções de Las Vegas, onde ficaria o estande do Google, integrando elementos físicos e digitais ao longo do caminho. Cada cena esboçada no storyboard ilustrava como os objetos virtuais e os ambientes do mundo real interagiriam, garantindo que as interações e os movimentos do usuário fossem naturais e intuitivos.

“Ser capaz de fixar conteúdo em um local mapeado pelo Google e usar blocos fotorrealistas em 3D no Geospatial Creator do Google proporcionou uma liberdade incrível na escolha de como a experiência se moveria pelo ambiente. Isso nos deu a flexibilidade para criar o melhor fluxo possível.”

– Chris Wnuk, diretor técnico da Left Field Labs

No início do processo de storyboard, decidimos que o Android Bot 3D virtual funcionaria como guia. Os usuários poderiam seguir o Bot ao redor do local, girando em 360°, mas permanecendo no mesmo ponto de vista. Isso nos permitiu projetar a experiência interativa e cada elemento nela para a perspectiva correta de onde o usuário estaria, dando a ele uma visão completa do estande do Google e das experiências ao redor, como o monotrilho ou a Sphere.

O storyboard não apenas representou os elementos de RA, mas também considerou caminhos do usuário, linhas de visão e fatores ambientais, como hora do dia, oclusão e layout geral do conteúdo de RA ao redor do estande e do ambiente circundante.

Nosso objetivo era conectar os participantes com conteúdo envolvente, útil e agradável, os ajudando a navegar visualmente no estande do Google no CES.

Experiência e interatividade do usuário

Ao projetar para RA, percebemos que a interatividade do usuário e a garantia de que a experiência tenha elementos úteis e agradáveis são fundamentais. Ao longo do processo, adicionamos várias interações que permitiram aos usuários explorar diferentes estações de demonstração no estande, navegar pelo Google Maps até o monotrilho e o traslado e interagir diretamente com o Android Bot.

A equipe da marca Android e a Left Field Labs criaram o personagem do Android para ser simples e expressivo, mostrando diversão e compreensão contextual do ambiente a fim de encantar os usuários enquanto gerenciava a pressão sobre os dispositivos dos usuários. Adotando uma abordagem ágil, a equipe iterou em uma ampla variedade de dispositivos móveis Android e iOS para garantir um desempenho suave em diferentes smartphones, formatos como dobráveis, bem como versões de sistemas operacionais, tornando a experiência de RA acessível e agradável para o público mais amplo.

Teste da experiência

Iteramos consistentemente os elementos interativos com base no teste de localização. Foram realizados dois testes de localização: primeiro, no meio da fase de projeto, o que nos ajudou a validar o desempenho do serviço de posicionamento visual (VPS, na sigla em inglês) no Centro de Convenções de Las Vegas. O segundo teste foi feito no final da fase de projeto e alguns dias antes do CES, o que validou ainda mais a colocação do conteúdo 3D e nos permitiu refinar os ajustes finais depois que a estrutura do estande do Google foi construída no local.

“Foi muito bom não ter que se preocupar com a implantação. O rastreamento de objetos físicos e a rapidez da localização foram alguns dos melhores que já vi!”

– Devin Thompson, diretor técnico associado da Left Field Labs

Experiência do participante

Quando os participantes chegaram ao estande do Google, viram uma placa com o QR code para entrarem na experiência de RA. Posicionamos a placa no melhor ponto de observação do estande, garantindo que as pessoas tivessem espaço suficiente ao redor para ler com o dispositivo e participar da experiência de RA.

Os participantes gostaram de ver o Android Bot dominar o Centro de Convenções de Las Vegas. Ao inicializar a experiência de RA, o bot revelou uma cena de plano de fundo de IA generativa dentro de uma vista 3D do edifício, enquanto executava manobras de skate na borda da fachada.

Muitas pessoas também destacaram a utilidade de ver conteúdo de RA com base em localização com informações contextuais, como navegação pelo Google Maps, incorporado em locais interessantes ao redor do estande. Painéis interativos sobrepostos ao redor do estande apresentaram demonstrações físicas importantes em cada estação. Os participantes puderam examinar rapidamente os diferentes temas e recursos demonstrados, se orientar pelo estande e decidir qual área gostariam de visitar primeiro.

“Adorei a experiência! O Maps e a RA fazem muito sentido juntos. Achei muito útil ver quais demonstrações estão em cada estande, bem como os links para navegação. Eu também pude ver o uso disso além do CES!”

– Participante do CES

Mais da metade dos participantes com quem conversamos se envolveu com a experiência completa. Eles conseguiram pular partes que pareciam menos relevantes e focar apenas as interações que agregaram valor. No geral, notamos que a maioria das pessoas gostou de ver uma mistura de conteúdo agradável e útil e ficou entusiasmada para explorar ainda mais o estande com outras demonstrações.

As experiências de RA com base em localização podem transformar experiências de eventos para participantes que desejam mais maneiras de descobrir e interagir com expositores em eventos. Essa tendência sublinha uma mudança mais ampla nas expectativas dos consumidores relativamente a um mundo mais imersivo e interativo à sua volta e a indefinição dos limites entre as experiências on-line e off-line. Em eventos como o CES, o conteúdo de RA pode oferecer uma experiência mais imersiva e personalizada que não apenas diverte, mas também educa e conecta os participantes de maneiras significativas.

Para conhecer as novidades sobre a RA do Google, o Geospatial Creator e muito mais, siga nossa página no LinkedIn (@GoogleARVR) e no X (@GoogleARVR). Além disso, acesse nossos sites do ARCore e do Geospatial Creator para saber como começar a criar com a tecnologia de RA do Google.