Cómo hicimos la Experiencia RA: guía virtual de Android, del CES 2024, con tecnología de Geospatial Creator

Navegar por una convención a gran escala como el CES puede ser abrumador. Para mejorar la experiencia de los asistentes, creamos una experiencia de realidad aumentada (RA) de 360° a escala del evento en nuestro stand de Google. Nuestro amigable bot de Android sirvió como guía digital y brindó los siguientes servicios:

• Una manera sencilla de recorrer nuestro stand, con información sobre las demostraciones que debes probar.
• Contenido encantador, solo posible con RA, como reemplazar la fachada del Centro de Convenciones de Las Vegas con nuestros fondos de pantalla de IA generativa o diseñar una versión interactiva de Android en Sphere para quienes no pudieron asistir en persona.
• Consejos de navegación útiles e indicaciones rápidas para llegar a los centros de transporte (monorriel, buses).

En asociación con Left Field Labs y Adobe, utilizamos las últimas tecnologías de realidad aumentada de Google para inspirar a los desarrolladores, creadores y marcas sobre cómo mejorar la experiencia de quienes asistieron a la conferencia. Echa un vistazo al detrás de escena para ver cómo usamos Geospatial Creator, con tecnología de ARCore, y los recuadros 3D fotorrealistas de Google Maps Platform, para promover el poder y la utilidad de Google en Android.

Las herramientas que usamos

Geospatial Creator en Adobe Aero previo al lanzamiento

Geospatial Creator en Adobe Aero permite a los creadores y desarrolladores visualizar fácilmente dónde quieren colocar su contenido digital en el mundo real, de forma similar a como Google Earth representa al mundo. Con Geospatial Creator, pudimos mostrar el Centro de Convenciones de Las Vegas en recuadros 3D fotorrealistas de Google Maps Platform y conocer el área donde se ubicaría el stand de Google. En este caso, el stand no existía en los recuadros 3D fotorrealistas porque era una construcción temporal para la conferencia. Sin embargo, al utilizar el modelo 3D del stand y las coordenadas de dónde se construiría, pudimos estimar y visualizar fácilmente su ubicación dentro de Adobe Aero, y crear la experiencia a su alrededor sin problemas, incluidos los puntos de anclaje para el contenido digital y los mejores puntos de visualización para la experiencia de los asistentes.

“En CES 2024, la experiencia de RA de Android, creada en asociación con los equipos de Google AR, Android y Adobe, provocó sonrisas y emoción entre los asistentes; en definitiva, ese era el objetivo. La experiencia no solo mostró el increíble potencial de la realidad aumentada sin apps con Geospatial Creator, sino que también demostró sus aplicaciones prácticas para mejorar la navegación y la interacción en los eventos, todo accesible con solo escanear un código QR”.

– Yann Caloghiris, director creativo ejecutivo de Left Field Labs

Con Geospatial Creator, tuvimos múltiples ventajas para diseñar la experiencia:

• La iteración rápida con vistas previas en vivo de los elementos 3D y la visualización de alta fidelidad de la ubicación con los recuadros 3D fotorrealistas de Google Maps Platform fueron cruciales para crear una experiencia de realidad aumentada basada en la ubicación sin tener que estar en el lugar físicamente. 
• La fácil selección del Centro de Convenciones de Las Vegas y las vistas previas sólidas del entorno, como cuando se navega en Google Earth, nos ayudaron a visualizar y desarrollar la experiencia de RA con precisión y alineación con la ubicación del mundo real.

Además, las imágenes de Google Street View generaron un skybox panorámico, que ayudó a visualizar las líneas de visión en Cinema 4D para los guiones gráficos. También importamos este skybox y los recuadros 3D fotorrealistas de Google Maps Platform a Unreal Engine para visualizar los modelos de oclusión a escala real.

En Adobe Aero, hicimos el ensamblaje final de todos los elementos 3D y creamos todos los comportamientos interactivos en la experiencia. También lo usamos para animar elementos de navegación más simples, como los del panel de información del stand.

Adobe Aero también es compatible con las apps de Google Play Instant y App Clips1, de modo que los asistentes no tuvieron que descargar una aplicación para acceder a la experiencia. Simplemente escanearon un código QR en el stand y directamente comenzaron a disfrutar de la experiencia, lo que resultó ser ideal para incorporar usuarios y reducir la fricción, especialmente en un evento tan concurrido como el CES.

Utilizamos Unreal Engine para implementar los recuadros 3D fotorrealistas, lo que nos permitió crear el bot de Android animado en 3D, que realmente interactuaba estrechamente con el entorno. Este enfoque fue crucial para las vistas previas de la experiencia, lo que nos permitió conocer las líneas de visión y dónde ubicar mejor el contenido para una visualización óptima desde el stand de Google.

Utilizamos Autodesk Maya para crear el personaje del bot de Android, mascarillas y accesorios 3D adicionales para las diferentes escenas de la experiencia. También se utilizó para la creación de los materiales finales.

Utilizamos Babylon Exporter para exportar de Autodesk Maya al formato glTF para importar a Adobe Aero.

Utilizamos Figma para diseñar elementos de interfaz de usuario planos que se pudieran importar fácilmente a Adobe Aero.

Utilizamos Cinema 4D para visualizaciones adicionales y tomas promocionales, lo que ayudó a alinear a las partes interesadas durante el desarrollo de la experiencia.

El diseño de la experiencia

Durante la etapa de diseño, nuestra idea era que la experiencia de RA tuviera múltiples interacciones para que los asistentes pudieran disfrutar de elementos de RA precisos y sólidos, mezclados con el mundo real que los rodea. Además, podrían aprovechar la información contextual útil incorporada en los objetos reales del entorno; es decir, la información adecuada en el momento adecuado.

Guion creativo

La creación de un guion gráfico eficaz para una experiencia de RA geoespacial con Adobe Aero comienza con una visión clara de cómo las superposiciones digitales interactúan con las ubicaciones del mundo real.

Left Field Labs comenzó trazando puntos geográficos clave en la ubicación del Centro de Convenciones de Las Vegas, donde se ubicaría el stand de Google, e integrando elementos físicos y digitales a lo largo del camino. Cada escena esbozada en el guion gráfico mostraba cómo interactuarían los objetos virtuales y los entornos del mundo real, y garantizaba que las interacciones y los movimientos del usuario fueran naturales e intuitivos.

“Poder fijar el contenido en una ubicación mapeada por Google y usar recuadros 3D fotorrealistas en Geospatial Creator de Google nos brindó una libertad increíble a la hora de elegir cómo se movería la experiencia por el entorno. Nos dio la flexibilidad de crear el mejor flujo posible”.

– Chris Wnuk, director técnico de Left Field Labs

Cuando comenzamos el proceso de creación del guion gráfico, decidimos que el bot virtual de Android 3D serviría como guía. Los usuarios podían seguir al Bot por el lugar girando 360°, pero permaneciendo en el mismo punto estratégico. Esto nos permitió diseñar la experiencia interactiva y cada elemento para la perspectiva correcta desde donde el usuario se pararía, y ofrecerle una visión completa del stand de Google y las experiencias de Google circundantes, como el monorriel o The Sphere.

El guion gráfico no solo representaba los elementos de RA, sino que también consideraba los recorridos de los usuarios, las líneas de visión y los factores ambientales, como la hora del día, la oclusión y el diseño general del contenido de RA alrededor del stand y el entorno circundante.

Nuestro objetivo era interactuar con los asistentes con contenido atractivo, útil y encantador, y ayudarlos a navegar visualmente por el stand de Google en el CES.

Experiencia del usuario e interactividad

Al diseñar para RA, aprendimos que es clave la interactividad con el usuario y garantizar que la experiencia tenga elementos útiles y encantadores. Durante el desarrollo, agregamos múltiples interacciones que permitieron a los usuarios explorar diferentes estaciones de demostración en el stand, navegar a través de Google Maps hasta el monorriel y las paradas de buses, e interactuar directamente con el bot de Android.

El equipo de la marca Android y Left Field Labs crearon el personaje de Android para que fuera simple y expresivo, y mostrara alegría y comprensión contextual del entorno a fin de deleitar a los usuarios mientras gestionaba la tensión en los dispositivos de los usuarios. Tomando un enfoque ágil, el equipo iteró en una amplia gama de dispositivos móviles Android e iOS para garantizar un rendimiento sin problemas en diferentes smartphones, factores de forma, como plegables, y versiones del sistema operativo, lo que hizo que la experiencia de RA fuera accesible y agradable para todo el público.

Prueba de la experiencia

Realizamos una iteración constante de los elementos interactivos en función de las pruebas de ubicación. Hicimos dos pruebas de ubicación: la primera, en medio de la etapa de diseño, lo que nos ayudó a validar el desempeño del Servicio de Posicionamiento Visual (VPS) en el Centro de Convenciones de Las Vegas. La segunda, al final de la etapa de diseño y unos días antes del CES, lo que nos permitió validar aún más la ubicación del contenido 3D y nos permitió refinar los ajustes finales una vez que se construyó la estructura del stand de Google en el sitio.

“Fue muy agradable no tener que preocuparnos por la implementación. ¡El seguimiento de objetos físicos y la rapidez de la localización fueron de los mejores que he visto!”.

– Devin Thompson, director técnico asociado de Left Field Labs

Experiencia de los asistentes

Cuando los asistentes llegaron al stand de Google, vieron un cartel con el código QR para ingresar a la experiencia de RA. Colocamos el cartel en el mejor punto de vista en el stand, asegurándonos de que las personas tuvieran suficiente espacio a su alrededor para escanear el código con sus dispositivos y participar en la experiencia de RA.

Los asistentes se regocijaron viendo cómo el bot de Android se apoderaba del Centro de Convenciones de Las Vegas. Al inicializar la experiencia de RA, el bot reveló una escena de fondo de pantalla de IA generativa justo dentro de una vista 3D del edificio, todo mientras realizaba trucos de skate en la cornisa de la fachada del edificio.

Muchas personas también destacaron la utilidad de ver contenido de RA basado en la ubicación con información contextual, como la navegación a través de Google Maps, incorporado en ubicaciones interesantes por todo el stand. En los paneles interactivos superpuestos alrededor del stand, se presentaron demostraciones físicas clave ubicadas en cada estación del stand. Los asistentes pudieron escanear rápidamente los diferentes temas y funciones, orientarse en el stand y decidir qué área querían visitar primero.

“¡Me encantó la experiencia! Maps y la RA tienen mucho que ver. Me resultó muy útil ver las demostraciones que hay en cada stand, justo encima del stand, así como los vínculos a la navegación. ¡También pude ver cómo utilizaría todo esto más allá del CES!”.

– Asistente del CES

De los asistentes con los que hablamos, más de la mitad interactuaron con la experiencia completa. Pudieron omitir partes de la experiencia que les parecieron menos relevantes y centrarse solo en las interacciones que agregaron valor. En general, observamos que a la mayoría de las personas les gustó ver una combinación de contenido encantador y útil, y les encantó explorar el stand más a fondo con otras demostraciones.

Las experiencias de RA basadas en la ubicación pueden transformar las experiencias en los eventos de los asistentes que buscan nuevas formas de descubrir e interactuar con los expositores. Esta tendencia destaca un cambio más amplio en las expectativas de los consumidores de un mundo más inmersivo e interactivo, y la fina línea entre las experiencias en línea y sin conexión. En eventos como el CES, el contenido de RA puede ofrecer una experiencia más inmersiva y personalizada que no solo entretiene, sino que también educa y conecta a los asistentes de manera significativa.

Para conocer las últimas novedades sobre Google AR, Geospatial Creator y más, síguenos en LinkedIn (@GoogleARVR) y X (@GoogleARVR). Además, visita los sitios web de ARCore y Geospatial Creator para obtener información sobre cómo comenzar a crear con la tecnología de RA de Google.