Bagaimana Kami Menghadirkan CES 2024 AR Experience: Panduan Virtual Android, didukung oleh Geospatial Creator

Menjelajahi konvensi berskala besar seperti CES bisa jadi sangat melelahkan. Untuk meningkatkan pengalaman peserta, kami telah menciptakan pengalaman augmented reality (AR) skala acara 360° di booth Google kami. Bot Android kami yang mudah digunakan berfungsi sebagai panduan digital menyediakan:

• Pencarian jalan tanpa kesulitan di booth kami yang memberi tahu Anda tentang demo yang wajib dicoba
• Geospatial Creator di Adobe Aero memungkinkan kreator dan developer dengan mudah memvisualisasikan di mana mereka ingin menempatkan konten digital mereka di dunia nyata, mirip dengan bagaimana Google Earth memvisualisasikan dunia. Dengan Geospatial Creator, kami dapat menampilkan Las Vegas Convention Center dalam Photorealistic 3D Tiles dari Google Maps Platform dan memahami lingkungan sekitar di lokasi Google Booth akan ditempatkan. Dalam hal ini, booth tidak ada di Photorealistic 3D Tiles karena berupa bangunan sementara untuk konferensi. Namun, dengan memanfaatkan model 3D booth dan koordinat lokasi dibuatnya, kami dapat dengan mudah memperkirakan dan memvisualisasikan booth di dalam Adobe Aero dan membangun pengalaman di sekitarnya tanpa kesulitan, termasuk titik jangkar untuk konten digital dan titik pandang peserta terbaik untuk pengalaman tersebut.
• Adobe Aero memberi kami cara mudah untuk memvisualisasikan dan mengaitkan pengalaman AR di sekitar model 3D Google Booth di Las Vegas Convention Center.

Melalui kemitraan dengan Left Field Labs dan Adobe, kami menggunakan teknologi AR terbaru Google untuk menginspirasi developer, kreator konten, dan merek tentang cara meningkatkan pengalaman konferensi bagi para peserta. Berikut adalah tampilan di balik layar bagaimana kami menggunakan Geospatial Creator, yang didukung oleh ARCore dan Photorealistic 3D Tiles dari Google Maps Platform, untuk mempromosikan kecanggihan dan kegunaan Google di Android.

Alat yang Kami Gunakan

Geospatial Creator pada Adobe Aero Pre-Release

Geospatial Creator di Adobe Aero memungkinkan kreator dan developer dengan mudah memvisualisasikan di mana mereka ingin menempatkan konten digital mereka di dunia nyata, mirip dengan bagaimana Google Earth memvisualisasikan dunia. Dengan Geospatial Creator, kami dapat menampilkan Las Vegas Convention Center dalam Photorealistic 3D Tiles dari Google Maps Platform dan memahami lingkungan sekitar di lokasi Google Booth akan ditempatkan. Dalam hal ini, booth tidak ada di Photorealistic 3D Tiles karena berupa bangunan sementara untuk konferensi. Namun, dengan memanfaatkan model 3D booth dan koordinat lokasi dibuatnya, kami dapat dengan mudah memperkirakan dan memvisualisasikan booth di dalam Adobe Aero dan membangun pengalaman di sekitarnya tanpa kesulitan, termasuk titik jangkar untuk konten digital dan titik pandang peserta terbaik untuk pengalaman tersebut.

“Di CES 2024, pengalaman Android AR, yang diciptakan melalui kemitraan dengan tim Google AR, Android, dan Adobe, menghadirkan senyuman dan kegembiraan bagi para peserta - pada akhirnya itulah inti dari semua ini. Pengalaman ini tidak hanya menunjukkan potensi luar biasa dari app-less AR dengan Geospatial Creator, tetapi juga mendemonstrasikan aplikasi praktisnya dalam meningkatkan navigasi dan interaksi acara, semuanya dapat diakses dengan pemindaian QR sederhana."

– Yann Caloghiris, Executive Creative Director di Left Field Labs

Dengan Geospatial Creator, kami memiliki banyak keuntungan dalam merancang pengalaman:

• Iterasi cepat dengan pratinjau langsung aset 3D dan visualisasi lokasi fidelitas tinggi dengan Photorealistic 3D Tiles dari Google Maps Platform sangat penting untuk membangun pengalaman AR berbasis lokasi tanpa harus berada di sana secara fisik. 
• Kemudahan memilih Las Vegas Convention Center dan pratinjau lingkungan yang canggih, seperti yang Anda lakukan saat menggunakan Google Earth, membantu kami memvisualisasikan dan mengembangkan pengalaman AR dengan presisi dan selaras dengan lokasi dunia nyata.

Selain itu, citra Google Street View menghasilkan skybox panorama, yang membantu memvisualisasikan garis pandang dalam Cinema 4D untuk storyboard. Kami juga mengimpor ini dan Photorealistic 3D Tiles dari Google Maps Platform ke Unreal Engine untuk memvisualisasikan model oklusi pada skala dunia nyata.

Di Adobe Aero, kami melakukan perakitan akhir semua aset 3D dan menciptakan semua perilaku interaktif dalam pengalaman tersebut. Kami juga menggunakannya untuk menganimasikan elemen navigasi yang lebih sederhana, seperti aset panel info di booth.

Adobe Aero juga mendukung aplikasi Google Play Instant dan App Clips1, yang berarti para peserta tidak perlu mengunduh aplikasi untuk mengakses pengalaman tersebut. Mereka cukup memindai kode QR di booth dan langsung merasakan pengalaman tersebut, yang terbukti ideal untuk onboarding pengguna dan mengurangi friksi, terutama di acara yang sibuk seperti CES.

Unreal Engine digunakan untuk menghadirkan Photorealistic 3D Tiles, yang memungkinkan mereka membangun Android Bot animasi 3D yang benar-benar berinteraksi secara dekat dengan lingkungan sekitar. Pendekatan ini sangat penting untuk pratinjau pengalaman, yang memungkinkan kami untuk memahami garis pandang dan tempat terbaik untuk menempatkan konten agar dapat dilihat secara optimal dari booth Google.

Autodesk Maya digunakan untuk membuat karakter Android Bot, mask lingkungan, dan properti 3D tambahan untuk berbagai scene dalam pengalaman tersebut. Perangkat lunak ini juga digunakan dalam finalisasi materi.

Babylon exporter digunakan untuk mengekspor dari Autodesk Maya ke format glTF untuk diimpor ke Adobe Aero.

Figma digunakan untuk mendesain elemen antarmuka pengguna datar yang dapat dengan mudah diimpor ke Adobe Aero.

Cinema 4D digunakan untuk visualisasi tambahan dan tayangan promosi, yang membantu penyelarasan stakeholder selama pengembangan pengalaman.

Mendesain pengalaman

Selama fase desain, kami membayangkan pengalaman AR akan memiliki banyak interaksi, sehingga para peserta dapat merasakan kegembiraan melihat elemen-elemen AR yang tepat dan kuat menyatu dengan dunia nyata di sekitar mereka. Selain itu, mereka dapat merasakan manfaat dari informasi kontekstual yang disematkan ke dalam objek nyata di sekitar mereka, sehingga memberikan informasi yang tepat pada waktu yang tepat.

Storyboarding kreatif

Membuat storyboard yang efektif untuk pengalaman Geospatial AR menggunakan Adobe Aero dimulai dengan visi yang jelas tentang bagaimana overlay digital berinteraksi dengan lokasi dunia nyata.

Left Field Labs memulai dengan memetakan titik-titik geografis utama di lokasi Las Vegas Convention Center tempat booth Google akan berdiri, yang mengintegrasikan elemen fisik dan digital di sepanjang proses tersebut. Setiap scene yang dibuat sketsa dalam storyboard menggambarkan bagaimana objek virtual dan lingkungan dunia nyata akan saling berinteraksi, untuk memastikan bahwa interaksi dan gerakan pengguna terasa alami dan intuitif.

“Kemampuan menyematkan konten ke lokasi yang dipetakan oleh Google dan menggunakan Photorealistic 3D Tiles di Google Geospatial Creator memberikan kebebasan luar biasa saat memilih bagaimana pengalaman akan dirasakan di sekitar lingkungan. Ini memberi kami fleksibilitas untuk menciptakan aliran sebaik mungkin.”

– Chris Wnuk, Technical Director di Left Field Labs

Pada awal proses pembuatan storyboard, kami memutuskan bahwa 3D Android Bot virtual akan bertindak sebagai panduan. Pengguna dapat mengikuti Bot di sekitar lokasi dengan berputar 360°, tetapi tetap pada titik pandang yang sama. Dengan demikian, kami dapat merancang pengalaman interaktif dan setiap elemen di dalamnya untuk perspektif yang tepat dari tempat pengguna berdiri, dan memberi mereka gambaran menyeluruh tentang Google Booth dan pengalaman Google di sekitarnya, seperti Monorail atau Sphere.

Storyboard tidak hanya menggambarkan elemen AR, tetapi juga mempertimbangkan jalur pengguna, garis pandang, dan faktor lingkungan seperti waktu, oklusi, dan tata letak keseluruhan konten AR di sekitar Booth dan lingkungan sekitarnya.

Sasaran kami adalah menghubungkan para peserta dengan konten yang menarik, bermanfaat, dan menyenangkan, yang membantu mereka menavigasi Google Booth di CES secara visual.

Pengalaman dan interaktivitas pengguna

Saat merancang AR, kami telah menemukan bahwa interaktivitas pengguna dan memastikan bahwa pengalaman tersebut memiliki elemen yang bermanfaat dan menyenangkan adalah kuncinya. Di seluruh pengalaman, kami menambahkan beberapa interaksi yang memungkinkan pengguna menjelajahi berbagai stasiun demo di Booth, mendapatkan navigasi melalui Google Maps untuk Monorel dan angkutan, dan berinteraksi dengan Android Bot secara langsung.

Tim merek Android dan Left Field Labs menciptakan karakter Android yang sederhana dan ekspresif, yang menunjukkan keceriaan dan pemahaman kontekstual terhadap lingkungan untuk menyenangkan pengguna sekaligus mengelola beban pada perangkat pengguna. Dengan mengambil pendekatan yang tangkas, tim melakukan iterasi pada berbagai perangkat seluler Android dan iOS guna memastikan kelancaran kinerja di berbagai perangkat smartphone, faktor-faktor bentuk seperti perangkat lipat, serta versi sistem operasi, sehingga menjadikan pengalaman AR dapat diakses dan dinikmati oleh semua pengguna.

Menguji pengalaman

Kami secara konsisten mengulangi elemen interaktif berdasarkan pengujian lokasi. Kami melakukan dua pengujian lokasi: Pertama, di tengah tahap desain, yang membantu kami memvalidasi kinerja Visual Positioning Service (VPS) di Las Vegas Convention Center. Kedua, pada akhir tahap desain dan beberapa hari sebelum CES, yang selanjutnya memvalidasi penempatan konten 3D dan memungkinkan kami menyempurnakan sentuhan akhir setelah struktur booth Google dibangun di lokasi.

“Sungguh menyenangkan ketika tidak perlu khawatir tentang tahap deploy. Pelacakan objek fisik dan kecepatan lokalisasi adalah salah satu yang terbaik yang pernah saya lihat!”

– Devin Thompson, Associate Technical Director di Left Field Labs

Pengalaman Peserta

Saat peserta datang ke Google Booth, mereka melihat tanda dengan kode QR untuk memasuki pengalaman AR. Kami menempatkan tanda tersebut pada titik pandang terbaik di booth, guna memastikan bahwa orang-orang memiliki cukup ruang di sekitar mereka untuk memindai dengan perangkat mereka dan merasakan langsung pengalaman AR.

Para peserta senang melihat Android Bot mengambil alih Las Vegas Convention Center. Saat menginisialisasi pengalaman AR, Bot menampilkan scene wallpaper Generative AI tepat di dalam tampilan 3D gedung, sekaligus melakukan trik skateboard di tepi fasad gedung.

Banyak orang yang juga menyebutkan kegunaan melihat konten AR berbasis lokasi dengan informasi kontekstual, seperti navigasi melalui Google Maps, yang disematkan di lokasi-lokasi menarik di sekitar Booth. Panel-panel interaktif yang disertakan di sekitar Booth turut memperkenalkan demo fisik utama yang ditempatkan di setiap stasiun di sekitar Booth. Para pengunjung dapat dengan cepat memindai berbagai tema dan fitur yang didemonstrasikan, mengarahkan diri mereka sendiri di sekitar booth, dan memutuskan area mana yang ingin mereka kunjungi terlebih dahulu.

“Saya menyukai pengalaman ini! Maps dan AR sangat masuk akal jika digabungkan. Saya merasa sangat terbantu melihat demo apa saja yang ada di setiap booth, tepat berada di booth, serta tautan ke navigasi. Saya juga bisa melihat penggunaan ini di luar CES!”

– Peserta CES

Dari peserta yang kami ajak bicara, lebih dari separuh berinteraksi dalam pengalaman penuh. Mereka mampu melewatkan bagian pengalaman yang dirasa kurang relevan bagi mereka dan hanya berfokus pada interaksi yang memberikan nilai tambah. Secara keseluruhan, kami mengetahui bahwa sebagian besar orang senang melihat perpaduan konten yang menyenangkan dan bermanfaat dan mereka merasa bersemangat untuk menjelajahi Booth lebih jauh dengan demo lainnya.

Pengalaman AR berbasis lokasi dapat mengubah pengalaman acara bagi peserta yang menginginkan lebih banyak cara untuk menemukan dan berinteraksi dengan peserta pameran yang menghadiri acara. Tren ini menekankan pergeseran yang lebih luas dalam ekspektasi konsumen terhadap dunia yang lebih imersif dan interaktif, serta mengaburkan batas antara pengalaman online dan offline. Di acara seperti CES, konten AR dapat menawarkan pengalaman yang lebih mendalam dan personal yang tidak hanya menghibur tetapi juga mendidik dan menghubungkan peserta dengan cara yang bermakna.

Untuk mengetahui update terkini tentang Google AR, Geospatial Creator, dan lainnya, ikuti kami di LinkedIn (@GoogleARVR) dan X (@GoogleARVR). Selain itu, kunjungi situs web ARCore dan Geospatial Creato kami untuk mempelajari cara mulai membangun dengan teknologi AR Google.