Gemini 심층 탐구: AI Studio에서 스타터 앱 둘러보기

12월 18, 2024
Kat Kampf Product Manager Google AI Studio

Gemini 2.0을 사용해 개발할 준비가 되셨나요? Google에서는 Gemini의 핵심 기능을 선보이고 향후 AI 기반 프로젝트를 개발하기 위한 견고한 기반을 제공하고자 고안된 스타터 앱을 몇 가지 출시했습니다. 이들 앱은 그저 재미있는 데모에 그치는 것이 아니라 일종의 도약판과 같아서 GitHub에서 완전히 오픈소스로 제공되며, 이제는 Google AI Studio와 원활하게 통합되기도 합니다.

이미 개발자들은 Google AI Studio 내에서 이러한 스타터 앱을 활용해 멋진 데모와 프로토타입을 제작하고 있습니다. Bilawal Sidhu 씨가 Video Analyzer 앱을 사용해 동영상 요약 데모를 개발한 과정(전부 Google AI Studio에서 작업)을 확인해 보세요. 저명한 개발자이자 저술가인 Simon Willison 씨도 최근 블로그 게시물에서 이러한 앱을 소개하여 신속한 프로토타입 제작과 실험에 스타터 앱이 유용하다는 것을 강조했습니다.

이제 이러한 스타터 앱의 기능은 무엇이고, 개발 워크플로의 속도를 높이는 데 어떤 도움이 되는지에 대해 간소화된 Google AI Studio 환경을 중심으로 자세히 알아보겠습니다.


1. Spatial Understanding: 이 앱을 사용해 고도화된 장면 이해 가능

Spatial Understanding 앱은 현재 Google AI Studio에서 이용할 수 있으며, 정교한 시각적 AI를 사용해 앱을 개발할 수 있도록 해 줍니다. 이 앱은 기초적인 사물 인식의 범위를 벗어나 고도화된 2D 및 3D 경계 상자 기능을 비롯하여 공간 관계에 대한 섬세한 이해를 가능하게 합니다.

  • 고도화된 공간 추론 살펴보기: Google AI Studio의 사용자 친화적 인터페이스를 통해 한 이미지 안에 포함된 여러 사물 사이의 공간적 관계를 이해하는 Gemini의 기능을 실험해 보세요.

  • 2D 및 3D 경계 상자 실험: 단순한 객체 탐지에서 벗어나세요. 이 앱을 사용하면 Gemini의 고도화된 경계 상자 기능을 둘러볼 수 있습니다. 예를 들어 실험적인 3D 경계 상자를 사용하면 사물의 위치를 더 정확하게 짚어낼 수 있습니다.

  • 복잡한 사용 사례의 손쉬운 시작: 로봇 공학, 증강 현실, 이미지 기반 검색이나 복잡한 시각적 데이터의 자동 분석과 같은 용도에 이상적입니다. 별도의 구성 없이 고도화된 공간 추론의 기본 요소를 바로 활용할 수 있습니다.

  • GitHub에서 코드로 심층 탐구: 앱을 맞춤설정하거나, 자체 프로젝트에 통합하고자 하시나요? 소스 코드 전문을 GitHub에서 제공하므로 각자의 구체적인 필요에 따라 맞춤 조정할 수 있습니다.

Link to Youtube Video (visible only when JS is disabled)

2. Video Analyzer: 이 프레임워크를 사용해 인터랙티브 동영상 경험 개발

Video Analyzer 앱은 Google AI Studio에서 바로 사용할 수 있으며, 동영상 콘텐츠와 정교한 형태로 상호작용하는 애플리케이션을 개발하기 위한 프레임워크를 제공합니다. 이 인터랙티브 동영상 플레이어는 Gemini를 사용해 동영상 스트림에서 풍부한 데이터를 추출합니다.

  • 동영상 상호작용을 위한 신속한 프로토타입 제작: Google AI Studio를 이용해 요약, 장면 설명, 텍스트 추출과 같은 동영상 상호작용 프로토타입을 신속하게 제작합니다.

  • 객체 탐지 및 추적 기능 살펴보기: 동영상 내에서 사물을 식별하고 추적하는 Gemini의 기능을 실험해 보세요.

  • 필요에 맞게 조정: 핵심 기능을 간편하게 확장해 맞춤형 동영상 검색 도구, 자동화된 콘텐츠 태그 지정 시스템, 인터랙티브 교육 플랫폼은 물론 상상할 수 있는 무엇이든 만들어볼 수 있습니다.

  • GitHub에서 코드 전문 제공: 더 수준 높은 맞춤설정과 통합을 원하시면 GitHub에서 코드베이스 전문을 참조하세요.

Link to Youtube Video (visible only when JS is disabled)

3. Map Explorer: Gemini의 인텔리전스를 Google Maps API와 융합해 위치 기반 혁신 구현

Map Explorer 앱은 현재 Google AI Studio에 포함되어 있으며, 지능적인 위치 인식형 애플리케이션을 제작하기 위한 관문 역할을 하여 Gemini의 추론 기능을 Google Maps API 기능에 원활하게 통합해 줍니다.

  • 대화형 위치 검색: Gemini의 대화식 AI를 이용하면 사용자가 간소화된 Google AI Studio 인터페이스 내에서 자연어 쿼리를 기반으로 위치를 검색하는 데 어떤 도움이 되는지 알아보세요.

  • 위치 기반 상호작용 실험: 위치 기반 상호작용을 프로토타입으로 만들고 Gemini를 Google Maps API와 결합하면 무엇이 가능한지 알아보세요.

  • 위치 기반 서비스의 토대: 차세대 여행 계획 도구, 위치 기반 게임이나 지능형 추천 시스템을 개발하세요. 이 앱에서 필수적인 기본 토대를 제공합니다.

  • GitHub에서 맞춤설정하고 확장: 또한 소스 코드 전문이 GitHub에 제공되므로 핵심 기능을 기반으로 개발하고 자체 프로젝트에 통합할 수 있는 유연성을 누릴 수 있습니다.


스타터 앱을 사용해 실습

개발자가 직접 기여할 수 있는 앱

시작하는 데 필요한 모든 사전 작업은 저희가 완료해 놓았으니, 이제 여러분은 최첨단 AI 경험 개발을 바로 시작하시면 됩니다. 이러한 스타터 앱은 단순한 예시에 그치지 않고, 각자 자기만의 혁신적인 프로젝트를 추진할 출발점이 될 수 있도록 고안되었습니다.

참고할 수 있는 자료를 안내합니다.

  • 저장소 복제: 소스 코드에 바로 액세스하여 살펴보세요.

  • 맞춤설정과 확장: 각자의 구체적인 필요에 따라 앱을 맞춤 조정하고, 기존 기능을 기반으로 발전시키세요.

  • 프로젝트에 통합: 이러한 기능을 기존 애플리케이션에 원활하게 통합해 보세요.

  • 커뮤니티에 기여: 개선 사항을 공유하여 저희가 이러한 도구를 모두를 위해 개선할 수 있도록 도움을 주세요.

  • Google AI Studio에서 사용해 보기: 이러한 앱은 Google AI Studio에서 신속한 프로토타입 제작이나 실험 용도로 바로 사용할 수 있습니다.


여러분이 무엇을 빌드할지 정말 기대됩니다. 댓글이나 개발자 포럼을 통해 프로젝트와 의견을 공유해 주세요.