네이티브 오디오 이해, 시스템 안내, JSON 모드 등과 함께 이제 180여 개국에서 Gemini 1.5 Pro 이용 가능

4월 09, 2024
Jaclyn Konzelmann Google Labs
Megan Li Google Labs

Google AI Studio에서 API 키를 가져와 Gemini API 레시피북을 시작하세요.

차세대 Gemini 1.5 Pro 모델을 Google AI Studio에서 개발자가 사용해 볼 수 있도록 만든지 채 두 달도 지나지 않았습니다. 그 사이에 저희는 커뮤니티가 1백만 개의 획기적인 컨텍스트 창을 사용하여 디버깅하고, 만들고, 학습할 수 있는 모습을 보고 정말 놀랐습니다.

오늘 공개 미리보기에서 Gemini API를 통해 Gemini 1.5 Pro를 180여 개 국가에서 사용할 수 있도록 제공합니다. Gemini 1.5 Pro는 최초의 네이티브 오디오(음성) 이해 기능과 파일을 쉽게 처리할 수 있게 해주는 새로운 File API를 갖추고 있습니다. 또한 개발자가 모델의 출력을 더 잘 제어할 수 있도록 시스템 안내JSON 모드 같은 새로운 기능도 출시합니다. 마지막으로, 동급 모델을 능가하는 차세대 텍스트 삽입 모델도 선보입니다. Google AI Studio로 이동하여 API 키를 생성하거나 액세스하고 개발을 시작해 보세요.


오디오 및 동영상 형식으로 새로운 사용 사례 활용

Gemini API와 Google AI Studio 모두에 오디오(음성) 이해가 포함되도록 Gemini 1.5 Pro의 입력 형식을 확장하고 있습니다. 또한, Gemini 1.5 Pro는 이제 Google AI Studio에 업로드된 동영상의 이미지(프레임)와 오디오(음성)를 모두 추론할 수 있으며, 곧 이를 위한 API 지원이 추가될 예정입니다.

screen grab of a clooege professor using Gemini 1.5 Pro to create a quiz based on their latest lecture video in Google AI Studio
Jeff Dean의 이 117,000개가 넘는 토큰 강의와 같은 강의 녹화 자료를 업로드할 수 있으며, Gemini 1.5 Pro는 이를 해답 키가 있는 퀴즈로 바꿀 수 있습니다. [데모를 위해 동영상 속도 향상]

Maps API 개선

오늘은 다수의 주요 개발자 요청을 다루고자 합니다.

1. 시스템 안내: 이제 Google AI Studio와 Gemini API에서 제공되는 시스템 안내를 통해 모델의 응답을 안내합니다. 특정 사용 사례에 대한 모델의 동작을 조정하도록 역할, 형식, 목표, 규칙을 정의합니다.

Image showing where System Instructions is located in Google AI Studio
Google AI Studio에서 쉽게 시스템 안내 설정

2. JSON 모드: JSON 객체만 출력하도록 모델에 지시합니다. 이 모드를 사용하면 텍스트 또는 이미지에서 구조화된 데이터를 추출할 수 있습니다. cURL로 시작할 수 있으며 Python SDK 지원이 곧 제공될 예정입니다.


3. 함수 호출 개선: 이제 모델의 출력을 제한하여 신뢰성을 개선하는 모드를 선택할 수 있습니다. 텍스트, 함수 호출 또는 함수 자체만 선택하세요.


향상된 성능의 새로운 삽입 모델

오늘부터 개발자는 Gemini API를 통해 차세대 텍스트 삽입 모델에 액세스할 수 있습니다. 이 새로운 모델 text-embedding-004(Vertex AI의 text-embedding-preview-0409)는 MTEB 벤치마크에서 더 강력한 검색 성능을 달성하고 유사한 차원의 기존 모델을 능가합니다.

table showing Gecko: Versativel Text Embeddings Distilled from Large Language Models
256차원의 출력을 사용하는 'Text-embedding-004'(일명 Gecko)가 MTEB 벤치마크에서 더 큰 768차원 출력 모델을 모두 능가함

오늘 소개한 내용은 향후 몇 주간 Gemini API 및 Google AI Studio에 도입될 수많은 개선 사항 중 첫 번째에 불과합니다. Gemini로 가장 쉽게 개발하는 방법이 Google AI Studio와 Gemini API가 될 수 있도록 꾸준히 노력하고 있습니다. 오늘 바로 Google AI Studio에서 Gemini 1.5 Pro를 시작하고, 새로운 Gemini API 레시피북에서 코드 예제와 빠른 시작을 살펴보고, Discord의 커뮤니티 채널에 가입하세요.