오늘 Gemini 1.5 Pro 2M 컨텍스트 윈도우, 코드 실행 기능, Gemma 2 출시

오늘부터 개발자는 Gemini 1.5 Pro에서 2백만 개 토큰 길이의 컨텍스트 윈도우와 Gemini API에서 코드 실행 기능을 사용할 수 있고 Google AI Studio에 추가로 제공되는 Gemma 2에 액세스할 수 있습니다.

긴 컨텍스트와 컨텍스트 캐싱

I/O에서 Google은 그동안 대기 중이던 Gemini 1.5 Pro에서 2백만 개 토큰 길이의 역대 가장 긴 컨텍스트 윈도우를 발표했습니다. 오늘부터 모든 개발자는 Gemini 1.5 Pro에서 2백만 개 토큰 길이의 컨텍스트 윈도우에 액세스할 수 있습니다.

컨텍스트 윈도우가 커지면 입력 비용이 발생할 가능성도 커집니다. 개발자가 여러 프롬프트에서 동일한 토큰을 사용하는 작업의 비용을 절감할 수 있도록 Gemini 1.5 Pro 및 1.5 Flash 모두에 대해 Gemini API에서 컨텍스트 캐싱을 도입했습니다.

코드 실행

LLM은 역사적으로 수학 또는 데이터 추론 문제로 어려움을 겪어 왔습니다. 이러한 문제를 해결할 수 있는 코드를 생성하고 실행하는 것은 정확성을 높이는 데 도움이 됩니다. 개발자가 이러한 기능을 활용할 수 있도록 Gemini 1.5 Pro 및 1.5 Flash에 대해 모두 코드 실행을 활성화했습니다. 코드 실행 기능이 활성화되면 모델은 이 기능을 동적으로 활용하여 Python 코드를 생성 및 실행하고 원하는 최종 출력에 도달할 때까지 결과에서 반복적으로 학습할 수 있습니다. 실행 샌드박스는 인터넷에 연결되지 않고 몇 개의 숫자 라이브러리가 기본으로 제공되며 개발자에게는 단순히 모델의 출력 토큰을 기준으로 요금이 청구됩니다.

이는 코드 실행을 모델 기능으로 사용하기 위한 첫 번째 단계이며 현재 Gemini API와 Google AI Studio의 'advanced settings'를 통해 사용할 수 있습니다.

Google AI Studio의 Gemma 2

API 키를 통해서든 Gemma 2와 같은 개방형 모델을 사용해서든 Gemini 모델을 통합할 방법을 모색 중인 모든 개발자가 AI에 액세스할 수 있도록 하고자 합니다. 개발자가 Gemma 2 모델을 체험하는 데 도움이 되도록 Gemma 2는 Google AI Studio에서 실험용으로 제공될 예정입니다.

프로덕션 단계로 진입한 Gemini 1.5 Flash

Gemini 1.5 Flash는 개발자가 가장 절실하게 요청하는 속도와 경제성 문제를 해결하고자 개발되었습니다. 개발자들이 Gemini 1.5 Flash로 혁신하고 프로덕션 환경에서 이 모델을 사용하는 방식을 계속 흥미롭게 지켜보고 있습니다.

• 시각 장애인이나 시력이 약한 사람들은 Envision을 사용해서 앱이나 스마트 안경을 통해 인접한 주변 환경을 더욱 잘 이해하고 구체적인 질문을 할 수 있습니다. Envision 사용자는 Gemini 1.5 Flash의 속도를 활용하여 주변 환경에 대한 실시간 설명을 얻을 수 있으며, 이는 그들이 세계를 탐색하며 경험을 쌓는 데 매우 중요합니다.

• 자동화된 정책 분석 및 모니터링 플랫폼인 Plural은 Gemini 1.5 Flash를 사용하여 NGO와 정책에 관심이 있는 시민이 법안 통과 과정에 영향력을 행사할 수 있도록 복잡한 입법 문서를 요약하고 추론합니다.

• Zapier는 Gemini 1.5 Flash의 동영상 추론 기능을 활용하여 원본 동영상 장면에서 Zapier 테이블로 특정 세부 정보를 끌어와 동영상 편집을 위한 새로운 자동화 기회를 제공합니다.

• 사용자와 함께 성장하고 시간이 지남에 따라 점점 더 개인 맞춤화하도록 설계된 AI인 Dot는 에이전트의 장기 메모리 시스템에 핵심인 여러 가지 정보 압축 작업을 수행하는 데 Gemini 1.5 Flash를 활용했습니다. Dot의 경우, 1.5 Flash는 요약, 필터링, 순위 재지정과 같은 작업에 대해 10분의 1 미만의 비용으로 더 비싼 모델과 유사한 성능을 발휘합니다.

지난달 발표 내용에 따라 저희는 모든 개발자가 Gemini 1.5 Flash를 튜닝하여 새로운 사용 사례, 더 견고한 프로덕션, 더 높은 신뢰성을 확보할 수 있도록 노력하고 있습니다. 1.5 Flash의 텍스트 튜닝은 현재 레드 팀을 통해 검증받을 준비가 되었으며 오늘부터 개발자에게 점진적으로 제공될 예정입니다. 모든 개발자는 7월 중순까지 Gemini API와 Google AI Studio를 통해 Gemini 1.5 Flash 튜닝에 액세스할 수 있습니다.

개발자가 이런 새로운 기능을 어떻게 활용할지 기대됩니다. 개발자 여러분은 개발자 포럼에서 대화에 참여하실 수 있습니다. 엔터프라이즈 개발자라면 저희가 어떻게 Vertex AI를 엔터프라이즈에 가장 적합한 생성형 AI 플랫폼으로 만들고 있는지 확인해 보세요.