Hari ini kami memperluas Gemini Batch API untuk mendukung model Gemini Embedding yang baru saja diluncurkan, serta menawarkan kepada developer kemampuan untuk memanfaatkan OpenAI SDK untuk mengirimkan dan memproses batch.
Ini dibangun di atas peluncuran awal Gemini Batch API - yang memungkinkan pemrosesan asinkron dengan biaya 50% lebih rendah untuk kasus penggunaan dengan volume tinggi dan toleran terhadap latensi.
Model Gemini Embedding terbaru kami sudah digunakan untuk ribuan deployment produksi. Dan kini, Anda bisa memanfaatkan model ini dengan Batch API pada batas kecepatan yang jauh lebih tinggi dengan harga setengahnya - $0,075 per 1 Juta token input - untuk membuka lebih banyak lagi kasus penggunaan yang lebih sensitif terhadap biaya, toleran terhadap latensi, atau asinkron.
Memulai Batch Embeddings hanya dengan beberapa baris kode:
# Create a JSONL with your requests:
# {"key": "request_1", "request": {"output_dimensionality": 512, "content": {"parts": [{"text": "Explain GenAI"}]}}}
# {"key": "request_2", "request": {"output_dimensionality": 512, "content": {"parts": [{"text": "Explain quantum computing"}]}}}
from google import genai
client = genai.Client()
uploaded_batch_requests = client.files.upload(file='embedding_requests.jsonl')
batch_job = client.batches.create_embeddings(
model="gemini-embedding-001",
src={"file_name": uploaded_batch_requests.name}
)
print(f"Created embedding batch job: {batch_job.name}")
# Wait for up to 24 hours
if batch_job.state.name == 'JOB_STATE_SUCCEEDED':
result_file_name = batch_job.dest.file_name
file_content_bytes = client.files.download(file=result_file_name)
file_content = file_content_bytes.decode('utf-8')
for line in file_content.splitlines():
print(line)Untuk informasi dan contoh selengkapnya, kunjungi:
Beralih ke Gemini Batch API sekarang semudah mengupdate beberapa baris kode jika Anda menggunakan lapisan kompatibilitas OpenAI SDK:
from openai import OpenAI
openai_client = OpenAI(
api_key="GEMINI_API_KEY",
base_url="https://generativelanguage.googleapis.com/v1beta/openai/"
)
# Upload JSONL file in OpenAI batch input format...
# Create batch
batch = openai_client.batches.create(
input_file_id=batch_input_file_id,
endpoint="/v1/chat/completions",
completion_window="24h"
)
# Wait for up to 24 hours & poll for status
batch = openai_client.batches.retrieve(batch.id)
if batch.status == "completed":
# Download results...Anda bisa membaca selengkapnya tentang lapisan Kompatibilitas OpenAI dan dukungan batch dalam dokumentasi kami.
Kami terus memperluas penawaran batch kami untuk semakin mengoptimalkan biaya penggunaan Gemini API, jadi nantikan update selanjutnya. Sementara itu, selamat membangun!
