Penyematan teks tercanggih melalui Gemini API

MAR 07, 2025
Logan Kilpatrick Senior Product Manager Gemini API and Google AI Studio
Zach Gleicher Product Manager Google DeepMind
Parashar Shah Product Manger Google Cloud

[Gambar yang dibuat oleh Google dengan pembuatan gambar native Gemini 2.0 Flash]


Hari ini, kami membuat model teks Gemini Embedding eksperimental baru (gemini-embedding-exp-03-07)1 tersedia di Gemini API.

Dilatih menggunakan model Gemini itu sendiri, model sematan ini mewarisi pemahaman bahasa dan konteks khas Gemini yang membuatnya bisa diterapkan untuk berbagai penggunaan. Model sematan baru ini melampaui model tercanggih kami sebelumnya (text-embedding-004), meraih peringkat teratas di papan peringkat Massive Text Embedding Benchmark (MTEB) Multibahasa, dan hadir dengan fitur-fitur baru, seperti panjang token input yang lebih panjang!


Model sematan teks kami yang paling mumpuni

Kami melatih model kami agar bersifat sangat umum, yang memberikan performa yang luar biasa pada berbagai domain, termasuk keuangan, sains, legal, penelusuran, dan lainnya. Model ini langsung bekerja secara efektif sejak diaktifkan, sehingga Anda tidak perlu melakukan penyesuaian yang ekstensif untuk tugas tertentu.

Papan peringkat MTEB (Multibahasa) memberi peringkat model sematan teks di berbagai tugas seperti pengambilan dan klasifikasi untuk memberikan tolok ukur yang komprehensif untuk perbandingan model. Model Gemini Embedding kami mencapai skor (tugas) rata-rata 68,32–selisih +5,81 dari model pesaing terdekat berikutnya.

MTEB Leaderboard text model performance ranking
Model sematan teks Gemini kami yang baru (gemini-embedding-exp-03-07) meraih skor tertinggi di papan peringkat MTEB (Multibahasa) (klik kanan untuk membuka gambar di tab baru).

Mengapa sematan?

Dari membangun retrieval augmented generation (RAG) cerdas dan sistem rekomendasi hingga klasifikasi teks, kemampuan LLM untuk memahami makna di balik teks sangatlah penting. Sematan sering kali sangat penting untuk membangun sistem yang lebih efisien, mengurangi biaya dan latensi, serta secara umum memberikan hasil yang lebih baik daripada sistem pencocokan kata kunci. Sematan menangkap makna semantik dan konteks melalui representasi numerik data. Data dengan makna semantik yang sama memiliki sematan yang lebih dekat. Sematan memungkinkan berbagai macam aplikasi, termasuk:

  • Pengambilan yang Efisien: Menemukan dokumen yang relevan dalam database yang besar, seperti pengambilan dokumen legal atau penelusuran perusahaan, dengan membandingkan sematan kueri dan dokumen.

  • Retrieval-Augmented Generation (RAG): Meningkatkan kualitas dan relevansi teks yang dihasilkan dengan mengambil dan memasukkan informasi yang relevan secara kontekstual ke dalam konteks model.

  • Pengelompokan dan Kategorisasi: Mengelompokkan teks yang serupa, mengidentifikasi tren dan topik dalam data Anda.

  • Klasifikasi: Secara otomatis mengategorikan teks berdasarkan isinya, seperti analisis sentimen atau deteksi spam.

  • Kemiripan Teks: Mengidentifikasi konten duplikat, yang memungkinkan tugas seperti penghapusan duplikat halaman web atau deteksi plagiarisme.

Anda bisa mempelajari lebih lanjut tentang sematan dan kasus penggunaan AI secara umum dalam dokumen Gemini API.


Memulai Gemini Embedding

Developer kini bisa mengakses model Gemini Embeddings eksperimental kami yang baru melalui Gemini API. Model ini kompatibel dengan endpoint embed_content saat ini.

from google import genai
 
client = genai.Client(api_key="GEMINI_API_KEY")
 
result = client.models.embed_content(
        model="gemini-embedding-exp-03-07",
        contents="How does alphafold work?",
)
 
print(result.embeddings)

Selain peningkatan kualitas di seluruh dimensi, Gemini Embedding juga memiliki fitur:

  • Batas token input 8K token. Kami telah meningkatkan panjang konteks kami dari model sebelumnya yang memungkinkan Anda menyematkan potongan besar teks, kode, atau data lainnya.

  • Dimensi output 3K dimensi. Sematan berdimensi tinggi dengan token hampir 4x lebih banyak dibandingkan model sematan sebelumnya.

  • Matryoshka Representation Learning (MRL): MRL memungkinkan Anda memotong dimensi asli 3K untuk memperkecil skalanya agar sesuai dengan biaya penyimpanan yang diinginkan.

  • Dukungan bahasa yang diperluas. Kami telah menggandakan jumlah bahasa yang didukung menjadi lebih dari 100 bahasa.

  • Model terpadu. Model ini melampaui kualitas model multibahasa khusus-tugas, bahasa Inggris saja, dan model khusus kode kami sebelumnya.


Meskipun saat ini masih dalam tahap eksperimental dengan kapasitas terbatas, rilis ini memberi Anda kesempatan awal untuk menjelajahi kemampuan Gemini Embedding. Seperti semua model eksperimental, model ini sewaktu-waktu bisa berubah, dan kami sedang bekerja untuk membuat rilis stabil yang tersedia secara umum di bulan-bulan mendatang. Kami ingin mendengar masukan Anda pada formulir masukan sematan.



1 Pada Vertex AI, model yang sama disalurkan melalui endpoint “text-embedding-large-exp-03-07.” Untuk ketersediaan umum, penamaan akan konsisten.