Memperkenalkan PaliGemma 2 mix: Model visi-bahasa untuk berbagai tugas

Pada bulan Desember lalu, kami meluncurkan PaliGemma 2, model visi-bahasa yang telah di-upgrade dalam rangkaian produk Gemma. Rilis ini menyertakan checkpoint yang telah dilatih sebelumnya dengan berbagai ukuran (parameter 3B, 10B, dan 28B) yang bisa secara mudah disesuaikan dengan berbagai tugas dan domain visi-bahasa, seperti segmentasi gambar, pemberian teks video pendek, menjawab pertanyaan ilmiah, dan tugas terkait teks dengan performa tinggi.

Sekarang, kami sangat antusias dapat mengumumkan peluncuran checkpoint PaliGemma 2 mix. PaliGemma 2 mix adalah model yang diatur untuk campuran tugas yang memungkinkan Anda secara langsung mengeksplorasi kemampuan model dan menggunakannya secara langsung untuk kasus penggunaan umum.

Apa yang baru di PaliGemma 2 mix?

• Beberapa tugas dengan satu model: PaliGemma 2 mix bisa menyelesaikan tugas seperti pemberian teks pendek dan panjang, pengenalan karakter optik (OCR), menjawab pertanyaan terkait gambar, deteksi objek, dan segmentasi.

• Ukuran yang ramah developer: Gunakan model terbaik untuk kebutuhan Anda karena tersedia berbagai ukuran model (parameter 3B, 10B, dan 28B) serta resolusi (224px dan 448px).

• Gunakan dengan framework pilihan Anda: Manfaatkan alat dan framework pilihan Anda, termasuk Hugging Face Transformers, Keras, PyTorch, JAX, dan Gemma.cpp.

Jika Anda sudah menggunakan checkpoint PaliGemma mix asli, Anda bisa langsung melakukan upgrade ke PaliGemma 2 tanpa perlu melakukan perubahan apa pun. Model ini melakukan tugas yang berbeda tergantung pada bagaimana permintaannya. Anda bisa meninjau sintaksis tugas prompt yang berbeda dalam dokumentasi resmi dan mempelajari lebih lanjut tentang cara pengembangan PaliGemma 2 dalam laporan teknis kami.

Deteksi

• Tugas: Deteksi (PaliGemma-2-3b-mix-224)
• Input: "detect android\n"

Result:

Deteksi Multi Objek

• Tugas: Deteksi Multi Objek (PaliGemma-2-3b-mix-224)
• Input: “detect chair ; table\n”

Result:

• Tugas: Deteksi Multi Objek (PaliGemma-2-3b-mix-224)
• Input - "detect food ; plate ; bowl\n"

Result:

Pengenalan Karakter Optik (OCR)

• Tugas: Deteksi Multi Objek (PaliGemma-2-3b-mix-224)
• Input - "ocr\n"

Result:

Segmentasi

• Tugas: Segmentasi (PaliGemma-2-3b-mix-224) [Gambar dibuat oleh ImageFX]
• Input - "segment cat\n"

Result:

Menjawab Pertanyaan

• Tugas: Menjawab Pertanyaan (PaliGemma2-mix-3b-448) [Gambar dibuat oleh ImageFX]
• Input: “answer en where is the cow standing?\n"

Result: beach

Pemberian Teks

• Input: “caption en\n”

Result: a cow standing on a beach next to a sign that says warning dangerous rip current.

Pengenalan Karakter Optik (OCR)

Result:

WARNING

DANGEROUS

RIP CURRENT

Deteksi

• Input: “detect cow\n”

Result:

Segmentasi

• Input: “segment cow\n”

Result:

Pemberian Teks

• Tugas: Pemberian Teks (PaliGemma 2-mix-10b-448)
• Input: “caption en\n”

Result: A cow standing on a beach next to a warning sign.

Pengenalan Karakter Optik (OCR)

• Tugas: "ocr\n"

Result:

WARNING DANGEROUS

RIP CURRENT

Mulai Sekarang

Siap menemukan potensi PaliGemma 2? Berikut ini adalah cara menjelajahi kemampuan model campuran:

• Cobalah model campuran dengan beberapa klik: Jelajahi kemampuan model campuran secara langsung pada demo Hugging Face.

• Download model: Akses bobot model campuran di Kaggle dan Hugging Face.

• Pelajari cara menjalankan model: Cobalah notebook inferensi Keras secara langsung di Google Colab atau secara lokal.

• Deploy dan atur dengan beberapa klik: Gunakan PaliGemma 2 mix secara langsung dalam Vertex Model Garden.

Meskipun PaliGemma 2 mix memiliki performa yang kuat dalam berbagai tugas, Anda akan mendapatkan hasil terbaik dengan menyesuaikan PaliGemma 2 dalam tugas atau domain Anda sendiri. Untuk mempelajari cara melakukannya, pelajari dokumentasi komprehensif kami, lihat notebook contoh resmi kami untuk Keras dan JAX, atau gunakan contoh Hugging Face Transformers. Kami sangat menantikan kreasi yang akan Anda bangun dengan PaliGemma 2 mix!