Vertex AI RAG Engine: Alat developer

AI Generatif dan Model Bahasa Besar (LLM) sedang mentransformasi industri, namun ada dua tantangan utama yang dapat menghambat adopsi perusahaan: halusinasi (menghasilkan informasi yang salah atau tidak masuk akal) dan terbatasnya pengetahuan di luar data pelatihan mereka. Retrieval Augmented Generation (RAG) dan grounding menawarkan solusi dengan menghubungkan LLM ke sumber data eksternal, memungkinkan mereka mengakses informasi terkini dan menghasilkan respons yang lebih faktual dan relevan.

Postingan ini membahas Vertex AI RAG Engine dan bagaimana Vertex AI RAG Engine memberdayakan pengembang perangkat lunak dan AI untuk membangun aplikasi AI generatif yang kuat dan membumi.

Apa itu RAG dan mengapa Anda membutuhkannya?

RAG mengambil informasi yang relevan dari basis pengetahuan dan memasukkannya ke LLM, memungkinkannya menghasilkan respons yang lebih akurat dan terinformasi. Hal ini berbeda dengan hanya mengandalkan pengetahuan LLM yang telah dilatih sebelumnya, yang mungkin sudah ketinggalan zaman atau tidak lengkap. RAG sangat penting untuk membangun aplikasi Gen AI tingkat perusahaan yang memerlukan:

• Akurasi: Meminimalkan halusinasi dan memastikan respons didasarkan pada fakta.

• Informasi Terkini: Mengakses data dan wawasan terkini.

• Keahlian Domain: Memanfaatkan basis pengetahuan khusus untuk kasus penggunaan tertentu.

RAG vs Grounding vs Pencarian

• RAG: teknik untuk mengambil dan memberikan informasi yang relevan kepada LLM untuk menghasilkan respons. Informasi tersebut dapat mencakup informasi segar, topik dan konteks, atau kebenaran dasar.

• Pembumian: Pastikan keandalan dan kepercayaan konten yang dihasilkan AI dengan mengaitkannya ke sumber informasi terverifikasi. Grounding dapat menggunakan RAG sebagai tekniknya.

• Penelusuran: pendekatan untuk menemukan dan menyampaikan informasi relevan dengan cepat dari sumber data berdasarkan kueri teks atau multimodal yang didukung oleh model AI tingkat lanjut.

Memperkenalkan Mesin Vertex AI RAG

Vertex AI RAG Engine adalah layanan orkestrasi terkelola, menyederhanakan proses kompleks dalam mengambil informasi relevan dan memasukkannya ke LLM. Hal ini memungkinkan pengembang untuk fokus membangun aplikasi mereka daripada mengelola infrastruktur.

Keuntungan Utama Vertex AI RAG Engine:

• Kemudahan Penggunaan: Mulai dengan cepat menggunakan API sederhana, yang memungkinkan pembuatan prototipe dan eksperimen cepat.

• Managed Orchestration: Handles the complexities of data retrieval and LLM integration, freeing developers from infrastructure management.

• Penyesuaian dan Dukungan Open Source: Pilih dari beragam penguraian, pemotongan, anotasi, penyematan, penyimpanan vektor, dan model open source, atau sesuaikan komponen Anda sendiri.

• Komponen Google Berkualitas Tinggi: Manfaatkan teknologi mutakhir Google untuk performa yang optimal.

• Fleksibilitas Integrasi: Hubungkan ke berbagai database vektor, seperti Pinecone dan Weaviate, atau gunakan Vertex AI Vector Search.

Vertex AI RAG: Spektrum Solusi

Google Cloud menawarkan spektrum solusi RAG dan grounding, yang ditujukan untuk berbagai level kompleksitas dan penyesuaian:

• Vertex AI Search: Mesin pencari dan API pengambilan yang terkelola sepenuhnya, ideal untuk kasus penggunaan perusahaan kompleks yang memerlukan kualitas tinggi, skalabilitas, dan kontrol akses yang sangat baik. Ini menyederhanakan koneksi ke beragam sumber data perusahaan dan memungkinkan pencarian di berbagai sumber.

• RAG yang sepenuhnya DIY: Bagi pengembang yang mencari kontrol penuh, Vertex AI menyediakan API komponen individual (misalnya, Text Embedding API, Ranking API, Grounding on Vertex AI) untuk membangun pipeline RAG khusus. Pendekatan ini menawarkan fleksibilitas maksimum namun memerlukan upaya pengembangan yang signifikan. Gunakan ini jika Anda memerlukan penyesuaian yang sangat spesifik atau ingin berintegrasi dengan kerangka kerja RAG yang ada.

• Vertex AI RAG Engine: Tempat terbaik bagi pengembang yang mencari keseimbangan antara kemudahan penggunaan dan penyesuaian. Ini memberdayakan pembuatan prototipe dan pengembangan yang cepat tanpa mengorbankan fleksibilitas.

Kasus penggunaan Industri yang umum untuk RAG Engine:

1. Layanan Keuangan: Saran Investasi & Penilaian Risiko:

Masalah: Penasihat keuangan perlu dengan cepat menyintesis sejumlah besar informasi – profil klien, data pasar, pengajuan peraturan, dan penelitian internal – untuk memberikan saran investasi yang disesuaikan dan penilaian risiko yang akurat. Meninjau semua informasi ini secara manual akan menghabiskan banyak waktu dan rentan terhadap kesalahan.

Solusi RAG Engine: RAG engine bisa menyerap dan mengindeks sumber data yang relevan. Penasihat keuangan kemudian dapat melakukan kueri pada sistem dengan profil spesifik dan tujuan investasi klien. RAG engine akan memberikan respons ringkas berdasarkan data yang diambil dari dokumen yang relevan, termasuk kutipan untuk mendukung rekomendasi. Hal ini meningkatkan efisiensi penasihat, mengurangi risiko kesalahan manusia, dan meningkatkan personalisasi saran. Sistem ini juga bisa menandai potensi konflik kepentingan atau pelanggaran peraturan berdasarkan informasi yang ditemukan dalam data yang diserap.

2. Layanan Kesehatan: Percepatan Penemuan & Rencana Perawatan yang Dipersonalisasi:

Masalah: Penemuan obat dan pengobatan yang dipersonalisasi sangat bergantung pada analisis set data yang sangat besar dari uji coba klinis, makalah penelitian, rekam medis pasien, dan informasi genetik. Memilah-milah data ini untuk mengidentifikasi target obat yang potensial, memprediksi respons pasien terhadap pengobatan, atau membuat rencana pengobatan yang dipersonalisasi sangat tidak mudah.

Solusi RAG Engine: Dengan langkah-langkah privasi dan keamanan yang tepat, RAG engine bisa menyerap dan mengindeks literatur biomedis dan data pasien yang sangat banyak. Peneliti kemudian dapat mengajukan pertanyaan yang rumit, seperti “Apa saja potensi efek samping obat X pada pasien dengan genotipe Y?” RAG engine akan menyintesis informasi yang relevan dari berbagai sumber, memberikan peneliti insight yang mungkin terlewat dalam penelusuran manual. Bagi dokter, engine ini bisa membantu menciptakan rencana pengobatan yang dipersonalisasi berdasarkan karakteristik unik dan riwayat medis pasien, didukung oleh bukti dari penelitian yang relevan.

3. Hukum: Peningkatan Uji Tuntas dan Tinjauan Kontrak:

Masalah: Tenaga profesional hukum menghabiskan banyak waktu untuk meninjau dokumen selama proses uji tuntas, negosiasi kontrak, dan litigasi. Menemukan klausul yang relevan, mengidentifikasi potensi risiko, dan memastikan kepatuhan terhadap peraturan sangatlah menyita waktu dan membutuhkan keahlian yang mendalam.

Solusi RAG Engine: RAG engine bisa menyerap dan mengindeks dokumen legal, hukum kasus, dan informasi peraturan. Tenaga profesional hukum dapat meminta sistem untuk menemukan klausul tertentu dalam kontrak, mengidentifikasi potensi risiko hukum, dan meneliti preseden yang relevan. Engine ini bisa menyoroti inkonsistensi, potensi liabilitas, dan hukum kasus yang relevan, sehingga secara signifikan mempercepat proses peninjauan dan meningkatkan akurasi. Hal ini mengarah pada tercapainya kesepakatan transaksi dengan lebih cepat, berkurangnya risiko hukum, dan penggunaan keahlian di bidang hukum secara lebih efisien.

Memulai Mesin Vertex AI RAG

Google menyediakan banyak referensi untuk membantu Anda memulai, termasuk:

• Memulai Notebook:
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/intro_rag_engine.ipynb

• Dokumentasi: Dokumentasi komprehensif untuk memandu Anda menyiapkan dan menggunakan RAG Engine.
  • https://cloud.google.com/vertex-ai/generative-ai/docs/rag-overview

• Integrasi: Contoh dengan Vertex AI Vector Search, Vertex AI Feature Store, Pinecone, dan Weaviate
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_vector_search.ipynb
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_feature_store.ipynb
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_pinecone.ipynb
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_weaviate.ipynb

• Kerangka Evaluasi: Pelajari cara mengevaluasi dan melakukan penyesuaian hyperparameter untuk pengambilan dengan RAG Engine:
  • https://github.com/GoogleCloudPlatform/generative-ai/blob/main/gemini/rag-engine/rag_engine_evaluation.ipynb

Membangun AI generatif yang membumi

Mesin RAG Vertex AI dan rangkaian solusi landasan memberdayakan pengembang untuk membangun aplikasi AI generatif yang lebih andal, faktual, dan berwawasan luas. Dengan memanfaatkan alat-alat ini, Anda dapat membuka potensi penuh LLM dan mengatasi tantangan halusinasi dan pengetahuan yang terbatas, sehingga membuka jalan bagi adopsi AI generatif oleh perusahaan secara lebih luas. Pilih solusi yang paling sesuai dengan kebutuhan Anda dan mulailah membangun aplikasi cerdas generasi berikutnya.