Banyak pengguna berinteraksi dengan AI generatif setiap hari tanpa menyadari peran penting API yang mendasarinya sehingga kemampuan canggih ini dapat diakses. API membuka kekuatan AI generatif dengan menyediakan model untuk agen otomatis dan pengguna manusia. Proses bisnis kompleks yang dimanfaatkan secara internal dan eksternal dibangun dengan menghubungkan beberapa API dalam alur kerja agentik.
Google Kubernetes Engine (GKE) Inference Gateway adalah ekstensi untuk GKE Gateway yang menyediakan pemilihan rute dan load balancing yang dioptimalkan untuk melayani beban kerja Kecerdasan Buatan (AI) generatif. Gateway ini menyederhanakan deployment, pengelolaan, dan kemampuan observasi beban kerja inferensi AI. GKE Inference Gateway menawarkan:
Criticality: GKE Inference Gateway memungkinkan Anda menentukan penayangan Criticality model AI untuk memprioritaskan permintaan yang sensitif terhadap latensi di atas tugas inferensi batch yang tahan latensi.Sebagian besar pelanggan perusahaan yang menggunakan GKE Inference Gateway ingin mengamankan dan mengoptimalkan beban kerja agentik/AI. Mereka ingin memublikasikan dan memonetisasi Agentic API mereka, sekaligus mengakses fitur tata kelola API berkualitas tinggi yang ditawarkan oleh Apigee sebagai bagian dari strategi komersialisasi Agentic API mereka.
GKE Inference Gateway memecahkan tantangan ini melalui pengenalan sumber daya GCPTrafficExtension, yang memungkinkan GKE Gateway melakukan panggilan “sideways” ke policy decision point (PDP) melalui mekanisme ekstensi layanan (atau ext-proc).
Operator Apigee untuk Kubernetes memanfaatkan mekanisme ekstensi layanan ini untuk menerapkan kebijakan Apigee pada traffic API yang mengalir melalui GKE Inference Gateway. Integrasi yang mulus ini memberikan pengguna GKE Inference Gateway manfaat dari tata kelola API Apigee.
GKE Inference Gateway dan Operator Apigee untuk Kubernetes bekerja bersama melalui langkah-langkah berikut:
Apigee menyediakan lapisan pengelolaan API yang komprehensif untuk API transaksional tradisional dan Model Bahasa Besar (LLM) di Google Cloud, cloud publik lainnya, dan infrastruktur lokal. Platform ini menawarkan engine kebijakan yang kuat, pengelolaan siklus proses API secara penuh, dan analisis berteknologi AI/ML lanjutan. Apigee diakui sebagai Pemimpin untuk pengelolaan API di Gartner Magic Quadrant, melayani perusahaan besar dengan kebutuhan API yang kompleks.
Melalui integrasi baru dengan GKE Inference Gateway ini, pengguna GKE bisa memanfaatkan rangkaian lengkap fitur Apigee untuk mengelola, mengatur, dan memonetisasi beban kerja AI mereka melalui API. Ini termasuk kemampuan bagi pembuat API untuk memaketkan API ke dalam Produk API yang tersedia bagi developer melalui portal developer swalayan. Pengguna juga mendapatkan akses ke layanan bernilai tambah Apigee, seperti keamanan API dan analisis API yang terperinci.
Dengan integrasi ini, pengguna GKE bisa mengakses kebijakan Apigee yang mengatur:
Operator Apigee untuk Kubernetes yang digunakan dalam integrasi ini juga mendukung aturan template admin, sehingga administrator organisasi bisa menerapkan aturan kebijakan di seluruh organisasinya. Misalnya, admin organisasi dapat mewajibkan kebijakan tertentu agar diterapkan pada semua API, atau menentukan daftar kebijakan yang tidak bisa digunakan dengan API organisasi.
Rencana mendatang termasuk dukungan untuk kebijakan Apigee AI yang mengatur:
Dengan memanfaatkan kemampuan pengelolaan dan keamanan API Apigee yang terbaik di kelasnya melalui GKE Inference Gateway, perusahaan kini dapat menyatukan lapisan penayangan AI dan tata kelola API mereka. Dengan platform pengelolaan API berfitur lengkap dari Apigee, Anda bisa fokus pada misi utama Anda: menjalankan engine inferensi di GKE untuk memanfaatkan infrastruktur AI terbaik yang tersedia di cloud publik.
