Memperkenalkan Coral NPU: Platform full-stack untuk Edge AI

Memperkenalkan Coral NPU, platform open source full-stack yang dirancang untuk mengatasi tantangan performa inti, fragmentasi, dan privasi yang membatasi AI kuat yang selalu aktif dengan perangkat edge dan wearable berdaya rendah.

Coral NPU: Platform full-stack untuk Edge AI

AI Generatif telah mengubah ekspektasi kita terhadap teknologi secara fundamental. Kita telah melihat kekuatan model berbasis cloud berskala besar untuk menciptakan, menalar, dan membantu dengan cara yang luar biasa. Namun, lompatan teknologi besar berikutnya bukan hanya tentang membuat model cloud yang lebih besar; ini tentang menyematkan kecerdasan mereka secara langsung ke dalam lingkungan personal kita. Agar AI benar-benar bisa membantu — secara proaktif membantu kita menjalani hari, menerjemahkan percakapan secara real-time, atau memahami konteks fisik kita — AI harus berjalan di perangkat yang kita kenakan dan bawa. Hal ini menghadirkan tantangan utama: menyematkan AI ambient pada perangkat edge berdaya baterai terbatas, membebaskannya dari cloud untuk memungkinkan pengalaman yang benar-benar pribadi dan membantu sepanjang hari.

Untuk berpindah dari cloud ke perangkat pribadi, kita harus menyelesaikan tiga masalah penting:

• Kesenjangan performa: Model machine learning (ML) yang kompleks dan termutakhir menuntut lebih banyak komputasi, jauh melebihi kapasitas daya, termal, dan memori yang terbatas dari perangkat edge.
• Pajak fragmentasi: Mengompilasi dan mengoptimalkan model ML untuk berbagai lanskap prosesor berpemilik sangatlah sulit dan berbiaya tinggi, sehingga menghambat performa yang konsisten di perangkat.
• Defisit kepercayaan pengguna: Agar benar-benar bermanfaat, AI pribadi harus memprioritaskan privasi dan keamanan konteks serta data pribadi.

Hari ini kami memperkenalkan Coral NPU, platform full-stack yang dibangun di atas karya asli kami dari Coral untuk memberikan desainer hardware dan developer ML alat yang dibutuhkan untuk membangun perangkat edge AI generasi berikutnya yang pribadi dan efisien. Dirancang bersama dalam kemitraan dengan Tim Riset Google dan Google DeepMind, Coral NPU adalah arsitektur hardware pertama berbasis AI yang dibangun untuk memungkinkan perangkat AI berdaya sangat rendah dan selalu aktif. Ini menawarkan pengalaman developer terpadu, mempermudah penerapan aplikasi seperti penginderaan sekitar. Sistem ini dirancang khusus agar mampu mengaktifkan AI sepanjang hari pada perangkat wearable sekaligus meminimalkan penggunaan baterai dan dapat dikonfigurasi untuk kasus penggunaan dengan performa yang lebih tinggi. Kami telah merilis dokumentasi dan alat kami sehingga developer dan desainer bisa mulai membangun hari ini.

Coral NPU: Arsitektur yang mengutamakan AI

Developer yang membangun perangkat edge berdaya rendah menghadapi kompromi mendasar, memilih antara CPU serbaguna dan akselerator khusus. CPU serbaguna menawarkan fleksibilitas yang krusial dan dukungan software yang luas, tetapi tidak memiliki arsitektur khusus domain untuk beban kerja ML yang berat, sehingga kurang berperforma dan tidak efisien dalam penggunaan daya. Sebaliknya, akselerator khusus memberikan efisiensi ML yang tinggi tetapi tidak fleksibel, sulit diprogram, dan tidak cocok untuk tugas-tugas umum.

Masalah hardware ini diperburuk oleh ekosistem software yang sangat terfragmentasi. Dengan model pemrograman yang sangat berbeda untuk CPU dan blok ML, developer sering kali dipaksa untuk menggunakan compiler berpemilik dan buffering perintah yang kompleks. Hal ini menciptakan kurva pembelajaran yang curam dan menyulitkan penggabungan kekuatan unik dari unit komputasi yang berbeda. Akibatnya, industri tidak memiliki arsitektur hemat daya dan matang yang bisa dengan mudah dan efektif mendukung berbagai framework pengembangan ML.

Arsitektur Coral NPU secara langsung mengatasi hal ini dengan membalikkan desain chip tradisional. Ia memprioritaskan mesin matriks ML di atas komputasi skalar, mengoptimalkan arsitektur untuk AI dari silikon ke atas dan menciptakan platform yang dibuat khusus untuk inferensi di perangkat yang lebih efisien.

Sebagai referensi arsitektur neural processing unit (NPU) yang lengkap, Coral NPU menyediakan building blocks untuk systems on chip (SoC) hemat energi yang dioptimalkan untuk ML generasi berikutnya. Arsitektur ini berbasis serangkaian blok IP arsitektural yang kompatibel dengan RISC-V ISA dan dirancang untuk konsumsi daya minimal, sehingga ideal untuk penginderaan sekitar yang selalu aktif. Desain dasar memberikan performa dalam kisaran 512 giga operasi per detik (GOPS) dengan hanya mengonsumsi beberapa miliwatt, sehingga memungkinkan AI di perangkat yang kuat untuk perangkat edge, perangkat yang dapat didengar, kacamata AR, dan smartwatch.

Arsitektur yang terbuka dan dapat diperluas berdasarkan RISC-V memberikan fleksibilitas kepada desainer SoC untuk memodifikasi desain dasar, atau menggunakannya sebagai NPU yang telah dikonfigurasi sebelumnya. Arsitektur Coral NPU mencakup komponen-komponen berikut:

• Inti skalar: Frontend RISC-V yang ringan dan dapat diprogram dengan C yang mengelola alur data ke inti back-end, menggunakan model “run-to-completion” sederhana untuk konsumsi daya yang sangat rendah dan fungsi CPU tradisional.
• Unit eksekusi vektor: Prosesor bersama single instruction multiple data (SIMD) yang tangguh dan mematuhi kumpulan petunjuk RISC-V Vector (RVV) v1.0, yang memungkinkan operasi simultan pada set data besar.
• Unit eksekusi matriks: Mesin multiply-accumulate (MAC) produk luar terkuantisasi yang sangat efisien yang dibuat khusus untuk mempercepat operasi neural network dasar. Perhatikan bahwa inti matriks masih dalam tahap pengembangan dan akan dirilis di GitHub akhir tahun ini.

Pengalaman developer terpadu

Arsitektur Coral NPU adalah target yang bisa diprogram dengan C yang sederhana dan dapat diintegrasikan secara mulus dengan compiler modern seperti IREE dan TFLM. Hal ini memungkinkan dukungan yang mudah untuk framework ML seperti TensorFlow, JAX, dan PyTorch.

Coral NPU menggabungkan toolchain software yang komprehensif, termasuk solusi khusus seperti compiler TFLM untuk TensorFlow, bersama dengan compiler MLIR bertujuan umum, compiler C, kernel khusus, dan simulator. Hal ini memberikan jalur yang fleksibel bagi developer. Sebagai contoh, model dari framework seperti JAX pertama-tama diimpor ke dalam format MLIR menggunakan dialek StableHLO. File perantara ini kemudian dimasukkan ke dalam compiler IREE, yang menerapkan plugin khusus hardware untuk mengenali arsitektur Coral NPU. Dari sana, compiler melakukan penurunan progresif — langkah pengoptimalan penting ketika kode diterjemahkan secara sistematis melalui serangkaian dialek, mendekati bahasa asli mesin. Setelah pengoptimalan, toolchain menghasilkan file biner akhir yang ringkas dan siap untuk dieksekusi secara efisien di perangkat edge. Rangkaian alat developer berstandar industri ini membantu menyederhanakan pemrograman model ML dan bisa memberikan pengalaman yang konsisten di berbagai target hardware.

Proses desain bersama Coral NPU berfokus pada dua area utama. Pertama, arsitektur secara efisien mempercepat arsitektur berbasis encoder terkemuka yang digunakan dalam aplikasi visi dan audio di perangkat saat ini. Kedua, kami berkolaborasi erat dengan tim Gemma untuk mengoptimalkan Coral NPU bagi model transformer kecil, membantu memastikan arsitektur akselerator mendukung AI generatif generasi berikutnya di edge.

Fokus ganda ini berarti Coral NPU berada di jalur yang tepat untuk menjadi NPU terbuka, berbasis standar, dan berdaya rendah pertama yang dirancang untuk menghadirkan LLM ke perangkat wearable. Bagi developer, ini memberikan jalur tunggal yang tervalidasi untuk menerapkan model saat ini dan model mendatang dengan performa maksimum serta daya minimal.

Aplikasi target

Coral NPU dirancang untuk memungkinkan aplikasi AI edge berdaya sangat rendah dan selalu aktif, terutama berfokus pada sistem penginderaan sekitar. Tujuan utamanya adalah untuk memungkinkan pengalaman AI sepanjang hari pada perangkat wearable, ponsel, dan perangkat Internet of Things (IoT) dengan meminimalkan penggunaan baterai.

Kasus penggunaan potensial meliputi:

• Kesadaran kontekstual: Mendeteksi aktivitas pengguna (mis., berjalan, berlari), kedekatan, atau lingkungan (mis., di dalam/di luar ruangan, saat bepergian) untuk mengaktifkan mode “do-not-disturb” atau fitur sadar konteks lainnya.
• Pemrosesan audio: Deteksi suara dan ucapan, pencarian kata kunci, terjemahan langsung, transkripsi, dan fitur aksesibilitas berbasis audio.
• Pemrosesan gambar: Deteksi orang dan objek, pengenalan wajah, pengenalan gestur, dan penelusuran visual berdaya rendah.
• Interaksi pengguna: Mengaktifkan kontrol melalui gestur tangan, isyarat audio, atau input berbasis sensor lainnya.

Privasi yang diterapkan oleh hardware

Prinsip utama Coral NPU adalah membangun kepercayaan pengguna melalui keamanan yang diterapkan oleh hardware. Arsitektur kami dirancang untuk mendukung teknologi baru seperti CHERI, yang menyediakan keamanan level memori terperinci dan kompartementalisasi software yang skalabel. Dengan pendekatan ini, kami berharap bisa mengisolasi model AI yang sensitif dan data pribadi di dalam sandbox yang diperkuat hardware, sehingga dapat memitigasi serangan berbasis memori.

Membangun ekosistem

Project open hardware mengandalkan kemitraan yang kuat untuk meraih kesuksesan. Untuk itu, kami berkolaborasi dengan Synaptics, mitra silikon strategis pertama kami dan pemimpin dalam komputasi sematan, konektivitas nirkabel, dan penginderaan multimodal untuk IoT. Hari ini, di Tech Day mereka, Synaptics mengumumkan jajaran Astra™ SL2610 baru dari AI-Native IoT Processors. Lini produk ini menampilkan subsistem Torq™ NPU mereka, implementasi produksi pertama dalam industri ini untuk arsitektur Coral NPU. Desain NPU ini berkemampuan transformer dan mendukung operator dinamis, sehingga memungkinkan developer membangun sistem Edge AI yang siap menghadapi masa depan untuk IoT konsumen dan industri.

Kemitraan ini mendukung komitmen kami terhadap pengalaman developer terpadu. Platform Synaptics Torq™ Edge AI dibangun di atas compiler dan runtime open source berdasarkan IREE dan MLIR. Kolaborasi ini merupakan langkah penting untuk membangun standar terbuka bersama untuk perangkat cerdas yang sadar konteks.

Mengatasi krisis inti Edge

Dengan Coral NPU, kami membangun lapisan dasar untuk masa depan AI pribadi. Tujuan kami adalah menumbuhkan ekosistem yang dinamis dengan menyediakan platform yang umum, open source, dan aman sebagai dasar pengembangan industri. Hal ini membantu developer dan vendor silikon untuk bergerak melampaui lanskap yang terfragmentasi saat ini dan berkolaborasi dalam standar bersama untuk edge computing, sehingga memungkinkan inovasi yang lebih cepat. Pelajari lebih lanjut tentang Coral NPU dan mulailah membangun hari ini.

Ucapan Terima kasih

Kami ingin mengucapkan terima kasih kepada kontributor utama dan tim kepemimpinan untuk pekerjaan ini, khususnya Billy Rutledge, Ben Laurie, Derek Chow, Michael Hoang, Naveen Dodda, Murali Vijayaraghavan, Gregory Kielian, Matthew Wilson, Bill Luan, Divya Pandya, Preeti Singh, Akib Uddin, Stefan Hall, Alex Van Damme, David Gao, Lun Dong, Julian Mullings-Black, Roman Lewkow, Shaked Flur, Yenkai Wang, Reid Tatge, Tim Harvey, Tor Jeremiassen, Isha Mishra, Kai Yick, Cindy Liu, Bangfei Pan, Ian Field, Srikanth Muroor, Jay Yagnik, Avinatan Hassidim, dan Yossi Matias.