13 AGU 2024 / Mobile

Menyederhanakan Inferensi LLM di Edge dengan TFLite

XNNPack, mesin inferensi CPU TensorFlow Lite default, telah diupdate untuk meningkatkan performa dan manajemen memori, yang memungkinkan kolaborasi lintas proses, dan menyederhanakan API yang ditampilkan kepada pengguna.