AUG 13, 2024 / Mobile

使用 TFLite 在边缘设备上简化大型语言模型的推理

XNNPack 是默认的 TensorFlow Lite CPU 推理引擎。该引擎已更新以提升性能和内存管理，同时增加了对跨进程协作的支持，并简化了面向用户的 API。