AUG 13, 2024 / Mobile

Simplificação da inferência de LLM na borda com o TFLite

O XNNPack, o mecanismo padrão de inferência de CPU do TensorFlow Lite, foi atualizado para melhorar o gerenciamento de memória e desempenho, permitir a colaboração entre processos e simplificar a API voltada ao usuário.