2024年8月13日 / Mobile

TFLite による LLM エッジ推論を効率化する

TensorFlow Lite のデフォルトの CPU 推論エンジンである XNNPack が更新されます。パフォーマンスとメモリ管理が向上し、クロスプロセス コラボレーションが可能になり、ユーザー向け API がシンプルになります。