LiteRT-LM边缘平台上高效运行语言模型

谷歌发布高效运行语言模型的 C++ 库：LiteRT-LM

LiteRT-LM 支持跨平台高效运行 Gemma-3N 系列模型，支持 2B 和 4B 参数模型，适用于桌面环境（Mac/Windows/Linux）及物联网设备

 

语言模型不再是一个单一模型，而是一个由多个模型和组件协同工作的流水线。LiteRT-LM 基于 LiteRT 构建，以支持这些流水线，包括：

• C++ API 高效运行语言模型
• 跨平台支持，通过便携式 C++ 实现广泛部署场景
• 灵活可定制，满足您的特定功能需求
• 硬件加速，释放设备硬件的全部潜能

参考开源

https://github.com/google-ai-edge/LiteRT-LM

https://huggingface.co/google/gemma-3n-E2B-it-litert-lm-preview