长春网站开发招聘杭州建设信用平台
四、TorchRec的推理优化
文章目录
- 四、TorchRec的推理优化
- 前言
- 一、TorchRec 推理优化的两个主要区别是
- 二、TorchRec 提供了以下内容，以将 TorchRec 模型转换为可用于推理的模型
- 总结
前言
- 推理环境与训练环境不同，它们对性能和模型大小非常敏感。
一、TorchRec 推理优化的两个主要区别是
- 量化： 推理模型经过量化以实现更低的延迟和更小的模型大小。此优化使我们能够使用尽可能少的设备进行推理，从而最大限度地减少延迟。
- C++ 环境： 为了进一步最大限度地减少延迟，模型在 C++ 环境中运行。
二、TorchRec 提供了以下内容，以将 TorchRec 模型转换为可用于推理的模型
- 用于量化模型的 API，包括使用 FBGEMM TBE 自动进行的优化
- 用于分布式推理的分片嵌入
- 将模型编译为 TorchScript（与 C++ 兼容）
总结
- 推理优化