GEAR：一种高效的 KV Cache 压缩方法，用于几乎无损的大语言模型生成式推理

摘要

Key-value（KV）缓存已成为提升大语言模型（LLM）推理生成速度的事实标准技术。然而，随着序列长度的增加，缓存需求的不断增长使得LLM推理演变为一个受限于内存带宽的问题，显著限制了系统吞吐量。现有方法通常依赖于丢弃不重要的token或对条目进行分组量化。然而，这些方法在表示压缩矩阵时常常引入较大的近似误差。自回归解码过程进一步在每个步骤中累积误差，导致模型生成结果的严重偏离与性能下降。

为了解决这一问题，我们提出了GEAR，一个高效的误差降低框架，它在量化方案中引入两个误差缓解模块，在高压缩率下实现了近乎无损的性能。GEAR首先将幅值相近的大部分条目以超低精度进行量化，然后使用一个低秩矩阵来逼近量化误差，同时引入一个稀疏矩阵来修正由离群条目产生的个别误差。通过巧妙地整合这三种技术，GEAR能够充分释放它们的协同潜力。

实验表明，GEAR在2-bit压缩率下的准确率与FP16缓存几乎一致，在精度方面比当前最优方法（SOTA）最多提升了 24.42%。此外，与采用FP16 KV缓存的LLM推理相比，GEAR可将峰值内存消耗降低 最多2.39倍，带来 2.1×至5.07× 的吞吐率提升。我们的代码已在以下地址开源：https://github.com/HaoKang-Timmy/GEAR

1 引言

自回归的大语言模型（LLMs）（Brown et al., 2020b；Zha