LLM推理加速技术如何迁移到传统 Transformer 模型（ASR）

写在前面

Transformer 模型，自其诞生以来，便以其强大的并行处理能力和对长距离依赖的卓越捕捉，彻底改变了自然语言处理乃至整个人工智能领域的格局。从 BERT、GPT 到各种特定任务的变体，Transformer 的身影无处不在。Paraformer，作为非自回归端到端自动语音识别（ASR）领域的优秀代表，同样也构建在其坚实的 Transformer（或 Conformer）基础之上。

然而，随着模型规模的不断增大和应用场景对实时性要求的日益严苛，即便是设计精良的传统 Transformer 模型，也面临着日益突出的推理效率瓶颈。自注意力机制的平方复杂度、巨大的内存占用，都成为了制约其在资源受限或低延迟场景下部署的“拦路虎”。

幸运的是，近年来大模型推理加速领域涌现出了一系列令人振奋的技术，如 KV Cache、FlashAttention、PageAttention 等。这些技术最初主要为解决巨型语言模型（LLM）的推理效率问题而设计，但其核心思想和优化手段，对于加速传统的、中等规模的 Tr