LLM动态Shape实现原理与核心技术

LLM动态Shape实现原理与核心技术

1. 动态Shape核心原理

大语言模型（LLM）的动态Shape指模型在推理时能处理任意长度的输入序列（如对话轮次、文本生成长度变化），无需重新编译或固定输入尺寸。其核心原理包括：

• 内存动态分配：根据输入序列长度实时调整内存分配，避免固定尺寸预分配导致的资源浪费。
• 计算图动态调整：在运行时根据输入长度动态生成计算步骤，例如Transformer的注意力层数、循环次数等。
• 变长序列编码：使用可扩展的位置编码（如相对位置编码）替代固定长度的绝对位置编码，支持序列长度灵活扩展。

2. 实现方法与关键技术

• 框架支持：
  • TensorRT：通过设置动态轴（Dynamic Axis）允许输入Shape变化，优化引擎时自动处理不同长度的序列。
  • vLLMÿ