微网站开发外包南京网站定制
前缀缓存（Prefix Caching）是一种在LLM推理中广泛使用的优化技术，旨在避免冗余的提示词（prompt）计算。其核心思想很简单——我们缓存已处理请求的键值缓存（kv-cache）块，并在新请求的前缀与之前请求相同时重用这些块。由于前缀缓存几乎是一种“免费的午餐”，并且不会改变模型输出，因此它已被许多公共端点（例如OpenAI、Anthropic等）和大多数开源LLM推理框架（例如SGLang）广泛采用。
尽管实现前缀缓存的方法有很多，但vLLM选择了一种基于哈希的方法。具体来说，我们通过对每个kv-cache块中的token以及该块之前的prefix中的token进行哈希来标识缓存块。
Block 1 Block 2 Block 3[A gentle breeze stirred] [