Freeze-Omni：冻结 LLM，实现语音对话

写在前面：语音LLM

大型语言模型（LLM）的强大能力，为构建智能语音对话系统提供了无限可能。然而，将 LLM 与语音模态结合，并非易事。直接微调 LLM，容易导致灾难性遗忘，丧失其原有的知识和能力；而训练数据不足，又难以充分发挥 LLM 的潜力。

如何才能在保留 LLM 强大能力的同时，赋予其语音对话的能力呢？腾讯 Youtu 实验室和南京大学的研究人员给了一个解决方案——Freeze-Omni。

顾名思义，Freeze-Omni 的核心思想是“冻结” LLM 的参数，只训练与语音相关的模块。这种方法，既能避免灾难性遗忘，又能降低训练成本，可谓一举两得。

那么，Freeze-Omni 是如何实现这一目标的呢？它又有哪些独特之处？现在将带你一探究竟。

Freeze-Omni：冻结 LLM，连接语音

Freeze-Omni 的整体架构，可以用“冻结 LLM，连接语音”来概括。它将预训练的 LLM 作