2.12[A]distribute sys

在分布式训练中，特别是使用3D并行（数据并行、流水线并行和模型并行）时，不同阶段的GPU可能因为通信或数据依赖而出现空闲时间，这些空闲时间就是所谓的“气泡”。这些气泡会降低整体的训练效率，导致GPU资源的浪费

编码器是多模态大语言模型（MLLM）的重要组成部分，用于处理非文本模态数据，并将其转化为适合大语言模型处理的特征。

• 定义：编码器是 MLLM 中用于将非文本模态（如图像、音频）的输入编码成相应特征的组件。在 MLLM 的架构里，存在一个或多个这样的模态编码器，不同的编码器负责处理特定的非文本模态数据

作用：以图像数据为例，图像编码器会对输入的图像进行处理，将其转化为特征形式。这些特征会进一步传递给后续的输入投影仪，经过处理后与文本特征空间对齐，最终作为大语言模型（LLM）骨干的输入。也就是说，编码器的作用是把非文本模态的数据转化为 LLM 能够理解和处理的信息形式，在 MLLM 处理多模态数据过程中，起到了关键的预处理作用，是实现多模态融合的重要环节

编码器有哪些类型？

图像编码器的工作原理是什么？

编码器在不同的MLLM架构中有哪些差异？