Video Encoder：多模态大模型如何看懂视频
写在前面
大型语言模型（LLM）已经掌握了理解文本的超能力，而多模态大模型（MLLM）则更进一步，让 AI 拥有了“看懂”图像的眼睛。但这还不够！真实世界是动态的、流动的，充满了运动、变化和声音。视频，正是承载这一切动态信息的关键媒介。
让 LLM 看懂视频，意味着 AI 需要解锁一系列新技能：理解动作事件、把握时序关系、建立因果联系、关联声音画面、捕捉长期依赖… 这比看懂静态图片要复杂得多！视频数据**高维度、长时序、多模态（视+听）**的特性，给模型带来了巨大的挑战。
那么，MLLM 究竟是如何构建它们的「视频之眼」的呢？本文将结合代码示例和图表，深入浅出地为你揭秘多模态大模型输入端视频编码 (Video Encoder) 的核心技术和实现逻辑。
一、 核心挑战：时空建模与效率难题
将视频输入 LLM 前，视频编码器需将其转化为特征向量序列。这面临两大挑战：
- 时空信息建模：如何同时捕捉每一帧的空间细节（物体、场景）和帧与帧之间的时间动态<