【读论文】GLM-4.1V-Thinking 解读:用强化学习解锁 VLM 的通用推理能力
引言: VLM再进一步
视觉语言模型 (VLM) 的发展日新月异,它们已经能够出色地完成看图说话、视觉问答等任务。然而,当面对更复杂的、需要多步推理、跨领域知识、甚至与外部环境交互的挑战时,传统的 VLM 往往会暴露出其“思考深度”不足的短板。
例如,解决一道包含图表的 STEM 问题,不仅需要识别图表内容,还需要运用数学和物理知识进行推理。又或者,作为 GUI 智能体,模型需要理解屏幕上的视觉元素,并规划出一系列操作来完成特定任务。这些都对 VLM 的通用多模态推理能力提出了更高的要求。
现有的开源 VLM,大多通过大规模预训练来构建基础能力,但在如何系统性地、可扩展地提升其推理能力方面,尤其是如何通过强化学习 (Reinforcement Learning, RL) 来解锁模型的全部潜力,仍然是一个充满挑战的课题。
在这样的背景下,智谱 AI 和清华大学 KEG 实验室联合推出了 GLM-4.1V-Thinking,一个旨在推动通用多模态推理边界的 VLM。它不仅仅是一个