学习周报二十一
摘要
本周研究聚焦于两种创新的AI推理范式：视频思维与连续自回归语言建模。深入分析了《Thinking with Video》提出的视频生成推理新范式，探讨了其如何突破传统文本思维和图像思维的静态限制；同时研究了《CONTINUOUS AUTOREGRESSIVE LANGUAGE MODELS》提出的连续向量空间生成方法，理解了其如何解决离散token生成的信息密度瓶颈。两项研究分别从多模态动态推理和语言模型生成效率两个维度推动了AI推理能力的前沿发展。
Abstract
This week’s research focused on two innovative AI reasoning paradigms: video thinking and continuous autoregressive language modeling. Conducted in-depth analysis of the novel video generation reasoning paradigm proposed in “Thinking with Video”, exploring how it breaks through the static limitations of traditional text thinking and image thinking; simultaneously studied the continuous vector space generation method proposed in “CONTINUOUS AUTOREGRESSIVE LANGUAGE MODELS”, understanding how it addresses the information density bottleneck of discrete token generation. These two studies advance the frontiers of AI reasoning capabilities from the dimensions of multimodal dynamic reasoning and language model generation efficiency respectively.
1、视频思维
阅读了一篇论文《Thinking with Video: Video Generation as a Promising Multimodal Reasoning Paradigm》，该论文谈了“文本思维（Thinking with Text）”与“图像思维（Thinking with Images）”目前所存在的局限性，并提出了视频思维。
1.1 研究背景与问题动机
传统的 AI 推理主要依赖两种范式：
-
以文本思维（Thinking with Text）：即“链式思维（Chain-of-Thought, CoT）”推理方式，依靠语言逻辑展开逐步推理。代表模型包括 GPT-4、o1、o3 等。
-
以图像思维（Thinking with Images）：即通过生成或理解图像辅助推理，如 GPT-4V、Gemini、Claude Sonnet 等模型。它能在视觉场景中进行推理，但图像本身静态，难以表达时间与变化。
论文指出这两种范式的内在局限性：
-
静态约束（Static Constraint）：图像只能捕捉单一时刻，无法表示动态变化；
-
模态割裂（Modality Separation）：文本与视觉推理仍属不同模态，缺乏统一时序框架。
因此，作者提出一种新的认知框架——
🎬 “Thinking with Video”：以视频思维为核心的统一多模态推理范式。
其核心思想是：通过视频生成，将时间、视觉、与文本逻辑融为一体，从而实现类人“动态推理”与多模态理解。
1.2 创新点
| 创新方向 | 具体内容 |
|---|---|
| 1. 范式创新：提出“Thinking with Video” | 首次将“视频生成”引入 AI 推理链，使模型能够像人类一样在“想象与动态过程”中进行推理。 |
| 2. 模型创新：Sora-2 的统一推理框架 | 利用视频生成模型（Sora-2）在一个时序连续空间中融合语言、视觉与时间信息，实现多模态联合推理。 |
| 3. 基准创新：VideoThinkBench | 新构建了视频推理基准测试集，涵盖两大类任务：视觉中心任务与文本中心任务，用于系统评估视频生成模型的推理能力。 |
| 4. 动态评估机制 | 设计了多维度评估方法（音频输出、最后帧、主要帧评估），并提出“最佳帧（best frame）”与“偏差值（Diff）”指标用于衡量视频推理质量。 |
| 5. 发现性研究：自洽性与上下文学习 | 论文发现“自洽性（Self-consistency）”与“上下文学习（In-context learning）”在视频推理任务中显著提升表现，这为未来的推理模型训练提供新方向。 |
2、连续自回归语言模型
另一篇论文《CONTINUOUS AUTOREGRESSIVE LANGUAGE MODELS》，大型语言模型（LLM）的效率从根本上受到其逐序、逐词元（token-by-token）生成过程的限制。作者认为，要突破这一瓶颈，需要在 LLM 的扩展设计上引入一个新的维度：提升每个生成步骤的语义带宽。
2.1 研究背景与问题动机
当前大型语言模型（LLM）在语言理解、生成与推理上已取得巨大突破，但其效率受限于逐词元（token-by-token）的自回归生成机制。
这种离散式生成方式存在两大问题：
计算效率瓶颈：生成长文本时，计算量与序列长度线性增长；
离散表示的信息密度有限：现代 LLM 的词表大小通常为 32K–256K，对应的信息量仅 15–18 bits，扩展词表会导致 softmax 计算不可承受。
作者认为，目前 LLM 通过扩大模型规模获得性能提升，但在任务层面仍局限于“低信息密度 token 预测”，这在本质上限制了可扩展性。
2.2 创新点
这篇论文的主要创新在于提出了一种全新的语言模型范式——连续自回归语言模型（Continuous Autoregressive Language Model, CALM），它将传统基于离散词元（token-by-token）的生成方式，转变为在连续向量空间中进行的“下一个向量预测（next-vector prediction）”。这一创新突破了当前大型语言模型在生成效率和信息密度上的根本瓶颈。作者通过设计一个高保真的自编码器，将连续的 K 个词元压缩为一个连续向量，并能以超过 99.9% 的精度重建原文，从而显著减少自回归步骤的数量（加速约 K 倍）。同时，论文提出了一个无似然（likelihood-free）语言建模框架，利用基于能量分数（Energy Score）的严格有效评分准则替代传统的 softmax 概率建模，使模型能够在连续空间中稳定训练和评估。为支持这一框架，作者设计了一个轻量级的、基于能量的生成头（Energy Transformer），实现高质量的单步向量生成，而非依赖于 diffusion 或 flow 模型的多步迭代过程。此外，CALM 将模型输入保持在离散 token 空间，通过两层 MLP 压缩为单一表示，以实现离散与连续空间的高效融合。整体上，这项工作开辟了大型语言模型扩展的新方向——不再仅通过扩大参数规模和数据量来提升性能，而是通过提高每个生成步骤的语义带宽，从根本上提升语言建模的计算效率与可扩展性。
总结
本周通过深入研究两篇前沿论文，系统掌握了AI推理领域的最新进展：在视频思维方面，理解了传统文本思维（Chain-of-Thought）和图像思维的固有局限性——静态约束和模态割裂，而"Thinking with Video"通过视频生成将时间、视觉与文本逻辑统一，创造了动态推理的新范式，其创新的VideoThinkBench评估框架和自洽性机制为多模态推理提供了新方向；在语言模型方面，认识到当前LLM逐token生成的效率瓶颈和信息密度限制，CALM模型通过连续向量空间预测实现了语义带宽的质的提升，其基于能量的生成头和严格有效评分准则为解决连续空间建模难题提供了创新方案。两项研究虽然从不同角度出发，但共同指向了AI推理的未来发展方向：从静态到动态、从离散到连续、从低信息密度到高语义带宽。这些突破性思想为后续研究更高效、更智能的推理系统提供了重要的理论支撑和方法论启示。