【论文笔记】【强化微调】TinyLLaVA-Video-R1：小参数模型也能视频推理
[2504.09641] TinyLLaVA-Video-R1: Towards Smaller LMMs for Video Reasoning
1. 引述
继之前的一篇 Video-R1 的工作，一篇新的关于视频推理的工作很快就上传到 Arxiv 上 “占坑” 了，这个工作是关于使用小参数（3B）的 LLM 进行视频推理。
之前那篇 Video-R1 的工作：【论文笔记】【强化微调】T-GRPO：对视频数据进行强化微调-CSDN博客
为什么说是 “占坑” 呢？这篇论文采用 GRPO 作为微调方法，并未说明为什么不采用 T-GRPO，而只是在其第 5 节 Conclusion and Future Work 提了一句当前微调方法有局限，未来慢慢改进。
其原文如下：
Currently, TinyLLaVA-Video-R1 employs the GRPO algorithm for training. However, this approach exhibits notable limitations. To enhance its effectiveness in video reasoning tasks, we plan to refine the algorithm by addressing the key challenges observed in our experiment.
纵观整篇论文，其核心目的是探索小模型的推理能力，而得到的结果是这样的小模型也能很好推理，并且能在强化微调后能比肩 7B 模型。下图就是 Qwen-7B 和强化微调后的 Qwen-3B 的对比实验：
有这篇论文作为依据，后续的研究就可以采用 3B 小模型，也不吃资源算力了。
2. 奖励设置
这篇论文是微调小参数 LLM，用的算法是传统 GRPO，因此方法核心点就在于奖励的设计上了。论文的奖励设计有三点：
- 格式奖励：格式是否正确
- 思考奖励：鼓励正确的长思考
- 准确奖励：回答问题正确给奖励
首先是格式奖励，论文要求 LLM 输出结果得有思考过程 <think> 和输出答案 <answer>，并且每次输出只能有一对 <think></think> 和一对 <answer></answer>，格式正确之后给予 的奖励。
然后是思考奖励，论文鼓励 LLM 进行长文本的思考，<think> 的长度 越长，则奖励越多，最大为
，但是存在一个上限
，这是为了防止 LLM 无脑堆文本。思考奖励呈线性，写成公式如下：
论文定义格式奖励包含了思考奖励，也就是说格式奖励的公式如下：
最后是正确性奖励，回答正确给予 的得分，答错不给分。而正确答案的得分
和格式最大得分
是一致的，也就是说
，这是为了让答案得分和格式得分具有相同的权重。公式如下：
最终的模型奖励如下：
也就是说，当格式且答案正确时，得分是正确性奖励 和格式奖励
的总和；当答案错误时，你的思考过程被试做全错，此时给予惩罚
，如果你的 <think> 文本越长，惩罚越重；当格式都错误时，给予最大惩罚。