视觉语言模型新突破！开源项目解读

周末的开源圈，因为一个全新的开源项目 ——VLM-R1 又又炸锅了，自 DeepSeek-R1 开源以来，所有技术社区都沸腾了，激发了很多团队的灵感。

以 Qwen2.5-VL 作为基座模型，使用 DeepSeek-R1 的训练方法，将 DeepSeek-R1 的纯文本能力迁移到了视觉语言多模态上，是一项非常酷的技术突破。这就像是给电脑开了一扇新窗户，让它能更好地理解和处理我们看到的世界。

在 Qwen2.5-VL 的基础上，同时对比了 R1 和传统的 SFT 方法。结果相当惊艳：

稳定性拉满：R1 方法在处理各种复杂的图像和文字信息时，都能保持很好的表现，这对实际使用这些技术来说非常重要。

泛化能力卓越：更让人震惊的是，在领域外的测试数据上，随着训练步数增加，传统 SFT 模型的性能开始下滑，而 R1 模型却能持续提升！这意味着 R1 方法帮助模型真正「学会」了理解视觉内容，而不是简单地记忆。

上手超简单：VLM-R1 项目团队提供了完整的训练和评估流程，四步就能开始训练，对开发者十分友好。

在商业智能领域，效率是关键。Mimo Vision 利用这些数据资源，采用先进的 VLM-R1 训练方法对模型进行了强化学习训练，显著增强了其视觉推理能力。

面对复杂的业务需求，Mimo Vision 能够在短短一周内提供测试版本。经过 VLM-R1 训练方法的优化，Mimo Vision 的视觉能力得到了显著提升，无论是对图像还是视频的理解，都能更有效地泛化应用于线下零售连锁门店的日常管理任务。该系统通过 Mimo Vision 自主理解检查标准文本和示例图片，模拟管理者对门店的日常监管流程，对监控画面中的员工行为、门店运营状况和消费者数据进行精细分析和深度推理。这不仅提升了门店的经营效率和收入，也助力一线员工在工作上取得成功。

在此分享几个实际应用案例：

在茶饮行业中的大部分都提出了一个共同的需求，就是门店物料监管。为了预防部分加盟商可能为了缩减成本，私采第三方供应商包括牛奶、淡奶油等原材料，而不是严格使用总部指定物料的情况发生，总部会加强对门店尤其是加盟商物料上的监督。因为这类问题一旦发生，不仅影响产品品质，也会对总部造成资源损耗，影响品牌口碑及形象。

图片中展示了茶饮行业吧台日常运营的复杂场景，吧台中除员工外，还有茶桶、量杯、工具桶、糖浆、搅拌器等各种物料与工具。Mimo Vision 不仅能准确识别「牛奶」，还能精准认出牛奶的品牌为「雀巢全脂牛奶」。这种精确的视觉理解能力和推理能力，使得 Mimo 在门店监管方面展现出巨大的潜力。

在 3C 行业中，门店要确保店内展示供顾客试用的设备保持通电，且屏幕常亮状态。Mimo Vision 的表现也非常亮眼：

如你所见，在店内有电脑、手机、台灯、其他配件的情况下，Mimo Vision 也能根据 prompt 迅速理解「电子设备」和「黑屏」，然后精准找到符合语言指令的物品，并一一指出。

Mimo Vision 展示了 VLM-R1 在实际应用中的优势：

擅长指代表达理解（REC）：能够解析自然语言指令，定位图像中的特定目标。

强化学习优化：通过 R1 方法训练，提升模型在复杂视觉任务中的表现。

高性能推理支持：兼容 Flash Attention 等技术，提升计算效率。

随着 VLM-R1 的诞生，我们见证了 AI 视觉理解力的一次飞跃。Mimo Vision 以其卓越的性能，不仅重新定义了门店监管的可能性，更为连锁零售行业树立了智能化管理的新标杆。