MiniCPM-V

一、引言

        在多模态大语言模型（MLLMs）快速发展的背景下，现有模型因高参数量（如 72B、175B）和算力需求，仅能部署于云端，难以适配手机、车载终端等内存和算力受限的端侧设备。MiniCPM-V聚焦 “轻量高效” 与 “端侧落地”，通过架构创新、训练优化和部署适配，打造高知识密度的端侧 MLLM，实现性能与效率的平衡，推动多模态 AI 从云端走向终端。

二、创新点与核心思路

2.1 现有方法的局限性

• 云端依赖的本质矛盾

  • 算力鸿沟：云端模型（如 GPT-4V）需数百张 A100 GPU 训练，端侧设备（如手机）算力仅为其万分之一，无法运行高参模型。
  • 内存瓶颈：典型端侧设备内存为 12-16GB，而 7B 参数量模型仅权重就需 28GB（FP16），远超硬件限制。
  • 实时性需求