当前位置：首页 > news >正文

InstructBLIP：迈向通用视觉-语言模型的新里程碑

news 2025/10/24 7:06:05

InstructBLIP：迈向通用视觉-语言模型的新里程碑

近年来，随着大语言模型（LLM）在自然语言处理（NLP）任务中的巨大成功，研究者们开始探索如何将这种“通用能力”扩展到多模态领域，尤其是视觉-语言任务。然而，视觉-语言任务种类繁多、输入分布复杂，构建一个能零样本泛化到各种未见任务的通用模型极具挑战。

2023年，Salesforce Research 团队提出了 InstructBLIP，通过视觉-语言指令微调（Vision-Language Instruction Tuning），显著提升了模型在多种下游任务上的零样本和微调性能。这篇博客将带你深入理解 InstructBLIP 的核心思想、技术细节与实验成果。

📄 论文信息

论文标题：InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning
作者：Wenliang Dai, Junnan Li 等（Salesforce Research）
发表时间：2023年6月（arXiv）
论文地址：https://arxiv.org/abs/2305.06500
代码地址：https://github.com/salesforce/LAVIS/tree/main/projects/instructblip

🧠 背景：从 BLIP-2 到 InstructBLIP

InstructBLIP 建立在 BLIP-2 的基础上。BLIP-2 通过一个轻量级的 Query Transformer（Q-Former） 将冻结的视觉编码器（如 ViT-g/14）与冻结的大语言模型（如 FlanT5 或 Vicuna）连接起来，实现了高效的视觉-语言对齐。

但 BLIP-2 的训练目标主要是图像描述生成，缺乏对多样化任务指令的理解能力。因此，它在面对如视觉推理、多轮对话、知识问答等复杂任务时表现有限。

为了解决这个问题，InstructBLIP 引入了视觉-语言指令微调——将 26 个公开数据集统一转换为“指令-响应”格式，并在 BLIP-2 的基础上进行微调，使模型学会“听懂”人类用自然语言发出的各种视觉任务指令。

🔑 核心创新

1. 大规模视觉-语言指令数据集

涵盖 11 类任务，包括：
- 图像描述（Image Captioning）
- 视觉问答（VQA）
- 视觉推理（Visual Reasoning）
- 多轮对话（Visual Dialog）
- 视频问答（Video QA）
- 图像分类（Image Classification）
- 场景文字理解（OCR-VQA, TextVQA）
- 知识增强问答（ScienceQA, OKVQA）等
将 26 个数据集中的 13 个用于指令微调（held-in），另外 13 个完全保留用于零样本评估（held-out），确保评估的公平性。

2. 指令感知的视觉特征提取（Instruction-aware Q-Former）

传统方法（如 BLIP-2）提取的视觉特征是与指令无关的静态表示。
InstructBLIP 让 Q-Former 同时接收图像和指令文本，通过自注意力机制动态调整查询（queries），提取与当前任务最相关的视觉特征。
实验表明，这一设计在 ScienceQA、iVQA 等需要精细推理的任务上带来显著提升。

3. 平衡的数据采样策略

不同数据集规模差异巨大（从几千到百万级样本）。
采用 按数据集大小的平方根比例采样（√S_d），避免小数据集过拟合、大数据集欠拟合。
对特定任务（如开放生成 vs 多选题）进行手动权重调整，进一步优化训练效果。

📊 实验结果亮点

✅ 零样本性能全面领先

在 全部 13 个 held-out 数据集上，InstructBLIP 均达到 SOTA（State-of-the-Art）。
相比 BLIP-2，平均提升 15%+；相比更大的 Flamingo-80B 模型，InstructBLIP（仅 4B 参数）在 6 个共享数据集上全面超越，平均提升 24.8%。
即使在从未见过的任务类型（如视频问答、图像分类）上，也能实现强零样本泛化。

✅ 微调性能同样出色

将 InstructBLIP 作为初始化模型，在下游任务（如 ScienceQA、OCR-VQA）上微调，参数效率更高（仅微调 Q-Former，冻结视觉编码器和 LLM）。
在 ScienceQA（带图像上下文） 上达到 90.7% 准确率，刷新纪录。

✅ 定性表现更智能

支持复杂视觉推理（如推断灾害类型）、知识融合（识别名画《戴珍珠耳环的少女》）、多轮对话等能力。
相比 LLaVA、MiniGPT-4 等同期模型，InstructBLIP 的回答更简洁、准确、视觉相关性强。

🛠 模型变体与开源

InstructBLIP 提供了多个版本，适配不同 LLM：

模型	LLM 类型	参数量
InstructBLIP (FlanT5-XL)	Encoder-Decoder	~3B
InstructBLIP (FlanT5-XXL)	Encoder-Decoder	~11B
InstructBLIP (Vicuna-7B)	Decoder-only	7B
InstructBLIP (Vicuna-13B)	Decoder-only	13B