【2025.5.12】视觉语言模型 （更好、更快、更强）

【2025.5.12】Vision Language Models (Better, Faster, Stronger)： https://huggingface.co/blog/vlms-2025

【2024.4.11】Vision Language Models Explained【先了解视觉语言模型是什么】： https://huggingface.co/blog/vlms
nanoVLM: https://github.com/huggingface/nanoVLM

nanoVLM 是最简单的存储库，用于训练/微调小型视觉语言模型，在纯 PyTorch 中具有轻量级实现。代码本身非常可读且易于理解，该模型由视觉主干（模型/vision_transformer.py ~150 行）、语言解码器（模型/language_model.py ~250 行）、模态投影（模型/modality_projection.py ~50 行）和 VLM 本身（ models/vision_language_model.py ~100 行）和一个简单的训练循环（train.py ~200 行）组成。

与 Andrej Karpathy 的 nanoGPT 类似，我们希望为社区配备一个非常简单的视觉语言模型的实现和训练脚本。我们并不声称这是一个新的 SOTA 模型，而是一项教育工作，如果您拥有合适的硬件，它会带来相当大的冲击力！您应该能够立即调整和调整代码。