SAM12

SAM1

NLP中可以通过预测next token作为预训练任务，而在下游任务中可以使用prompt engineering做应用。因此，作者扩展了下NLP里prompt在图像分割里的用法， prompt可以是以下几种类型：

• point
• box
• mask
• 任意格式的文本

image encoder： ViT

point和box可以作为一类使用position encodings, text可以使用CLIP作为encoder, 而mask是一种密集型的prompt，可以使用卷积作为encoder

mask decoder使用一个transformer将image embedding和prompt embedding做双向的cross-attention；并且也有prompt embedding的self-attention。也有MLP和linear classifier分类分割区域

解决混淆的输入：对于一个prompt，模型会输出3个mask，实际上也可以输出更多的分割结果，3个可以看作一个物体的整体、部分、子部分，基本能满足大多数情况。使用IOU的方式，排序mask。在反向传播时，参与计算的只有loss最小的mask相关的参数

SAM2