生成器迁移的偏差消除条件
语义精炼生成对抗网络的目标是在对抗生成的框架下训练一个特征生成器 G ;该生成器的输入是拼接后的语义描述 a ∗ = [a ‡,a †,a ′,a ],输出是虚拟特征 ˜x 。
正则化:偏差消除Lbl,辅助对齐Lal,随机对齐Lrl
无冗余映射 M:提取类内紧缩、类间分离的潜在特征 z 用于分类和判别。
样本集符号定义
零样本学习,广义零样本学习,少样本学习、广义少样本学习 的 不同概念
生成器迁移的偏差消除条件
可见类别的生成器 G_s 迁移到未见类别的生成器 G_u ,但 G_u = G_s 不能保证完全适用于未见类别。作为语义精炼的算法动机。
- 类别原型矩阵
类别原型矩阵 (类别*维度):在视觉特征 和语义描述
中
- 匹配函数
视觉特征类别原型矩阵 和语义描述类别原型矩阵
之间的匹配函数 可以基于一个可训练的映射矩阵
来定义,它评估了每一个语义特征和视觉特征原型的匹配程度。
- 已见连接条件(Seen Bridging Condition,SBC)
,其中
为独热标签,表示每一个类别的视觉特征和语义描述恰好匹配。
- 未见连接条件(Unseen Bridging Condition,UBC)
,其中
为独热标签,表示每一个类别的视觉特征和语义描述恰好匹配。
当已见连接条件(Seen Bridging Condition,SBC)和 未见连接条件(Unseen Bridging Condition,UBC)同时满足时,可以获得最优参数 。
- 交叉连接条件(Cross Bridging Condition,CBC)
SBC、UBC和CBC是特征生成器迁移从已见类别向未见迁移的无偏条件。SBC 和 UBC 分别在已见和未见类别内对齐了语义空间A和特征空间X。CBC为生成器的迁移提供了跨类别的连接。
在实现中,粗粒度的语义描述不太可能同时满足 SBC、UBC 和CBC。此外,在 UBC中,需要未见类别的样本,即U_xu,而在广义欠数据问题中 没有或只有几个未见类别的样本 可用于模型训练。
因此,为实现偏差消除条件对语义描述进行了精炼和细化,将在下一小节中详细描述所提出的语义精炼技术。
偏差消除条件证明
方法出自《 面向零_少样本场景的弱监督学习方法、应用与实现_冯良骏 》第五章