【AI4S】Motif-Driven Contrastive Learning of Graph Representations

本文介绍一篇名为"MOTIF-Driven Contrastive Learning of Graph Representations"的论文，该论文提出了一种新的图学习框架MOTIF，可以同时训练图神经网络（GNN）来学习子图表示，并基于它们的语义将这些表示聚类成模式（motif）。作者通过在分子属性预测数据集上进行实验验证了MOTIF的有效性，并且与现有的自监督方法进行了比较。MOTIF还可以增强药物发现和量子化学中的分子属性预测能力，并且更加可解释。未来，作者计划引入采样损失项和端到端池化来进行子图表示的学习。

引言

图表示学习助力了众多应用，例如预测分子的性质。然而，这些应用通常资源匮乏，因为获取标签的成本高昂，这使得它们非常适合采用自监督学习方法。目前，已有一些针对图级别表示学习的自监督方法，包括InfoGraph（Sun等，2019）、GPT-GNN（Hu等，2020）以及Context Prediction（Hu等，2020）。

MOTIF

之前的方法未能充分利用数据集中各图之间显著子图的共性，这些共性被称为“基序”，往往反映了图级别的语义特性。为此，我们提出了一种名为MOTIF的自监督框架，该框架可同时训练图神经网络（GNN）以学习子图表示，并根据其语义特征对这些表示进行聚类，从而挖掘出基序（参见图1）。通过这种方式，我们能够为多种图级别的下游任务（如分子性质预测）预先训练GNN。在MOTIF的每一轮迭代中，我们首先通过采样子图并将这些子图输入GNN，