论文《Collaboration-Aware Graph Convolutional Network for Recommender Systems》阅读

论文概况

论文《Collaboration-Aware Graph Convolutional Network for Recommender Systems》对推荐场景下的GNN进行了改良，在 ${\mathbf{D}}^{-1/2}\mathbf{A}{\mathbf{D}}^{-1/2}$ 的简单无权integration的基础上加上了邻居之间的重要性参数。论文来自范德比尔特大学Yu Wang，提出了模型CAGCN。

论文地址：https://dl.acm.org/doi/10.1145/3543507.3583229
代码仓库：https://github.com/YuWVandy/CAGCN

Introduction and Motivation

论文提出了一个概念 CIR —— Common Interacted Ratio， 共同交互比例，用于衡量 neighbor 在 整个 neighborhood 圈子中 对于 target 的综合影响能力。

同时，论文的证明部分比较多。这里主要梳理一下pipeline。

Methodology

LightGCN 传播形式

首先给出 LightGCN 的传播形式：
$$\begin{array}{rl}{\mathbf{e}}_u^{l+1}& =d_u^{-0.5}\sum _{j\in {\mathcal{N}}_u^1}{d}_j^{-0.5}{\mathbf{e}}_j^l,\\ {\mathbf{e}}_i^{l+1}& =d_i^{-0.5}\sum _{v\in {\mathcal{N}}_i^1}{d}_v^{-0.5}{\mathbf{e}}_v^l,\end{array}\text{\hspace{1em}(1)}$$

传播完成后，聚合方式采用 mean-pooling 方式，对 $L+1$ 层 embedding都进行逐位求平均操作如下：

$$\begin{array}{rl}{\mathbf{e}}_u& =\frac{1}{(L+1)}\sum _{l=0}^L{\mathbf{e}}_u^l,\\ {\mathbf{e}}_i& =\frac{1}{(L+1)}\sum _{l=0}^L{\mathbf{e}}_i^l,\end{array}\forall u\in \mathcal{U},\forall i\in \mathcal{I}\text{\hspace{1em}(2)}$$

Loss 采用 BPR Loss，如下：

$${\mathcal{L}}_{\mathrm{BPR}}=\sum _{\left(u,i,i^{-}\right)\in O}-\ln \sigma \left(y_{ui}-y_{u{i}^{-}}\right),\text{\hspace{1em}(3)}$$

CIR

LightGCN 传播在整个图 G = { V , E } \mathcal{G} = \left\{\mathcal{V}, \mathcal{E}\right\} G={V,E}，为提取邻居间的互动信息和交互影响，提取以节点 $p$ 为中心的子图 ${\mathcal{S}}_p=\left({\mathcal{V}}_{{\mathcal{S}}_p},{\mathcal{E}}_{{\mathcal{S}}_p}\right)$ ，其中 N ~ p 1 = N p 1 ∪ { p } \tilde{N}_p^1=\mathcal{N}_p^1 \cup\{p\} N~p1​=Np1​∪{p} 表示 $p$ 及其 $l$ 跳 邻居集合。

作者提出两个关键问题：
RQ1： 交互影响如何捕捉并提高 ranking 表现？
RQ2： 交互影响何时提高性能？

作者将 LightGCN 的 $L$ 层 embedding 集合后 的 $\left(u,i\right)$ 对 间的交互预测表示合并得到如下形式：

$$y_{ui}^L={\left(\sum _{l_1=0}^L\sum _{j\in {\mathcal{N}}_u^l}^{l_1}\sum _{l_2=l_1}^L{\beta }_{l_2}{\alpha }_{ju}^{l_2}{\mathbf{e}}_j^0\right)}^{\top }\left(\sum _{l_1=0}^L\sum _{v\in {\mathcal{N}}_i^l}^{l_1}\sum _{l_2=l_1}^L{\beta }_{l_2}{\alpha }_{vi}^{l_2}{\mathbf{e}}_v^0\right),\text{\hspace{1em}(4)}$$
其中，${\alpha }_{ju}^{l_2}={\sum }_{P_{ju}^{l_2}\in {\mathcal{P}}_{ju}^{l_2}}{\prod }_{e_{pq}\in P_{ju}^{l_2}}{d}_p^{-0.5}{d}_q^{-0.5}$，（${\alpha }_{ju}^{l_2}=0\text{ if }{\mathcal{P}}_{ju}^{l_2}=\varnothing$）表示节点 $j,u$ 间 举例为 $l_2$ 的 所有路径权重之和。 ${\beta }_{l_2}$ 表示层数为 $l_2$ 的 embedding 的权重贡献。因此，将上述公式分为了三部分用于评估 CIR 对结果的 影响，具体如下：

对于 $L$ 跳 节点 $(i,j)$ 及其影响范围 （$\left\{(j,v)\mid j\in {\bigcup }_{l=0}^L{\mathcal{N}}_u^l,v\in {\bigcup }_{l=0}^L{\mathcal{N}}_i^l\right\}$，其结果主要受三部分影响：

• ${{\mathbf{e}}_j^0}^{\top }{\mathbf{e}}_v^0$
• { α j u l } l = 0 L ( { α v i l } l = 0 L ) { β l } l = 0 L \left\{\alpha_{j u}^l\right\}_{l=0}^L\left(\left\{\alpha_{v i}^l\right\}_{l=0}^L\right)\left\{\beta_l\right\}_{l=0}^L {αjul​}l=0L​({αvil​}l=0L​){βl​}l=0L​
• { β l } l = 0 L \left\{\beta_{l}\right\}_{l=0}^{L} {βl​}l=0L​

此外，定义CIR为：针对用户 $u$ 的任意邻居 $j\in {\mathcal{N}}_u^l$，$j$ 对 用户 $u$ 的 $L+1$ 跳范围内的所有邻居的共同交互率 CIR ，即 ${\varphi }_u^{\hat{L}}(j)$，定义为 $j$ 与 $u$ 的 所有邻居 ${\mathcal{N}}_u^1$ 的最大路径为 $2\hat{L}$ 的均值如下：
$$\begin{gathered} {\varphi }_u^{\hat{L}}(j)=\frac{1}{\left|{\mathcal{N}}_u^1\right|}\sum _{i\in {\mathcal{N}}_u^1}\sum _{l=1}^{\hat{L}}{\alpha }^{2l}\sum _{P_{ji}^{2l}\in {\mathcal{P}}_{ji}^{2l}}\frac{1}{f\left(\left\{{\mathcal{N}}_k^1\mid k\in P_{ji}^{2l}\right\}\right)}, \\ \forall j\in {\mathcal{N}}_u^1,\forall u\in \mathcal{U}.\text{\hspace{1em}(5)} \end{gathered}$$
其中，$\left\{{\mathcal{N}}_k^1\mid k\in P_{ji}^{2l}\right\}$ 表示 $P_{ji}^{2l}$ 中任意节点 $k$ 的一阶邻居；$f(\cdot )$ 是归一化函数，用于指导 ${\mathcal{P}}_{ji}^{2l}$ 中 路径的 权重；${\alpha }^{2l}$ 是 路径 的 系数。

${\varphi }_u^{\hat{L}}(j)$ 由 路径长度 $2\to 2L$ 的路径决定。 指定不同的 $\hat{L}$ 及 $f(\cdot )$， ${\varphi }_u^{\hat{L}}(j)$ （简写为 ${\varphi }_u(j)$ ）结合 ∑ P j i 2 l ∈ P j i 2 l 1 f ( { N k 1 ∣ k ∈ P j i 2 l } ) \sum_{P_{j i}^{2 l} \in \mathscr{P}_{j i}^{2 l}} \frac{1}{f\left(\left\{\mathcal{N}_k^1 \mid k \in P_{j i}^{2 l}\right\}\right)} ∑Pji2l​∈Pji2l​​f({Nk1​∣k∈Pji2l​})1​ 就能体现不同的 图相似性。

这些都会在不同的实现形式中给出不同的实现方式，给出这一定义，主要是为了证明越大 CIR 的节点作用越大。作者给出实验，如下：

CAGCN

CAGCN是为了给邻居节点分配不同的权重进行优化，首先给出群众矩阵如下：
$${\Phi }_{ij}=\{\begin{array}{ll}{\varphi }_i(j),& \text{ if }{\mathrm{A}}_{ij}>0\\ 0,& \text{ if }{\mathrm{A}}_{ij}=0\end{array},\forall i,j\in \mathcal{V}\text{\hspace{1em}(6)}$$

相应地，聚合函数如下：

$${\mathrm{e}}_i^{l+1}=\sum _{j\in {\mathcal{N}}_i^1}g\left({\gamma }_i\frac{{\Phi }_{ij}}{{\sum }_{k\in {\mathcal{N}}_i^1}{\Phi }_{ik}},d_i^{-0.5}{d}_j^{-0.5}\right){\mathrm{e}}_j^l,\forall i\in \mathcal{V}\text{\hspace{1em}(7)}$$

模型结构图如下：

Implementation

具体地，针对 ${\varphi }_u^{\hat{L}}(j)$

$${\varphi }_u^{\hat{L}}(j)=\frac{1}{\left|{\mathcal{N}}_u^1\right|}\sum _{i\in {\mathcal{N}}_u^1}\sum _{l=1}^{\hat{L}}{\beta }^{2l}\sum _{P_{ji}^{2l}\in {\mathcal{P}}_{ji}^{2l}}\frac{1}{f\left(\left\{{\mathcal{N}}_k^1\mid k\in P_{ji}^{2l}\right\}\right)},\text{\hspace{1em}(8)}$$
本文提供不同的相似度度量函数：

1. 杰卡尔德相似性：
   $$\mathrm{JC}(i,j)=\frac{\left|{\mathcal{N}}_i^1\cap {\mathcal{N}}_j^1\right|}{\left|{\mathcal{N}}_i^1\cup {\mathcal{N}}_j^1\right|}\text{\hspace{1em}(9)}$$

指定 $\hat{L}=1$， $f\left(\left\{{\mathcal{N}}_k^1\mid k\in P_{ji}^2\right\}\right)=\left|{\mathcal{N}}_i^1\cup {\mathcal{N}}_j^1\right|$, 可以得到：
$$\begin{array}{rl}{\varphi }_u^1(j)& =\frac{1}{\left|{\mathcal{N}}_u^1\right|}\sum _{i\in {\mathcal{N}}_u^1}{\beta }^2\sum _{P_{ji}^2\in {\mathcal{P}}_{ji}^2}\frac{1}{\left|{\mathcal{N}}_i^1\cup {\mathcal{N}}_j^1\right|}\\ & =\frac{{\beta }^2}{\left|{\mathcal{N}}_u^1\right|}\sum _{i\in {\mathcal{N}}_u^1}\frac{\left|{\mathcal{N}}_i^1\cap {\mathcal{N}}_j^1\right|}{\left|{\mathcal{N}}_i^1\cup {\mathcal{N}}_j^1\right|}\\ & =\frac{{\beta }^2}{\left|{\mathcal{N}}_u^1\right|}\sum _{i\in {\mathcal{N}}_u^1}\mathrm{JC}(i,j)\end{array}\text{\hspace{1em}(10)}$$

2. Salton 余弦相似度
   $$\mathrm{SC}(i,j)=\frac{\left|{\mathcal{N}}_i^1\cap {\mathcal{N}}_j^1\right|}{\sqrt{\left|{\mathcal{N}}_i^1\cup {\mathcal{N}}_j^1\right|}}\text{\hspace{1em}(11)}$$

指定 $\hat{L}=1$， $f\left(\left\{{\mathcal{N}}_k^1\mid k\in P_{ji}^2\right\}\right)=\sqrt{\left|{\mathcal{N}}_i^1\cup {\mathcal{N}}_j^1\right|}$：
$$\begin{array}{rl}{\varphi }_u^1(j)& =\frac{1}{\left|{\mathcal{N}}_u^1\right|}\sum _{i\in {\mathcal{N}}_u^1}{\beta }^2\sum _{P_{ji}^2}\sum _{\in {\mathcal{P}}_{ji}^2}\frac{1}{\sqrt{\left|{\mathcal{N}}_i^1\cup {\mathcal{N}}_j^1\right|}}\\ & =\frac{{\beta }^2}{\left|{\mathcal{N}}_u^1\right|}\sum _{i\in {\mathcal{N}}_u^1}\frac{\left|{\mathcal{N}}_i^1\cap {\mathcal{N}}_j^1\right|}{\sqrt{\left|{\mathcal{N}}_i^1\cup {\mathcal{N}}_j^1\right|}}\\ & =\frac{{\beta }^2}{\left|{\mathcal{N}}_u^1\right|}\sum _{i\in {\mathcal{N}}_u^1}\mathrm{SC}(i,j)\end{array}\text{\hspace{1em}(12)}$$

3. 共同邻居个数
   $$\mathrm{CN}(i,j)=\left|{\mathcal{N}}_i^1\cap {\mathcal{N}}_j^1\right|\text{\hspace{1em}(13)}$$

指定 $\hat{L}=1$，$f\left(\left\{{\mathcal{N}}_k^1\mid k\in P_{ji}^2\right\}\right)=1$，有：

$$\begin{array}{rl}{\varphi }_u^1(j)& =\frac{1}{\left|{\mathcal{N}}_u^1\right|}\sum _{i\in {\mathcal{N}}_u^1}{\beta }^2\sum _{P_{ji}^2\in {\mathcal{P}}_{ji}^2}1\\ & =\frac{{\beta }^2}{\left|{\mathcal{N}}_u^1\right|}\sum _{i\in {\mathcal{N}}_u^1}\left|{\mathcal{N}}_i^1\cap {\mathcal{N}}_j^1\right|\\ & =\frac{{\beta }^2}{\left|{\mathcal{N}}_u^1\right|}\sum _{i\in {\mathcal{N}}_u^1}\mathrm{CN}(i,j)\end{array}\text{\hspace{1em}(14)}$$

4. LHN
   $$\mathrm{LHN}(i,j)=\frac{\left|{\mathcal{N}}_i^1\cap {\mathcal{N}}_j^1\right|}{\left|{\mathcal{N}}_i^1\right|\cdot \left|{\mathcal{N}}_j^1\right|}\text{\hspace{1em}(15)}$$
   指定 $\hat{L}=1$， $f\left(\left\{{\mathcal{N}}_k^1\mid k\in P_{ji}^2\right\}\right)=\left|{\mathcal{N}}_i^1\right|\cdot \left|{\mathcal{N}}_j^1\right|$，则有：

$$\begin{array}{rl}{\varphi }_u^1(j)& =\frac{1}{\left|{\mathcal{N}}_u^1\right|}\sum _{i\in {\mathcal{N}}_u^1}{\beta }^2\sum _{P_{ji}^2}\frac{1}{\left|{\mathcal{N}}_i^1\right|\cdot \left|{\mathcal{N}}_j^1\right|}\\ & =\frac{{\beta }^2}{\left|{\mathcal{N}}_u^1\right|}\sum _{i\in {\mathcal{N}}_u^1}\frac{\left|{\mathcal{N}}_i^1\cap {\mathcal{N}}_j^1\right|}{\left|{\mathcal{N}}_i^1\right|\cdot \left|{\mathcal{N}}_j^1\right|}\\ & =\frac{{\beta }^2}{\left|{\mathcal{N}}_u^1\right|}\sum _{i\in {\mathcal{N}}_u^1}\mathrm{LHN}(i,j)\end{array}\text{\hspace{1em}(16)}$$

Experiments