《基于图卷积网络的半监督分类》阅读笔记

卷积网络的半监督分类》阅读笔记"/>

《基于图卷积网络的半监督分类》阅读笔记

《SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS》

该文于2017发表于 ICLR 会议
作者：Max Welling、Thomas N. Kipf
机构：阿姆斯特丹大学

基于图卷积网络的半监督分类目录

• • 《SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS》
  • • ABSTRACT
  • 1.introduction
  • 2.FAST APPROXIMATE CONVOLUTIONS ON GRAPHS
  • • 2.1SPECTRAL GRAPH CONVOLUTIONS
    • 2.2LAYER-WISE LINEAR MODEL
  • 3 SEMI-SUPERVISED NODE CLASSIFICATION
  • • 3.1 EXAMPLE
    • 3.2 IMPLEMENTATION
  • 4 RELATED WORK
  • • 4.1 GRAPH-BASED SEMI-SUPERVISED LEARNING
    • 4.2 NEURAL NETWORKS ON GRAPHS
  • 5 EXPERIMENTS
  • • 5.1 DATASETS
    • 5.2 EXPERIMENTAL SET-UP
    • 5.3 BASELINES
  • 6 RESULTS
  • • 6.1 SEMI-SUPERVISED NODE CLASSIFICATION
    • 6.2 EVALUATION OF PROPAGATION MODEL
  • 7 DISCUSSION
  • • 7.1 SEMI-SUPERVISED MODEL
  • #7.2 LIMITATIONS AND FUTURE WORK
  • 8 CONCLUSION

ABSTRACT

我们提出了一种可扩展的基于图结构数据的半监督学习方法，该方法基于卷积神经网络的一种有效变体，该网络直接在图上操作。我们通过谱图卷积的局域一阶近似来激励我们的卷积结构的选择。我们的模型在图的边数中线性缩放，并学习同时编码局部图结构和节点特征的隐含层表示。在引文网络和知识图数据集上的大量实验中，我们证明了我们的方法比相关方法有很大的优势。

1.introduction

我们考虑对图(如引文网络)中的节点(如文档)进行分类的问题，其中标签只对一小部分节点可用。该问题可以被框架为基于图的半监督学习，其中通过某种显示的基于图的正则化在图上平滑标签信息，例如通过在损失函数中使用图拉普拉斯正则化项：
L = L 0 + λ L r e g \mathcal{L}=\mathcal{L}_{0}+\lambda \mathcal{L}_{\mathrm{reg}} L=L0​+λLreg​ L r e g = ∑ i j A i j ∥ f ( X i ) − f ( X j ) ∥ 2 = f ( X ) ⊤ Δ f ( X ) （ 1 ） \mathcal{L}_{\mathrm{reg}}=\sum_{i j} A_{i j}\left\|f\left(X_{i}\right)-f\left(X_{j}\right)\right\|^{2}=f(X)^{\top} \Delta f(X) （1） Lreg​=ij∑​Aij​∥f(Xi​)−f(Xj​)∥2=f(X)⊤Δf(X)（1）
L 0 \mathcal{L}_{0} L0​：表示有监督的损失；
f ( ⋅ ) f(\cdot) f(⋅)：神经网络中的可微函数；
λ：权重因子；
X X X：Xi节点特征向量矩阵；
∆=D−A:G的为归一化拉普拉斯矩阵；
A ∈ R N × N A \in \mathbb{R}^{N \times N} A∈RN×N：邻接矩阵；
⁡ D i i = ∑ j A i j \operatorname{ } D_{i i}=\sum_{j} A_{i j} Dii​=∑j​Aij​：度矩阵；

等式（1）依赖于图中连接的节点可能共享相同标签的假设。然而，该假设可能会限制建模能力，因为图的边不一定需要编码节点相似性，但可以包含附加信息。

在这项工作中，我们直接使用神经网络模型 f ( X , A ) f(X, A) f(X,A)对图结构进行编码，并针对所有有标签的节点在监督目标 L 0 \mathcal{L}_{0} L0​上进行训练，从而避免显式地对基于图的损失函数进行正则化计算。在图的邻接矩阵上调节 f ( ⋅ ) f(\cdot) f(⋅)将允许模型从监督损失 L 0 \mathcal{L}_{0} L0​中分开梯度信息，并且将使其能够学习具有和不具有标签的节点的表示。

我们的贡献是双重的。首先，我们介绍了一种简单且行为良好的神经网络模型的分层传播规则，该规则直接在图上操作，并展示了如何从谱图卷积的一阶近似中激励它(Hammond等人，2011年)。其次，我们演示了这种形式的基于图的神经网络模型如何用于对图中的节点进行快速且可伸缩的半监督分类。在大量数据集上的实验表明，我们的模型在时间效率上都优于现有最先进的半监督学习方法。

2.FAST APPROXIMATE CONVOLUTIONS ON GRAPHS

在这一部分，我们提供了一个特定的基于图的神经网络模型f(X，A)的理论动机，我们将在本文的其余部分使用该模型。我们考虑多层图卷积网络(GCN)具有以下分层传播规则：
H ( l + 1 ) = σ ( D ~ − 1 2 A ~ D ~ − 1 2 H ( l ) W ( l ) ) (2) H^{(l+1)}=\sigma\left(\tilde{D}^{-\frac{1}{2}} \tilde{A} \tilde{D}^{-\frac{1}{2}} H^{(l)} W^{(l)}\right) \tag2 H(l+1)=σ(D~−21​A~D~−21​H(l)W(l))(2)

A ~ = A + I N \tilde{A}=A+I_{N} A~=A+IN​
A ~ \tilde{A} A~:邻接矩阵的逆；
I N I_{N} IN​：单位矩阵；
D ˉ i i ≡ ∑ j A ⃗ i j \bar{D}_{i i} \equiv \sum_{j} \vec{A}_{i j} Dˉii​≡∑j​A ij​：度矩阵；
W ( l ) W^{(l)} W(l