【GNN报告】GNN可解释性 & 基于几何与拓扑特性的图学习

admin管理员组

文章数量:1590503

目录

1、中国科学技术大学 王翔: GNN可解释性

简介

GNN可解释性背景

 后事可解释性

2022 TPAMI Reinforced Causal Explainer for Graph Neural Networks 

Deconfounding to Explanation Evaluation in Graph Neural Networks

内在可解释性

2022 ICLR  Discovering Invariant Rationales for Graph Neural Networks 

2022 ICML Let Invariant Rationale Discovery Inspire Graph Contrastive Learning 

 2022 CVPR Invariant Grounding for Video Question Anawering

小结 

2、IBM沃森研究院 马腾飞: 基于几何与拓扑特性的图学习

简介

背景

方法

2020 ICLR Curvature Graph Network

2021 ICML  Link Prediction with Persistence Homology: An Interactive View

2022 ICML Cycle Representation Learning for Inductive Relation Prediction

结论

小结

3、参考

---

1、中国科学技术大学 王翔: GNN可解释性

简介

报告嘉宾

王翔（中科大）

报告摘要

随着图神经网络（GNN）的日益成功，GNN 的可解释性引起了相当大的关注。作为一种流行的生成事后解释（Post-hoc Explanation）的技术，特征归因将 GNN 的预测分布到输入图的特征上，从而突出显着特征。然而，目前的工作主要集中在统计可解释性上，难以区分输入特征对结果预测的因果影响和非因果影响，并且几乎无法量化特征之间的冗余，从而导致事后解释失真。在本次报告中，我们将介绍两种新型方案：基于多粒度的类“预训练-精调”事后解释，基于强化学习的“因果筛选”事后解释，并进一步针对事后解释衡量框架的失真性进行探索，引出基于不变学习的内在可解释（Intrinsically Interpretable）图神经网络，不仅可以使得预测透明化，而且还可以增强模型的泛化能力与鲁棒性。

报告人简介

 王翔，中国科学技术大学特任教授、博导。2019年于新加坡国立大学取得计算机科学博士学位，师从Chua Tat-Seng教授。研究方向包括信息检索与推荐、数据挖掘、可解释与可信人工智能、图深度学习等，在相关CCF A类国际顶级会议和期刊发表论文50余篇，包括TPAMI、NeurIPS、SIGIR、KDD、CVPR、IEEE S&P等，谷歌学术引用6900余次。在2022年AI 2000人工智能最具影响力学者“信息检索与推荐”领域排名第13。担任众多顶级期刊、会议审稿人与程序委员。个人主页：http://staff.ustc.edu/~xiangwang。

参考文献

1. Discovering Invariant Rationales for Graph Neural Networks. Yingxin Wu, Xiang Wang, An Zhang, Xiangnan He, Tat-Seng Chua. ICLR'2022.

2. Let Invariant Rationale Discovery Inspire Graph Contrastive Learning. Sihang Li, Xiang Wang, An Zhang, Yingxin Wu, Xiangnan He, Tat-Seng Chua. ICML'2022.

GNN可解释性背景

 为啥需要解释性？

可以从feature、structure、framework等方面入手

 后事可解释性

 后事解释性：站在第三视角（已经有输入以及输出结果上），借助一个模型，给其一个决策，来解释

2022 TPAMI Reinforced Causal Explainer for Graph Neural Networks 

 

 

 

 

 

Deconfounding to Explanation Evaluation in Graph Neural Networks

子图和全图有偏移

从causal graph 角度来分析

核心思想：也就是从全图中找到子图后，将子图保留，其余部分删除，让模型脑补出全图，将脑补部分丢给模型训练，查看模型准确度

 粉色是学的，青色是模型学的，一定程度上修正了

 

内在可解释性

事后可解释性存在不足，于是开启新的可解释方式

        就是在输出预测时，同时可以观测出一个subgraph（一定程度上白盒化）

 

2022 ICLR  Discovering Invariant Rationales for Graph Neural Networks 

现实世界中的数据模式 

也就是拆成两部分做：从全图到子图，从子图到预测 

 找到一种模式可以（以不变）应对万变

 核心：保留关键组件红色（可以进而和其他模式组合成任意形式）

 

 

 

 

2022 ICML Let Invariant Rationale Discovery Inspire Graph Contrastive Learning 

 上述工作前移到预训练上

 现有方法框架

1）大多都是基于全图整出来几个view试图做对比学习

2）目标是：尽可能让相似的聚合在一起，不同的距离越远些

现有方法不足

1）随机的有损

2）知识引导的耗时且泛化能力有限

 想要可以保留原有语义信息基础上还可以不依赖于专家

本方法

 确实可以找到一些官能团

 2022 CVPR Invariant Grounding for Video Question Anawering

用在视频问答

小结 

 

QA

1）可以用在节点分类上吗？

目前都是用在图分类上，因为一个causal graph对应一种图，要是用于节点，则一个节点要对应一个 causal graph了。当然，也可以用于节点分类上。

2）在节点上做可解释性的话，因为有些节点可能无用的。那这样的话，如何判断节点预测具有可解释性再去做可解释？

节点上，关注local信息，共通信息抽取出来后细化到其他节点上用（很有意义的，尤其是对hrad example上的使用）

2、IBM沃森研究院 马腾飞: 基于几何与拓扑特性的图学习

简介

报告主题

Graph Learning with Geometric and Topological Structures

报告嘉宾

马腾飞（IBM沃森研究院）

报告摘要

Graph data prevails in a broad spectrum of application domains from social science, finance, to biological and medical sciences. In recent years, graph neural network (GNN) has emerged as a powerful tool for many graph learning problems such as node/graph classification, graph generation and recommendations. Despite the tremendous success of GNNs, there remain a lot of challenges such as over-squashing and limited expressivity. Many GNN issues are essentially connected to geometry and topology, e.g. curvature is related to over-squashing and counting cycles is related to the expressive power of GNNs. In this talk, I will introduce our recent works about how geometric and topological features can be used in GNNs to make them more powerful. In particular, we used Ricci curvature to better represent local structure information in graph convolution; we used persistent homology to enhance the performance of link prediction and proposed a new GNN-based method to approximate persistent homology; and we explored cycle-based rule learning for knowledge graph reasoning.

报告人简介

 马腾飞，IBM沃森研究院研究员，本科毕业于清华大学，随后分别于北京大学和东京大学取得硕士和博士学位，研究方向为图深度学习、自然语言处理和智能医疗等。他是《图神经网络：基础与前沿》一书的作者，在NeurIPS、ICLR、ICML、AAAI等人工智能国际会议和期刊上发表论文50多篇，在AAAI与KDD上讲授过关于图神经网络前沿的专题，并获得过ISWC2021的最佳论文奖。

个人主页：

https://researcher.draco.res.ibm/researcher/view.php?person=ibm-Tengfei.Ma1

参考文献

1. Zuoyu Yan, Tengfei Ma, Liangcai Gao, Zhi Tang, Chao Chen. Cycle Representation Learning for Inductive Relation Prediction. In The 39th International Conference on Machine Learning (ICML), 2022.

2. Zuoyu Yan, Tengfei Ma, Liangcai Gao, Zhi Tang, Chao Chen. Link Prediction with Persistence Homology: An Interactive View. In The Thirty-eighth International Conference on Machine Learning (ICML), 2021.

3. Ze Ye, Kin Sum Liu, Tengfei Ma, Jie Gao, Chao Chen. Curvature Graph Network. In the Eighth International Conference on Learning Representations (ICLR2020).

背景

 

 

 

 

 过深出现过平滑，但是最近出来一个新的问题：就是over-squashing，同样也是deep导致的

1）类比RNN模型，将历史信息压缩到最后一个单元上，就会出现bottleneck

2）在GNN上，其他节点压缩到“根”节点上，但最后一个节点装不下那么多信息

 Curvature曲率引入，主要有下面三种

 正式定义

 

 图是离散的，需要离散曲率定义

 

 

 

方法

2020 ICLR Curvature Graph Network

就是将曲率引入替代GAT的注意力系数计算？！

 

 

 

2021 ICML  Link Prediction with Persistence Homology: An Interactive View

 

 

 

 

 

 

2022 ICML Cycle Representation Learning for Inductive Relation Prediction

 

 

 WL-test测不出来区别：可以通过拓扑，如cycle数量来辅助解决

 

 

 

结论

小结

几何GNN，这块我其实没怎么关注，听的也比较懵

3、参考

LOGS 第2022/09/25期 || 中国科学技术大学 王翔: 图神经网络可解释性

LOGS 第2022/09/25期 ||IBM沃森研究院 马腾飞: 基于几何与拓扑特性的图学习

LOGS 第2022/09/25期 || 中国科学技术大学 王翔: 图神经网络可解释性_哔哩哔哩_bilibili

LOGS 第2022/09/25期 ||IBM沃森研究院 马腾飞: 基于几何与拓扑特性的图学习_哔哩哔哩_bilibili

本文标签： 解释性拓扑几何特性报告