admin管理员组文章数量:1589758
本文是对《Continuous-Time Dynamic Graph Learning via Neural Interaction Processes》一文的浅显翻译与理解,如有侵权即刻删除。
朋友们,我们在github创建了一个图学习笔记库,总结了相关文章的论文、代码和我个人的中文笔记,能够帮助大家更加便捷地找到对应论文,欢迎star~
Chinese-Reading-Notes-of-Graph-Learning
更多相关文章,请移步:文献阅读总结:网络表示学习/图学习
文章目录
- Title
- 总结
- 1 时序点过程
- 2 交互边和依赖边
- 3 方法
- 3.1 TDIG-MPNN
- 3.2 选择机制
- 4 模型优化
Title
《Continuous-Time Dynamic Graph Learning via Neural Interaction Processes》
——CIKM2020
Author: Xiaofu Chang
总结
文章在时序网络上进行网络表征学习,提出了TDIG-MPNN算法。在考虑一次交互时,不仅考虑交互中的两个节点,还分别考虑它们各自的前一次交互情况,共同生成节点嵌入。得到嵌入后,通过LSTM来捕捉全局影响,并利用对子图学习环境嵌入来选择性地为节点邻居赋予不同的权重。最终,通过优化交互节点间的条件强度,从而优化节点嵌入。
1 时序点过程
对于具有时间信息的动态网络,算法一般分为两种方式进行处理,即静态快照和时序网络。静态快照是指按一定的时间间隔截取网络在某段时间中的变化情况,对每个切片得到的网络状态,事实上是没有时间变化的静态网络,而多个网络切片之间,就包含了连续的时间信息。时序网络即这种时序点过程的方法,与静态快照的宏观观察时间演变不同,时序网络具体到每一次节点交互。静态快照更倾向于学习宏观的网络演化过程,时序网络则倾向于学习微观的节点行为模式。文章给出了具体的解释,在此不再赘述。
2 交互边和依赖边
本文对于一次交互,不仅观察交互中的两个节点情况,同时也考虑了这两个节点各自的前一次交互情况。对于交互中的两个节点,文章定义为交互边,对于前一次交互的节点,文章定义为依赖边。
在这段定义中,节点u和v在t时刻构成了交互边,对于u的前一次交互时间,记为t^u-,那么u^1 (t^u-)和u^2 (t^u-)即节点u的前一次交互,其中u^1 (t^u-)指的就是节点u本身,只不过在两次交互中,u的性质也发生了改变,为区分两次交互中的u节点,才将前一次交互时的u定义为u^1 (t^u-)。
该定义中的interaction edge即为交互边,记为I,数据集中边上自带的特征信息作为该条边的特征,dependency edge即为依赖边,即为D,两次交互间的时间差值作为该边的特征。具体地,有:
注意到左图时间进行到t5,右图则进行到t6,虚线为交互边,实线为依赖边。右图中,当左侧用户与右侧用户发生一次新的交互之后,他们之间构成了一条交互边,而与前一时刻的用户自身,及前一时刻交互的邻居,分别构成一条依赖边。在实际子图的构建过程中,文章往往取三阶信息,即右图虚线框起来的三个时间点,k为阶数,是一个超参数。
3 方法
3.1 TDIG-MPNN
算法TDIG-MPNN分为两个部分,一是HGAN,二是RGNN。
HGAN部分主要将交互边和依赖边的信息结合在一起,用来捕捉局部信息。对节点u在t时刻的局部信息向量,有:
x_w和x_u分别代表交互节点w和u的特征,与f进行拼接,f即将交互边I和依赖边D上的特征进行组合映射。W_msg为参数矩阵,通过这种方式得到的F_msg即为捕捉了边上信息的向量。a则是注意力权重,u的邻居序列N(u)中的每个邻居w都通过用不同的参数矩阵加以sigmoid激活,得到其对应的权重。加权后的边上信息向量进行加和,就得到了节点u在t时刻的局部信息向量。
RGNN部分主要捕捉全局信息,通过引入LSTM,来结合节点u在不同时间段的信息,有:
该部分结构为扩展的LSTM模型,聚合的是多个时间段的节点局部信息向量,而聚合的次数或者说层数,与子图层数有关,即受上文提到的超参数k的限制。
3.2 选择机制
对于交互节点的邻居,文章设置了选择机制,在调用TDIG-MPNN层之前就为不同的邻居分配不同的权重,从而使得结合的局部信息更为有效。这一选择机制由两部分组成:共同注意力(coattention)和门控(gating)。
对共同注意力,给出一对交互的节点u和v,可以得到他们对应的邻居节点,或者说同子图环境节点的矩阵X_u和X_v,文章将两者利用参数矩阵进行结合:
得到的Q即为共同注意力下的亲和度矩阵,通过对这一矩阵执行最大池化操作,可以分别得到关于u和v的环境向量:
在得到各自的环境向量后,文章使用门控操作,对u和v的邻居分别计算权重并加权:
加权后的各自邻居节点向量,才会进入到上述层中进行计算。
4 模型优化
基于点过程的损失函数,目的在于最大化两个节点交互的条件强度,在此有:
优化目标即最大化在t时刻已知交互的两个节点的交互概率,最小化和其他节点的交互概率。
本文标签: 文献ContinuousTIMEdynamicneural
版权声明:本文标题:文献阅读(46)CIKM2020-Continuous-Time Dynamic Graph Learning via Neural Interaction Processes 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://www.elefans.com/xitong/1728076460a1144540.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论