admin管理员组文章数量:1570348
题目：《Large Language Models on Graphs: A Comprehensive Survey》
According to the relationship between graph and text, we categorize three LLM on graph scenarios. Depending on the role of LLM, we summarize three LLM-on-graph techniques.“LLM as Predictor” is where LLMs are responsible for predicting the final answer. “LLM as Aligner” will align the inputs-output pairs with those of GNNs. “LLMasEncoder”refers to using LLMs to encode and obtain feature vectors.
一、在文章中，对于图大致分为三类：
纯图（pure graphs），即图中主要以图结构为主，像交通图等；
文本配对图（text-paired graphs），即文本描述和图成对存在的图，像蛋白质序列、基因序列等；
富文本图（text-rich graphs），即富有文本特征的图，这些文本以节点和边属性的形式存在。
针对以上图分类：
大模型和图结合的方式主要有三种：
1.大模型作为预测器：将图的embedding和text的embedding都输入llm进行预测，图embedding的方式可以经过gnn的产出，也可以用其他方式（文本描述），大模型负责预测给出最终答案。
2.大模型作为校准器：图经过gnn，text经过llm，然后对两部分的输出进行对齐或者校准。
3.大模型作为编码器：将text经过llm的输出和图一起输入gnn，llm相当于text的编码器，获得特征向量。
二、下面是图的一些定义和符号
三、图神经网络和transformer
文中介绍，GraphSAGE和GAT的注意力机制都可归纳为公式（4）（5），主要是解决节点级任务而设计的。后来的GIN则探索解决图级的任务。
在后续的工作中，gnn的工作逐步解决过度平滑、过度压缩、可解释性和存在偏差等问题。
在图问题上，总结为以下三个方面：
其实就是大模型分别作为预测器、编码器和校准器三方面的应用。
四、按图的分类去结合大模型
这里的图主要分为三种：纯图、富文本图（节点和边的属性中含有大量文本信息）、图-文本对（针对每个图都有相应的文本解释或含义，如基因和蛋白质分子序列等图结构）
1.纯图
对于纯图来说主要聚焦于：直接回答、启发式推理和直接推理。
直接回答：就是将图、图结构的描述或者图编码输入到llm，直接生成答案；
启发式推理：类似于llm的cot推理（思维链），就是引导大模型在图结构的基础上去做一些思维链方面的工作如dfs和bfs去检索子图，进而进行推理。
算法推理：基于明确的算法去做推理，生成answer。（文中介绍有点模糊）
2. 富文本图
主要从预测器、编码器和校准器三方面阐述。
（持续更新）
版权声明：本文标题：图神经网络和大模型相结合应用的最新综述，2024年最强开始，GNN和LLMs强强联合 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dongtai/1725898149a1047899.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论