基于生成式预训练Transformer的知识图谱与智能问答系统

图谱与智能问答系统"/>

基于生成式预训练Transformer的知识图谱与智能问答系统

作者：禅与计算机程序设计艺术

智能问答系统（QA System）通过提问从海量的数据中找到最相关的回答，并给出可信度分数，显著改善人的日常生活。近年来，随着神经网络模型的不断进步和能力越来越强，基于深度学习的通用语言理解（NLU）模型在多个领域都取得了突破性的成果。然而，基于深度学习的通用QA模型的性能仍存在一些限制。其中一个主要原因是训练数据不足导致模型难以收敛或者过拟合。另一方面，对于长文档（例如，具有复杂的技术背景、历史渊源等的文本），传统的基于规则的基于统计的算法往往无法完全处理，需要对模型进行相应的调整。因此，为了解决这些问题，很多研究人员试图采用预训练的方法来构建通用问答模型。预训练可以利用大规模的无监督数据训练模型，从而促使模型能够捕捉到丰富的语义信息和抽象特征。这种方法可以有效地缓解模型的缺陷，尤其是在处理长文档的问题上。

本文主要介绍一种基于生成式预训练Transformer的知识图谱与智能问答系统。知识图谱（Knowledge Graph,KG）是一种用于存储和整理所有事实、实体及其关系的数据结构。它可以帮助机器理解世界，同时也对问答任务提供有效的支持。基于预训练的语言模型可以自动学习到输入序列的上下文表示，并将其作为编码器或特征抽取器。进一步，知识图谱中可以直接获得的丰富的知识也可以用来增强语义表示。另外，基于编码器-解码器框架的联合训练方案可以更好地建模生成式模型。基于该框架，本文提出了一个命名实体识别模块，将命名实体与其他词汇关联起来，并且可以利用知识图谱中的上下文信息来改进命名实体识别结果。最后，还提出了基于路径查询的匹配机制，通过检索得到的实体之间的路径来完成最终的推理。综合以上组件，我们设计了一套端到端的生成式预训练Transformer模型，