Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation

Knowledge Boundary of Large Language Models with Retrieval Augmentation"/>

Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation

本文是LLM系列文章，针对《Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation》的翻译。

利用检索增强研究大型语言模型的事实知识边界

• 摘要
• 1 引言
• 2 背景和设置
• 3 实验分析和发现
• 4 结论

摘要

知识密集型任务（例如，开放领域问答（QA））需要大量的事实知识，并且经常依赖外部信息来提供帮助。最近，大型语言模型（LLM）（例如，ChatGPT）在用世界知识解决一系列任务方面表现出了令人印象深刻的能力，包括知识密集型任务。然而，目前尚不清楚LLM对其事实知识边界的感知能力，特别是在结合检索增强时的表现。在本研究中，我们对LLM的事实知识边界以及检索增强如何影响开放域QA中的LLM进行了初步分析。特别是，我们关注了三个主要的研究问题，并通过检验LLM的QA性能、先验判断和后验判断对其进行了分析。我们展示的证据表明，LLM对其回答问题的能力和回答的准确性有着坚定不移的信心。此外，检索增强被证明是提高LLM知识边界意识的有效方法，从而提高其判断能力。此外，我们还发现，LLM在制定答案时倾向于依赖所提供的检索结果，而这些结果的质量会显著影响其依赖性。复制此作品的代码可在。

1 引言

2 背景和设置

3 实验分析和发现

4 结论

在这项工作中，我们研究了LLM在开放领域QA上通过检索增强对事实知识边界的感知能力。详细地，我们提出了先验和后验判断提示，除了QA提示外，还进行了正常和检索增强评估。我们得出了几个关键发现，包括（1）LLM对自己回答问题的能力和回答的质量表现出盲目的信心，表明他们无法准确感知自己的事实知识边界；（2）LLM无法充分利用他们所拥有的知识，并且检索增强的加入有效地提高了他们感知事实知识边界的能力，从而提高了判断能力。（3）LLM在回答问题时往往严重依赖给定的检索结果，而支持文档的特征显著影响了他们的依赖性。根据这些发现，我们还采用了一种简单的方法，该方法基于LLM的先验判断动态地利用检索增强，而不是一致地考虑支持文档，从而提高了性能。