AUGMENTING LOGICAL REASONING CAPABILITIES WITH LARGE LANGUAGE MODELS

REASONING CAPABILITIES WITH LARGE LANGUAGE MODELS"/>

AUGMENTING LOGICAL REASONING CAPABILITIES WITH LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《FROM INDETERMINACY TO DETERMINACY: AUGMENTING LOGICAL REASONING CAPABILITIES WITH LARGE LANGUAGE MODELS》的翻译。

从不确定性到确定性：用大型语言模型增强逻辑推理能力

• 摘要
• 1 引言
• 2 相关工作
• 3 DETERMLR
• 4 实验
• 5 结论

摘要

大型语言模型（LLM）的最新进展彻底改变了推理任务的格局。为了增强LLM模拟人类推理的能力，许多先前的工作都集中在使用特定的思维结构（如链、树或图）对中间推理步骤进行建模。然而，基于LLM的推理在三个关键方面仍然面临挑战：1）为各种任务选择合适的推理结构；2） 充分有效地利用已知的条件来推断新的见解；3） 考虑历史推理经验对未来推理步骤的影响。为了应对这些挑战，我们提出了DetermLR，这是一种新的推理框架，它将推理过程表述为从不确定前提到确定前提的转换过程。这一过程的特点是确定性前提的逐渐积累，使结论越来越清晰。DetermLR包括三个基本组成部分：1）前提识别：我们系统地将前提分为两种不同的类型：确定型和不确定型。这使LLM能够灵活地定制推理结构，以匹配特定的任务复杂性。2） 前提优先级和探索：我们利用定量测量来评估每个前提与目标的相关性，优先考虑更相关的前提，以探索新的见解。3） 具有推理记忆的迭代过程：我们引入了一个推理记忆模块，用于自动存储和提取可用前提和推理路径，保留历史推理细节，以便在迭代推理过程中更准确地确定前提优先级和进行探索。综合实验结果表明，DetermLR在四项具有挑战性的逻辑推理任务上优于所有基线：LogiQA、ProofWriter、FOLIO和LogicalDepression。与以前的多步推理方法相比，DetermLR可以在需要更少访问状态的情况下获得更好的推理性能，突出了其在处理逻辑推理任务时的优越效率和有效性。

1 引言

2 相关工作

3 DETERMLR

4 实验

5 结论

在这项工作中，我们提出了DetermLR，这是一种新的推理框架，使基于LLM的推理更接近于人类的认知推理。首先，我们提出了一种新的视角，将推理过程表述为不确定前提到确定前提的过渡，使LLM能够为各种推理任务调整适当的推理结构。其次，我们使用定量测量来确定前提的优先级和探索，使LLM能够对更有利于探索新见解的前提进行优先级排序。此外，我们引入了一个推理记忆模块，用于自动存储和提取可用前提和推理路径，确保在迭代推理过程中考虑关键的历史推理细节。
综合实验结果表明，DetermLR在四个具有挑战性的逻辑推理任务上优于所有基线，同时需要更少的访问状态，突出了其在处理逻辑推理任务方面的卓越效率和有效性。值得注意的是，在像LogiQA这样更复杂的任务中，DetermLR表现出了更显著的进步，在更大程度上反映了类似人类的推理技能。