LOBASS: GAUGING LEARNABILITY IN SUPERVISED FINE

FINE"/>

LOBASS: GAUGING LEARNABILITY IN SUPERVISED FINE

本文是LLM系列文章，针对《LOBASS: GAUGING LEARNABILITY IN SUPERVISED FINE-TUNING DATA》的翻译。

LOBASS：测量监督微调数据的可学习性

• 摘要
• 1 引言
• 2 相关工作
• 3 方法
• 4 实验
• 5 局限和讨论
• 6 结论

摘要

监督微调（SFT）是将大型语言模型（LLM）与特定任务先决条件相结合的关键阶段。微调数据的选择深刻影响了模型的性能，其原理传统上基于数据质量和分布。在本文中，我们在SFT数据选择中引入了一个新的维度：可学习性。这个新维度的动机是直觉，即SFT解锁了LLM在预训练阶段获得的能力。考虑到不同的预训练模型具有不同的能力，适合一个模型的SFT数据可能不适合另一个模型。因此，我们引入了术语“可学习性”来定义数据对模型有效学习的适用性。我们提出了基于损失的SFT数据选择（LoBaSS）方法，利用数据可学习性作为选择SFT数据的主要标准。这种方法提供了一种细致入微的方法，允许将数据选择与固有的模型功能相结合，确保最佳兼容性和学习效率。在涉及7B和13B模型的实验比较中，我们的LoBaSS方法能够在800个数据点（1.5%）的情况下获得可比较的结果，并且仅在总训练数据的6%时就超过了全数据微调。当使用16.7%的数据时，LoBaSS协调了该模型在会话和数学领域的能力，证明了其有效性和适应性。

1 引言

2 相关工作

3 方法

4 实验

5 局限和讨论

我们工作的一个局限性是，虽然我们引入了可学习性作为衡量SFT数据卓越性的一个新维度，但我们主要关注的是仅用于数据选择的方法。我们没有将这一观点应用于SFT数据的生成和增强，从而限制了其增强模型性能的潜力。我们计划在未来将可学习性的观点纳入SFT数据的生成和增强中。这种方法将涉及创建与不同模型功能相一致的数据，从而进一步提高微调的有效性。
此外，我们没有具体分析不同的模型能力如何影响模型的选择偏好。具体而言，模型在特定领域的更强性能是否直接对应于LoBaSS方法选择的数据更倾向于该领域。我们在附录A.3中有一些初步分析，我们计划在未来的工作中更深入地研究这个问题。
另一个限制是，在我们对数据混合和容量平衡的探索中，我们没有具体研究在容量平衡方面，数据混合的比例会产生更好的结果。这将是我们近期工作的一个重要研究方向。

6 结论

我们首先引入了可学习性，将其作为衡量SFT数据卓越性的一个新视角，超越了数据分布和质量。我们提出了三个约束条件来定义数据可学习性，并基于这些约束条件，我们引入了一种基于损失的SFT数据选择方法。在我们的方法中，我们使用骨干模型和微调模型的损失来计算可学习性得分，然后选择得分最高的数据。在Alpaca数据集上的实验结果表明，仅使用约6%的数据进行微调的效果优于使用完整数据集，也优于使用GPT-4进行数据过滤的方法。我们的研究为如何构建和选择SFT数据集提供了一个新颖有效的视角，从而扩展了对LLM微调的理解。