FINE"/>
LOBASS: GAUGING LEARNABILITY IN SUPERVISED FINE
本文是LLM系列文章,针对《LOBASS: GAUGING LEARNABILITY IN SUPERVISED FINE-TUNING DATA》的翻译。
LOBASS:测量监督微调数据的可学习性
- 摘要
- 1 引言
- 2 相关工作
- 3 方法
- 4 实验
- 5 局限和讨论
- 6 结论
摘要
监督微调(SFT)是将大型语言模型(LLM)与特定任务先决条件相结合的关键阶段。微调数据的选择深刻影响了模型的性能,其原理传统上基于数据质量和分布。在本文中,我们在SFT数据选择中引入了一个新的维度:可学习性。这个新维度的动机是直觉,即SFT解锁了LLM在预训练阶段获得的能力。考虑到不同的预训练模型具有不同的能力,适合一个模型的SFT数据可能不适合另一个模型。因此,我们引入了术语“可学习性”来定义数据对模型有效学习的适用性。我们提出了基于损失的SFT数据选择(LoBaSS)方法,利用数据可学习性作为选择SFT数据的主要标准。这种方法提供了一种细致入微的方法,允许将数据选择与固有的模型功能相结合,确保最佳兼容性和学习效率。在涉及7B和13B模型的实验比较中,我们的LoBaSS方法能够在800个数据点(1.5%)的情况下获得可比较的结果,并且仅在总训练数据的6%时就超过了全数据微调。当使用16.7%的数据时,LoBaSS协调了该模型在会话和数学领域的能力,证明了其有效性和适应性。
1 引言
2 相关工作
3 方法
4 实验
5 局限和讨论
我们工作的一个局限性是,虽然我们引入了可学习性作为衡量SFT数据卓越性的一个新维度,但我们主要关注的是仅用于数据选择的方法。我们没有将这一观点应用于SFT数据的生成和增强,从而限制了其增强模型性能的潜力。我们计划在未来将可学习性的观点纳入SFT数据的生成和增强中。这种方法将涉及创建与不同模型功能相一致的数据,从而进一步提高微调的有效性。
此外,我们没有具体分析不同的模型能力如何影响模型的选择偏好。具体而言,模型在特定领域的更强性能是否直接对应于LoBaSS方法选择的数据更倾向于该领域。我们在附录A.3中有一些初步分析,我们计划在未来的工作中更深入地研究这个问题。
另一个限制是,在我们对数据混合和容量平衡的探索中,我们没有具体研究在容量平衡方面,数据混合的比例会产生更好的结果。这将是我们近期工作的一个重要研究方向。
6 结论
我们首先引入了可学习性,将其作为衡量SFT数据卓越性的一个新视角,超越了数据分布和质量。我们提出了三个约束条件来定义数据可学习性,并基于这些约束条件,我们引入了一种基于损失的SFT数据选择方法。在我们的方法中,我们使用骨干模型和微调模型的损失来计算可学习性得分,然后选择得分最高的数据。在Alpaca数据集上的实验结果表明,仅使用约6%的数据进行微调的效果优于使用完整数据集,也优于使用GPT-4进行数据过滤的方法。我们的研究为如何构建和选择SFT数据集提供了一个新颖有效的视角,从而扩展了对LLM微调的理解。
更多推荐
LOBASS: GAUGING LEARNABILITY IN SUPERVISED FINE
发布评论