Synthetic Data Generation with Large Language Models for Text Classification

Generation with Large Language Models for Text Classification"/>

Synthetic Data Generation with Large Language Models for Text Classification

本文是LLM系列文章，针对《Synthetic Data Generation with Large Language Models for Text Classification: Potential and Limitations》的翻译。

基于大型语言模型的文本分类合成数据生成：潜力和局限性

• 摘要
• 1 引言
• 2 相关工作
• 3 方法
• 4 评估1：不同类型任务的比较
• 5 评估2：不同任务实例的比较
• 6 结论和讨论
• • 6.1 为什么主观性会对合成数据的有效性产生不利影响？
  • 6.2 解释了几个例外
  • 6.3 局限性和未来工作

摘要

高质量训练数据的收集和管理对于开发具有卓越性能的文本分类模型至关重要，但它通常会带来巨大的成本和时间投资。研究人员最近探索了使用大型语言模型（LLM）生成合成数据集作为一种替代方法。然而，LLM生成的合成数据在支持模型训练方面的有效性在不同的分类任务中是不一致的。为了更好地理解影响LLM生成的合成数据有效性的因素，在本研究中，我们研究了在这些合成数据上训练的模型的性能如何随着分类的主观性而变化。我们的结果表明，在任务级别和实例级别上，主观性与在合成数据上训练的模型的性能呈负相关。最后，我们讨论了我们的工作对利用LLM生成合成数据的潜力和局限性的影响。

1 引言

2 相关工作

3 方法

4 评估1：不同类型任务的比较

5 评估2：不同任务实例的比较

6 结论和讨论

在本文中，我们对影响LLM生成的合成数据有效性的因素进行了初步探索，以促进文本分类模型的训练。我们的结果表明，对于具有较高主观性水平的分类任务和具有较高主观性的任务实例，在合成数据上训练的模型的性能都会降低。在本节中，我们为我们研究的观察结果提供了一些潜在的解释，并讨论了我们工作的含义、局限性和未来方向。

6.1 为什么主观性会对合成数据的有效性产生不利影响？

我们提供了一些解释，解释为什么任务主观性被发现与在LLM生成的合成数据上训练的模型的性能负相关。首先，高度主观的任务通常需要深入理解人类微妙的情绪和上下文的微妙之处，以及辨别和准确解释不同观点的能力。因此，LLM在生成能够捕捉现实生活中语言使用的广泛范围和复杂性的数据时可能会遇到限制。事实上，正如我们在第4.5节中的探索性分析所示，与真实世界的数据相比，LLM生成的合成数据的多样性似乎特别局限于具有高度主观性的任务。这意味着，提高合成数据在高主观性任务中的有效性的一个潜在方法是增加数据多样性，并确保合成数据能够更好地反映真实世界的数据分布。
其次，具体到实例级别的主观性和模型性能之间的关系，我们注意到任务实例的“金标签”通常由一组注释器中的多数票决定。这意味着金标签可能不代表每个人的观点，有时它们是“有偏见”的自身取决于注释者的分解。因此，LLM生成合成数据以恢复这种潜在的偏见“多数观点”可能具有挑战性。特别是如果LLM被训练为保持中立。或者，人们可能会问一些人类几乎无法达成共识的主观任务实例，“金标签”是否真的是唯一的“正确”标签？否则，迫切需要重新思考如何为这些任务实例开发和评估模型。

6.2 解释了几个例外

在表1中，我们惊讶地发现，在推特讽刺检测任务中，在最少样本的合成数据上训练的模型甚至优于在真实世界数据中训练的模型。一种合理的解释是，为社交媒体生成讽刺文本的性质涉及一项创造性的写作任务，几乎没有语言形式的限制，最近的研究表明，LLM有潜力在这项任务中表现出与人类作家相当的创造力。我们发现的另一个例外是在第5.2节中——对于金融短语库和Scarcasm数据集，与其他任务不同，在合成数据上训练的模型的有效性与实例级任务的主观性没有太大差异。我们推测这可能是由一些特定于任务的属性引起的。在Financial Phasebank数据集上，准确的情绪分析需要理解与金融相关的专业术语。同样，讽刺检测任务旨在识别来自选定来源的新闻标题中的讽刺，并需要对政治话题的理解。因此，在这些任务中，LLM可能没有完全具备在零样本设置下创建有效合成数据所需的领域知识。事实上，如图2所示，无论任务实例的主观性水平如何，在零样本合成数据上训练的模型在这两个数据集上的性能都非常低。

6.3 局限性和未来工作

我们承认，任务主观性可能不是调节LLM生成的合成数据有效性的唯一因素。未来的研究可以探讨其他因素的潜在调节作用，如语言形式和对特定领域知识的要求。由于缺乏语言专业知识，我们在确定任务主观性时依赖人群工作者可能会带来一些可变性。我们的评估也仅基于GPT-3.5-Turbo模型。值得注意的是，考虑到LLM在生成类人文本方面的不断改进，我们在这里得到的结论可能不会推广到其他LLM（例如，更先进的GPT-4）。
我们的研究结果表明，将真实世界的数据示例纳入合成数据生成过程可以增加数据多样性，并提高生成模型的性能。因此，未来的工作可以探索利用人类智慧的策略，例如在生成过程中的反馈或直接干预，以进一步丰富合成数据的多样性，并确定要生成的最“信息量”类型的数据实例。最后，任务或实例的主观性与在合成数据上训练的模型的性能之间的显著相关性也表明，有可能利用这些模型的性能来近似任务或实例主观性，或估计黄金标签的可靠性。