admin管理员组文章数量:1590145
题目：Prompt for Extraction? PAIE: Prompting Argument Interaction for Event Argument Extraction
论文：https://arxiv/pdf/2202.12109v1.pdf
代码：https://github/mayubo2333/PAIE
0 摘要
- 提出了一个有效且高效的句子级和文档级事件论元抽取模型PAIE
- 引入两个span选择器，根据prompt在每个角色的输入文本中选择开始和结束token
- 通过多角色prompt捕获论元交互，并通过二分匹配损失进行最有span分配的联合优化
PAIE可以提取具有相同角色的多个论元，而不是传统的启发式阈值调整。
本文提出了一个类似QA的方法，能够一次抽取出所有argument，同时用prompt注入任务信息，模板与原文本有良好的交互。
1 引言
Event Argument Extraction事件参数提取（简称EAE）任务是事件抽取的一个子任务，可以分为句子和文档级别两种。任务的输入是：一句话或一篇文章，得到对应的触发词、事件类型、事件论元、论元角色。
如下图所示，句子或者文档的表示事件类型的触发词用<t></t>标记标出，划线词表示论元，弧线表示论元类型。
在下图句子级别的事件抽取中，事件类型为交易(Sell)，触发词为sell，论元Vivendi的角色为售货员(seller)，Universal Studios、parks、company的角色为工艺品(artifact)。
EAE可分为两大类：
- 定义为语义角色标记问题，首先识别候选对象的span，然后对其角色进行分类(虽然联合模型可以共同优化它们，但对候选模型高度依赖，可能会存在误差传播的影响)
- 预训练模型，通过QA解决EAE和文本生成。基于QA的模型可以有效的识别特定问题的论元边界，而预测必须是一个接一个的。基于生成的方法对于生成所有的论元都有效，但是序列预测在长距离和多论元的情况下性能会有所降低。
本文的贡献如下：
- 提出的PAIE可以高效且有效地解决句子级别和文档级别地事件论元抽取，并且在少样本地设置中表现出了鲁棒性；
- 在抽取设置下制定和研究了prompt调优，通过联合选取优化片段选择；
- 在三个benchmark上开展了大量的实验。PAIE表现出来良好的改善效果（在基础模型和大模型中F1的增长为3.5%和2.3%）。消融实验表明提出的模型对少样本设置的效率和泛化性，以及提示调优的有效性。
2 相关工作
Event Argument Extraction：识别候选论元→通过多分类为每个角色类型进行分类。事件论元抽取是事件抽取中的一个子任务。利用深度价值网络(DVN)来捕获事件抽取的跨事件依赖关系。将文档转换为非加权图，使用GAT减缓角色重叠问题。通过构造论元异构图来处理implicit论元和multiple events。DEFNN通过平行预测网络来预测论元。
- 最近的做法是将事件论元抽取转换为抽取式的问答问题。这种范式通过问题模板将EAE任务转换为充分探索的阅读理解任务，自然地从预训练语言模型中引入语言知识。通过在模板中相互添加约束来考虑角色之间的隐式交互。也可以利用数据增强去提升性能。然而，这些只能逐个预测角色，效率较低的，通常会导致次优性能。
- 在预训练模的Transformer架构帮助下，将最近的工作转换为文本输出任务。TANL通过统一的文本到文本的方法来处理各种结构化的预测任务，包括EAE，并在一次传递中提取所有论元。也可将EAE视为序列生成问题。为每种事件类型设计特定模板的目标生成模型。
- 相比之下，本文通过设计一个二分图匹配损失(bipartite matching loss)来prompt论元交互来指导plm和优化多重论元检测，不仅提高了对长距离论元依赖关系的理解，而且通过基于prompt的学习享有一个有效的过程。
Prompt-based Learning：与预训练-微调范式不同，基于prompt的方法将下游任务转换为与模型的训练前任务更一致的形式。Schick和Schutze（2021）通过用空白构建相关提示，并找到从特定填充的单词到预测类别的映射，将各种分类问题转换为封闭任务。Li和Liang（2021）专注于生成任务，并通过冻结模型参数和只调整连续的任务特定向量序列来提出轻量级的前缀调优。
- 与上述针对分类或生成任务设计的prompt调优方法不同，我们提出的方法返回到线性头部设置，以更好地拟合提取任务。它有点类似于并发工作P-tuning v2。</
本文标签： PromptingPAIEargumentExtractionEvent
版权声明：本文标题：ACL2022 PAIE: Prompting Argument Interaction for Event Argument Extraction 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dongtai/1728075351a1144404.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论