论文笔记 arxiv|PoKE: A Prompt-based Knowledge Eliciting Approach for Event Argument Extraction

文章目录

• • 1 简介
  • • 1.1 动机
    • 1.2 创新
  • 2 方法
  • • 2.1 Prompt Strategies
    • • 2.1.1 Single Argument Prompt
      • 2.1.2 Joint Argument Prompt
    • 2.2 Question-Aware Sequence Tagging
  • 3 实验

1 简介

论文题目：PoKE: A Prompt-based Knowledge Eliciting Approach for Event Argument Extraction
论文来源：arxiv
组织机构：华东师范大学
论文链接：https://arxiv/pdf/2109.05190.pdf

1.1 动机

• 目前利用prompt完成事件论元抽取存在两个问题：1)不同论元之间的交互没有很好的被研究。2)大部分现有的基于prompt的方法依赖encoder-decoder结构，不能很好的应用到一个论元角色多个提及的情况中。

1.2 创新

• 提出了两种prompt策略，捕捉事件内部和事件之间的依赖。
• 探索基于prompt与序列标记相结合的有效性。

2 方法

整体框架如上图，输入为文本和prompt的拼接(下式)，然后基于mask的token使用question-aware序列标注获得对于的论元span。

2.1 Prompt Strategies

提出两种prompt：Single和Joint，分别包含bridge, template, suffix三部分。bridge使序列更新通畅，template为论元的解释，suffix提供触发词和事件类型信息。

2.1.1 Single Argument Prompt

bridge如上图，是一系列固定的单词，template为事件中每个论元角色的解释(ACE annotation guidelines)，在训练中，随机取样一个未出现在上下文中的论元作为负例，添加到template中，suffix提供触发词和事件类型信息，触发词使用⟨t⟩⟨/t⟩分隔，拼接到一起，公式如下：

2.1.2 Joint Argument Prompt

除了使用⟨t⟩⟨/t⟩分隔触发词，将全部的论元mask。template添加其他的论元解释作为负例，论元解释的顺序进行打乱，拼接到一起，公式如下：

2.2 Question-Aware Sequence Tagging

使用Question-Aware Sequence Tagging定位全部的论元span，首先使用BERT进行编码(公式1)，然后使用mask的token计算论元开始和结束位置的概率分布(公式2)，loss为公式3：

在推理时，仅使用single的prompt，因为论元是未知的，不能对全部的论元进行mask。

3 实验

实验使用的数据集为ACE 2005，实验结果和消融实验如下图：

低资源情况下的实验效果：

迁移学习下的实验效果(zero-shot：训练集和验证集选择top n个常见的实验类型，测试集为其他未见过的事件类型)：