admin管理员组文章数量:1567296
文章目录
- 1 简介
- 1.1 动机
- 1.2 创新
- 2 方法
- 2.1 事件抽取转换为结构生成
- 2.2 Sequence-to-Structure结构:
- 2.3 模型学习
- 3 实验
1 简介
论文题目:TEXT2EVENT: Controllable Sequence-to-Structure Generation for End-to-end Event Extraction
论文来源:ACL 2021
论文链接:https://arxiv/pdf/2106.09232.pdf
代码链接:https://github/luyaojie/text2event
1.1 动机
- 目前大部分事件抽取方法使用分解的策略,将复杂的事件结构分解为多个分开的子任务。这种方法有两种缺点:1)每个子任务需要大量的标注数据,经常遭受数据不高效问题。2)手动设计不同子任务的最佳组合结构具有挑战性。
1.2 创新
- 提出了一个事件抽取新的范式:sequence-to-structure generation,以端到端的方式直接从文本中抽取事件。
- 提出了一个sequence-to-structure结构,在推理期间(对于事件知识)使用约束的解码算法,使用课程学习算法进行模型学习。
2 方法
2.1 事件抽取转换为结构生成
将事件抽取转换为结构生成,线性的事件表示应该有如下三个特点:
- 能够将文本中的多个事件记录表达为一个表达式;
- 确定性的方式可逆地转换为事件记录
- 类似于一般文本生成任务的token序列,以便可以轻松利用和转移文本生成模型。
本篇论文提出的转换方法如下图所示,首先转换为树结构(树的根节点为事件类型,叶子结点为原始文本),然后通过深度优先搜索转换为线性的事件表示(括号为分隔符)。
2.2 Sequence-to-Structure结构:
使用T5预训练模型,基于transformer的编码-解码结构,解码开始和结束的标识符为< bos >和< eos >,公式如下:
|
|
|
贪恋解码算法不能保证生成有效的事件结构,本文使用一种基于字典树的约束解码算法,将解码过程表示为字典树搜索的过程,基于当前生成状态选择不同的候选字典集(事件和论元类型、原始文本、括号),如下图:
2.3 模型学习
由于输出中包含很多括号,不同于text-to-text生成模型,容易误导学习过程,因此使用课程学习(curriculum learning)的方法,首先训练PLMs在简单事件子结构任务上(label,span),以至于不会在语义的分隔符(括号)上过拟合,然后训练在全部的结构生成任务。loss函数如下图(数据集表示为
D
=
{
(
x
1
,
y
1
)
,
.
.
.
,
(
x
∣
D
∣
,
y
∣
D
∣
)
}
D=\{(x_1,y_1),...,(x_{|D|},y_{|D|})\}
D={(x1,y1),...,(x∣D∣,y∣D∣)},每一个实例是一个<句子,事件记录>对):
3 实验
数据集为ACE05-EN、ACE05-EN+(进一步考虑了代词角色和多token的事件触发词)、ERE-EN。在ACE05-EN的实验结果如下图:
在ACE05-EN+和ERE-EN的实验结果如下图:
迁移学习下的表现:
消融实验:
本文标签: 笔记论文TEXT2EVENTcontrollableACL
版权声明:本文标题:论文笔记 ACL 2021|TEXT2EVENT: Controllable Sequence-to-Structure Generation for End-to-end Event Extract 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://www.elefans.com/dongtai/1725840619a1044978.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论