Attention for Neural Dependency Parsing"/>
Deep Biaffine Attention for Neural Dependency Parsing
.01734
基于图的依存句法分析需要解决两个问题:
1. 哪两个节点连依存弧;
2. 弧的标签是什么。
1. arc得分
这是一个不定类别的多分类问题。若句子中有n个词,包含虚根ROOT在内一共d=n+1个词。
假设我们使用以hfl/chinese-electra-180g-small-discriminator(hfl/chinese-electra-180g-small-discriminator · Hugging Face)预训练模型作为特征抽取器,输出的特征向量R,维度为[batch_size, d, embedding_dim]
对每个词来讲,都需要得到一个分数向量si,其维度为[d, 1]。所有词构成维度为[d, d]的分数矩阵,最后根据arc-factored原理找MST。
MLP 输出维度k切分成两部分:k1 + k2,k1用于预测head,k2用于预测label
一般MLP是个固定类别的分类器,无法处理不定类别分类,所以作者提出先将R重新encode为[batch_size, d, k1],也就是过一遍MLP。
(1)
(2)
这里两个MLP分别是dep专用和head专用。k的量级通常更小,可对预训练模型的输出降维后再输入至仿射层,避免过拟合。
如图所示,得到的arc分数。
(3)
U(arc)的维度为[k1 + 1, k1],式(3)的维度变换为 [batch_size, d, k1 + 1] [k1 + 1, k1] [batch_size, k1, d] = [batch_size, d, d]
作者称(1)(2)(3)式为deep bilinear attention mechanism,因为不同于直接用预训练模型输出的feature,这里通过MLP二次encode了一下。叫attention的原因是,式(3)得到的arc分数向量可理解为,每个词以dep的身份与以head的身份的每个词进行一次点积,酷似attention!
2. arc标签
这是个固定类别的分类问题,作者认为必须同时考虑依存关系的先验概率,已知词语作为head或dep接受某种依存关系的后验概率。也就是下式:
第一项是同时已知i作为dep、yi作为head情况下的后验概率,第二项是已知i或yi是arc两端的后验概率,第三项偏置是什么都不知道时label的先验概率。
维度变换为:
[batch_size, d, k2+1] [k2+1, m * (k2+1)] [batch_size, k2+1, d] = [b, d, md]
更多推荐
Deep Biaffine Attention for Neural Dependency Parsing
发布评论