[论文解读]Genre Separation Network with Adversarial Training for Cross

编程入门行业动态更新时间:2024-10-23 07:16:55

[<a href=https://www.elefans.com/category/jswz/34/1770125.html style= 论文解读]Genre Separation Network with Adversarial Training for Cross"/>

[论文解读]Genre Separation Network with Adversarial Training for Cross

论文地址：.pdf
发表会议：EMNLP2019

本论文的主要任务是跨领域的关系抽取，具体来说，利用某个领域的数据训练好的关系抽取模型，很难去直接抽取另一个领域中的关系，比如我们拿某个领域训练好的模型，把另一个领域的数据直接输入整个模型，很难抽取出来正确的实体关系。这主要是因为源领域和目标领域特征表达的不同，在源领域的某个特征，在目标领域可能表达相反的意思。而为了在领域迁移时可以直接利用模型，而不用再训练一次，本论文提出了一种新的跨领域关系抽取模型。

主要思想
跨领域迁移问题的核心问题是，源领域和目标领域的特征表示不同，所以无法直接把源领域学习的模型应用到目标领域。而解决这个问题的核心思想就是，抽取出源领域和目标领域的共有特征,然后利用这些共有特征完成目标领域的任务。那既然训练时也要用到目标领域的数据，为何不单独为目标领域训练一个模型？答案是任务本身就是我们只知道源领域的标签值，如何用标注好的源领域的数据和未标注的目标领域的数据，去预测出目标领域的标签值。既然不知道目标领域的标签值，那么也就无法单独为目标领域训练一个模型了。

依据上述核心思想，在如何找到源域和目标域的共有特征问题上，目前主要流行如上图所示的三种跨领域共有特征抽取方法，第一种是Feature engineering，代表论文为Cross-Domain Sentiment Classification via Spectral Feature Alignment。这种方法主要是通过构建新的特征表示方式，从而让源域学习到的特征也包含了目标域的特征，即学习到了一部分共有特征，从而在目标域上预测的时候不会产生矛盾，但是这种通过手工构造特征的方法显然不能捕捉到所有的公共特征，如图所示，有很多公共特征被分到了独有特征里。第二种是Feature projection，这种方法比较流行，主要是把源域的特征和目标域的特征都抽取到一个共有特征空间内，但是这样显然会把独有的特征包含进来，从而在目标领域的预测中产生误差。第三种是作者提出的领域分离网络，数据不再像Feature Projection那样feed进一个共有的编码器网络，而是根据领域的不同feed进两个编码器网络，相当于源领域和目标领域的独有特征，这两个网络不共享参数，然后所有数据还会feed进一个共有的编码网络，相当于共有特征。其实此网络几年前就已经提出，只不过作者应用在了关系抽取任务上，具体看论文：domain separation network。
网络结构
一些细节

损失函数为四部分损失的相加： L = L r e l a t i o n + α L d i f f + β L r e c + γ L a d v _{L} = _{Lrelation}+ \alpha _{Ldiff}+ \beta _{Lrec}+\gamma _{Ladv} L=Lrelation+αLdiff+βLrec+γLadv,其中 L r e l a t i o n _{Lrelation} Lrelation是在共有特征空间上对源域数据集的关系分类损失，在测试阶段，也是用目标领域的数据集在这个共有特征空间上进行预测。为什么这么做呢？为什么不把学习到的独有特征考虑进去进行关系分类呢？独有特征不应该更能描述任务之间的差异性从而更好地进行关系分类吗？首先，训练的时候只能在共有特征上进行训练，因为训练时是用源域的数据集进行关系分类，所以肯定不能把target private cnn encoder的输出加进来，那样target encoder学习到的就会混杂一些源域的特征，同时如果把source private cnn encoder的输出加进来，那么shared encoder就会学习到一些源域的特征，这也不是我们希望的。测试时和训练时保持一致，所以也要在共有特征上进行测试。
为何要把private encoder的输出和shared encoder的输出加起来再输入下一层？我的理解是，能表示原始输入的是shared encoder的输出和private encoder的输出，所以把这两个加起来就能表示源输入的所有特征，然后加起来后重构的向量要和原来的每个位置的向量相似才行，这就保证了private encoder学到的必须是一些私有特征，即文中所说有意义(meanful）的，也就同时避免全0为题。
现在看来， L a d v _{Ladv} Ladv使shared encoder学习共有特征， L r e c _{Lrec} Lrec使private encoder学习私有特征，而 L d i f f _{Ldiff} Ldiff使私有特征和共有特征尽可能不相似，即保证了私有特征和共有特征不相交。
而 L r e l a t i o n _{Lrelation} Lrelation，保证了共有特征在源域上具有关系抽取的能力，从而也就使共有特征在目标域也具有关系抽取的能力。