admin管理员组文章数量:1589972
1.主要贡献
提出了一种新型的网络结构(Interactive Inference Network, IIN),能够从交互空间(interaction space)中抽取句子对的语义特征;
基于注意力权重有助于理解文本的假设,提出一种词对词的注意力(交互张量),越密集的交互张量含有的语义信息越丰富;
2.模型结构
2.1 Interactive Inference Network
如下图左侧所示,IIN由5个部分组成,每个部分都可以以多种方式灵活实现。
(1)Embedding Layer
将每个词或短语表示成向量,构建句子的表示矩阵。这里可以使用预训练的词嵌入模型,如GloVe、word2vec等。还可以结合NER、句法分析等工具,给表示向量增加更多的词法、句法信息。
(2)Encoding Layer
以一种或多种特定方式对句子表示向量编码,比如使用循环神经网络来对序列建模、使用递归神经网络来对句子结构建模或使用注意力机制来对句子的长期依赖建模。
(3)Interaction Layer
计算每对表示向量间的余弦相似度或点乘,来对句子对交互信息建模。在此之上还可以通过两个表示矩阵之间的乘法来获得更高层的交互特征。
(4)Feature Extraction Layer
通过神经网络(CNN、RNN、TreeRNN)从交互特征中提取语义特征。
(5)Output Layer
对特征解码,给出预测。
2.2 Densely Interactive Inference Network
IIN的一种实例,简单但是在多个数据集上取得了SOTA效果。
(1)Embedding Layer
词嵌入 + 字符特征 + 句法特征
词嵌入:预训练的GloVe;
字符特征:通过1D卷积和时间维度上的max pooling得到;
句法特征:one-hot part-of-speech tagging feature + binary exact match feature
(2)Encoding Layer
双层highway network + self attention
(3)Interaction Layer
两个特征矩阵中的特征向量两两计算交互信息。
(4)Feature Extraction Layer
DenseNet / ResNet
(5)Output Layer
线性分类
本文标签: 笔记languageNaturalInferenceSpace
版权声明:本文标题:《Natural language Inference Over Interaction Space》阅读笔记 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://www.elefans.com/xitong/1728077304a1144645.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论