admin管理员组文章数量:1589951
文章目录
- Introduction
- Model
-
- Interactive Inference Network(IIN)
- Densely Interactive Inference Network(DIIN)
-
- Embedding Layer
- Encoding Layer
- Interaction Layer
- Feature Extraction Layer
- Output Layer
- 实验
-
- 数据
- 参数设置
Introduction
Natural Language Inference任务介绍
NLI又叫做recognizing textual entailment. 是用来确定两句话是不是蕴含关系.
第一句话作为premise, 第二句话作为hypothesis, 则两句话的三种关系定义如下:
- entailment(如果premise为真, 则hypothesis也必须为真)
- contradiction(如果premise为真, 则hypothesis必须为假)
- neutral(既不是entailment, 也不是contradiction)
Model
Interactive Inference Network(IIN)
先介绍下基础的IIN
模型主要包括五部分, 每部分都可以用不同的方式实现.
- Embedding Layer: 将词或者短语转换为向量表示, 并构造句子的矩阵表示.
可以直接使用预训练的词向量, 比如word2vec, glove等等.
为了提高效果, 还可以利用词性标注, 命名实体识别等方法获取更多词汇和句法信息. - Encoding Layer: 对Embedding Layer的输出进行编码, 这部分可以选择不同的编码器, 比如BiLSTM, self-attention等等. 不同的编码器可以结合使用来获得更好的句表示.
- Interaction Layer: 生成premise和hypothesis之间的interaction tensor.
Interaction有多种不同的建模方式, 比如计算余弦距离, 点积等等. - Feature Extraction Layer: 解析从Interaction layer获取的语义特征. 这部分作者使用的2-D的CNN
- Output Layer
Densely Interactive Inference Network(DIIN)
进入正题, 介绍DIIN. DIIN的基础结构和IIN是一样的.
Embedding Layer
Embedding部分, 作者使用了word embedding, character feature和syntactical features进行拼接.
word embedding直接用的预训练的GloVe, 注意, 作者在训练时会对词向量进行更新.
character feature是通过一维的卷积来实现的, 卷积后进行max-pooling. 作者指出, character feature有助于解决OOV问题. CNN在premise和hypothesis之间共享权重.
Syntactical feature包含词性标注的one-hot向量和 binary exact match feature.
Encoding Layer
将上层得到的premise表示 P P P和hypothesis表示 H H H先通过一个两层的highway network得到 P ^ \hat P
本文标签： 笔记InferencelanguageNaturalDIIN
版权声明：本文标题：Natural Language Inference Over Interaction Space(DIIN)阅读笔记 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/xitong/1728077191a1144630.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论