admin管理员组

文章数量:1589755

背景

本篇论文的工作来自于香港中文大学-商汤联合实验室。与DFAF出自同一作者之手。论文接收于ICCV2019

摘要

现有的解决VQA问题的方法大都是关注于各个独立的image regions于question words之间的联系(比如对intra-modal、inter-modal的联系建模，使用SA、GA等各注意力手段)，始终是从局部的视角来捕捉特征间的联系。(缺乏大局观，对全局特征利用甚少，这与人类回答VQA问题有所不同，人善于利用各种信息进行summarization，从全局的视野来完成这个任务)。

前人对特征的处理方式与本文提出的方法

框架


与DFAF网络结构类似的是，本文提出的MLIN网络也是由MLI这样的block堆叠而成。送入网络的图文特征表示为

每种模态的特征进行summarization操作，得到k个向量表示。每种模态的k个summarization vector可以理解成是从全局视角捕捉到输入特征的k个不同方面的表示。 由sumarization vector组成的矩阵分别记为 R ^ \hat R R^和 E ^ \hat E

本文标签： 多模ModalityLatentInteractionMulti

版权声明：本文标题：多模态融合(七)Multi-modality Latent Interaction Network for Visual Question Answering 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dongtai/1728076886a1144595.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。