admin管理员组

文章数量:1663028

  • 发表于NeurIPS 2021, 由Google Research, Brain Team发表。

Mixer Architecture

Introduction

  • 当前的深度视觉结构包含融合特征(mix features)的层:(i)在一个给定的空间位置融合。(ii)在不同的空间位置，或者一次融合所有。
  • 在CNN中，(ii) 是由N x N(N > 1 )卷积和池化完成的。更深的神经元有更深的感受野。同时 1 x 1的卷积完成了(i)。
  • 在 Vision Transformer和其他基于attention-based architectures，自监督层同时做到了(i)和(ii), 而MLP-blocks 做到了(i)。
  • 因此Mixer architecture的内在思想是去清晰区分per-location(channel-mixing) 操作(i) 以及cross-location(token-mixing)operations(ii)。这些操作都由MLPs完成。

Steps

  1. Mixer的输入是S个无重叠的图像块,每一块投影成维度C的隐层，也就是一个二维真值输入表， X ∈ R S × C X \in \mathbb{R}^{S \times C} X∈RS×C。 S维度就代表空间，C代表同一空间位置的不同特征。
  2. Mixer 包括同一尺寸的多层，每层包含两个MLP块。第一个是token-mixing MLP：作用于X的列（通过将X转置 X T X^T XT）。第二个是channel-mixing MLP：作用于行。
  3. 每一个模块包含两个全连接层和一个非线性层。

本文标签： MixerMLPVisionArchitecture

版权声明：本文标题：MLP-Mixer: AN all MLP Architecture for Vision 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dongtai/1729977720a1218223.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。