admin管理员组

文章数量:1650802

【AAAI 2021】基于Attention的知识蒸馏：Knowledge Distillation via Attention-based Feature Matching

  • 论文地址：
  • 代码地址：
  • 主要问题：
  • 主要思路：
  • 具体实现：
  • 实验结果：

论文地址：

https://arxiv/abs/2102.02973

代码地址：

github/clovaai/attention-feature-distillation

主要问题：

大多数基于特征的知识蒸馏都是手动连接教师和学生的中间特征，并通过预定义的链接传递知识，然而人工选择往往会构建出来无效的链接，从而限制知识蒸馏的性能

主要思路：

这篇文章介绍了一种高效的特征蒸馏方法，即基于注意机制进行特征链接，这种方法能够利用教师的所有特征层，而无需手动选择链接

具体来说，作者的方法利用了一个基于注意力机制的元网络，该元网络学习特征之间的相对相似性，并将已识别的相似性应用于控制所有可能的教师-学生特征对的蒸馏强度

本文标签： 知识AttentionAAAIKnowledgefeature

版权声明：本文标题：【AAAI 2021】基于Attention的知识蒸馏：Knowledge Distillation via Attention-based Feature Matching 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dianzi/1729532356a1204968.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。