一些琐碎概念

琐碎概念"/>

一些琐碎概念

对比损失：CVPR2021自监督学习论文: 理解对比损失的性质以及温度系数的作用 - 知乎

Contrastive Loss中参数τ的理解 - mathor

Knowledge Distillation：

Logits蒸馏和Feature  蒸馏(64条消息) PSPNet logits 蒸馏和特征蒸馏_asaander的博客-CSDN博客_特征蒸馏

Fisher一致性（Fisher consistency ）：

《A note on margin-based loss functions in classification》

基于边际的损失函数满足以下条件：

 的最小值与  有同样的符号，对于任意  。这种情况可以看作是分类问题的Fisher一致性。

分类中的Fisher一致性要求损失函数的总体极小点 lead to 贝叶斯最优分类规则。

Fisher一致性是损失函数提供合理性能的必要条件。这意味着损失函数具有正确的目标函数，但不能保证实现过程快速收敛到此目标函数

模型效果：

类似 BERT，ViT 原文共定义了 3 种不同大小的模型：Base、Large 和 Huge，其对应的模型参数不同，如下所示。如 ViT-L/16 表示采用 Large 结构，输入 Patch size = 16x16。