琐碎概念"/>
一些琐碎概念
对比损失:CVPR2021自监督学习论文: 理解对比损失的性质以及温度系数的作用 - 知乎
Contrastive Loss中参数τ的理解 - mathor
Knowledge Distillation:
Logits蒸馏和Feature 蒸馏(64条消息) PSPNet logits 蒸馏和特征蒸馏_asaander的博客-CSDN博客_特征蒸馏
Fisher一致性(Fisher consistency ):
《A note on margin-based loss functions in classification》
基于边际的损失函数满足以下条件:
的最小值与 有同样的符号,对于任意 。这种情况可以看作是分类问题的Fisher一致性。
分类中的Fisher一致性要求损失函数的总体极小点 lead to 贝叶斯最优分类规则。
Fisher一致性是损失函数提供合理性能的必要条件。这意味着损失函数具有正确的目标函数,但不能保证实现过程快速收敛到此目标函数
模型效果:
类似 BERT,ViT 原文共定义了 3 种不同大小的模型:Base、Large 和 Huge,其对应的模型参数不同,如下所示。如 ViT-L/16 表示采用 Large 结构,输入 Patch size = 16x16。
更多推荐
一些琐碎概念
发布评论