对比模型之 SimSiam

模型之 SimSiam"/>

对比模型之 SimSiam

小白的我又在看对比学习，里面有太多的东西不懂了。。。
比如collapse到底是啥意思？
回答： 不同的输入经过网络的输出变为同一个常量。
对比损失函数里负样本在实际训练过程中的作用是什么？为什么去掉负样本也可行，为什么。。。。为啥我训练好的simCLR所提取的特征不具有聚类的特点，这是不是collapse，但我增加了BN呀，不是可以避免么？

• SimSiam 的论文链接
  .10566.pdf

• 代码codes
  =Exploring+Simple+Siamese+Representation+Learning

1. 今天看了一篇推文，作者是 安 迪 的 写 作 时 间 安迪的写作时间 安迪的写作时间，其文章介绍了SimSiam，也比较了其与simCLR, MoCo，BYOL等的异同。文章链接在此：

   探索孪生神经网络：请停止你的梯度传递！

2. 学到的知识点：

   • 滑动平均（moving average）
     η x t = m ∗ η x t − 1 + ( 1 − m ) ∗ F θ t ( T ′ ( x ) ) \eta_x^t=m*\eta_x^{t-1}+(1-m)*\mathcal{F}_{\theta}{^t}(\mathcal{T}^{'}(x)) ηxt​=m∗ηxt−1​+(1−m)∗Fθ​t(T′(x))
   • 余弦相似度
     D ( p 1 , z 2 ) = − p 1 ∣ ∣ p 1 ∣ ∣ 2 ⋅ z 2 ∣ ∣ z 2 ∣ ∣ 2 \mathcal{D}(p_1, z_2)=-\frac{p_1}{||p_1||_2}·\frac{z_2}{||z_2||_2} D(p1​,z2​)=−∣∣p1​∣∣2​p1​​⋅∣∣z2​∣∣2​z2​​

3. 看完之后再学习学习paper和code！

4. 勉励自己：
   遇到问题，解决问题。