caffe中的loss值，训练loss比测试loss更大，为什么？

更大，为什么？"/>

caffe中的loss值，训练loss比测试loss更大，为什么？

在caffe中，训练的时候，默认会打印出测试的loss值和训练的loss值，比如下图

第一个loss值0.380612是指模型在测试阶段，但是在训练集上的loss值，

第二个loss值0.416171是指模型在测试阶段，在测试集上的loss值

第三个loss值是训练阶段打印出的loss值

但是这里比较奇怪的是为什么训练阶段的loss最大？而且为什么这个loss值和测试阶段在测试集上的loss值不一样大？

初步猜测可能是因为drop的影响，在训练阶段是包括dropout层，而测试阶段无此层，删除dropout层后，再训练，发现训练阶段的loss确实会更小一些，但也视情况而定，有时候会更小，有时候会更大。这个可能原因在于，模型还没有完全稳定下来。

待模型稳定后，训练阶段的loss和测试阶段在训练集上的loss基本一致，且比测试阶段在测试集上的loss要小。

收敛/稳定之后，有时候训练阶段的loss会比测试集上的loss小，和测试阶段训练集的loss一致，但有时候也会比较大。