基础知识"/>
【深度学习基础知识
交叉熵通常用于各种分类任务中,这篇文章会对交叉熵做一个简单介绍。
为什么使用交叉熵而不是MSE等损失函数作为分类loss
- 最主要原因是交叉熵的梯度较为友好。如果用MSE计算loss,则输出的loss曲线是波动的,有很多局部的极值点,任务会演变成非凸优化问题,简单来说就是模型参数很容易进入到一个局部极值点出不来。使用交叉熵作为损失函数可以保证任务依然是凸优化问题,在求导梯度时候有很好的收敛特性。
什么是熵
- 想要理解交叉熵,就需要知道什么是熵。熵可以直观的理解为信息量。“明天太阳会从东边升起”,这句话信息量就比较小,是一个正确的废话。“明天中国会成为世界第一大经济体”,这句话信息量就多一些,不管是真的假的,信息量大的东西更会引起我们的关注。
- 数学公式。其中P(x)表示事件x可能发生的概率,E(x)就是熵,熵的另一个名字叫做自信息量。想要进一步理解熵,就需要知道KL散度。
KL散度
- KL散度,又称为KL距离,还有一个名字叫做相对熵,是一种量化两种概率分布之间差异的方式,可以理解为两个概率分布之间信息量的差别。
- 数学公式(注意下式P的下标)。
- 相对熵是不对称的
更多推荐
【深度学习基础知识
发布评论