l2范数求导

求导"/>

l2范数求导

前言：

由于在sparse coding模型中求系统代价函数偏导数时需要用到矩阵的范数求导，这在其它模型中应该也很常见，比如说对一个矩阵内的元素值进行惩罚，使其值不能过大，则可以使用F范数(下面将介绍)约束，查阅了下矩阵范数求导的相关资料，本节就简单介绍下。

首先，网络上有大把的人把2范数和F=2时的范数混为一谈，或者说把矩阵p范数和诱导p范数混淆了(也有可能是因为各个版本书所定义的不同吧)。下面我还是以矩阵中权威教材the matrix cookbook和matlab内嵌函数所用的定义来解释。话说the matrix cookbook是一本非常不错的参考书，查找矩阵相关的公式就像查字典一样，很方便。

矩阵的诱导2范数我们常说的2范数，其定义如下：

而矩阵的F=2时的范数，却在实际优化领域经常用到的范数，也称为Frobenius范数，其定义为：

由此可见，在前面博文Deep learning：二十六(Sparse coding简单理解)中，Ng教授给出关于Sparse coding的代价公式如下：

并且Ng教授称公式中比如第一项是l2范数，按照我现在这种定义其实这种讲法是错的，严格的说应该是Frobenius范数(不过也有可能是他自己的定义不同吧，反正最终能解决问题就行)。毕竟，在matlab中如果按照Ng关于l2范数定义来求的话，其结果就错了。<