链式法则"/>
矩阵向量求导链式法则
1. 向量对向量求导的链式法则
首先我们来看看向量对向量求导的链式法则。假设多个向量存在依赖关系，比如三个向量x→y→z存在依赖关系，则我们有下面的链式求导法则：
2. 标量对多个向量的链式求导法则
在我们的机器学习算法中，最终要优化的一般是一个标量损失函数，因此最后求导的目标是标量，无法使用上一节的链式求导法则，比如2向量，最后到1标量的依赖关系：x→y→z，此时很容易发现维度不相容。
如果是标量对更多的向量求导,比如y1→y2→...→yn→zy1→y2→...→yn→z，则其链式求导表达式可以表示为：
3. 标量对多个矩阵的链式求导法则
下面我们再来看看标量对多个矩阵的链式求导法则，假设有这样的依赖关系：X→Y→z那么我们有：
机器学习常用矩阵求导：
更多推荐
矩阵向量求导链式法则
发布评论