2018深度学习李宏毅1-2_ Potential of Deep

1-2_ Potential of Deep

反正deep 就是比较好

2^n是linear pieces 的 upper bound，是最佳状况，因为有些pattern 可能永远不会出现

取绝对值的activation function可以用两个RELU 表示

deep的network 每增加一层，每一层只有两个neuron,线段的数目就会翻倍,
deep比较由效率，它做的事情像在折纸，把原来的pattern复制

下面是研究证明
纵坐标表示产生的piece 的数目
左边：layer的深度增加，不同颜色表示每层宽度不同
后边:增加每层的参数的数量，不同颜色表示层数不同

下面实验证明，靠近input的layer 的neuron比较重要，
左：给不同的层的layer 加噪音，给第一层加的话，结果坏掉。给最后一层加噪音，对结果影响不大。
右：只train其中一层，keep住其他的，发现train开始的layer正确率更高

假设现在要去fit y=x^2
在shallow的情况下，至少需要1/√ε个neuron，
因为前面证了：多少个segment就用2倍的数目的neurons

在deep的情况下

所以在deep的时候，只要圈圈中那么多的layer就行了

y=x^2这个function 的作用有很多，比如

但可能是田忌赛马的概率问题