卷积神经网络基础 + 1.2卷积神经网络基础补充"/>
1.1卷积神经网络基础 + 1.2卷积神经网络基础补充
1.1卷积神经网络基础总纲:
1、卷积神经网络 2、全连接层 3、卷积层 4、池化层
1、卷积神经网络
a.卷积神经网络历史
CNN - Convolutional Neural Network
雏形:LeCun的LeNet(1998)网络结构(可以认为是卷积神经网络发展史中第一个卷积神经网络)
图a
简单理解 只要包含了卷积层的网络都可以叫做 卷积神经网络
b.卷积神经网络(CNN)的发展
1986 Rumelhart和Hinton等人提出了反向传播(Back Propagation, BP)算法即BP神经网络。
1998 LeCun利用BP算法训练LeNet5网络(图a),标志着CNN的真正面世。(硬件跟不上)
2006 Hinton在他们的Science Paper中首次提出了Deep Learning的概念。
2012 Hinton的学生Alex Krizhevsky在寝室用GPU死磕一个Deep Learning模型,一举摘下了视觉领域竞赛ILSVRC 2012的桂冠,在百万量级的ImageNet数据集合上,效果大幅度超过传统的方法,从传统的70%多提升到80%多。
Fast-forward to today: ConvNets are everywhere 卷积网络无处不在
图像分割、迁移实例。 左边两个图:卷积神经网络某些层的特征层进行可视化得到的结果。右边四个图:将不同风格的图像将其风格应用到原始图像中,就能得到和他风格类似的图像。
2、全连接层
全连接层就是由许许多多神经元共同连接而得来的。
将神经元按列进行排列,列与列之间进行全连接就得到一个BP神经网络
BP神经网络 实例
将得到的5*5的矩阵进行展开,并拼接成一个行向量。一行25列的行向量。这样可以将行向量当成输入神经网络的输入层。
有了输入层之后,我们来看一下输出层 one-hot编码:常见的对标签进行编码的一种方式。
有了输入和输出 ,就能对网络进行训练了。
3. 卷积层 深度理解 卷积特性中权重共享。以一个灰度图像为例,灰度图像的channel为1.(在一维特征向量进行卷积的)通过卷积操作 可以大幅度减少参数。
接下来 进一步了解卷积的过程 实际运用过程中对多维特征矩阵进行卷积操作。
思考题
2. 加入激活函数如何计算?
为什么使用激活函数:计算过程中,是一个线性的计算过程。为了引入非线性因素使其具备解决非线性问题的能力。通过一个非线性函数来达到这样的目的。
思考题
3.如何处理越界问题
Padding:补零,实际运用中,两边左右、上下对称补零的一个操作
本例中只是在右边和下边进行补零故加一个P就好了
N = (4-3+1*1)/2 + 1 = 2 最终我们得到特征矩阵的大小是 2*2
4. 池化层(和卷积层比较类似 但是相对简单很多)
1.2卷积神经网络基础补充
1.2卷积神经网络基础补充总纲(主要涉及两个知识点:如何计算交叉熵损失;优化器是什么?)
1、误差的计算 2、误差的反向传播 3、权重的更新
1、误差的计算
2.误差的反向传播
得到损失函数之后 就是误差的反向传播
求解完之后呢,相当于把所求的误差反向传播到每一个节点,得到了每一个节点的损失梯度。接下来就要进行权重的更新。
3.权重的更新
SGD 优化器
如何解决SGD的缺点呢,我们引入了SGD + Momentum 优化器
Adagrad优化器
针对Adagrad优化器的缺点提出来的RMSProp优化器
Adam优化器(自适应学习率)
更多推荐
1.1卷积神经网络基础 + 1.2卷积神经网络基础补充
发布评论