深度学习中的epoch, batch 和 iteration

深度学习中的epoch, batch 和 iteration"/>

深度学习中的epoch, batch 和 iteration

epoch：所有的训练样本都在神经网络中进行了一次正向传播和一次反向传播。然而，当一个epoch的样本数量可能过于庞大，就需要把它分成多个小块，也就是分成多个batch来进行训练。

batch(批，一批样本)：将训练样本分成若干个batch

batch_size(批大小):每批样本的大小
iteration（一次迭代）：训练一个Batch就是一次Iteration

换算关系：
N u m b e r o f B a t c h e s = T r a i n i n g S e t S i z e B a t c h S i z e Number of Batches = \dfrac{Training Set Size}{Batch Size} NumberofBatches=BatchSizeTrainingSetSize​

实际上，梯度下降的几种方式的根本区别就在于上面公式中的Bathch_Size 不同，

举个例子：

mnist 数据集有60000张图片作为训练数据，10000张图片作为测试数据。假设现在选择 ==Batch_Size =100 ==对模型进行训练。迭代30000次。

• 每个 Epoch 要训练的图片数量：60000(训练集上的所有图像)
• 训练集具有的 Batch 个数：600=60000/100
• 每个 Epoch 需要完成的 Batch 个数：600
• 每个 Epoch 具有的 Iteration 个数：600（完成一个- Batch训练，相当于参数迭代一次）
• 每个 Epoch 中发生模型权重更新的次数：600
• 训练 10 个Epoch后，模型权重更新的次数：6000=600*10
• 不同Epoch的训练，其实用的是同一个训练集的数据。第1个Epoch和第10个Epoch虽然用的都是训练集的图片，但是对模型的- 权重更新值却是完全不同的。因为不同Epoch的模型处于代价函数空间上的不同位置，模型的训练代越靠后，越接近谷底，其代价越小。
• 总共完成30000次迭代，相当于完成了30000/600=50 个 Epoch