深度学习模型fintuning的效果反而变差的问题

深度学习模型fintuning的效果反而变差的问题"/>

深度学习模型fintuning的效果反而变差的问题

在使用pytorch模型进行建模时，常常需要进行保存checkpoints，并在下次继续训练或者测试时使用，pytorch的保存和重载主要有两个方式：

1) 只保存参数

# 保存
torch.save(model.state_dict(), 'model.pth')
# 加载
model = Model(*argv)
model.load_state_dict(torch.load('model.pth'))

2) 模型全保存

# 保存
torch.save(model, 'model.pth')
# 加载
model = torch.load('model.pth')

两种保存方法区别和名字是一样的，官网推荐只保存参数。因为当模型设计GPU和CPU时，可以用保存参数的方式防止变量出错，模型尺寸也更小。
但是发现有时候保存的模型并不能很好地继续进行训练或者测试，原因找了很长时间，并不是代码bug。也不是模型的保存和重载出错。经过分析可能是以下两点问题：

1) 输入变了

虽然一般的输入在每次运行是不变的，但是有些输入是会变化的，尤其是一些涉及词库的数据，每次运行生成的词库顺序都不一样，这也是为什么很多模型要使用jupyter，就是为了保存中间变量。
例如，在第一次训练，x = [1,2,3,4,5]；第二次训练是x = [1,3,2,5,4]。模型保存下来了，但是输入变了就导致没有意义了。
解决方案：可以使用pickle存储中间变量，将数据预处理与模型训练分文件存储。

2) 没保存优化器参数

有时候只保存模型的参数，而不保存优化器参数，再次训练时会引起问题。这时候需要保存优化器参数。

state = {‘net':model.state_dict(), 'optimizer':optimizer.state_dict(), 'epoch':epoch}
torch.save(state, 'model.pth')