chatglm2微调—ptuning
Freeze: 即参数冻结，对原始模型部分参数进行冻结操作，仅训练部分参数，以达到在单卡或不进行TP或PP操作，就可以对大模型进行训练。
P-Tuning: 在输入的embedding层前，将prompt转换为可学习的额外一层embedding层.
- P-Tuning，仅对大模型的Embedding加入新的参数。
- P-Tuning-V2，将大模型的Embedding和每一层前都加上新的参数。
- 当prefix_projection为True时，为P-Tuning-V2方法，在大模型的Embedding和每一层前都加上新的参数；为False时，为P-Tuning方法，仅在大模型的Embedding上新的参数。
更多推荐
chatglm2微调—ptuning
发布评论