admin管理员组文章数量:1608850
Pytorch 中文语言模型(Bert/Roberta)进一步预训练(further pretrain)
- 1.Motivation
- 2.相关链接
- 3. 具体步骤
-
- 3.1 依赖项
- 3.2 数据格式
- 3.3 代码运行
- 4. 结果
-
- 4.1 完整的目录结构
- 4.2 训练过程
- 4.3 训练结果
- 5 .附录
1.Motivation
Bert是在大规模的语料下进行MLM训练得到的结果。然而,在具体的任务下,再在自己新的数据集进行finetune的效果并不会特别好。因此,需要利用domain内的语料对Bert预训练模型进行进一步的MLM训练,也就是further pretrain/ repretrain,与此相关的论文有ACL2020论文《Don’t Stop Pretraining 》,也有一篇将主题模型与bert相结合做semantic matching的工作,它们的目的都是提升Bert在target domain的效果。
2.相关链接
主要参考以下链接
- Pytorch中文语言模型bert预训练代码
- 旧版本transformer官方再训练链接
- 新版本transformer官方再训练链接
按照链接1上的说明进行操作,我没有将代码跑通,主要是版本问题和Out of memory 问题。于是,尝试链接3下的官方链接,但是也失败了,数据预处理过程就出现了问题,因为服务器不能访问dataset 库里面提供的text.py外网链接,后来通过copy的方式将text.py 文件保存在本地解决了该问题,但是后面又出现了0 sample的问题、index出界的问题,根源还是数据的预处理过程,这样搞了一天,我也服了我自己。最后,还是根据链接1,重新debug,至少它的数据处理没问题,将代码跑通。
3. 具体步骤
3.1 依赖项
务必安装以下版本的transformer,其他版本不保证,至少最新的我试过不行。
transformers==3.0.2
torch = 1.4.0
3.2 数据格式
我的数据格式如下:
每一行就是一条数据,数据之间没有空一行,注意此数据格式对应的参数--line_by_line
应该设置为True
若数据格式为:
每一行就是一条数据,数据之间有空一行,注意此数据格式对应的参数--line_by_line
应该设置为False
。这种数据我没有尝试过,我猜的是设置为False,哈哈哈哈
3.3 代码运行
run_language_model_bert.py
具体代码见附录
运行命令:
python run_language_model_bert.py --output_dir=further_pretrain_sentiment --model_type=roberta--model_name_or_path=robert_pretrain_model --do_train --train_data_file=train_sentiment_500k.txt --mlm --per_device_train_batch_size=32 --line_by_line --overwrite_output_dir --block_size=128
参数说明:
output_dir
:输出路径,训练结束后,该文件夹下会保存训练之后的文件,包括pytorch_model.bin
、vocab.txt
、config.json
等等model_type
:设置为bert
或者roberta
model_name_or_path
:原始的Bert/Roberta模型路径,我这里是robert_pretrain_model
do_train
:训练的Flagtrain_data_file
:自己的训练语料路径,我的文件是与代码在同一路径下的train_sentiment_500k.txt
do_eval
:验证的Flag,为了节省时间,我没有进行验证,可以自己选择eval_data_file
:自己的验证语料路径,在验证flag为True的情况下mlm
:我们要做的就是MLM训练,因此设置为True
per_device_train_batch_size
: 训练时,每个gpu上运行的batch 大小,根据自己情况进行设置,我这里GPU共2张卡,每张卡16GB,我设置的大小为32line_by_line
: 根据自己的语料格式,自行选择,若每两条数据之间没有空一行,务必设置为True
overwrite_output_dir
:是否覆盖output_dir
下已有的文件。若不设置为True,输出路径下有文件时,代码会停止运行,给人提示。自己依情况选择block_size
:若设置为-1
,则会取语料中句子的最大长度
与512
之间的较小值。一般语料句子最大长度都比较长,因此会很大,则会造成out of memory
现象,即使再减小batch_size也无济于事,之前就是因为这个问题,解决了很久,最后看代码、问师兄才解决,我一看out of memory,就减小batch_size,然而并没有什么用。因此,务必自己设定一个句子长度最大值,我这里是128.
4. 结果
4.1 完整的目录结构
其中,cached_lm_BertTokenizer_1000000000000000019884624838654_train.txt
等类似文件是代码运行数据预处理之后产生的。
4.2 训练过程
原始代码会自动调用多GPU,我设置了让它只调用0号GPU.
先运行:export CUDA_VISIBLE_DEVICES=0
再运行 3.3命令行
下图显示的是--per_device_train_batch_size=128
、--block_size=64
0 号 GPU使用情况:
4.3 训练结果
训练结果保存在指定的 output_dir
下,训练结束后,该文件夹下生成以下文件:
若设置了do_eval
验证的Flag,该文件夹下还应有验证的结果保存文件eval_results_lm.txt
5 .附录
run_language_model_bert.py
代码如下:
# coding=utf-8
# Copyright 2018 The Google AI Language Team Authors and The HuggingFace Inc. team.
# Copyright (c) 2018, NVIDIA CORPORATION. All rights reserved.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
# http://www.apache/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
"""
Fine-tuning the library models for language modeling on a text file (GPT, GPT-2, CTRL, BERT, RoBERTa, XLNet).
GPT, GPT-2 and CTRL are fine-tuned using a causal language modeling (CLM) loss. BERT and RoBERTa are fine-tuned
using a masked language modeling (MLM) loss. XLNet is fine-tuned using a permutation language modeling (PLM) loss.
"""
import logging
import math
import os
import torch
from dataclasses import dataclass, field
from typing import Optional
from transformers import (
CONFIG_MAPPING,
MODEL_WITH_LM_HEAD_MAPPING,
AutoConfig,
AutoModelWithLMHead,
AutoTokenizer,
DataCollatorForLanguageModeling,
HfArgumentParser,
LineByLineTextDataset,
PreTrainedTokenizer,
TextDataset,
Trainer,
Trainer,
TrainingArguments,
set_seed,
)
logger = logging.getLogger(__name__)
MODEL_CONFIG_CLASSES
版权声明:本文标题:Pytorch 中文语言模型(BertRoberta)进一步预训练(further pretrain) 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://www.elefans.com/xitong/1728547684a1163069.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论