NLP之DeBERTa：DeBERTa的简介、安装和使用方法、案例应用之详细攻略

地址

论文地址：https://arxiv/abs/2006.03654

时间

2020年6月5日

作者

Pengcheng He, Xiaodong Liu, Jianfeng Gao, Weizhu Chen

Microsoft

总结

此论文提出了一种新的Transformer模型架构DeBERTa(Decoding-enhanced BERT with Disentangled Attention)，它通过两种新技术来改进BERT和RoBERTa模型：

背景痛点：现有的Transformer模型，如BERT和RoBERTa，都存在一定的问题。它们在解码层仅使用词与词之间的相对位置信息，但在预测掩盖词时，词在句子中的绝对位置信息同样很重要。此外，词与词之间关系不仅取决于内容，也取决于它们的相对位置关系。

解答方案：

(1) 拆分注意力机制：DeBERTa采用拆分注意力机制，每个词由两个向量表示其内容和位置信息。词对之间的注意力权重通过分离矩阵计算内容和相对位置信息。

(2) 增强掩码解码器：DeBERTa在解码层中引入词的绝对位置嵌入，用于MLM预训练任务中的掩盖词预测。

核心特点：

(1) 更好地表示词与词之间的关系，考虑内容和相对位置双因素影响。

(2) 在解码任务中利用词的绝对位置信息，提高预测能力。

优势：经过大量下游任务实验验证，DeBERTa模型训练效率更高，同时在NLU和NLG下游任务上效果都显著优于BERT、RoBERTa等SOTA模型。特别是，单个DeBERTa1.5B模型在SuperGLUE上的macro平均分数首次超过人类水平。

以上总结了该论文提出的DeBERTa模型的主要痛点、解决方案、核心特点和实验验证的优势。

Recent progress in pre-trained neural language models has significantly improved the performance of many natural language processing (NLP) tasks. In this pa-per we propose a new model architecture DeBERTa (Decoding-enhanced BERT with disentangled attention) that improves the BERT and RoBERTa models using two novel techniques. The first is the disentangled attention mechanism, where each word is represented using two vectors that encode its content and position, respectively, and the attention weights among words are computed using disen-tangled matrices on their contents and relative positions, respectively. Second, an enhanced mask decoder is used to incorporate absolute positions in the de-coding layer to predict the masked tokens in model pre-training. In addition, a new virtual adversarial training method is used for fine-tuning to improve models’ generalization. We show that these techniques significantly improve the efficiency of model pre-training and the performance of both natural language understand (NLU) and natural langauge generation (NLG) downstream tasks. Compared to RoBERTa-Large, a DeBERTa model trained on half of the training data per-forms consistently better on a wide range of NLP tasks, achieving improvements on MNLI by +0.9% (90.2% vs. 91.1%), on SQuAD v2.0 by +2.3% (88.4% vs. 90.7%) and RACE by +3.6% (83.2% vs. 86.8%). Notably, we scale up DeBERTa by training a larger version that consists of 48 Transform layers with 1.5 bil-lion parameters. The significant performance boost makes the single DeBERTa model surpass the human performance on the SuperGLUE benchmark (Wang et al., 2019a) for the first time in terms of macro-average score (89.9 versus 89.8), and the ensemble DeBERTa model sits atop the SuperGLUE leaderboard as of Jan-uary 6, 2021, outperforming the human baseline by a decent margin (90.3 versus 89.8). The pre-trained DeBERTa models and the source code were released at: https://github/microsoft/DeBERTa1.

最近在预训练神经语言模型方面取得的进展显著提高了许多自然语言处理（NLP）任务的性能。在本文中，我们提出了一种新的模型架构DeBERTa（Decoding-enhanced BERT with disentangled attention），通过两种新颖的技术改进了BERT和RoBERTa模型。第一种是解缠关注机制，其中每个单词分别用两个向量表示其内容和位置，并且单词之间的关注权重是分别使用它们的内容和相对位置的解缠矩阵计算的。其次，在解码层中使用增强的掩码解码器来预测模型预训练中的屏蔽标记，以包含绝对位置。此外，使用一种新的虚拟对抗训练方法进行微调，以提高模型的泛化能力。

我们展示这些技术显著提高了模型预训练的效率以及自然语言理解（NLU）和自然语言生成（NLG）下游任务的性能。与RoBERTa-Large相比，使用一半的训练数据训练的DeBERTa模型在广泛的NLP任务中表现一致更好，在MNLI上提高了+0.9%（90.2% vs. 91.1%），在SQuAD v2.0上提高了+2.3%（88.4% vs. 90.7%），在RACE上提高了+3.6%（83.2% vs. 86.8%）。值得注意的是，我们通过训练包含48个Transform层和15亿参数的更大版本，将DeBERTa扩展起来。显著的性能提升使得单一的DeBERTa模型在SuperGLUE基准测试（Wang等，2019a）上首次在宏平均分数方面超越了人类表现（89.9比89.8），并且截至2021年1月6日，集成DeBERTa模型在SuperGLUE榜单上领先，优于人类基线相当大的差距（90.3比89.8）。预训练的DeBERTa模型和源代码已在https://github/microsoft/DeBERTa上发布。

This paper presents a new model architecture DeBERTa (Decoding-enhanced BERT with disentangled attention) that improves the BERT and RoBERTa models using two novel techniques. The first is the disentangled attention mechanism, where each word is represented using two vectors that encode its content and position, respectively, and the attention weights among words are computed using disentangled matrices on their contents and relative positions, respectively. The second is an enhanced mask decoder which incorporates absolute positions in the decoding layer to predict the masked tokens in model pre-training. In addition, a new virtual adversarial training method is used for fine-tuning to improve model’s generalization on downstream tasks.

We show through a comprehensive empirical study that these techniques significantly improve the efficiency of model pre-training and the performance of downstream tasks. The DeBERTa model with 1.5 billion parameters surpasses the human performance on the SuperGLUE benchmark for the first time in terms of macro-average score.

DeBERTa surpassing human performance on SuperGLUE marks an important milestone toward general AI. Despite its promising results on SuperGLUE, the model is by no means reaching the human-level intelligence of NLU. Humans are extremely good at leveraging the knowledge learned from different tasks to solve a new task with no or little task-specific demonstration. This is referred to as compositional generalization, the ability to generalize to novel compositions (new tasks) of familiar constituents (subtasks or basic problem-solving skills). Moving forward, it is worth exploring how to make DeBERTa incorporate compositional structures in a more explicit manner, which could allow combining neural and symbolic computation of natural language similar to what humans do.

本文提出了一种新的模型架构DeBERTa（Decoding-enhanced BERT with disentangled attention），通过两种新颖的技术改进了BERT和RoBERTa模型。第一种是解缠关注机制，其中每个单词分别用两个向量表示其内容和位置，并且单词之间的关注权重是分别使用它们的内容和相对位置的解缠矩阵计算的。第二种是增强的掩码解码器，它在解码层中包含绝对位置，以预测模型预训练中的屏蔽标记。此外，使用一种新的虚拟对抗训练方法进行微调，以提高模型在下游任务上的泛化能力。

我们通过全面的实证研究表明，这些技术显著提高了模型预训练的效率以及下游任务的性能。具有15亿参数的DeBERTa模型首次在SuperGLUE基准测试中超越了人类的宏平均得分。

DeBERTa在SuperGLUE上超越人类表现标志着通向通用人工智能的重要里程碑。尽管在SuperGLUE上取得了令人鼓舞的成果，该模型并不意味着达到了自然语言理解的人类水平智能。人类在利用从不同任务中学到的知识来解决新任务时表现得非常出色，而几乎没有或很少有任务特定的演示。这被称为组合泛化，即能够推广到熟悉组分（子任务或基本问题解决技能）的新组合（新任务）的能力。未来，值得探讨如何使DeBERTa以更明确的方式融入组合结构，这可能允许结合类似于人类的自然语言的神经和符号计算。

简介

在代码的根目录中拉取代码并运行pip3 install -r requirements.txt，然后进入代码的experiments/glue/文件夹，尝试运行该文件夹下的bash命令进行glue实验。

安装包

安装包

pip install deberta

获取数据

cache_dir=/tmp/DeBERTa/

cd experiments/glue

./download_data.sh  $cache_dir/glue_tasks

运行任务

task=STS-B

OUTPUT=/tmp/DeBERTa/exps/$task

export OMP_NUM_THREADS=1

python3 -m DeBERTa.apps.run --task_name $task --do_train  \

  --data_dir $cache_dir/glue_tasks/$task \

  --eval_batch_size 128 \

  --predict_batch_size 128 \

  --output_dir $OUTPUT \

  --scale_steps 250 \

  --loss_scale 16384 \

  --accumulative_update 1 \  

  --num_train_epochs 6 \

  --warmup 100 \

  --learning_rate 2e-5 \

  --train_batch_size 32 \

  --max_seq_len 128

注意

默认情况下，我们将在$HOME/.~DeBERTa缓存预训练模型和分词器，如果下载失败，您可能需要清理它。

您也可以尝试使用HF Transformers测试我们的模型。但是，当您尝试XXLarge模型时，您需要指定--sharded_ddp参数。请查看我们的XXLarge模型卡片以获取更多详细信息。