【翻译】 Robust and Domain

Robust and Domain"/>

【翻译】 Robust and Domain

A Robust and Domain-Adaptive Approach for Low-Resource Named Entity Recognition
一种鲁棒的域自适应低资源命名实体识别方法
原文链接

文章目录

• Abstract
• 1 introduction
• 2 Related Work
• • 2.1 Learning-based methods
  • 2.2 Domain-specific Pre-training Methods
• 3 Approach： RDANER
• • 3.1 LM Fine-tuning
  • 3.2 Bootstrapping
• 4 Experiments
• • 4.1 Datasets
  • 4.2 Cheap and Easily Obtainable Resources
  • 4.3 Evaluation Metric
  • 4.4 Baselines
  • 4.5 Implementation Details
• 5 Results and Discussion
• • 5.1 Effectiveness of LM Fine-tuning
  • 5.2 Performance of Bootstrapping
  • 5.3 Comparison with Domain-specific Pre-training Methods
• 6 Conclusions

Abstract

最近，使用有限的带注释的数据建立可靠的命名实体识别(NER)系统引起了人们的极大关注。几乎所有现有的工作都严重依赖于特定领域的资源，如外部词典和知识库。然而，这种特定领域的资源通常是不可用的，同时构建这些资源又困难又昂贵，这已成为广泛采用的一个关键障碍。为了解决这个问题，在这项工作中，我们提出了一种新的鲁棒和域自适应的方法RDANER为低资源NER，它只使用廉价和容易获得的资源。在三个基准数据集上的大量实验表明，我们的方法在仅使用廉价且容易获得的资源时获得了最佳性能，并且与使用难以获得的领域特定资源的最先进的方法相比，提供了有竞争力的结果。我们所有的代码和语料库都可以在 github找到

1 introduction

命名实体识别(NER)是一项基本任务，通常作为许多自然语言处理(NLP)任务的第一步，包括关系提取[1]、[2]和知识图构建[3]、[4]。大多数现有的NER方法，如基于神经网络的方法[5]–[7]，通常需要大量的训练数据(带注释的实体跨度和类型)来实现令人满意的性能。显然，为NER任务在一个新的领域中获取大量带注释的数据是昂贵的，有时甚至是不可能的。在这种情况下，低资源NER最近吸引了很多值得关注的，其目的是利用有限的注释数据建立可靠的NER系统。

已经提出了许多方法来解决低资源NER问题。早期作品主要基于手工规则[8]–[10]，但在实践中表现有限。最近，关于低资源NER的研究集中在从特定领域的额外资源中学习信息和知识，以提高NER的表现。根据所需的资源，可以分为两种类型:基于学习的方法[4]、[11]、[12]和特定领域的预训练方法[13]、[14]。基于学习的方法在某种意义上属于监督学习，如迁移学习、多任务学习和远程监督学习，它们利用外部词典和知识库提供的信息和知识。事实上，构建这样的资源需要大量专家的努力。与基于学习的方法不同，特定领域的预训练方法在大量领域内语料库上采用基于迁移的预训练(无监督学习)来实现知识迁移。领域特定的预训练方法需要较少的人工努力，但是需要GPU集群或TPU(相当昂贵)来加速训练过程。这两种方法都利用了来自专家或领域内语料库的额外知识，这已被证明对低资源NER是有效的。

表1总结了大多数现有的低资源NER方法。从表中，我们观察到这些方法高度依赖于特定领域资源的可用性。然而，这些资源通常不可用，同时构建它们既困难又昂贵，这已成为广泛采用的一个关键障碍。例如，很容易获得一个通用的领域知识库(如维基百科)，但我们很难找到一个公开的金融知识库。事实上，建立一个特定领域的知识库需要大量专家的努力和金钱。

为了解决这个问题，我们提出了一种新的鲁棒和域自适应的方法RDANER，用于低资源NER，只使用廉价和容易获得的资源。具体来说，提出的方法包括两个步骤:基于Transformer的语言模型fine-tuning(LMfine-tuning)和bootstrapping。这里，LM特指基于Transformer的语言模型。首先，我们在领域内语料库上对预先训练好的通用领域模型进行微调，使其适合目标领域。幸运的是，很容易获得一个通用的领域预训练LM和大量未标注的领域内语料库。然后我们执行bootstrapping过程，从在小的完全标记的种子数据上训练的初始NER模型开始，然后我们使用它在未标记的语料库上预测，该语料库进一步用于迭代地训练模型，直到收敛。我们提出的方法缓解了难以获得的领域特定资源的需求，并在低资源条件下构建了可靠的NER系统，这是有效性和效率之间的权衡。

为了评估我们提出的方法，我们在计算机科学和生物医学这两个具有挑战性的领域的三个基准数据集上进行了低资源实验。大量实验表明，我们提出的方法不仅有效，而且高效。当仅使用廉价且容易获得的资源时，我们的方法优于基线，平均提高了3.5 F1。此外，所提出的方法实现了相对于利用难以获得的领域特定资源的SOTA方法的竞争性能。

2 Related Work

命名实体识别(NER)已经被广泛研究了几十年。传统上，NER关心的是识别一般命名实体，如非结构化文本中的人、位置和组织名称。如今，研究已经扩展到许多特定领域，包括生物医学、金融和学术。大多数早期的NER作品都是基于专家设计的手工规则[8]–[10]。最近，基于神经网络的NER模型[5]–[7]比早期的基于特征的模型有了很大的改进，同时，几乎不需要特征工程和领域知识[6]，[9]。这种神经网络模型的最大局限性是它们高度依赖大量带标记的数据。因此，在低资源环境中，这些模型的性能会显著下降。低资源NER旨在建立可靠的NER系统，近年来吸引了很多关注。对低资源NER的研究主要集中在利用额外的领域特定资源来提高表现能力。方法主要有两种:基于学习的方法和特定领域的预训练方法。我们分别介绍他们的相关工作如下。

2.1 Learning-based methods

基于学习的低资源NER方法假设一些特定领域的资源是可用的，如词典，平行语料库和知识库。这些方法可以分为三种类型:迁移学习（）TL），多任务学习(MTL)和远程监督学习(DSL)。TL已被广泛用于改善低资源NER [20]，[21]。他们中的大多数专注于将跨领域知识转移到NER，这依赖于标签投影方法，其中利用并行语料库[22]、[23]和共享表示[11]、[15]、[24]，将高资源领域中的标签投影到低资源领域。事实上，许多TL方法是为一般领域的NER任务设计的，因为从一般领域比从特定领域更容易获得并行语料库或双语词典。

类似地，MTL利用来自数据集提供的额外标注的知识，并在多个任务上采用联合训练来帮助提高NER的表现[4]，[16]，[17]。与TL不同，MTL旨在提高所有任务的性能，而不仅仅是低资源任务。MTL方法对低资源NER的要求是对其他任务的手动标注。

另一个更好的低资源NER性能的趋势是DSL，它已经引起了许多关注，以减轻人类的努力。DSL方法使用特定领域的字典和知识库来生成大量带弱标签的数据。sweelshark[19]和AutoNER [12]使用字典匹配进行命名实体范围检测。参考文献[25]通过使用参考集将bootstrapping和弱标签数据扩充结合起来。只有当特定领域的资源可用时，他们的方法才能很好地工作。

2.2 Domain-specific Pre-training Methods

基于Transformer的预训练已被证明对自然语言处理任务[26]，[27]非常有效，包括低资源NER。但是大多数公开的预训练的LMs(如GPT，BERT)是在一般领域的语料库上训练的，它们在许多特定领域往往产生不令人满意的结果。这个问题的一个解决方案是特定领域的预训练，它在领域内的语料库上训练LMs。SCIBERT [13]和BIOBERT [14]分别是科学文本和生物医学文本的两个特定领域的BERT变体，在相应领域表现出强大的性能。与基于学习的方法不同，预训练不依赖于专家努力构建所需的资源。不幸的是，从头开始预先训练LMs是相当昂贵的，需要GPU集群或TPU来加快训练过程。

大多数现有的工作严重依赖于难以获得的特定领域的资源，需要专家的努力或高性能的硬件。然而，它们通常不可用，或者建造它们需要很多钱。没有相应的特定领域资源，这些方法很难应用到一个新的领域。为了解决这个问题，我们提出了一种新的鲁棒和域自适应的低资源RDANER方法，它只使用廉价和容易获得的研究。

与我们的工作最相关的是半监督方法，已经探索通过增加标记数据集或bootstrapping技术来进一步提高精度[15]、[25]、[28]。参考文献[15]使用跨语言迁移学习和主动学习的组合来引导低资源实体识别器。参考文献[25]通过使用外部词典来改进NER性能，从而将自举和弱标签数据扩充结合起来。与[15]、[25]不同，我们提出的方法假设在目标域中没有并行的语料库或词典。我们将我们的RDANER方法详细描述如下

3 Approach： RDANER

对于一个特定的低资源NER任务，我们假设有(1)一个小的完全标记的种子数据集 D s D_s Ds​，它具有由实体类型标记的每个标记，(2)一个小的领域内语料库 D C D_C DC​，它用于生成弱标签的数据，(3)一个通用的领域的预训练语言模型LM和(4)一个大规模的目标域 T T T 的域内语料库 C T C_T CT​

3.1 LM Fine-tuning

给定一个通用的领域预训练语言模型LM和一个特定领域的语料库 C T C_T CT​，我们的目标是使LM适合目标领域T，在这项工作中，LM是BERT，我们遵循预训练BERT的工作[26]。在将单词序列输入BERT之前，每个序列中15%的单词被随机替换为[MASK]标记。BERT试图根据序列中其他未被屏蔽的单词提供的上下文来预测被屏蔽的单词的原始值。目标是Masked language model(MLM)交叉熵[26]，它测量掩蔽词的预测可能性。当微调完成后，我们得到一个BERT变体， B E R T T BERT_T BERTT​。

3.2 Bootstrapping

提出Bootstrapping来进一步提高精度。首先，我们使用小种子数据集 D s D_s Ds​训练初始NER模型 M 0 M_0 M0​。我们使用字级编码器 B E R T T BERT_T BERTT​，在softmax层之后使用线性链CRF。对于输入序列 X = ( x 1 ， x 2 ， . . . x n ) X = (x_1，x_2，...x_n) X=(x1​，x2​，...xn​)和标签预测序列 y = ( y 1 ， y 2 ， . . . ， y n ) y = (y_1，y_2，...，y_n) y=(y1​，y2​，...，yn​)， B E R T T BERT_T BERTT​将 X i X_i Xi​转换成固定长度的向量 w i w_i wi​，并输出 R K R^K RK上的概率分布h: h = s o f t m a x ( w ) h = softmax(w) h=softmax(w)
其中 w = ( w 1 ， w 2 ， . . . w n ) w = (w_1，w_2，...w_n) w=(w1​，w2​，...wn​) K是标签的数量，并且取决于类的数量和标签scheme。线性链CRF模型将y给定X的后验概率定义为:

其中Z(X)是所有可能X的标记的归一化因子 h k ( y k ; X ) h^k(y_k;X) hk(yk​;X)表示将位置k、 y 0 y_0 y0​和 y n + 1 y_n+1 yn​+1处的 y k y_k yk​标记作为开始和结束标记的概率。A是转移矩阵， A y k ， y k + 1 A_{y_k，y_{k+1}} Ayk​，yk+1​​表示从标签状态 y k y_k yk​到 y k + 1 y_{k+1} yk+1​转换的概率。最可能的标签序列如下所示:
通过最大对数似然估计学习α，最大化种子数据集 D S D_S DS​中训练集序列的对数似然函数L:

其中M是完全标记的种子数据集 D S D_S DS​的大小。

然后，我们使用初始NER模型 M 0 M_0 M0​在 D C D_C DC​上分配标签，得到一个弱标注的数据集 D ∗ C {D^*}_C D∗C​。此外，我们将 D S D_S DS​与 D ∗ C {D^*}_C D∗C​相结合，得到一个增广数据集。与训练不同，我们设置阈值θ来过滤softmax层输出的低概率标签。最后，我们用 D ∗ C {D^*}_C D∗C​迭代训练NER模型，直到模型达到可接受的精度水平，或者直到最大迭代次数。算法1显示了分配弱标签的整个过程，其中0代表无标签。

4 Experiments

我们在两个具有挑战性的领域的三个基准数据集上进行了实验，以评估和比较我们提出的方法和最先进的方法。我们分别进一步研究了LM微调和Bootstrapping过程的有效性。

4.1 Datasets

• SciERC [4]注释实体、它们的关系和共指簇。注释了四种关系。
• BC5CDR [1]来自最近的生物治疗五化学和疾病提及识别任务。注释了两个关系。
• NCBI-疾病[29]关注疾病名称识别。仅注释了1个关系。

表二给出了这项工作中使用的数据集的统计数据。为了与以前的工作直接比较，我们在所有数据集上使用了正式的训练/开发/测试集分割。

4.2 Cheap and Easily Obtainable Resources

• 通用领域预训练LM:我们使用 B E R T B A S E BERT_{BASE} BERTBASE​，它在一个通用领域语料库上训练，包括英语维基百科和图书语料库。
• 领域内语料库:我们构建了两个领域内语料库，CS和BIO，来完善 B E R T B A S E BERT_{BASE} BERTBASE​。CS由来自AI会议记录的40k篇论文和来自arXiv的AI社区的87k篇论文组成。BIO由随机从PubMed中抽取的200k个摘要组成。

4.3 Evaluation Metric

遵循以前的工作[11]、[13]、[15]，使用微平均F1分数作为评估指标。

4.4 Baselines

我们与 B E R T B A S E BERT_{BASE} BERTBASE​一起评估我们提出的RDANER方法，这是我们工作中最强的基线。然后，我们将RDANER与两个特定领域的BERT变体进行比较，以显示LM微调的有效性。此外，我们展示了Bootstrapping过程的性能，并比较了RDANER与使用难以获得的领域特定资源的基于学习的最先进的方法。更多详情如下。

• B E R T B A S E BERT_{BASE} BERTBASE​[26]是一个基于Transformer的语言模型，已经被证明对一般领域的NER任务非常有效。
• SCIBERT [13]在科学语料库上接受训练，其中18%的论文来自计算机科学领域，82%来自广泛的生物医学领域。
• BIOBERT [14]是用BERT初始化的，然后在PubMed摘要和PMC全文文章上进行微调。
• DyGIE++ [16]在NER数据集上取得了最好的性能，尤其是在Sci-ERC数据集上。然而，DyGIE++需要额外的标签，包括关系、共指和事件标签。
• SpERT [17]是基于跨度的联合实体和关系提取的注意模型。训练需要关系标注。
• SweelShark[19]是生物医学领域中一个优秀的远程监督模型，它不需要人工标注数据。然而，设计有效的正则表达式需要额外的专家努力。
• AutoNER [12]规避了额外的人力需求，但是，它需要大型高质量的字典来实现令人满意的性能。

4.5 Implementation Details

我们的模型是用AllenNLP实现的。对于所有经过预处理的BERT变体，我们使用它们的PyTorch版本和公开发布的原始代码。所有实验都是在单个GTX 1080 GPU(12GB)上进行的。

我们在两个大规模领域内语料库的基础上，使用Transformer library 对BERTBASEon进行了微调:CS和BIO，并分别获得了两个BERT变体 B E R T C S BERT_{CS} BERTCS​和 B E R T B I O BERT_{BIO} BERTBIO​。我们用 B E R T B A S E BERT_{BASE} BERTBASE​中的权重初始化 B E R T C S BERT_{CS} BERTCS​和 B E R T B I O BERT_{BIO} BERTBIO​，我们使用与BERTBASE相同的词汇。与原始的BERT代码不同，我们为CS语料库设置了120个标记的最大句子长度，为BIO语料库设置了80个标记的最大句子长度，这与相应语料库中的大部分句子长度是一致的。它们都被微调了一个时期，我们没有像BERT那样继续训练允许更长句子长度的模型。

为了模拟有限的带标签的数据设置，我们随机选择训练数据的子集作为种子训练数据集，具有10%、20%、30%、50%和100%的不同数据比率。剩余的训练数据模拟小的领域内语料库。各比例的句子数量见表二。

最大迭代次数设置为10，我们取最后5次迭代的平均值作为每个模型的结果。为了减少训练时间，我们为不同的种子训练数据集设置了不同的epoch，epoch随着种子的增加而减少。

为了研究所提出方法的有效性，所有参数都在dev集上进行了微调，并且我们不执行大量的超参数搜索。对于所有比较的方法，我们使用他们论文中发表的代码，并遵循相同的实验设置。我们为所有BERT变体在softmax层之后添加一个CRF层。

5 Results and Discussion

在本节中，我们从以下几个方面评估我们建议的方法。首先，我们针对基于网络的方法来评估所提出的方法，以研究网络管理微调过程的有效性。其次，我们展示了Bootstrapping过程的性能，并研究了阈值θ的影响。此外，我们将我们提出的方法与特定领域的BERT变体和基于现有技术学习的方法进行了比较，这些方法使用了难以获得的特定领域的资源。

5.1 Effectiveness of LM Fine-tuning

表三显示了三个数据集上的LM微调测试集评估结果。报告的结果是五次不同随机种子运行的平均值。如前所述，我们将 B E R T C S BERT_{CS} BERTCS​用于SCI-ERC数据集，将 B E R T B I O BERT_{BIO} BERTBIO​用于BC5CDR数据集和疾病数据集。我们观察到LM微调在所有三个数据集上都始终优于 B E R T B A S E BERT_{BASE} BERTBASE​。更具体地说，LM微调在Sci-ERC上获得了3.35 F1的平均改善，在BC5CDR上获得了2.02 F1的平均改善，在NCBI-Disease上获得了1.24 F1的平均提升。这表明对领域内语料库的线性模型微调是有效的和领域自适应的。我们还注意到，当每个数据集的训练数据增加时，性能差距会降低，这表明LM微调在训练数据较少的情况下效果更好。这是因为当提供较少的训练数据时，文本表示对NER模型有较大的影响。

5.2 Performance of Bootstrapping

表三显示了RDANER在三个数据集上的表现。RDANER由两个过程组成:LM微调和Bootstrapping。我们观察到Bootstrapping过程总是能够进一步提高NER模型的精度，这表明Bootstrapping过程是可靠的。基于LM微调，Bootstrapping过程平均获得1.29 F1的改进。RDANER只用了50%的训练数据就达到了合理的性能，这是 B E R T B A S E BERT_{BASE} BERTBASE​需要100%的训练数据才能达到的。

为了进一步了解Bootstrapping过程，表四给出了10%训练数据的迭代训练过程。迭代0是在种子数据集上训练的初始模型，我们使用该模型来重复预测未知标记的标签，这在第一次迭代(Iter 1)中产生了性能的跳跃，因为预测的标签是信息性的。我们观察到Bootstrapping过程在三个数据集的初始模型上平均获得1.86 F1的改进。Sci-ERC和BC5CDR的改进主要是由于召回率的提高。相反，NCBI-Disease的改善主要是由于精确度的提高。因为在NCBI-Disease数据集上只需要识别一种类型的实体，所以在非传染病数据集上的NER更有可能获得高精度。

θ的影响：图2显示了具有不同标签分配概率阈值的开发集上的F1得分曲线。本实验是为不同比例的训练数据寻找最优阈值。从理论上讲，提高阈值确实会降低误报率，从而提高精确度。相反，较低的门槛会导致较高的召回率。对Sci-ERC来说，慢慢提高门槛会使F1成绩更加平衡。但是当精度高于阈值时，F1成绩开始下降。我们观察到训练数据越少，最优阈值越小，说明在资源较低的情况下召回率对F1的影响更大。与Sci-ERC不同，BC5CDR和NCBI-Disease上的曲线更稳定，增加阈值对F1成绩的影响很小，除了使用10%的训练数据。这表明由模型标注的实体具有非常高的准确性。我们认为这是因为BC5CDR和NCBI-Disease的实体类型较少，导致分类的准确性较高。

5.3 Comparison with Domain-specific Pre-training Methods

表五显示了三个数据集上特定领域BERT变体的性能。我们观察到SCIBERT和BIOBERT在它们对应的域上表现良好。SCIBERT在Sci- ERC(计算机科学)上取得了令人满意的F1成绩，BIOBERT在BC5CDR和NCBI-Dissase(生物医学)上表现最好。不幸的是，获得这种特定领域的BERT变体是非常昂贵的，因为训练过程在计算上是昂贵的，这需要高性能的硬件。正如在以前的工作[13]，[14]中所报告的那样，在8核的单个TPU v3上从头开始训练SCIBERT需要1周，在8个NVIDIA V100(32GB)GPU上微调BIOBERT需要23天。表六总结了特定领域的BERT变体和RDANER所需的资源。为了便于比较，GPU时间大致转换为在单个GTX 1080Ti GPU (12GB)上训练的时间。我们注意到，在一个GPU上从头开始训练一个领域特定的BERT变体是非常耗时的，大约需要4个月或更长时间。然而，RDANER只需花费几个小时就能获得令人满意的性能。这表明我们提出的方法在有效性和效率之间取得了平衡。与特定领域的BERT变体相比，RDANER的f1成绩平均仅下降1.87分。这是完全可以接受的，因为它更便宜，效率更高。

令人惊讶的是，当使用10%、20%、100%的训练数据时，RDANER在SciERC上的表现优于SCIBERT。请注意，SCIBERT是目前计算机科学领域中最好的BERT变体。我们把这归因于这样一个事实，即Sci-ERC是一个只有1857个注释句子的小数据集。不幸的是，自举容易在小数据集上过度拟合。此外，NER在《科学-ERC》中提出了一个很有挑战性的问题，因为它包含了6种实体类型，而且实体的定义也很模糊，比如其他科学术语和方法。与Sci-ERC不同，BC5CDR和NCBI病是两个不超过2个实体类型的较大数据集，因此NER在这两个生物医学数据集上要容易得多。BIOBERT作为目前生物医学领域最好的BERT变体，几乎击败了所有其他BERT变体。虽然RDANER和BIOBERT之间仍有很大差距，但RDANER以更少的金钱和时间获得了令人满意的F1成绩。

此外，我们观察到SCIBERT和BIOBERT在三个数据集上的表现相似。原因是SCIBERT是在一个语料库上训练的，82%来自生物医学领域，18%来自计算机科学。这表明引入大规模域内未标注文本进行预处理和微调可以显著提高性能。从某种意义上来说，BIOBERT是 B E R T B I O BERT_{BIO} BERTBIO​的增强版，两者的区别在于BIOBERT使用的语料库比 B E R T B I O BERT_{BIO} BERTBIO​大得多(18B tokens对比37.7M tokens)。随着领域内语料库的增加，线性模型微调获得了更多的改进，我们可以根据需要选择领域内语料库的大小进行线性模型微调。

5.4 Comparison with SOTA Learning-based Methods

在这一部分，我们利用所有的训练数据，并使用标签分配概率的完美阈值来提高RDANER的性能。表七总结了5次重复运行的平均结果。我们观察到，与使用难以获得的领域特定资源的各种最先进的方法相比，RDANER表现相当好，包括基于远程监督学习方法和基于多任务学习方法(MTL)。因为我们在计算机科学和生物医学领域找不到任何并行资源，所以不把RDANER和迁移学习方法相比较。

AutoNER和SwellShark是两种DSL方法，我们观察到RDANER始终优于它们。我们不能在Sci-ERC数据集上应用AutoNER和SwellShark，因为特定领域的词典是不可用的。这也表明DSL方法高度依赖于特定于域的资源的可用性。尽管AutoNER和SwellShark声称他们不使用任何人工注释的数据，但他们实际上利用了大型特定领域词汇的信息。例如，AutoNER使用包含322882个化学和疾病实体表面的词典，而SwellShark使用本体来生成弱标签数据。这种资源通常不可用，导致DSL方法适应性较差。有趣的是，我们注意到我们的方法使用BC5CDR的20%的训练数据(960句话)和NCBI病的10%的训练数据(626句话)获得了与AutoNER和SwellShark接近的结果。由于构建大的特定领域词汇更具挑战性，我们建议在特定领域词汇不可用时使用RDANER构建可靠的NER系统。

DyGIE++和SpERT是两种SOTA的MTL方法，它们都建立在BERT编码的基础上，并利用了其他任务的额外注释。DyGIE++在Sci-ERC上取得了最佳F1成绩，表明对其他任务的额外标签，如关系、事件和共指标签，有助于提高性能。然而，DyGIE++在BC5CDR和NCBI病数据集上表现平平，因为这两个数据集缺乏额外的标注。我们注意到SpERT在BC5CDR和NCBI病上的表现优于DyGIE++。这部分是由于Spret只使用关系标签，缺少额外的标签对Spret的影响比DyGIE++小。令人惊讶的是，在没有额外标签的情况下，RDANER在Sci-ERC上获得了第二好的F1成绩。此外，RDANER在BC5CDR和NCBI数据集上的性能优于DyGIE++和SpERT。这表明我们提出的方法不仅是有效的，而且是领域自适应的。

6 Conclusions

在这篇文章中，我们提出了一个新的鲁棒的和领域适应的方法RDANER为低资源NER只使用廉价和容易获得的资源。我们在两个具有挑战性的领域进行了低资源实验，并发现:1) RDANER对于低资源的NER是有效和高效的，并且它实现了并且利用难以获得的领域特定资源的最先进的方法的竞争性能。2)此外，RDANER是领域自适应的，可以很容易地应用于一个新的域。