《Fluency Boost Learning and Inference for Neural Grammatical Error Correction》论文总结

论文总结"/>

《Fluency Boost Learning and Inference for Neural Grammatical Error Correction》论文总结

今天看到微软亚洲研究院的一篇论文，通过Fluency boost learning提升模型性能，论文地址为: Fluency Boost Learning and Inference for Neural Grammatical Error Correction，有兴趣的同学可以去下载看看。在此我总结了一下这篇论文。

核心思想

这篇论文的核心思想其实很简单，就是通过有效地增加训练数据，来使模型的推断结果更加正确。具体就是使用模型推断的n-best结果来生成新的训练数据，用于训练。

增加训练数据这个步骤是很关键的。

传统的做法

想到增加训练数据，一个很正常的想法就是，人为制造一些含有错误信息的训练数据对。操作步骤为：

• 从训练数据对dataset中选取训练数据对，即(src, tgt)
• 合理修改src中的字符，变成src’
• 修改之后的src’与tgt组成一个新的数据对
• 重复上述步骤若干次，得到不少新的训练数据对dataset’
• 将dataset和dataset’一起用于模型训练。

论文的做法

但是本论文的做法不同。它的想法其实也挺正常。具体的做法是：

• 对每一个src，使用模型推断，得到多个推断结果(n-best)
• 对每一个推断结果，计算一个flunecy分数
• 抽取出所有分数低于正确推断结果(认为是n-best的第一个)的推断结果
• 对于选取出的每一个推断结果，与tgt句子组成新的训练数据对，叫做f