admin管理员组

文章数量:1612098

《论文阅读》THE CURIOUS CASE OF NEURAL TEXT DeGENERATION

      • 论文试图解决什么问题？
      • 这是否是一个新的问题？
      • 论文中提到的解决方案之关键是什么？
      • 论文中的实验是如何设计的？
      • 论文中的实验及结果有没有很好地支持需要验证的科学假设？
      • 这篇论文到底有什么贡献？
      • 实现代码
      • 下一步呢？有什么工作可以继续深入？

本文带来Ari Holtzman、Jan Buys、 Li Du、Maxwell Forbes和Yejin Choi共同创作的文章

论文试图解决什么问题？

过往的问题

在文本生成任务中的解码部分，使用似然性作为训练目标会为广泛的语言理解任务带来高质量的模型，但基于最大化的解码方法（如集束搜索）会导致退化——输出文本平淡无奇，不连贯，或陷入重复循环。

解决方法

截断概率分布的不可靠尾部，从包含绝大多数概率质量的令牌的动态核中采样。

这是否是一个新的问题？

在文本生成策略方面，本文并不算是第一篇来提高文本生成的质量和多样性，但是作者却对当前现有的一些方法指出了其存在的问题：

  1. 将在解码过程中使用最大化的方法是不合适的
  2. 当前最好的文本生成模型的概率分布存在一些不可靠的尾部需要剪裁

这也是本文的创新点和主要核心点。

过去的语言模型解码包括：

  • Maximization-based decoding

    由于其解码得到的文本质量不高，所以提出一些列改进

  • Top-k smapling

  • sampl

本文标签： 论文curiouscaseDeGENERATIONText

版权声明：本文标题：《论文阅读》THE CURIOUS CASE OF NEURAL TEXT DeGENERATION 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dongtai/1728630869a1167066.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。