admin管理员组

文章数量:1612097

The Curious Case of Neural Text Degeneration

  • 主要贡献
  • 主要内容
    • Open-ended Generation
    • Non-open-ended Generation
    • Why Does Probability Maximization Lead to Degenerate Text?
  • 文献中的采样方法

主要贡献

提出了一种核采样方法Nucleus Sampling，解决了现有解码方式的局限性。关键的直觉是，绝大多数的概率质量集中在分布的核心部分，即词汇表的一个小子集，它跨越了从一个到几百个候选词之间的任何地方。我们不依赖于固定的顶部k，而是建议从概率质量的顶部p部分进行抽样，动态地扩展和收缩候选池。核采样有效地减少了从不可靠的尾分布(机器文本中许多笨拙短语的来源)提取单词的风险，同时允许比似然最大化译码方法更多样化。

主要内容

Open-ended Generation

Open-ended Generation的任务是生成上下文连贯的文本。包括条件性的故事生成与上下文连续文本生成。
Context:m个token组成的句子{x1 . . . xm}
Goal：生成接下来连续的n个连续token去获得完整的句子{x1 . . . xm+n}

Non-open-ended Generation

自由度比开放式的要小，作者提出的解决方法能够解决这种生成面临的挑战，就像开放式情况一样。开放生成和非开放生成并不是严格的两分法，因为有些任务可能介于两者之间，这取决于输出生成中预期的自由度或输入与输出之间的语义一致性程度。例如，书籍级别的摘要更接近于开放式的情况，而句子压缩更接近于非开放式的情况。

本文标签： casecuriousneuralDeGENERATIONText

版权声明：本文标题：The Curious Case of Neural Text Degeneration 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dianzi/1728630900a1167070.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。