Rasa课程、Rasa培训、Rasa面试、Rasa实战系列之Universal Sentence Encoder

实战系列之Universal Sentence Encoder"/>

Rasa课程、Rasa培训、Rasa面试、Rasa实战系列之Universal Sentence Encoder

Rasa课程、Rasa培训、Rasa面试、Rasa实战系列之

Universal Sentence Encoder

论文
.11175.pdf

通用句编码器

我们提出了将句子编码为嵌入向量的模型，这些向量专门针对其他 NLP 任务的迁移学习。这些模型是高效的，并且可以在不同的传输任务上产生准确的性能。编码模型的两种变体允许在准确性和计算资源之间进行权衡。对于这两种变体，我们调查并报告模型复杂性、资源消耗、传输任务训练数据的可用性和任务性能之间的关系。与通过预训练词嵌入使用词级迁移学习的基线以及不使用任何迁移学习的基线进行比较。我们发现使用句子嵌入的迁移学习往往优于词级迁移。通过句子嵌入进行迁移学习，我们观察到传输任务的监督训练数据量极少，表现出奇的好。我们在旨在检测模型偏差的词嵌入关联测试 (WEAT) 上获得了令人鼓舞的结果。我们的预训练句子编码模型可免费下载并在 TF Hub 上提供。