Multi-Task Learning for Speaker-Role Adaptation in Neural Conversation Models

主要工作

•问题：缺乏训练数据

•解决方法：利用跨说话者者对话数据和与之相关的说话者的角色

•多任务学习：如果两个任务是相关的，合并训练参数共享使得一个任务对另一个任务有利。

•本文的两个模型一个是标准的seq2seq，另一个是使用非对话数据的AUTOENCODER，即使用某个人的说话数据。

模型

•Parameter sharing：为了模仿特定说话者，只共享解码器数据参数

•AUTOENCODER的输入输出是一样的，它的目的是降维

Text Emotion Distribution Learning via Multi-Task Convolutional Neural Network

•单标签学习和多标签学习不能解决句子标签模糊的问题比如多种强度不同的情感

•分类目标函数为交叉熵，分布学习目标函数为KL(Kullback_Leibler)

•大多数数据集标签都是单标签，使用基于词典方法，提供独立于文本的情感词中的情感信息，将其转换为分布作为情感分析的先验知识。

两个loss一个分类正确、强度正确

弱情感分布标签

Building Emotional Conversation Systems using Multi-task Seq2Seq Learning

 

排序策略

•内部排序

beam-search

•交叉排序

得分排序