《Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memory》笔记

Abstract

感知和情感表达是对话系统或对话者成功的关键因素。然而, 到目前为止, 这个问题还没有在大规模对话生成中得到研究。在本文中, 我们提出了情绪聊天机 (ECM), 可以产生适当的反应, 不仅在内容 (相关和语法), 但也在情感 (情感一致)。据我们所知, 这是第一部解决大规模对话生成中情感因素的作品。ECM 使用三种新机制来解决这一因素, 这三种机制分别采用 (1) 通过嵌入情感范畴来模拟情感表达的高级抽象, (2) 捕获隐含内在情感状态的变化, (3) 使用显性情感表达与外部情感词汇。实验表明, 该模型不仅能在内容上, 而且能产生适合情感的响应。

结构

主要是通过在decoder阶段的三个处理作为要点

Emotion Category Embedding
对于每个情绪类别e,随机初始化一个情绪类别向量ve,然后decoder的输入就变成了下面这样

Internal Memory

文章对每一种情绪类别，都假设在解码之前有一种内部的情绪状态，而在解码过程中在不断衰减，解码完成后如果衰减为0则表示这种情绪被完全表达了

这个模块的内部过程是这样的，首先通过式子6计算阅读门grt，然后通过式子8得到MIrt,用来更新GRU，然后通过GRU得到的st与通过式子7得到写门，最后通过式子9更新内部模块

由于sigmoid的输出在0~1之间，所以一定时间之后这个内部模块衰减为0.

External Memory

这个模块是用来计算下一个生成的词是情感词或非情感词的概率，类型选择器αt生成一种情绪或一个通用词的权重