Group-wise Contrastive Learning for Neural Dialogue Generation 阅读笔记

摘要

为解决生成多样性低的问题

思想

找到正向和负向group的context和response，设计loss

做法

首先有

其中pn是baseline模型，pm是target模型

其中c是输入文本 r是回复文本，

构造loss：

最大化正向回复，最小化负向回复

这个loss即刻画 相对baseline模型的生成多样性 或 分布distinctiveness

正向回复和负向回复的采样，使用了BM25+匹配模型