Google Smart Reply笔记: Automated Response Suggestion for Email


1 背景
Google mail 自动为邮件生成回复内容。

2 总体架构

3: Response selection (LSTM 和 beam search)
LSTM 为编解码的Seq2Seq 生成模型,产生response。但是response集合是封闭的。在某种意义上来说,还是可以看成生成+检索 集成模式吧。 如何保证生成的response 是来源于封闭集合的? 通过beam search。 给集合中所有response 建立 tri-tree, beam search 生成 b个最高的response候选。如果生成的response不在tri-tree中,则过滤掉。





4. 封闭Response集合构建机制
2也提到了Response 集合是封闭,其实理由很容易理解,对于一个用户产品来说,希望把推荐的回复答案控制在可控的范围,避免带来一些不好的影响,比如生成一些莫名其妙的答案或者一些冒犯不敬的言语。作者通过一种半监督图扩散方法来构建封闭response集合。事先标记100个类(种子集合),每个类里面用户意图意思一样。再通过图扩散的机制来识别那些无标签的response标签分布。


5. 触发模块(TRIGGERING)
这个模块主要是在生成response之前,判断一个message是否需要smart reply,因为很多message,比如敏感,较短等本身是没有必要给他生成reply的, 这样可以大大提升整个系统效率。所以,建立一个二分类模型来预测message是否需要smart reply。 训练样本: 历史手机上有回复的label 为1, 没有为0。 模型是NN 全连接。

6 评估
评估是分多个阶段的。如触发模块就评估auc, response select 模块则评估Perplexity, Response ranking (Precision@10 Precision@20 MRR)

参考文献:
【1】 Kannan A, Kurach K, Ravi S, et al. Smart reply: Automated response suggestion for email[J]. arXiv preprint arXiv:1606.04870, 2016.

猜你喜欢

转载自blog.csdn.net/hero_fantao/article/details/78089230