基于多视角学习和个性化注意力机制的新闻推荐

NPA: Neural News Recommendation with Personalized Attention (2019.7)

链接:https://arxiv.org/abs/1907.05559

发表在 IJCAI 2019和 KDD 2019。

新闻推荐中有三个关键问题需要解决:

1)如何利用用户的新闻阅读历史来对用户进行建模,捕捉他们的潜在兴趣。

2)如何根据新闻的内容对新闻进行建模。

3)如何根据新闻和用户的建模结果,来对候选新闻进行有效地排序。

本文将这三个问题划归为新闻信息与用户兴趣的多样性问题,并由此出发,提出了基于多视角学习和个性化注意力机制的解决方案

提出了两种有效的新闻推荐方法,分别是利用多视角学习来从异构的新闻信息中学习更好的新闻表示,以及利用个性化注意力来建模用户兴趣的差异,做到千人千面的新闻推荐。

新闻信息的多样性:一个新闻中通常会包含多种不同类型的信息,例如标题、正文、类别等等。而不同类型的信息特性差异很大。

用户兴趣的多样性。不同的用户可能会关注同一篇新闻文章的不同重点。

基于多视角学习的方法 NAML。其框架如图所示。该模型包含两个核心模块,分别是一个新闻编码器和一个用户编码器。在新闻编码器中,我们从新闻的标题、正文、类别和子类别中学习新闻表示。我们将这些不同类型的新闻数据视作不同的新闻视角,并且使用词语和视角级的注意力网络来选择重要的词语和视角。在用户编码器中,我们使用新闻级的注意力机制来选取高信息量的新闻。而在最后的点击预测模块中,我们根据候选新闻和用户表示的内积来计算点击分数

我们的实验在真实新闻推荐数据集上开展,数据集从 MSN 新闻一个月的记录中采样得到。我们使用最后一周的日志作为测试,其余用作训练和验证,结果如下:

接下来,进行了实验来验证基于注意力机制的多视角学习的有效性:

我们发现正文比标题更为重要,而通过多视角学习将三种不同的信息结合能够进一步提升模型效果。

词语级别的注意力机制最为重要,可能因为词语是承载新闻语义信息的基本单位(分别移除某一种注意力机制来探究每种注意力网络的贡献)

可视化探究:模型能识别和选择重要的词语和新闻

发布了105 篇原创文章 · 获赞 27 · 访问量 2万+

猜你喜欢

转载自blog.csdn.net/serenysdfg/article/details/103297408
今日推荐