LSTM模型结合LDA对序列性文本建模 阅读笔记 2017 ICML

本文作者:合肥工业大学 管理学院 钱洋 email:[email protected] 内容可能有不到之处,欢迎交流。

未经本人允许禁止转载

文章来源


Zaheer M, Ahmed A, Smola A J. Latent LSTM Allocation: Joint Clustering and Non-Linear Dynamic Modeling of Sequence Data[C]//International Conference on Machine Learning. 2017: 3967-3976.
论文来自机器学习顶会International Conference on Machine Learning。作者Manzil Zaheer,来自于–卡内基·梅隆大学。作者的主页为:http://www.manzil.ml/

文章简介


神经网络模型RNN,以及改进的LSTM模型(long-shortterm memory)在对序列型数据建模有着很好的效果,例如用户的浏览历史或自然语言文本数据等。并且LSTM模型在训练时需要学习大量的参数,并且可解释性很差,这对用户建模是不太好的。而作者这篇文章是将LSTM模型与贝叶斯模型相结合,提出了一种LLA模型(Latent LSTM Allocation)。在作者的LLA模型中,每个用户可以表示成序列型的actions,模型将群actions映射到主题中并学习主题序列的动态性。通过这种,方式可以增加模型的可解释性、简介性和捕捉复杂的动态性。模型的求解作者使用的是随机EM算法。

论文笔记


这里写图片描述


这里写图片描述


这里写图片描述


这里写图片描述


这里写图片描述


这里写图片描述


这里写图片描述


这里写图片描述


这里写图片描述


这里写图片描述


这里写图片描述

个人总结


可以将该方法拓展到其他图模型中,再者这个方法可以用来作个性化推荐,具体效果不知道好不好。在作者的文章中,写到了该方法如何对用户的点击行为进行建模并预测用户的下一个点击。
这篇文章并没有提供源码,具体编程细节,需要做这个模型的思考一下。

猜你喜欢

转载自blog.csdn.net/qy20115549/article/details/80564086