点击量预测(CTR)——NFM理论与实践

一、NFM模型

FM模型中所谈到的局限性,无论是FM模型还是基于FM模型改造的FFM中,说到底还是一个二阶特征交叉的模型。若强行进行高阶特征交叉,那么大大的增加计算成本,可是如果不能进行更高阶特征组合,那么就会使得FM模型表达能力受阻。那么有没有一种可能,利用深度神经网络更强大的表达能力,使得FM模型能够解决这一缺点呢?在2017年,新加坡国立大学的研究人员进行了这方面的尝试,提出了NFM模型,这是FM模型的神经网络化的尝试。

NFM模型的paper地址如下: https://www.comp.nus.edu.sg/~xiangnan/papers/sigir17-nfm.pdf
NFM模型主要特点: 使用Bi-Interaction Layer(Bi-linear interaction)结构来对二阶交叉特征信息进行处理,使得交叉信息特征更好的被DNN结构学习,让表达能力更强的函数代替了原来FM中二阶隐向量内积部分。赋予了FM模型处理更高阶特征交叉的能力,同时使得DNN模型参数量减少,使得模型训练更便捷。

二、算法原理

NFM模型主要是使用Bi-Interaction Layer(Bi-linear interaction)结构来对二阶交叉信息进行处理。那么NFM公式定义如下:

在这里插入图片描述
其中 f ( x ) f(x) f(x)是使用Bi-Interaction Layer(Bi-linear interaction)结构来对二阶交叉信息进行处理得到的结果输入到DNN网络中。那么f(x)部分的结构图如下:
在这里插入图片描述
其中最Embedding Layer和B-interaction Layer部分理解,其它的就很容易理解了,就当做一个普通的DNN结构。

这部分可以参考DeepFM模型跟下图代码差不多。
在这里插入图片描述

三、小结

最后,NFM模型相关细节看该文献,这里就不多说了。

猜你喜欢

转载自blog.csdn.net/weixin_41044112/article/details/108521467
今日推荐