前言
在大规模特征的场景当中，我们通常（2016年之前）是使用将非线性特征应用在线性模型上的做法来实现的，使用这种方式，我们的输入会是一个非常稀疏的向量。虽然我们要实现这样的非线性特征，通过一些特征转化以及特征交叉的方法是可以实现的，但是这会需要消耗大量的人力物力。
这个问题其实我们之前在介绍FM模型的时候也曾经提到过，对于FM模型来说，其实解决的也是同样的问题。只是解决的方法不同，FM模型的方法是引入一个n x k的参数矩阵V来计算所有特征两两交叉的权重，来降低参数的数量以及提升预测和训练的效率。而在本篇paper当中，讨论的是使用神经网络来解决这个问题。
解决问题的核心在于embedding，embedding直译过来是嵌入，但是这样并不容易理解。一般来说我们可以理解成某些特征的向量表示。比如Word2Vec当中，我们做的就是把一个单词用一个向量来表示。这些向量就称为word embedding。embedding有一个特点就是长度是固定的，但是值一般是通过神经网络来学习得到的。
我们可以利用同样训练embedding的方式来在神经网络当中训练一些特征的embedding，这样我们需要的特征工程的工作量就大大地减少。但是仅仅使用embedding也是不行的，在一些场景当中可能会引起过拟合，所以我们需要把线性特征以及稀疏特征结合起来，这样就可以让模型既不会陷入过拟合，又可以有足够的能力可以学到更好的效果。
简介
正如我们之前文章所分享的一样，推荐系统也可以看成是搜索的排序系统。它的输入是一个用户信息以及用户浏览的上下文信息，返回的结果是一个排好序的序列。
正因为如此，对于推荐系统来说，也会面临一个和搜索排序系统一个类似的挑战——记忆性和泛化性的权衡。记忆