深度学习在CTR中的应用

目前的很多资料均是基于张伟楠的FNN模型,但还没有很大规模的应用。
另一种是google提出的wide & deep learning模型,主要用于推荐,美团的文章中也有介绍。

  • Deep Learning over Multi-Field Categorical Data: A Case Study on User Response Prediction
    • 介绍FNN模型。将FM模型训出的结果作为其中的embedding层,上面套上全连接神经网络。
  • Product-based Neural Networks for User Response Predictions
    • 介绍PNN模型。在FNN的embedding层的上面加入produce层,往上还是用全连接神经网络。
  • Wide & Deep Learning for Recommender Systems
    • Google提出的wide和deep learning模型。
  • 用户在线广告点击行为预测的深度学习模型
    • 这是来自张伟楠博士在携程技术中心主办的深度学习Meetup中的主题演讲。张伟楠博士现在是上海交大的助理教授,其个人主页是 http://wnzhang.net/,他是FNN和PNN的主要作者,还是SVDFeature的作者之一,11年和12年的KDD Cup都有他的身影。
  • 闲聊DNN CTR预估模型
    • 作者 Kintocai (蔡建涛,来自腾讯)
    • 这篇文章写得非常好,而且还有作者的一些精辟分析和实践经验,特别是在最后给出了一个总结性的框架图,将这些模型以及一些连续特征的处理方法统一到一个整体框架中,非常赞。
    • 很同意作者的好几个观点,比如:
      • 在训练样本量足够的情况下,尽可能用简单一些的模型,减少inference的计算量,提高计算的吞吐量,大数据本身就可以解决很多问题。
      • 离散LR依然是二分类问题场景的首选方案,LR加上良好的特征工程足以解决大部分实际问题。
    • 不过对于dropout的使用,个人觉得在全连接层适当使用dropout是有用的,它可以在一定程度防止模型的过拟合。当然如果是训练数据量较大,特征维度较少时,dropout不是必需的。

猜你喜欢

转载自blog.csdn.net/qq_38150441/article/details/80653365
今日推荐