深度学习推荐模型

Posted on

  1. 改变神经网络的复杂程度: 从最简单的单层神经网络模型 AutoRec ( 自编码器推荐)，到经典的深度神经网络结构 Deep Crossing(深度特征交叉)，其主 要的进化方式在于 增加了深度神经网络的层数和结构复杂度。

  2. 改变特征交叉方式: 这类模型的主要改变在于丰富了深度学习网络中特征交叉的方式。例如，改变了用户向量和物品向量互操作方式的 NeUralCF( Neural Collaborative Filtering,神经网络协同过滤)，定义了多种特征向量交叉操作的 PNN ( Product-based Neural Network, 基于积操作的神经网络 )模型。

  3. 组合模型: 这类模型主要是指 Wide&Deep 模型及其后续变种 Deep&Cross,DeepFM等，其思路是通过组合两种不同特点、优势互补的深度学 习网络，提升模型的综合能力。

  4. FM 模型的深度学习演化版本: 传统推荐模型 FM 在深度学习时代有了 诸多后续版本，其中包括 NFM ( Neural Factorization Machine, 神经网络因子分解机 )、FNN ( Factorization-machine supported Neural Network, 基于因子分解机支持的神经网络)、AFM(Attention neural Factorization Machine, 注意力因子分解机)等，它们对 FM 的改进方向各不相同。例如，NFM 主要使用神经网络提升 FM 二阶部分的特征交叉能力，AFM 是引入了注意力机制的 FM 模型，FNN 利用 FM 的结果进行网络初始化。

  5. 注意力机制与推荐模型的结合: 这类模型主要是将“注意力机制”应用于深度学习推荐模型中，主要包括结合了 FM 与注意力机制的 AFM 和引入了注 意力机制的 CTR 预估模型 DIN ( Deep Interest Network, 深度兴趣网络)。

  6. 序列模型与推荐模型的结合: 这类模型的特点是使用序列模型模拟用户行为或用户兴趣的演化趋势，代表模型是 DIEN( Deep Interest Evolution Network, 深度兴趣进化网络 )。

  7. 强化学习与推荐模型的结合: 这类模型将强化学习应用于推荐领域，强调模型的在线学习和实时更新，其代表模型是 DRN( Deep Reinforcement Learning Network, 深度强化学习网络 )。

— 摘录于《深度学习推荐模型》