一、NFM模型

FM模型中所谈到的局限性,无论是FM模型还是基于FM模型改造的FFM中,说到底还是一个二阶特征交叉的模型。若强行进行高阶特征交叉,那么大大的增加计算成本,可是如果不能进行更高阶特征组合,那么就会使得FM模型表达能力受阻。那么有没有一种可能,利用深度神经网络更强大的表达能力,使得FM模型能够解决这一缺点呢?在2017年,新加坡国立大学的研究人员进行了这方面的尝试,提出了NFM模型,这是FM模型的神经网络化的尝试。

NFM模型的paper地址如下: https://www.comp.nus.edu.sg/~xiangnan/papers/sigir17-nfm.pdf
NFM模型主要特点: 使用Bi-Interaction Layer(Bi-linear interaction)结构来对二阶交叉特征信息进行处理,使得交叉信息特征更好的被DNN结构学习,让表达能力更强的函数代替了原来FM中二阶隐向量内积部分。赋予了FM模型处理更高阶特征交叉的能力,同时使得DNN模型参数量减少,使得模型训练更便捷。

二、算法原理

NFM模型主要是使用Bi-Interaction Layer(Bi-linear interaction)结构来对二阶交叉信息进行处理。那么NFM公式定义如下:

点击量预测(CTR)——NFM理论与实践
其中f(x)f(x)是使用Bi-Interaction Layer(Bi-linear interaction)结构来对二阶交叉信息进行处理得到的结果输入到DNN网络中。那么f(x)部分的结构图如下:
点击量预测(CTR)——NFM理论与实践
其中最Embedding Layer和B-interaction Layer部分理解,其它的就很容易理解了,就当做一个普通的DNN结构。

这部分可以参考DeepFM模型跟下图代码差不多。
点击量预测(CTR)——NFM理论与实践

三、小结

最后,NFM模型相关细节看该文献,这里就不多说了。

相关文章:

  • 2021-11-23
  • 2021-10-30
  • 2021-10-31
  • 2022-12-23
  • 2021-07-23
  • 2021-04-27
  • 2021-05-28
猜你喜欢
  • 2022-01-21
  • 2021-11-06
  • 2021-04-17
  • 2021-12-10
  • 2021-05-19
  • 2021-11-17
  • 2021-12-21
相关资源
相似解决方案