论文题目: Factorization Machines
论文地址: https://ieeexplore.ieee.org/abstract/document/5694074
论文发表于: ICDM 2010(CCF B类会议)

论文大体内容:
本文主要介绍了FM模型,该模型相比与SVD++,PITF,FPMC等有明显的优势,同时FM模型也能学习出这几个模型的效果,是一种高效、通用、不惧稀疏的模型;

1. FM模型主要包含四大优势,这也是本文反复提到的:
①极度稀疏数据上也能表现得很好,这也是FM模型泛化能力的表现;
②线性复杂度,无论是模型训练、预测等,都特别高效;
③不用像SVM一样要转换到高维空间,FM可以直接从低维空间学习;
④通用性,能够学习到其它类似SVM模型的效果;

2. FM模型优化方程如下,其实就是在LR的基础上,直接引入任意两个特征的二阶特征组合,v可以看成是特征的embedding,所以就算特征x为0(稀疏),但v不会为0,也正是这样,FM模型具有很强的泛化能力;
#Paper Reading# Factorization Machines

3. FM能从O(n*n)复杂度转化为O(k*n)复杂度,从而高效;
#Paper Reading# Factorization Machines

4. FM求梯度后,能用O(1)复杂度去更新参数,在训练中高效;
#Paper Reading# Factorization Machines

5. FM框架不但可以增加到二阶特征组合,还能扩展到d阶;
#Paper Reading# Factorization Machines

6. FM与MF
①MF是FM的特例,只有2维field的FM,就算MF;
②FM在MF基础上,能考虑到其它的side information,从而取的更好的效果;

7. 思考
其实FM的核心思想是进行自动二阶特征组合(一般比二阶更大的都很少用到),里面用到embedding的思想来表示特征,这也是在DNN流行之前的一种“神想法”;

 

以上均为个人见解,因本人水平有限,如发现有所错漏,敬请指出,谢谢!

相关文章:

  • 2022-01-13
  • 2021-04-02
  • 2021-12-15
  • 2021-07-29
  • 2021-09-02
  • 2021-06-13
  • 2022-01-04
  • 2021-12-29
猜你喜欢
  • 2021-06-02
  • 2021-06-01
  • 2022-01-09
  • 2021-12-28
  • 2021-05-27
  • 2021-10-05
相关资源
相似解决方案