XdeepFM和CIN

• CIN和crossNet都是显式构造交叉特征的典范。其巧妙之处在于，通过k阶交叉构造k+1阶交叉，从而将复杂度控制到可接受范围。

• CIN中将sum pooling替换为max pooling，可能效果会更好。
• CIN中应该加入x0的一阶项，形成一个完整的泰勒级数。
• 论文对crossNet的描述可能有误？？？否则xk真是x0的线性变化，没有非线性是不可能学好的。
• CIN中的二阶特征是e_i e_j的，而FM中的二阶特征是x_i x_j的，还是很不相同。如果能构造出以x_i x_j x_k为基的高阶特征，可解释性两超过CIN.
• CIN非常重要，其意义可能超过DNN，是可以明确控制特征阶数的神经网络模型，就像量子场论中可以展开到任意阶的微绕论。将CIN和attention相结合，可能远超bert。