简介:
作者提出基于一种神经网络的模型,一种从某个用户的评论中学习到该用户喜好;另一种是从所有用户对某个商品的评论中学习到该商品的特征和特点。为用户和项目学习的潜在特征用于在两个网络顶部引入的层中预测相应的等级。交互层是由矩阵分解技术驱动的,以使用户和项目的潜在因素彼此交互。
一个关键的贡献是,DeepCoNN使用预训练的词嵌入技术来表示评论文本,以从评论中提取语义信息。
模型优点:
1、拟议的深度合作神经网络(DeepCoNN)使用文本评论对用户行为和商品属性进行联合建模。 两个神经网络顶部的额外共享层连接了两个并行网络,因此用户和项目表示可以相互交互以预测收视率。 据我们所知,DeepCoNN是第一个使用神经网络对用户和商品进行评论建模的模型。
2、讲评论文本进行词嵌入,来进行模型的预训练。
3、不仅缓解了稀疏问题,还提高了准确性。
模型detail:
这是通过基于CNN的模型完成的,该模型由两个并行的神经网络组成,彼此耦合,顶部有一个共享层。
Look-up层:
在第一层(称为查询层)中,用户或项目的评论文本表示为单词嵌入的矩阵,以捕获评论文本中的语义信息。
CNN层:
是基于CNN的模型中用于发现用户和项目的多层功能的公共层,包括卷积层,最大池化层和完全连接层
在两个网络的顶部添加顶层,以使用户和项目的隐藏潜在因素彼此交互
top层:
在两个网络的顶部添加顶层,以使用户和项目的隐藏潜在因素彼此交互,该层使用Netu和Neti产生的潜在因子计算一个目标函数,该目标函数测量等级预测误差。
详解:
首先需要pre-train一个word embedding的词表,对某个用户,将其对所有商品的评论拼接为一条sequence,对其中的每个词,去look-up table中找对应的vector,所以最后形成的是一个word embedding的matrix,作为输入,进入convolution layer。 paper强调review中词的顺序被matrix保留,所以要强于词袋模型。
下一层包括卷积层,池化层和全连接层;开始输入的是词矩阵,经过传统的卷积之后得到的是卷积后的词矩阵(**函数使用的是ReLU)。然后把卷积后矩阵的每一列的最大值取出来当做一个向量,这就是池化的过程,池化后得到一个向量
最后过一个全连接层,得到了Xu.
尽管可以将这些输出视为用户和项目的特征,但是它们可以位于不同的特征空间中并且无法比较。因此,为了将它们映射到相同的特征空间,我们在顶部引入了一个共享层来耦合Netu和Neti
将Xu和Yi连接起来,引入了Factorization Machine(FM)因子分解机来解决这个问题。