利用用户搜索词生成商品标题信息——阿里巴巴IDST

今天介绍的论文是阿里IDST在2018年AAAI上发表的paper《A Multi-task Learning Approach for Improving Product Title Compression with User Search Log Data》。
其应用背景是，现在越来越多的用户开始习惯于使用手机、PAD等移动端进行网购行为，而这些移动端产品相比于传统的PC端来讲，其屏幕尺寸更小，对于同一个商品来说其相关信息的展示空间也会越小，特别是对于商品的标题信息来说，如何使用最少的词语（一般来说是10个词语以内）反应商品最本质的信息，从而尽最大可能的吸引用户的眼球成了移动端电商最值得考虑的问题。

目前来讲，淘宝上很多商品的标题都是由卖家自己根据经验描述填写的，虽然能够比较准确、全面地反应商品的信息，但是往往比较长（超过10个词），很难在一行之内全部展示出来，这类问题往往在移动端上会更加的显著，如何对商家填写的商品描述词进行合理地压缩成了本文解决的第一个问题；

同时由于这些描述词都是从商家的角度来看待商品，有时候和用户的看法角度并不是完全地一致，这样当用户填入搜索词进行搜索的时候，很可能最相关的商品因为标题描述词的原因并不能完美的显示出来，所以如何综合考虑淘宝所有用户使用的搜索词从而优化标题描述词汇成了本文解决的第二个问题。

为了能够合理地简化商品的标题描述语，并使简化后的描述词更能够合理地反应用户输入的搜索词信息，本文使用了一种基于encoder-decoder架构的multi-task权值共享网络。在真正介绍网络的具体结构之前，我先来介绍一下本文的dataset是如何构造的，因为这篇paper用到的数据集比较特殊，是一个三元组<S,T,Q>$<S,T,Q>$，其中S$S$代表了原来商家输入的商品标题描述词汇；T$T$代表了由专家针对S$S$优化后的，更精简的商品描述词汇；Q$Q$描述了具有最高购买转化率的用户搜索词汇（在本文中就是针对某一类商品，该搜索词对应的商品在一个月有10次成功的购买行为）。

下面就来介绍一下这篇paper的模型架构图，如下所示：

相当于把模型看成了两个encoder-decoder任务（这里的encoder和decoder用的都是LSTM），一个是<S,T>$<S,T>$，另一个是<S,Q>$<S,Q>$，同时这两个任务共享encoder部分参数，并且使用了方式相似的attention机制，公式如下所示（由于encoder过程比较简单，这里只展示decoder过程）：
P(yn|x,y<n;θ)=g(yn−1,sn,cn,θ)$P(y_n|x,y_{<n};\theta )=g(y_{n-1},s_n,c_n,\theta )$
sn=f(sn−1,yn−1,cn,θ)$s_n=f(s_{n-1},y_{n-1},c_n,\theta )$
cn=∑Mm=1A(θ)n,mhm$c_n=\sum _{m=1}^{M}A(\theta {)}_{n,m}{h}_m$ //M是S长度
A(θ)n,m=exp(a(sn−1,hm,θ))∑Mz=1exp(a(sn−1,hz,θ))$A(\theta {)}_{n,m}=\frac{exp(a(s_{n-1},h_m,\theta ))}{\sum _{z=1}^{M}exp(a(s_{n-1},h_z,\theta ))}$
a(sn−1,hm,θ)=vTtanh(W1sn−1+W2hm)$a(s_{n-1},h_m,\theta )=v^{T}tanh(W_1{s}_{n-1}+W_2{h}_m)$

由于在<S,T>$<S,T>$和<S,Q>$<S,Q>$任务中都会在decoder部分生成attention权值分布，令AT∈RN∗M$A^T\in R^{N\ast M}$代表了<S,T>$<S,T>$过程中的attention权值矩阵，AT∈RK∗M$A^T\in R^{K\ast M}$代表了<S,Q>$<S,Q>$过程中的attention权值矩阵，其中M是S的长度，M是T的长度，K是Q的长度。为了使这两个部分生成的权值分布具有一致性，因此这里又添加了一个条件限制Lagree=D(AT,AQ)$L_{agree}=D(A^T,A^Q)$，由于AT$A^T$和AQ$A^Q$都是矩阵，那么首先就要通过max pooling操作把矩阵转化为向量公式如下：
aT=maxNj=1ATj$a^T=ma{x}_{j=1}^N{A}_j^T$，aQ=maxkj=1AQj$a^Q=ma{x}_{j=1}^k{A}_j^Q$
aT∈RM$a^T\in R^M$，aQ∈RM$a^Q\in R^M$
那么Lagree=KL(aT||aQ)$L_{agree}=KL(a^T||a^Q)$

最终整个模型的损失函数如下所示：
L=λ1LT+λ2LQ+(1−λ1−λ2)Lagree$L={\lambda }_1{L}_T+{\lambda }_2{L}_Q+(1-{\lambda }_1-{\lambda }_2)L_{agree}$

最后该模型生成的简化商品的标题描述被真正应用到了淘宝的系统中，使用A/B test的方式验证了其在一周的广告预测中，确实显著地提高了CTR和CVR值，帮助平台增加了经济效益。