#0.Introduce
Title：Relation-Aware Entity Alignment for Heterogeneous Knowledge Graphs（异构知识图的关系感知实体对齐）
Author：Yuting Wu, Xiao Liu, Yansong Feng∗, Zheng Wang, Rui Yan and Dongyan Zhao
Research unit： 中国北京大学计算机科学与技术研究所、英国兰卡斯特大学计算与通信学院
Paper source：IJCAI-19
#1. Summary & Research Objective
提出了一种新颖的关系感知双图卷积网络（RDGCN），它通过知识图与其对偶关系对应物之间的细心交互来合并关系信息，并进一步捕获相邻结构以学习更好的实体表示。
#2. Background and Problems
该领域的现有工作通常无法正确捕获多关系KG中通常存在的复杂关系信息，从而留下了很大的改进空间。大多数现有方法都使用跨族模型作为嵌入KG的主干，而这些KG受假设头+关系≈尾的约束。这种强有力的假设使模型无法有效地捕获多关系图中的更复杂的关系信息。
**问题描述：**形式上，KG表示为G =（E，R，T），其中E，R，T分别是实体，关系和三元组。令G1 =（E1，R1，T1）和G2 =（E2，R2，T2）是要对齐的两个异构KG。也就是说，G1中的实体在G2中的对应对象可能使用不同的语言或不同的表面名称。首先，我们可以收集G1和G2之间的少量等效实体对，作为对齐种子L = {（（ei1，ei2）|ei1∈E1，ei2∈E2}。我们将实体对齐任务定义为使用对齐种子自动查找更多等效实体。那些已知的对齐实体对可以用作训练数据。
#3. Method
*构造对偶关系图
给定原始图Ge，其对偶关系图Gr =（Vr，Er）构造如下：1）对于Ge中每种关系r，都会有一个顶点vr，因此Vr =R1∪R2； 2）如果两个关系ri，rj在Ge中共享相同的头部或尾部实体，则我们将创建边uri连接vri和vrj。
因为期望对偶关系图在Ge中不同vrs之间的关系更具表现力。所以，根据两个关系vr i和vr j在Ge中具有相似的首尾相似性的可能性，我们用权重wr ij对每个边ur加权：其中，Hi和Ti分别是用于关系ri的头和尾实体集。
*对偶图和原始图之间的相互作用
引入对偶关系图的目的是将关系信息更好地合并到原始图表示中。建议应用图注意机制来迭代获取对偶关系图和原始图的顶点表示，其中注意机制有助于促进两个图之间的交互。每个双重主要交互都包含两层，双重注意层和主要注意层。
（1）双注意层
使用原始注意力层从先前交互模块产生的原始顶点特征ˆX e来计算双重关注得分：其中〜xr表示对偶顶点vr i的d0维输出表示（对应于ri∈Ge）； xr j表示顶点vr j的对偶表示； Nr i是vr i的邻居索引集； αrij是双重关注得分； ar是一个将2d0维输入映射为标量的完全连接层； σ是**函数ReLU； η是漏洞（不懂啥意思）的ReLU； k是串联操作； ci是关系ri从先前的原始关注层获得的关系表示。
将平均头尾实体代表连接在一起：其中ˆxe k和ˆxe l表示前一个原始关注层的关系ri的第k个头部实体和第l个尾部实体的输出表示。
（2）原始注意力层
使用Gr中的双重顶点表示来计算原始注意力得分，该表示实际上对应于原始图Ge中的关系。这样就可以使用双重关注层产生的关系表示来影响原始顶点的嵌入。
使用Xe∈Rn×d来表示输入原始顶点表示矩阵。 对于原始图Ge中的实体eq，其表示˜xeq可以通过： 其中˜xrqt表示从gr中得到的rqt的双表示(实体eq和et之间的关系)；αeqt是原始注意分数；neq是实体e的邻域指数集。ae是一个完全连接的层，将d0维输入映射到标量中，σe是原始层**函数。
通过将初始表示与原始注意层的输出相混合来明确地保存证据:其中ˆ xe 表示实体的交互模块的最终输出表示；βs是第s个主要注意层的加权参数。
（3）整合结构信息
将带有highway gates的两层GCNs([·基普和韦林，2017年)应用到最终的原始图中，以进一步整合来自其相邻结构的证据。
在以实体表示X(1)作为输入的每个GCN层l中，输出表示X(l+1)可以计算为:其中，A- = A+I是增加了自连接的原始图的邻接矩阵，I是单位矩阵；Djj = P k Ajkand W(l)∈Rd(l)×d(l+1)是特定于层的可训练权重矩阵；ξ是**函数ReLU。在构造A时，我们将Geas视为无向图，以允许信息双向流动。
为了控制跨层累积的噪声并保留从交互中获得的有用关系信息，我们在GCN层之间引入了layer-wise gates：其中，X(l)是层l+ 1的输入；σ是一个sigmoid函数；是元素式乘法；W(l)和b(l)为转换门T(X(l))设置权重矩阵和偏置向量。
利用从GCN层的输出中收集的最终实体表示X，可以通过简单地测量两个实体之间的距离来执行实体对齐。两个实体之间的距离d(e1，e2)，e1来自G1，e2来自G2，可计算为:
利用margin-based的评分功能作为培训目标:其中γ>0是边缘超参数；l是我们的对齐种子，l0是负实例的集合。
#4. Experiments
使用DBP15K数据集
主要结果
#5. Conclusion
提出了一种新的基于关系感知的双图卷积网络，用于异构KGs上的实体对齐。我们的方法旨在探索复杂的关系信息，这些信息通常存在于多关系知识中。通过对原始图和对偶关系图之间的密切交互进行建模，我们的模型能够通过门控GCN层将关系信息与相邻的结构信息结合起来，并学习更好的实体表示用于对齐。
#6. Notes
References