maxuewei2

总结一下网络表示学习 (network embedding/network representation learning) 的东西。

网络表示学习即是将节点表示为向量。
为什么表示为向量,目前看来有以下几点原因:

  1. 向量是一种分布式表示,比 one-hot 表示什么的更易于使用,如可以方便地作为 feature 喂给 classifier 等。而这其实也是因为分布式表示含有很多隐含信息,不像 one-hot 向量,丁是丁卯是卯。同时,分布式表示可以比 one-hot 表示短得多。
  2. 网络 (graph) 是一种不够结构化的数据结构。想要在网络中获取有用的信息,哪怕只关注一个节点,也必然要关注网络中与之相关的一群节点,算法复杂度指数上升,解决问题的复杂性也是指数上升。这种级联的问题使得在网络上的研究很麻烦,千头万绪。而把每个节点表示为一个独立的向量就很方便了。
  3. 网络不规则。网络中的节点有的度很大,有的度很小,每个节点的邻居个数不一样,在网络上直接处理会很麻烦。转化为向量后,向量长度都一样,就规则了。
  4. 网络很大时处理起来时间和空间复杂度都太高,邻接矩阵和 laplacian 矩阵都是 \(N^2\) 大小,而处理成 embedding 向量后,长度就很短了,给下游任务使用时复杂度就小得多。

接下来的问题是怎么将节点表示成向量。
这里首先要确定的是要从哪个角度来确定节点间的相似性。目前我接触到的主要是以下两个角度:

  1. Homogeneity/proximity,这个主要是社区 (community) 角度,即相邻的节点更可能在社区属性上相似。在某篇论文上看到一个解释说,从这个角度看,网络是平滑的,感觉很形象很直觉。
  2. Structural similarity,这个主要是结构或功能角度,即周围结构相似的节点更可能在功能上相似。
    当然,社区很多时候也会和功能相关,功能相似的节点也很可能相邻,所以这两个角度会有一些相似或重叠的地方。
    但如果两个结构相似的节点相距很远时,这两个角度就几乎是正交的了。

首先说第一个角度,第一个角度的基本假设是『相邻节点相似』,这可以称为是 first-order proximity。而另一方面,基于这个假设,与同一个节点相似的节点之间也更可能相似,那么两个节点之间共同邻居越多,它们也就更可能相似,这可以称为 second-order proximity,这时,两个节点之间相距为 2。当然,距离再远些还可以有 high-order proximity。

那么如何捕捉 (capture) 这些 proximity 呢?
最早 DeepWalk 是以节点作为单词,以随机游走序列作为句子,得到句子序列之后喂给 word2vec 从而得到节点 embedding。word2vec 会将窗口内的节点作为上下文,所以 DeepWalk 捕捉的是 \(k\) (window size) 阶proximity?
之后出现了 LINE,LINE 一方面针对大型网络进行了优化,另一方面,给出了 objective function,这就使得对于网络表示学习的改进更加容易。因为要在基于 random walk 的方法上继续改进,一般只能在网络结构 (如 HARP?) 或 random walk 的生成模式 (如 node2vec) 上做手脚,这样改进或扩展起来就很不方便。而在 LINE 给出了 objective function 后,只要针对自己预想的改进,调整目标函数就好了。因此,后面看到的很多网络表示学习的论文都是基于 LINE 做的改进,如加入社区结构、加入影响力模型等等。
之后,又出现了基于矩阵分解的网络表示学习方法,如 GraRep,但这类方法速度比较慢。
除此之外,还有基于深度学习的方法,如 SDNE,本质上可以看作使用自编码器对邻接矩阵降维?

本质上,这些方法都可以看作用向量表示来模拟网络中的概率分布,不同的是这个概率分布是从哪个角度计算的,以及是怎么计算的。如 LINE 中定义的网络中的概率分布就比较简单直接,基本是边权重除以中心节点的度,然后以 sigmoid 或 softmax 来用向量表示表达这个概率,接下来就是用 KL-divergence 来最小化两个分布的距离就可以了。对于基于 random walk 的方法,这个网络中的概率分布就隐含在 random walk 中而没有明确定义。
对于 DeepWalk 来说,random walk 相当于NLP里的句子,而在 NLP 中,word2vec 所做的事情相当于通过向量表示使句子生成的概率最大化,那么在 DeepWalk 中,节点相当于 vocabulary,DeepWalk 的目的就是用节点向量使 random walk 生成的概率最大化。
就好象给定 N 个节点,用这 N 个节点可以生成有不同连接方式的网络,假设这些不同的网络构成一个集合(空间?) S,那么我们见到的那个网络 G 只是这个集合中的一个元素。用不同的向量表示这些节点,生成这些网络的概率也会不同,我们要做的是调整这些向量,使生成给定网络 G 的概率最大。那么此时问题在于如何表示『向量生成某个网络 G 的概率』。DeepWalk 首先将网络转化为 random walk 序列,可以理解为在给出足够多 random walk 序列时,这些序列在集合 S 中对应 G 的概率最大,从而我们可以用 random walk 序列近似表示网络 G,接下来只要向量表示生成这些 random walk 序列的概率越大,就可以理解为生成网络 G 的概率越大。然后我们再将 random walk 生成的概率近似用上下文生成中心词(或反过来)的概率表示,就可以用 word2vec 的 CBOW 或 skipgram 学习了。这里 S,G 有点像监督学习里的 hypothesis set 和 ideal target function。


另,考虑另一个问题:给定一个 \(N \times N\) 的矩阵 \(A\),矩阵里每个元素 \(A_{ij}\) 表示两个点 \(i\)\(j\) 之间的距离,求给出每个节点的坐标,使满足该矩阵。坐标维数不做限定。
如果该问题里的点对应网络中的节点,矩阵中的值表示节点间的最短路径距离或转移概率,所求坐标对应向量表示,那么network embedding可以看作对这个问题的近似求解?
这个问题可以看作有两个步骤,一是给出矩阵 \(A\),二是求节点坐标 (即embedding)。大多数network embedding方法其实可以看作是对于这两个步骤给出了不同的解决方案。即以不同方式定义节点间的相似度,给出不同的矩阵 \(A\),或者以不同方式求解 embedding。

TODO:
结构相似性角度
graph kernel
link prediction

分类:

技术点:

相关文章: