metapath2vec: Scalable representation learning for heterogeneous networks

[eleveyuan]

reference:

1. Dong Y, Chawla N V, Swami A. metapath2vec: Scalable representation learning for heterogeneous networks[C]//Proceedings of the 23rd ACM SIGKDD international conference on knowledge discovery and data mining. 2017: 135-144.

[eleveyuan]

这篇论文主要研究异构图上的表征学习问题。不同于deepwalk是在通过图上进行randomwalk，从而学习节点embedding。 metapath2vec通过对metapath(原路径)进行采样，最大化结构和语义信息，然后应用至skip-gram模型上。如下图所示，metapath2vec可以获得author-conference pair对，metapath2vec++可以自动的将不同类节点分组好。

[eleveyuan]

同构图embedding的学习

主要围绕上面这个公式，在给定一个节点求其邻居节点的最大概率，这里N(v)为v的邻居，可以看到同构图embedding在设计上是没有考虑到节点类型的，对于给定节点的邻居节点都是同样重要的(于此可以考虑到对于有些有权重的图)

异构图embedding的学习

异构图embedding学习加入了类型的区别，为节点v的t类型的邻居节点集合， T_v为节点类型集合

[eleveyuan]

在metapath2vec主要是使用人工定义的metapath去指导walker去游走，这样可以防止random walk在异构图中带来的bias，下式为游走的概率：

转移概率为当前节点转移到另一类t节点的概率，计算为当前节点邻居t类型节点数的倒数

[eleveyuan]

metapath2vec

使用word2vec的skip-gram模型训练上述的mathpath的walk得到的数据即可。

metapath2vec++

metapath2vec着重考虑的是节点邻居节点的问题。没有考虑到在激活函数端做softmax时需要考虑不同类型，利用negative sampling有天然的优势去做类型的切割