Graph Convolution 系をいくつか読んだまとめ

[agatan]

Graph Convolution の話

Graph Convolutional Networks for Text Classification [L. Yao, et al., AAAI 2019] を読んで面白かったので。

• ドキュメントと単語の両方を node として heterogeneous なグラフとして文書群を表現する
• doc <-> word は TF-IDF、 word <-> word は共起関係をエッジとした重みつき有向グラフとして扱う
• Convolution 自体はふつう（？）

精度は良いけど transductive な問題設定なので、テストセットも学習時のノードに含まれている必要がある。 inductive のほうがアプリケーションとしては使いやすいので inductive な問題について解いている論文もいくつか読んでみた

• Inductive Representation Learning on Large Graphs [William L. Hamilton, et al., NIPS 2017]
  • id → embedding ベースの手法だとどうしても inductive は難しい
  • 周りの node の feature を aggregate する aggregator のパラメータを学習するようにした
    • 新しいデータが増えても、学習時のグラフと繋がっていれば学習済みの aggregator を使って inference できる
  • node feature があるようなグラフだとイメージしやすいけど、node feature がなくてもいけると論文では主張している...？度数とかを使うと書いてあるけどどのくらい実用的なんだろうか
• FastGCN: Fast Learning with Graph Convolutional Networks via Importance Sampling [J. Chen, et al., ICLR 2018]
  • ↑の GraphSAGE のあとにでてきた論文
  • GraphSAGE は計算量が大きすぎるので、モンテカルロ法によるサンプリングベースの方法で計算量を抑えつつほぼ同じ精度が出せると主張している
  • （まだあんまりちゃんと読んでいないので、ちゃんと読んでよさそうだったらまた後日紹介します...）