Representation Learning with Contrastive Predictive Coding

[kacky24]

short summary

音声、画像、言語、強化学習など一般に使える、高次元データから分散表現を抽出する教師なし学習のアプローチContrastive Predicting Codingの提案。

CPC

• 高次元データの系列を低解像度の潜在状態系列に埋め込む(CNN layresなど）
• 潜在状態系列に自己回帰モデルを適用し、contextを得る(GRUなど）
  • masked convolutional architectureやself attention networkでよくなるかも
• 求めたcontextとkステップ先の潜在状態の相互情報量を保存するように学習する
  • 単語埋め込むなどで使われるNoise Contrastive Estimation Lossを使う

author

Aaron van den Oord DeepMind avdnoord@google.com Yazhe Li DeepMind yazhe@google.com Oriol Vinyals DeepMind vinyals@google.com

URL

https://arxiv.org/pdf/1807.03748.pdf

year

2018