A Comprehensive Survey on Cross-modal Retrieval

メモ

Canonical Correlation Analysis (CCA)
- N. Rasiwasia, J. Costa Pereira, E. Coviello, G. Doyle, G. R. Lanckriet, R. Levy, and N. Vasconcelos, “A new approach to cross-modal multimedia retrieval,” in International conference on Multimedia. ACM, 2010, pp. 251–260.
- Y. Gong, Q. Ke, M. Isard, and S. Lazebnik, “A multi-view embedding space for modeling internet images, tags, and their semantics,” International Journal of Computer Vision, vol. 106, no. 2, pp. 210–233, 2014.
- クロスメディア検索・クロスリンガル検索・画像系の検索等、幅広く使われている。
- 2つの異なるメディア間の相関を最大化するような共通の表現空間を学習。
- 異なるメディアの類似度を学習した共通の表現空間上で測ることができる。
Partial Least Squares (PLS)
- 異なるモダリティを持つ画像に対して、強い相関があるような共通のベクトル空間上に写像する際に用いられている。
- クロスモーダルな文書検索に使われている。
Bilinear Model (BLM)
- テキスト-画像検索に利用されている。
Cross-modal factor analysis (CFA)
- ペアとなるデータ間のフロベニウスノルムを最小化するように学習を行う。
Maximum covariance unfolding (MCU)
- 異なるモダリティのデータに対して次元削減を行う多様な学習アルゴリズムとなっている。
Collective component analysis (CoCA)
Maximum Mean Discrepancy (MMD)