ymym3412
commented
5 years ago Cross modal Retrievalで使われるWikipediaデータセットはこの論文発祥
Open ymym3412 opened 5 years ago
ymym3412
commented
5 years ago Cross modal Retrievalで使われるWikipediaデータセットはこの論文発祥
0. 論文
A New Approach to Cross-Modal Multimedia Retrieval Nikhil Rasiwasia1, Jose Costa Pereira1, Emanuele Coviello1, Gabriel Doyle2, Gert R.G. Lanckriet1, Roger Levy2, Nuno Vasconcelos1
1. どんなもの？
2つのモーダルの変換を求めるのにCanonical Correlation Analysis(CCA)を用いる
2. 先行研究と比べてどこがすごい？
Cross modal retrievalにCCAを導入した
3. 技術や手法のキモはどこ？
2つのモーダルで関連するデータが近くなるような変換を求める際に、CCAによる変換、及びクラス分類確率が大きくなるように共通空間に変換する手法とを組み合わせた変換の学習手法を提案した
4. どうやって有効だと検証した？
Wikipediaのデータを使い、text2image, image2textをMAP値で評価
5. 議論はある？
semantic matchingがよくわからない
6. 次に読むべき論文は？
Deep Canonical Correlation Analysis