Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval

0. 論文

Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval Chao Li, Cheng Deng, Ning Li, Wei Liu, Xinbo Gao, Dacheng Tao

1. どんなもの？

マルチラベルの情報の活用と敵対的生成学習を使ったcross modal retrievalmのためのハッシュ表現を学習しする手法

2. 先行研究と比べてどこがすごい？

画像とテキストに紐づく複数のラベルを考慮できる点と敵対的生成学習により異なるモーダルの表現学習が安定すること

3. 技術や手法のキモはどこ？

従来のsupervised cross modal retrievalでは単一のラベルしか考慮できていないという点を、複数のラベルのonee-hot表現をMLPを通し、他のモーダルの表現学習に利用するLabNetの導入で解決。 2値のハッシュ表現では表現能力に乏しく関連するモーダルの表現学習が安定しないという問題があったが、それをどのモーダルのハッシュ表現かを識別するDiscriminatorを用いた敵対的生成学習を導入することにより安定化を行った。

4. どうやって有効だと検証した？

Flickr-25K, NUS-WIDE, MS-COCOデータセットでMAP値ベースの比較を行い、SOTA

5. 議論はある？

Abration studyではLabNetの導入が性能改善に一番寄与していた

6. 次に読むべき論文は？

Pairwise relationship guided deep hashing for cross-modal retrieval Erkun Yang,1 Cheng Deng,1 Wei Liu,2 Xianglong Liu,3 Dacheng Tao,4 Xinbo Gao1 AAAI17

nlp-survey-embedding / challenge.survey-embedding

Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval #11