Deep Multi-Modal Image Correspondence Learning ,arXiv:1612.01225v1, (2016).

[idekazuki]

異なるモダリティのデータの対応関係を推論する。不動産の内覧の写真と、その写真空間がある不動産の間取り図なのかを推測。人間の精度基準を使って評価。

[idekazuki]

Related Work Image correspondence

• SIFT, SURF これらは単一の様式（写真のみ）を使用している。

Multi-modal matching 画像と言語の質問について共同に推論する。 クロスモーダル表現の学習。複数モーダルの共通のシーンを学習。 本研究では複数の画像をいつの間取り図に対応させるので１対１の対応ではない。

Indoor scene understanding 明示的な幾何学推論を用いる 本研究では深層学習を適用。

[idekazuki]

手法

• Pair matching Siamese networkを使用。
• Photograph-set matching 間取り図のエンコーダからの特徴と、写真エンコーダからのｎ個の特徴を全結合層へと渡す。
• k-way matching 間取り図と異なるアパートを含む写真ｋ枚のマッチング。 部屋の認識のみを行う。

学習時はpositive sample , negative sample= 1:1 random 50%

[idekazuki]