search

furukawa-ai / deeplearning_papers

AI論文読みメモ
26 stars 0 forks source link

See, Hear, and Read: Deep Aligned Representations #42

Closed msrks closed 1 year ago

msrks commented 7 years ago

http://carlvondrick.com/see-hear-read/ http://createwith.ai/paper/20170607/789

msrks commented 7 years ago

マルチモーダルデータ（複数の種類の入力）を関連づけるためのアーキテクチャ

それぞれの分類誤差を小さくするように、かつ、中間層での抽象概念を似せるために、本文中 3-2の ranking lossを導入してそれも小さくするように学習（下図の pair loss）

seehearread_architecture-e1496846249878