Illustrative Language Understanding: Large-Scale Visual Grounding with Image Search Jamie

NomotoEriko commented 6 years ago

一言でいうと

単語分散表現を画像に基づいて獲得する手法を提案

論文リンク

http://aclweb.org/anthology/P18-1085

著者/所属機関

J. Kiros, W. Chan, G. Hinton Google Brain Toronto

投稿日付(yyyy/MM/dd)

概要

単語から Google 画像検索してその上位10件をCNNに突っ込んで concat して単語分散表現 Picturebook の出来上がり
Glove （などの他の単語分散表現）との併用手法である multimodal Fusion Gating
Picturebook から単語を得る Inverse Picturebook
様々な NLP タスクで分析

新規性・差分

単語分散表現の獲得に画像を用いること

手法

単語から Google 画像検索してその上位10件をCNNに突っ込んで concat
CNN は意味的順位付けを学習したもの
意味的順位付けに用いるデータセットは，視覚的類似度ベースと意味的類似度ベースのそれぞれを試して意味的類似度ベースの方がいいことがわかった
multimodal Gating はいわゆるアテンションっぽい機構
Inverse Picturebook はデコーダの内部状態をターゲット言語側の Picturebook に近づけるような機構

結果

類似単語

単語類似度のよさ（SimLex-999で評価）

自然言語推論

感情・トピック分類

キャプション検索・画像検索

機械翻訳

コンセプトは順当でスッキリしたものだと思いました．220万の単語に対して，少なくとも10枚/語彙の画像を CNN モデルに突っ込むので結構重たい処理だと思うのですが，さすが Google だけあってやっている実験の量が違いますね．数の暴力．今回はそれぞれの手法は単純なものですが，各タスクに対してこれらの手法はどんどん最適化され洗練されていくと思うので，今後の発展が楽しみです．

yukiar commented 6 years ago

Inverse picturebook は多言語のみ？

KAWAYu commented 6 years ago

（すごい細かいですが、まとめでのBLEUの綴りが多分間違っていたので、公開する際は直しておくといいかもです）

OnizukaLab / ConferenceProceedings

Illustrative Language Understanding: Large-Scale Visual Grounding with Image Search Jamie #17