e4exp
commented
3 years ago - はじめに
近年、物体認識[15]、属性分類[23]、行動分類[26, 9]、クラウドソーシング[40]などの進歩により、より高度なシーン理解問題を解決することへの関心が高まっている。 そのような問題の一つに，画像の人間らしい記述を生成することがある． この分野への関心が高まっているにもかかわらず，自動化されたアプローチによって生成された新しい文章の評価は依然として困難である． 評価は、進歩を測り、技術水準の向上に拍車をかけるために重要です。 このことは，検出[13, 7]，セグメンテーション[13, 28]，ステレオ[39]など，コンピュータビジョンのさまざまな問題ですでに示されている． 既存の画像記述の評価指標は、いくつかの望ましい特性を測定しようとしている。 これらの特性には、文法性、重要性（主要な側面をカバーすること）、正しさ/真実性などがあります。 これらの特性は，人間の研究を用いて，例えば，1から5までの独立した尺度で測定されたり[29, 37, 43, 11]，ペアワイズの尺度で測定されたりする[44]． 残念ながら，これらの様々な結果を一つの文の質の尺度にまとめることは難しい． また，他の研究[22, 18]では，被験者に文の全体的な質を判断させている． 画像の説明を人間が判断する際には，重要でありながら自明ではない特性が存在する． 本研究では，大多数の人が画像をどのように表現しているかという大多数の意見に対する文章の類似性を測定する，新しいコンセンサスベースの評価プロトコルを紹介する（図1）．
この評価プロトコルの1つの実現方法は、候補文と人間が提供したグランドトゥルース文との間の文の類似性を人間の被験者が判定するというものである。 被験者には「2つの文章のうち、どちらがこの文章に似ているか」という質問を投げかける。 結果として得られる品質スコアは、人間が生成した文とより類似しているとラベル付けされた文の頻度に基づいています。 相対的な質問であることが、タスクの客観性を高めています。 同様のプロトコルが、画像の類似性に関する人間の知覚を把握するために[41]でどのように使用されたか、読者に確認することをお勧めします。 これらの類似性のアノテーションプロトコルは，心理物理学でよく使われる2AFC (two alternative forced choice) [3]のインスタンスとして理解することができます．
人間による研究は、コストが高く、再現が難しく、評価に時間がかかるため、自動評価指標が望まれています。 実際に役立つためには，自動評価指標が人間の判断とよく一致する必要がある． 画像の説明文評価に用いられる一般的な評価指標としては，機械翻訳の分野ではBLEU [33]（precision-based），要約の分野ではROUGE [45]（recall-based）がある． しかし，これらの評価指標は，人間の判断との相関性が低いことがわかっている[22, 11, 4, 18]． 説明文の全体的な品質を判断するタスクでは，METEOR [11] メトリクスが人間とのより良い相関を示している． 他の指標は，キャプションのランキングに依存しており[18]，新規の画像説明を評価することはできない． 我々は，画像説明文の品質に関する新しい自動コンセンサス指標であるCIDEr (Consensus-based Image Description Evaluation)を提案する． この指標は、人間によって書かれたグランド・トゥルース・センテンスのセットに対して、生成されたセンテンスの類似性を測定するものである。 この指標は、人間が評価したコンセンサスと高い一致を示します。 文章の類似性を利用することで、文法性、重要性、重要度、精度（precisionとrecall）といった概念が、本指標によって本質的に理解されます。
画像記述アプローチの評価によく用いられる既存のデータセットでは，1つの画像に対して最大5つの記述しかできない[35, 18, 32]． しかし，「大多数」の人間がどのように画像を記述するかを測定するには，5つの文章では不十分であることがわかった． そこで，PASCAL-50SとABSTRACT-50Sの2つのデータセットを用いて，画像1枚あたり50個の記述を含む評価を行うことにした． PASCAL-50Sデータセットは、UIUC Pascal Sentence Datasetをベースにしており、1つの画像に5つの説明文が含まれています。 このデータセットは，多くの作品で学習とテストの両方に使用されている[29, 22, 14, 37]． ABSTRACT-50Sデータセットは、Zitnick and Parikh [46]のデータセットに基づいています。 これまでの手法では，5つの文を用いて評価していたが，我々は1から∼50の参照文を用いて評価する． この結果を受けて，MS COCOのテスト用データセットには，5Kの画像と40の参照文が含まれており，自動測定の精度を向上させている[5]．
貢献度 本研究では，コンセンサスに基づく画像説明文の評価プロトコルを提案する． 人間が判断するための新しいアノテーションモダリティ，新しい自動化された指標，そして2つの新しいデータセットを紹介する． また，5つの最先端の機械生成アプローチ[29, 22, 14, 37]の性能を比較した． 我々のコードとデータセットは著者のウェブページで公開されている。 最後に、本プロトコルの採用を促進するために、新たにリリースされたMS COCOキャプション評価サーバ[5]のメトリックとしてCIDErを利用できるようにしました。
画像を自動的に文章で記述することは，コンピュータビジョンや自然言語処理の長年の課題である． 近年、物体検出、属性分類、行動認識などの分野で進歩が見られ、この分野への関心が高まっています。 しかし，説明文の品質を評価することは困難であることがわかっている． 本研究では，人間のコンセンサスを利用して画像の記述を評価する新しいパラダイムを提案する． このパラダイムは、人間のアノテーションを収集してコンセンサスを測定する新しいトリプレットベースの手法、コンセンサスを捉える新しい自動化指標（CIDEr）、および2つの新しいデータセットの3つの主要部分から構成される。 CIDErは、各画像を説明する50の文章を含む2つの新しいデータセット、PASCAL-50SとABSTRACT-50Sで構成されています。 CIDErは、様々な情報源から生成された文章を対象に、人間が判断したコンセンサスを既存の指標よりもよく捉えることができる。 また、この新しいプロトコルを用いて、5つの最新の画像記述アプローチを評価し、今後の比較のためのベンチマークを提供します。 CIDEr-Dと名付けられたCIDErのバージョンは、MS COCOの評価サーバーの一部として提供されており、体系的な評価とベンチマークを可能にしています。