Image Aesthetic Assessment Based on Pairwise Comparison – A Unified Approach to Score Regression, Binary Classification, and Personalization

Information

Authors: Jun-Tae Lee+
Organization: Korea University
Paper: OpenAccess
Code: -
Conference/Journal: ICCV2019

Summary

サマリ図表

どんな論文か？

美的スコア回帰、2値美的分類、およびパーソナライズされた美学の3つのタスクのための統一的なアプローチを提案。まず、2つの画像の美的スコアの比率を推定する比較器を構築。これを用いて、複数の参照画像と入力画像のためのペアワイズ比較行列を構築し、行列の固有値分解を用いて入力の美的スコアを予測する。また、参照画像を変化させることで、提案されたアルゴリズムは2値美的分類とパーソナライズされた美学、および一般的なスコア回帰のために使用できる。提案手法は画像美学のすべての3つのタスクでSOTAの性能を示すことを実験的に証明した。

新規性

Aesthetic evaluationの2値分類だけでなく、連続スコアの推定、personalizeされたスコアの推定に拡張した点
具体的な手法は以下の流れ
- 独自のAesthetic ComparatorをSiamese Networkベースで構築。
- Global FeatureだけでなくLocal FeatureもAestheticには重要なので、Res5のFeatureを4つのBlocksに分けたSpatial Pooled Featureも利用する。
- スコアを直接回帰するのではなく、適切な閾値を用いて3つのスコアにquantizeして推定させる（回帰ではなく分類で解かせる）
- reference画像のスコア比、およびinputとreferenceの推定スコア比からなる行列の固有値問題を解くことにより、genericスコアを推定する
- binary classificationはその境界値付近(=mid score)のtrainingサンプルとinputからなるcomparison matrixの固有値問題を解き、inputのスコアが閾値よりも高いか低いかで判別する
- スコアがuniform distributionのtrainingサンプルを選ぶより、境界付近のものを選ぶのがキモ
- personalizeされたスコアは多数のgeneric reference images（多数のannotatorがスコアを付与したもの）と少数のpersonal reference images（１人がannotation）、そしてinputからなるcomparison matrixを作り、再度固有値問題を解くことでスコアが推定できる

結果

Spearman's coefficientとMean of Absolute Score Differences(MASD)で比較
- Spearman's coefficientはスコアではなくランキングの相関がとれているかを判定する
スコアを回帰するReg-Net、ランキングを推定するPAC-Netとの比較により、提案手法がいずれの評価指標でも優れたスコアをマークしている
離散化は3クラスがベストであった

その他（なぜ通ったか？など）

画像の美的評価の先行研究では、画像を高画質/低画質クラスの2クラスに分類する方法が主であり、その連続的なスコアの評価を行った研究は少なかった。しかし、画像推薦、画像強調、個人アルバム作成では連続スコアが重要であり、本研究ではそこにアプローチしている。
関連研究から得られる情報が多い
- Pairwise Ranking Lossは重要な概念に思えるので勉強しよう
- Kong et al.
- Pairwise Comparison
- ペアの優劣の情報から全体の優劣を決める方法の研究
- スコアの絶対値をつけるのは難しいが、ペアの優劣を決めるのは簡単、という方向性の研究が多数紹介されている。
線形代数弱者すぎて理解が弱い・・・

AtsukiOsanai / cv_survey

Image Aesthetic Assessment Based on Pairwise Comparison – A Unified Approach to Score Regression, Binary Classification, and Personalization #108