Revisiting Image Aesthetic Assessment via Self-Supervised Feature Learning

Information

画像の美的評価の問題を自己教師型の特徴学習の観点から再検討した。
合成インスタンスに適用された編集操作のタイプとパラメータを識別する2つの新しいプレテキストタスクを提案しました。これらのプレテキストタスクから抽出された特徴は、1層の線形分類器を使用してバイナリ美的分類に使用される。
3つのベンチマークデータセットで広範な定量的実験を行い、このアプローチは美的な特徴を正確に抽出でき、代替手法よりも精度で優れており、ImageNetデータセットから10,000,000のラベルを使用した最新の手法と同等の結果を達成していることを示しました。

美的評価の定量化は難しいが、ある変換に対する相対的な評価を行うのは比較的容易である点に着目して2つの新たな表現学習の方法を提案

(1) 画像変換の種類とそのレベル（例えばk_size=7のGaussian Blurのような形）を推定するpre-text taskを提案した点。
(2) ある変換に対してその変換の程度が強いほどaestheic scoreが下がることを利用し、triplet lossを用いて弱い変換の方が強い変換よりも元画像の表現と距離が近い埋め込みが得られるような学習方法を提案
学習の安定化を目的に、batch内のサンプルに対しentropy-basedのweightをかけて学習させる。
- entropyの大きなサンプルはimage aestheicに対してuncertainなサンプルだと考えられるため、その分寄与度を落とし学習を安定化させてる。