NIMA: Neural Image Assessment

google 논문
quality assessment -> learning
평가 방법 문제 하지만, AVA & TID2013같은 데이터셋에서는 " mean opinion score"
기존 CNN+사람평가 이용.
this paper
- score images reliably and with high correlation to human perception > 신용할만한 스코어 결과
- to assist with adaptation and optimization of photo editing/enhancement algorithms in a photographic pipeline > 사진 편집/향상에 대한 도움을 주는..

Our Contributions

to predict both technical and aesthetic qualities of images.
with the same CNN architecture, trained on different datasets, > 다른 학습셋으로 학습하여 테스트
SOTA
human ratings과 유사한 결과
- 기존의 low/high score or regressing to the mean score같은 점수 대신에...
이를 위해, "the distribution of ratings are predicted as a histogram." > EMD loss 적용
실험에서, 더욱정확한 "mean score" 예측.

A Large-Scale Database for Aesthetic Visual Analysis (AVA)
- 255,000 images
- 200여명의 아마추어가 매긴 점수 = mean score
- score : 1~10, 10이 highest aesthetic score
- Fig.1
  - 평균 score = 약 5.5
  - 표준편차 > 대략 1.4
- whereas images with low score variance seem to represent conventional styles or subject matter.
- A few examples with ratings associated with different levels of aesthetic quality and unconventionality
- 실사 이미지들은 mean score로 나타낼수 있음. 하지만, 비실사류(?, unconventionality) 이미지들은 문제가 많다.
Tampere Image Database 2013 (TID2013)
- full-reference perceptual image quality
- 3000 이미지
- 24 타입의 왜곡(distortion)
- 그 각 왜곡마다 5 level
- 그래서 총 120(=24x5)왜곡
- different types of distortions such as compression artifacts, noise, blur and color artifacts.
LIVE In the Wild Image Quality Challenge Database
- 1162 photos captured by mobile devices.
- 175 unique subjects
- score = [0, 10]

CNN network : VGG16 , Inception-v2, and MobileNet
추가로 " fully-connected layer with 10 neurons followed by soft-max activations" - 10 카테고리를 분류하겠다는 의미.
우리의 목표는 주어진 이미지에 대해 (입력이미지) 비율의 분산(distribution of ratings)을 예측하는것이다.
human rate의 GT :
- AVA & TID2013 datasets : N = 10(클래스의 의미인듯), in AVA, s_1 = 1 and s_N = 10
- TID: s_1 = 0 and s_N = 9. S
- mean quality score :
- standard deviation of the score :

Soft-max cross-entropy
- i번째에 평가(예측한 확률)
그러나, 이방법은
- cross-entropy loss lacks the inter-class relationships between score buckets.
따라서, ordered-classes can be represented by a real number
그러기 위해서는 "ordered-classes"에 대한 훈련은 EMD를 이용하여 학습가능하다.
정리하면, 데이터셋의 라벨 자체가 ordered 속성을 가졌다고 가정 :
EMD는 또하나의 질량(mass)를 다른 곳(distribution)으로 움직이는 최소한의 cost 이라고 정의
주어진 GT와 예측 P(mass fucntion)가 있을때,
- with N ordered classes of distance :
최종적으로 the normalized Earth Mover’s Distance
- 는 cumulative distribution function(=)
- 와 는 같아지도록 만들어야..
- r = 2
  실험