데이터 전처리 방법에 대한 조사

[chatterboy]

Originally posted by @chatterboy in https://github.com/chatterboy/fracture/issues/2#issuecomment-425006060

[chatterboy]

[1]에 따르면, 전처리는 크게 두 가지 방법 mean subtraction, normalization이 있음.

Mean subtraction은 데이터 평균을 사용하여 데이터의 분포를 centering을 함. 이 때, 데이터 평균을 계산하는 방법은 데이터 전체에 대한 평균을 계산하는 방법과 데이터의 각 차원에 대한 평균을 계산하는 방법이 있음.

Normalization은 각 차원에 있는 데이터의 scale을 같도록 만들어줌. 가장 기본적인 방법은 [0, 1]이 되도록 하는 방법이 있음. 또 다른 방법은 [-1, 1]이 되도록 하는 방법이 있음. 이미지 데이터는 [0, 255]로 scale이 모두 같기 때문에 항상 사용하지는 않음.

[1] http://cs231n.github.io/neural-networks-2/#datapre

[chatterboy]

[1]에 따르면, 전처리는 크게 두 가지 방법 mean subtraction, normalization이 있음.

Mean subtraction은 데이터 평균을 사용하여 데이터의 분포를 centering을 함. 이 때, 데이터 평균을 계산하는 방법은 데이터 전체에 대한 평균을 계산하는 방법과 데이터의 각 차원에 대한 평균을 계산하는 방법이 있음.

Normalization은 각 차원에 있는 데이터의 scale을 같도록 만들어줌. 가장 기본적인 방법은 [0, 1]이 되도록 하는 방법이 있음. 또 다른 방법은 [-1, 1]이 되도록 하는 방법이 있음. 이미지 데이터는 [0, 255]로 scale이 모두 같기 때문에 항상 사용하지는 않음.

[1] http://cs231n.github.io/neural-networks-2/#datapre

사실, [1]에서는 크게 세 가지 방법이 있다고 말함. 마지막은 PCA and whitening이지만, color augmentation과 유사하다고 생각하여 제외함.