2022/10/05 ~ 2022/10/19

9.2.2 클러스터 개수 선택하기

가우시안 혼합에서는 클러스터 개수 선택하는 데 이너셔나 실루엣 점수를 사용할 수 없음
- 클러스터가 타원형이거나 크기가 다를 때 이 지표들은 안정적이지 않기 때문
대신 BIC (Bayesian information criterion)나 AIC (Akaike information criterion) 와 같은 이론적 정보 기준을 최소화하는 모델을 찾음

자세히

Akaike Information Criterion (AIC)은 정보 이론의 기초를 가지고 개발되었습니다. 정보 이론은 정보의 정량화 (계산 및 측정 과정)에 관한 응용 수학의 한 분야입니다. 주어진 데이터 세트에 대한 계량 경제학 모델의 상대적 품질을 측정하기 위해 AIC를 사용할 때 AIC는 특정 모델이 데이터를 생성 한 프로세스를 표시하기 위해 사용될 경우 **손실 될 정보의 추정치**를 연구원에게 제공합니다. 따라서 **AIC는 주어진 모델의 복잡성과 모델의 적합선 간의 균형을 맞추기 위해 노력합니다**. 이는 모델이 데이터 또는 관찰 세트를 "적합"시키는 정도를 나타내는 통계 용어입니다. 출처: https://ko.eferrit.com/akaike%EC%9D%98-%EC%A0%95%EB%B3%B4-%EA%B8%B0%EC%A4%80-%EC%86%8C%EA%B0%9C-aic/

m = 샘플 개수, p= 모델이 학습할 파라미터 개수, L^ = 모델의 가능도 함수의 최댓값
- BIC, AIC는 모두
학습할 파라미터가 많은 (클러스터가 많은) 모델에게 벌칙을 가함
데이터에 잘 학습하는 모델에게 보상을 더함
- BIC와 AIC는 종종 동일한 모델을 선택하는데, 둘의 선택이 다를 경우 BIC가 선택한 모델이 더 간단한 경향이 있음 (파라미터가 적음)
하지만 데이터에 아주 잘 맞지 않을 수 있음 (특히 대규모 데이터셋)
- 가능도 함수
확률 vs. 가능도
- 확률: 확률 모델의 파라미터 Θ를 알고 있을 때 미래 출력 x가 얼마나 그럴듯한지 설명
- 가능도: 출력 x를 알고 있을 때 특정 파라미터 값 Θ가 얼마나 그럴듯한지 설명
예) -4와 +1이 중심인 두 개의 가우시안 분포를 가진 1D 혼합 모델, 두 분포의 표준편차를 제어하기 위한 파라미터 Θ
왼쪽 위 그래프: 전체 모델 (x와 Θ의 함수 f(x;Θ))
- 미래 출력 x의 확률 분포를 예측하려면 모델 파라미터 Θ를 지정해야 함 (왼쪽 아래 그래프: Θ=1.3으로 설정한 경우 얻게 되는 확률 밀도 함수)
오른쪽 위 그래프: 가능도 함수 (Θ를 모른 채 샘플 x=2.5 하나를 관측한 경우 얻게 되는 함수)
PDF는 x의 함수, 가능도 함수는 Θ의 함수
가능도 함수는 확률 분포가 아님. (가능한 모든 Θ에 대해서 가능도 함수를 적분하면 언제나 1이 아님. 어떤 양숫값도 될 수 있음)
최대 가능도 추정 (MLE) - 데이터셋 X가 주어졌을 때 일반적으로 모델 파라미터에 대해 가장 그럴듯한 값을 예측함. 이를 위해 X에 대한 가능도 함수를 최대화하는 값을 찾아야 함.
- 최대 사후 확률 (MAP) - Θ에 대한 사전 확률 분포 g가 존재한다면 L(Θ|x)를 최대화하는 것보다 L(Θ|x)g(Θ)를 최대화하는 것이 가능 (??)
  - MAP가 파라미터 값을 제약하므로 이를 MLE의 규제 버전이라고 생각할 수 있음
로그 가능도 최대화 - 로그는 곱셈을 덧셈으로 바꿀 수 있는 성질이 있기 때문에 일반적으로 로그 가능도를 최대화하는 것이 더 쉬움. (로그 함수는 증가함수 이므로 가능도 함수를 최대화하는 것은 이 함수의 로그를 최대화하는 것과 동일.)
가능도 함수를 최대화하는 Θ값을 추정하고 나면 AIC와 BIC를 계산하기 위해 필요한 값 L^를 계산할 준비가 됨.
- 이는 모델이 데이터에 얼마나 잘 맞는지 측정하는 값으로 생각할 수 있음
- 코드
```
# bic()와 aic() 메서드를 사용해 계산
gm.bic(X)
gm.aic(X)
```

여러 가지 클러스터 개수 k에 대한 AIC와 BIC
- k=3에서 BIC와 AIC가 모두 가장 작음
- covariance_type 매개변수에 대해 최선의 값을 탐색할 수도 있음

9.2.3 베이즈 가우시안 혼합 모델

최적의 클러스터 개수를 수동으로 찾지 않고 불필요한 클러스터의 가중치를 0으로 만드는 BayesianGaussianMixture 클래스

n_components를 최적의 클러스터 개수보다 크다고 믿을 만한 값으로 지정 => 자동을 불필요한 클러스터 제거

클러스터 파라미터 (가중치, 평균, 공분산 행렬 등)는 고정된 모델 파라미터가 아니라 잠재 확률 변수로 취급

베타 분포는 고정 범위 안에 값을 가진 확률 변수를 모델링할 때 자주 사용, 현재는 0과 1사이로 가중치를 모델링

SBP(Stick-breaking process)는 Φ = [0.3, 0.6, 0.5, ...] 클래스 0에 30% 할당, 남은 샘플 중 60%가 클래스 1에 할당, ... 되는 방식

위샤트 분포를 통해 공분산 행렬 샘플링

weight_concentration_prior 매개변수로 클러스터 개수에 대한 사전 믿음을 조정

ex 클러스터가 적을 것이라는 사전 믿음 (낮은 농도, 0.01)을 사전 확률이라는 확률 분포 p(z)에 인코딩

베이즈 정리: X가 주어졌을 때 z의 조건부 확률인 사후 확률 분포 p(z|X)를 계산하는 것이 목표 $p(z|X)$ = 사후 확률 = 가능도 x 사전 확률 / 증거 = $p(X|z)p(z) \over p(X)$

그런데 문제는 분모의 p(X)는 계산하기 어려움, 우리가 아는 것은 p(X|z)뿐이고, 이때 가능한 모든 z값에 대해 적분해야 구할 수 있음 => 변분 추론 variational inference 이용

이는 q(z; λ)를 잘 선택하여 q(z)가 p(z|X)의 좋은 근사값이 되도록 λ를 잘 조정 ( q(z)에서 p(z|X)로 Kullback Leibler 발산)

이때 KL 발산을 최소화하기 위해 ELBO를 최대화 (이 최대화를 간단하게 수행하기 위해 블랙박스 확률적 변분 추론 BBSVI 를 사용, 이는 경사 상승법을 활용하여 λ에 대한 그레이디언트를 추정)

BayesianGaussianMixture 클래스의 계산 복잡도는 GaussianMixture 클래스의 복잡도와 비슷하지만 일반적으로 훨씬 느림

9.2.1 가우시안 혼합을 사용한 이상치 탐지

이상치 탐지 (outlier detection) 는 보통과 많이 다른 샘플을 감지하는 작업

이를 이상치 outlier 라고 하고, 보통 샘플은 정상치 inlier 라고 함

가우시안 혼합 모델에서는 밀도가 낮은 지역에 있는 모든 샘플을 이상치로 볼 수 있음

이를 위해 필요한 임곗값은 거짓양성이 많다면 낮추고, 거짓 음성이 많다면 높이는 방식으로 설정 (-> 일반적인 정밀도/재현율 트레이드 오프)

거짓 양성 - 정상 제품이 결함으로 표시된 경우
거짓 음성 - 결함 제품이 결함으로 표시되지 않은 경우

특이치 탐지 novelty detection 와 비슷해보이지만, 특이치 탐지의 경우 오염되지 않은 깨끗한 데이터셋에서 훈련하는 점이 다름

이상치 탐지는 이런 가정을 하지 않고 데이터셋을 정제하는 데 자주 사용됨

TIP: 가우시한 혼합 모델은 이상치를 포함해 모든 데이터에 맞추려고 함. 따라서 먼저 한 모델을 훈련하고 가장 크게 벗어난 이상치를 제거한 뒤 정제된 데이터셋에서 모델을 다시 훈련하거나 안정적인 공분산 추정 방법을 사용하는 방법을 추천

# 4번째 백분위수 (4%)를 밀도 임곗값으로 사용하여 이상치를 구분하는 방법
densities = gm.score_samples(X)
density_threshold = np.percentile(densities, 4)
anomalies = X[densities < density_threshold]

9.2.4 이상치 탐지와 특이치 탐지를 위한 다른 알고리즘

사이킷런에서 제공하는 이상치 탐지 및 특이치 탐지를 위한 알고리즘 일부 소개

PCA Principal Component Analysis

chapter 8.3 확인 (#40)
보통 샘플의 재구성 오차와 이상치 재구성 오차를 비교하면 일반적으로 후자가 훨씬 큼
간단하고 종종 매우 효과적인 이상치 탐지 기법

Fast-MCD minimum covariance determinant

이상치 감지에 유용한 EllipticEnvelope 클래스에서 구현된 알고리즘
특히 데이터셋 정제할 때 사용
보통 샘플(정상치)가 혼합된 것이 아니라 하나의 가우시안 분포에서 생성되었다고 가정함 또한 이 가우시안 분포에서 생성되지 않은 이상치로 이 데이터셋이 오염되었다고 가정
이상치로 의심되는 샘플을 무시해서 타원형을 잘 추정하고 이상치를 잘 구분하도록 도움

아이솔레이션 포레스트

특히 고차원 데이터셋에서 이상치 감지를 위한 효율적인 알고리즘
무작위로 성장한 결정 트리로 구성된 랜덤 포레스트를 만들고 각 노드에서 특성을 랜덤하게 선택한 후 랜덤한 임곗값을 골라 데이터셋을 둘로 나눔. 이런 식으로 데이터셋은 점차 분리되어 모든 샘플이 다른 샘플과 격리될 때까지 진행됨
이상치는 일반적으로 다른 샘플과 멀리 떨어져 있으므로 평균적으로 정상 샘플과 적은 단계에서 격리됨

LOF local outlier factor

이상치 탐지에 유용한 알고리즘
주어진 샘플 주위의 밀도와 이웃 주위의 밀도를 비교. 이상치는 k개의 최근접 이웃보다 더 격리됨

one-class SVM

특이치 탐지에 잘 맞고, 특히 고차원 데이터셋에서 잘 동작하는 알고리즘
커널 SVM 분류기가 두 클래스를 분리하는 방법과 비슷
모든 샘플을 고차원 공간에 매핑한 뒤 선형 SVM 분류기를 사용해서 두 클래스를 분리
여기서는 샘플의 클래스가 하나이므로 대신 one-class SVM 알고리즘이 원본 공간으로부터 고차원 공간에 있는 샘플을 분리
원본 공간에서는 모든 샘플을 둘러싼 작은 영역을 찾는 것에 해당하고, 새로운 샘플이 이 영역에 놓이지 않으면 이상치로 판단
커널 SVM을 위한 하이퍼파라미터 하나와 마진 하이퍼파라미터가 있음
마진은 실제 정상인 새로운 샘플을 실수로 이상치로 판단한 확률
모든 SVM과 마찬가리로 대규모 데이터셋으로의 확장은 어려움

njs03332 / ml_study