components_ 속성에 첫d열로 구성된 행렬 (W^d) 의 전치가 담겨있음

ex) 첫번째 주 성분을 정의하는 단위벡터 구하기

pca.components_.T[:, 0]


### 8.3.5 설명된 분산의 비율
- ```explained_variance_ratio_```변수에 저장되어있음
- 각 주성분의 축을 따라 있는 데이터셋의 분산 비율을 나타냄
  - 아래 예시 기준, 데이터셋 분산의 84.2%가 첫 번째 PC를 따라 놓여있고, 14.6%가 두번째 PC를 따라 놓여있음을 의미
```python
pca.explained_variance_ratio_ # array([0.8428607, 0.14631839])

8.3.6 적절한 차원 수 선택하기

축소할 차원 수를 임의로 정하기 보다는 충분한 분산이 될 때까지 더해야할 차원 수를 선택하는 것이 좋다
- 데이터 시각화를 위해서는 2,3개로 줄이는 것이 일반적
  a. 차원을 축소하지 않고 PCA를 계산해서 필요한 최소 차원 수 계산
```
# 훈련 세트의 분산을 95%로 유지하는데 필요한 최소 차원 수 계산 
pca = PCA()
pca.fit(X_train)
cumsum = np.cumsum(pca.explained_variance_ratio_)
d = np.argmax(cumsum >= 0.95) + 1
```

유지하려는 주성분의 수를 지정하기보다는 보존하려는 분산의 비율(n_component)을 0 ~ 1 사이로 설정하는 것이 낫다

pca = PCA(n_component=0.95) # or n_component=d 로 설정? X_reduced = pca.fit_transform(X_train)



#### b. 설명된 분산을 차원 수에 대한 함수로 그려서 확인
- 방법 a 에서 cumsum을 그래프로 그리면 됨
- 설명된 분산의 빠른 성장이 멈추는 변곡점을 확인하여 축소할 차원 수로 정의
![image](https://user-images.githubusercontent.com/26505830/186409122-fbfb9348-900d-443f-9ef2-6a68c4673261.png)

givitallugot commented 2 years ago

8.3.7 압축을 위한 PCA

분산 95% 유지하면서도 데이터셋 크기는 원본의 20% 미만 => 분류 알고리즘의 속도를 높일 수 있음
다음 코드는 MNIST 데이터셋을 154차원으로 압축하고 inverse_transform() 메서드를 활용하여 784차원으로 복원 => 5%를 잃었기 때문에 완벽히 동일한 원본을 얻을 수는 없지만 거의 비슷
```
pca = PCA(n_components=154)
X_reduced = pca.fit_transform(X_train)
X_recovered = pca.inverse_transform(X_reduced)
```

8.3.8 랜덤 PCA

svd_solver 매개변수를 "radomized"로 지정하면 사이킷런은 랜덤 PCA라고 부르는 확률적 알고리즘으로 처음 d개의 주성분에 대한 근삿값을 빠르게 찾음

관측치가 차원보다 많이 작으면 완전 SVD보다 훨씬 빠름

rnd_pca = PCA(n_components=154, svd_solver="randomized", random_state=42)
X_reduced = rnd_pca.fit_transform(X_train)

default는 "auto"인데, 차원이 500보다 크거나 관측치수가 차원의 80%보다 작으면 사이킷런은 자동으로 랜덤 PCA 알고리즘을 사용
svd_solver 매개 변수를 "full"로 지정하면 완전한 SVD 방식 강제

8.3.9 점진적 PCA

PCA는 SVD 알고리즘을 실행하기 위해 전체 훈련 세트를 메모리에 올려야한다는 문제 존재 => 점진적 PCA 알고리즘 개발
미니배치로 훈련 세트를 나눈 뒤 IPCA 알고리즘에 하나씩 주입
1. 훈련 세트가 클 때, 2. 온라인으로 PCA를 적용할 때(실시간으로 데이터가 준비되는 대로 적용할 때) 유용
```
from sklearn.decomposition import IncrementalPCA
```

n_batches = 100 inc_pca = IncrementalPCA(n_components=154) for X_batch in np.array_split(X_train, n_batches): print(".", end="") # 책에는 없음 inc_pca.partial_fit(X_batch)

X_reduced = inc_pca.transform(X_train)


- 위 코드는 100개의 미니배치로 나누고, 차원을 줄이는 것, fit() 메서드가 아니라 partial_fit() 메서드를 호출

njs03332 commented 2 years ago

8.3 PCA

주성분 분석 (PCA) : 데이터와 가장 가까운 초평면을 정의한 뒤 데이터를 이 평면에 투영시킴
8.3.1 분산 보존
올바른 초평면 선택 방법: 분산이 최대로 보존되는 축 선택 (정보 손실 최소화)
- 원본 데이터셋과 투영된 것 사이의 평균 제곱 거리를 최소화하는 축
  8.3.2 주성분
PCA는 훈련 세트에서 분산이 최대인 축을 찾은 뒤,
첫 번재 축에 직교하고 남은 분산을 최대한 보존하는 두번째 축을 찾고,
...
n번째 축을 찾음
i 번째 축을 이 데이터의 i번째 주성분 (PC)이라고 부름
각 주성분을 위해 PCA는 주성분 방향을 가리키고 원점에 중앙이 맞춰진 단위 벡터를 찾음
- 하나의 축에 단위 벡터가 반대 방향으로 두 개 있으므로 주성분의 방향은 일정하지 않음
훈련 세트의 주성분을 찾는 방법: 특잇값 분해 (SVD)
- 훈련 세트 행렬 X를 세 개 행렬의 행렬 곱셈인 UΣV^T로 분해할 수 있고, 여기서 찾고자 하는 모든 주성분의 단위 벡터가 V에 담겨 있음 (식 8-1)
넘파이의 svd() 함수를 사용해 훈련 세트의 모든 주성분을 구한 후 처음 두 개의 PC를 정의하는 두 개의 단위 벡터 추출
```
X_centered = X - X.mean(axis=0)
U, s, Vt = np.linalg.svd(X_centered)
c1 = Vt.T[:, 0]
c2 = Vt.T[:, 1]
```
PCA는 데이터셋의 평균이 0이라고 가정함
- 직접 PCA를 구현하는 경우 데이터를 원점에 맞추는 것 잊지 말기
  8.3.3 d차원으로 투영하기
처음 d 개의 주성분으로 정의한 초평면에 투영하여 데이터셋을 d차원으로 축소시킬 수 있음
- 분산을 최대로 보존하는 투영
d차원으로 축소된 데이터셋 X^d-proj을 얻기 위해서는 행렬 X와 V의 첫 d열로 구성된 행렬 W_d를 행렬곱셈하면 됨
```
W2 = Vt.T[:, :2]
X2D = X_centered.dot(W2)
```

njs03332 / ml_study

2022/08/18~2022/08/24 #40

8.3.4 사이킷런 사용하기

components_ 속성에 첫d열로 구성된 행렬 (W^d) 의 전치가 담겨있음

ex) 첫번째 주 성분을 정의하는 단위벡터 구하기

8.3.6 적절한 차원 수 선택하기

a. 차원을 축소하지 않고 PCA를 계산해서 필요한 최소 차원 수 계산

유지하려는 주성분의 수를 지정하기보다는 보존하려는 분산의 비율(n_component)을 0 ~ 1 사이로 설정하는 것이 낫다

8.3.7 압축을 위한 PCA

8.3.8 랜덤 PCA

8.3.9 점진적 PCA

8.3 PCA

8.3.1 분산 보존

8.3.2 주성분

8.3.3 d차원으로 투영하기