2022/8/25~2022/9/1 - Githubissues

8.5 LLE

지역 선형 임베딩 (locally linear embedding) - 또다른 비선형 차원 축소 기술

투영에 의존하지 않는 매니폴드 학습
각 훈련 샘플이 가장 가까운 이웃 (closest neighbor)에 얼마나 선형적으로 연관되어있는지를 측정
그 후 국부적인 관계가 가장 잘 보존되는 훈련 세트의 저차원 표현을 찾음
특히 잡음이 너무 많지 않은 경우 꼬인 매니폴드를 펼치는 데 잘 작동

사이킷런 코드


from sklearn.manifold import LocallyLinearEmbedding

lle = LocallyLinearEmbedding(n_components=2, n_neighbors=10) X_reduced = lle.fit_transform(X)

- 결과 2D 데이터셋 - 스위스 롤이 완전히 펼쳐졌고 지역적으로는 샘플 간 거리가 잘 보존되어 있음 - 그러나 크게 보면 샘플 간 거리가 잘 유지되어있지 않음 (오른쪽은 압축되어있고 왼쪽은 확장되어있음) - 그럼에도 불구하고 LLE는 매니폴드를 모델링하는 데 잘 동작함 <img width="771" alt="스크린샷 2022-08-30 오후 11 44 29" src="https://user-images.githubusercontent.com/37107740/187467659-d9bb37c9-4730-427b-be88-48a2823b47aa.png"> - LLE의 작동 방식 - 1) 알고리즘이 각 훈련샘플 x(i)에 대해 가장 가까운 k개의 샘플을 찾고, 이 이웃에 대한 선형 함수로 x(i)를 재구성함 - x(i)와 Σmj=1wi,jx(j) 사이의 제곱 거리가 최소가 되는 wi,j를 찾음 - 여기서 x(j)가 x(i)의 가장 가까운 k개 이웃 중 하나가 아닐 경우에는 wi,j=0이 됨 - 이는 곧 아래 식과 같은 제한이 있는 최적화 문제가 됨 (W는 가중치 wi,j를 모두 담은 가중치 행렬, 두번째 제약은 각 훈련 샘플에 대한 가중치를 정규화하는 것) - 이 단계를 거치면 가중치 행렬 W^은 훈련 샘플 사이에 있는 지역 선형 관계를 담고 있음 <img width="692" alt="스크린샷 2022-08-30 오후 11 45 12" src="https://user-images.githubusercontent.com/37107740/187467773-35575a98-50b7-499f-871a-56432eae14fe.png"> - 2) 가능한 한 이 지역 선형 관계가 보존되도록 훈련 샘플을 d차원 공간 (d<n)으로 매핑함 - 만약 z(i)가 d차원 공간에서 x(i)의 상이라면 가능한 한 x(i)와 Σmj=1wi,jz(j) 사이의 거리가 최소화되어야 함 - 이는 곧 아래 식과 같은 최적화 문제가 됨 - 첫번째 단계와 달리 샘플을 고정하고 최적의 가중치를 찾는 대신 가중치를 고정하고 저차원의 공간에서 샘플 이미지의 최적 위치를 찾음 <img width="406" alt="스크린샷 2022-08-30 오후 11 45 25" src="https://user-images.githubusercontent.com/37107740/187467829-dcda7c37-d607-47dd-9e0b-74fa3c83d856.png"> - 사이킷런이 제공하는 LLE 구현의 계산 복잡도는 k개의 가장 가까운 이웃을 찾는데 O(nlog(m)nlog(k)), 가중치 최적화에 O(mnk3), 저차원 표현을 만드는 데 O(dm2) - 마지막 항의 m2 때문에 이 알고리즘을 대량의 데이터셋에 적용하기는 어려움

8.6 다른 차원 축소 기법

랜덤 투영

랜덤한 선형 투영을 사용해 데이터를 저차원 공간으로 투영

랜덤 투영이 실제로 거리를 잘 보존

차원 축소 품질은 초기 차원수에 의존적이지 않고, 목표 차원수에 따라 다름

다차원 스케일링 (MDS)

샘플간 거리를 보존하면서 차원 축소

Isomap

각 샘플을 가장 가까운 이웃과 연결하는 식으로 그래프 만들기

지오데식 거리를 유지하면서 차원 축소

t-SNE

비슷한 샘플은 가까이, 비슷하지 않은 샘플은 멀리 떨어지도록 차원 축소 (유사도 확률 계산)

특히 고차원 공간에 있는 샘플 군집 시각화에 주로 사용

알고리즘이 적용될 때마다 데이터 값이 바뀌므로 학습 데이터로 사용할 수 없음

LDA (선형 판별 분석)

분류 알고리즘이나, 클래스 사이를 잘 구분하는 축 학습 가능

투영을 통해 가증한 클래스 간의 사이를 멀리 떨어지게 유지하므로 SVM 분류기 같은 분류 알고리즘 적용하기 전에 차원 축소에 좋음

## MDS from sklearn.manifold import MDS mds = MDS(n_components=2, random_state=42) X_reduced_mds = mds.fit_transform(X) ## Isomap from sklearn.manifold import Isomap isomap = Isomap(n_components=2) X_reduced_isomap = isomap.fit_transform(X) ## TSNE from sklearn.manifold import TSNE tsne = TSNE(n_components=2, random_state=42) X_reduced_tsne = tsne.fit_transform(X)

8.4 커널 PCA

커널 트릭 : 샘플을 매우 높은 고차원 공간(특성 공간)으로 암묵적으로 매핑하여 서포트 벡터 머신의 비선형 분류와 회귀를 가능하게 하는 수학적 기법
고차원 특성 공간에서의 선형 결정 경계는 원본 공간에서는 복잡한 비선형 결정 경계에 해당함
커널 PCA (kPCA) : 커널 트릭을 PCA에 적용해 차원 축소를 위한 복잡한 비선형 투영
- 투영된 후에 샘플의 군집을 유지하거나 꼬인 매니폴드에 가까운 데이터셋을 펼칠 때도 유용
```
from sklearn.decomposition import KernelPCA
```

rbf_pca = KernelPCA(n_components = 2, kernel='rbf', gamma = 0.04) # rbf 외 다른 커널로도 설정 가능 X_reduced = rbf_pca.fit_transform(X)

- <img width="595" alt="image" src="https://user-images.githubusercontent.com/26505830/187891110-bfb4281d-5e5e-4d23-bcf4-33a329963d00.png">
- kPCA는 비지도 학습이기 때문에 좋은 커널과 하이퍼파라미터를 선택하기 위한 명확한 성능 측정 기준이 없음
- 하지만 차원 축소는 지도 학습(ex. 분류)의 전처리 단계로 활용되므로 그리드 탐색을 사용하여 주어진 문제에서 성능이 가장 좋은
커널과 하이퍼파라미터를 선택할 수 있음
```python
from sklearn.model_selection import GridSearchCV
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline

## 1. kPCA를 사용해 차원을 2차원으로 축소하고
## 분류를 위해 로지스틱 회귀 적용
clf = Pipeline([
("kpca", KernelPCA(n_components=2)),
("log_reg", LogisticRegression())
])

param_grid = [{
"kpca__gamma": np.linspace(0.03, 0.05, 10),
"kpca__kernel": ["rbf", "sigmoid"]
}]

## 2. 가장 높은 분류 정확도를 얻기 위해 GridSearchCV를 사용해
## kPCA의 가장 좋은 커널과 gamma 파라미터를 찾기
grid_search=GridSearchCV(clf, param_grid, cv=3)
grid_search.fit(X,y)

## 3. 가장 좋은 커널과 하이퍼파라미터는 best_params_ 변수에 저장
print(grid_search.best_params_)

위 방법 대신, 완전한 비지도 학습 방법으로, 가장 낮은 재구성 오차를 만드는 커널과 하이퍼파라미터를 선택하는 방식도 있음
- 특성맵을 사용하여 훈련 세트를 무한 차원의 특성 공간에 매핑한 후, 변환된 데이터셋을 선형 PCA를 사용해 2D로 투영한 것과 수학적으로 동일함
- 축소된 공간에 있는 샘플에 대해 선형 PCA를 역전시키면 재구성된 데이터 포인트는 원본 공간이 아닌 특성 공간에 놓이게 됨 (x 표현 그림)
- 재구성된 포인트에 가깝게 매핑된 원본 공간의 포인트를 찾아낼 수 있음 (= 재구성 원상)
- 원상을 가지고 원본 샘플과의 제곱 거리를 측정해서 오차를 최소화하는 커널과 하이퍼파라미터 선택 가능
```
## 재구성 방법 예시
## 투영된 샘플을 훈련세트로, 원본 샘플을 타깃으로 하는 지도 학습 회귀 모델을 훈련
## fit_inverse_transform=True 로 지정하면 자동으로 수행
## + fit_inverse_transform=False 가 기본값이므로, inverse_transform 메서드는 해당 파라미터가 rue 일 때만 생성됨
rbf_pca = KernelPCA(n_components=2, kernel="rbf", gamma=0.0433, fit_inverse_transform=True)
X_reduced = rbf_pca.fit_transform(X)
X_preimage = rbf_pca.inverse_transform(X_reduced)
```

재구성 원상 오차 계산

from sklearn.metrics import mean_squared_error mean_squared_error(X, X_preimage)

njs03332 / ml_study

2022/8/25~2022/9/1 #41