8.2.2 매니폴드 학습

(투영으로 해결되지 않는) 고차원 공간에서 휘어지거나 뒤틀린 2D 모양 (ex) 스위스롤
매니폴드를 모델링 = 매니폴드 학습
이는 실제 고차원 데이터가 더 낮은 저차원 매니폴드에 가깝게 놓여 있다는 매니폴드 가정에 근거를 둠
example) MNIST 데이터에서 숫자는 주로 선으로 연결되고, 어느 정도 중앙에 위치, 따라서 아무 이미지나 생성할 때의 자유도보다는 숫자 이미지를 만들 때 가능한 자유도가 훨씬 낮음 => 저차원의 매니폴드로 압축할 수 있도록 도움
또 다른 가정은, 저차원의 매니폴드 공간에 표현되면 더 간단해질 것이라는 가정

njs03332 commented 2 years ago

8장. 차원 축소

차원의 저주: 머신러닝 문제에서 훈련 샘플 각각이 수천~수백만 개의 특성을 가지고 있는 경우, 훈련을 느리게 하고 좋은 솔루션을 찾기 어렵게 만듦
특성 수를 크게 줄여서 불가능한 문제를 가능한 범위로 변경할 수 있음
- 차원을 축소시키면 일부 정보가 유실됨
- 일반적으로 훈련 속도는 빨라지지만, 성능이 조금 나빠질 수 있음
- 작업 파이프라인이 조금 더 복잡해지고, 유지 관리가 어려워짐
- 차원 축소를 고려하기 전에 훈련이 너무 느린지 확인해봐야 함
- 어떤 경우에는 차원을 축소시키면 잡음이나 불필요한 세부사항을 걸러내 성능을 높이기도 함
차원 축소는 데이터 시각화에도 유용함
- 고차원 훈련 세트를 하나의 압축된 그래프로 그릴 수 있고 군집 같은 시각적인 패턴을 감지해 중요한 통찰을 얻을 수 있음
- 최종 결과를 사용하는 결정권자에게 판단을 설명하는데 사용 가능

고차원 공간을 직관적으로 상상하기 어려운데, 고차원 공간에서는 많은 것이 상당히 다르게 작동함
점을 무작위로 선택했을 때 경계선에서 0.001 이내에 위치할 가능성
- 단위 면적에서는 0.4%
- 10,000차원의 단위 면적을 가진 초입방체에서는 99.999999%보다 커짐 (대다수의 점은 경계와 매우 가까이 있음)
임의의 두 점을 선택했을 때 두 점 사이의 거리
- 단위 면적에서 평균적으로 0.52
- 1,000,000차원 초입방체에서는 408.25
- 고차원은 많은 공간을 가지고 있기 때문
- 고차원 데이터셋은 매우 희박할 위험이 있음 (대부분의 훈련 데이터가 서로 멀리 떨어져있음)
- 새로운 샘플도 훈련 샘플과 멀리 떨어져 있을 가능성이 높으므로, 예측을 위해 훨씬 많은 외삽 (extrapolation)을 해야함 -> 예측이 불안정함
- 즉, 훈련 세트의 차원이 클수록 과대적합 위험이 커짐
이론적으로 차원의 저주를 해결하는 방법: 훈련 샘플의 밀도가 충분히 높아질 대까지 훈련 세트의 크기 키우기
- 그러나 일정 밀도에 도달하기 위해 필요한 훈련 샘플 수는 차원 수가 커짐에 따라 기하급수적으로 늘어남

danbi5228 commented 2 years ago

주요 두 가지 방법: 투영, 매니폴드 학습
8.2.1 투영
대부분의 실전 문제의 경우, 훈련 샘플이 모든 차원에 걸쳐 균일하게 퍼져있지 않고, 고차원 공간 안의 저차원 부분 공간 subspace 에 (또는 가까이) 놓여있음
모든 훈련샘플이 거의 평면 형태로 놓여있고, 이것이 고차원(3D) 공간 안에 있는 저차원(2D) 부분 공간임
이 부분 공간에 수직으로, 샘플과 평면 사이의 가장 짧은 직선을 따라 투영하면 아래와 같은 2D 데이터셋을 얻을 수 있음
투영이 언제나 최선의 방법은 아님
스위스 롤 swiss roll 데이터셋처럼 부분 공간이 뒤틀리거나 휘어 있기도 함