2022/09/15~2022/09/22

[danbi5228]

• 9/22 pm 10:50
• 1: k평균 속도 개선과 미니배치 k평균
• 2: 최적의 클러스터 개수 찾기
• 3: k평균의 한계

[njs03332]

9.1.2 k-평균의 한계

• 장점: 속도가 빠르고 확장이 용이함
• 단점
  • 최적이 아닌 솔루션을 피하려면 알고리즘을 여러 번 실행해야 함
  • 클러스터 개수를 지정해야 함
  • 클러스터의 크기나 밀집도가 서로 다르거나 원형 (구형)이 아닐 경우 잘 작동하지 않음
  • 데이터에 따라서 잘 수행할 수 있는 군집 알고리즘이 다름. (타원형 클러스터에서는 가우시안 혼합 모델이 잘 작동)
  • k-평균을 실행하기 전에 입력 특성의 스케일을 맞추는 것이 중요 (일반적으로 원형에 더 가까워져 결과가 더 좋아짐)

[danbi5228]

9.1.1 k-평균

최적의 클러스터 개수 찾기

• 지금까지는 데이터를 보고, 올바른 클러스터 갯수를 짐작할 수 있는 상태라서 데이터클러스터 개수 k를 5로 지정함
• 일반적으로 k를 어떻게 설정할 지 쉽게 알 수 없음
• 지표 1. 이너셔
  • 이너셔 : 각 샘플과 가장 가까운 센트로이드 사이의 제곱 거리의 합
  • 이너셔는 갯수 선택의 지표로 좋지 않음 - 이너셔는 k가 증가함에 따라 점점 작아지기 때문
  • 
  • 이너셔는 k가 4까지 증가할 때 빠르게 줄어들다가 계속 증가하면 이너셔는 훨씬 느리게 감소함
  • 정답 k 를 모른다면 4가 좋은 선택이 될 수 있음
  • 하지만 k 를 결정할 좋은 지표라고 보기 어려움
• 지표 2. 실루엣 점수
  • 실루엣 점수: 모든 샘플에 대한 실루엣 계수의 평균
  • 실루엣 계수 = (b - a) / max( a, b )
  • a: 동일한 클러스터에 있는 다른 샘플까지의 평균 거리. 즉 클러스터 내부의 평균 거리
  • b: 가장 가까운 클러스터까지 평균 거리. 즉 특정 샘플 자신이 속하지 않고 가장 가까운 클러스터의 샘플까지 평균 거리
  • 값 범위: -1 ~ +1
    • +1에 가까우면 자신이 클러스터 안에 잘 속해있고 다른 클러스터와 멀리 떨어져 있다는 의미
    • 0에 가까우면 클러스터 경계에 위치한다는 의미
    • -1에 가까우면 샘플이 잘못된 클러스터에 할당되었다는 의미
  • 실루엣 점수 비교
  • 
  • k=4가 좋은 선택이지만 k=5도 꽤 좋다는 것을 알 수 있음 (이너셔 값 비교 했을 때는 알 수 없었음)
  • 실루엣 다이어그램
  • 모든 샘플의 실루엣 계수를 할당된 클러스터와 계숫값으로 정렬하여 그린 그래프
  • 그래프의 높이: 클러스터가 포함하고 있는 샘플의 개수
  • 그래프의 너비: 클러스터에 포함된 샘플의 정렬된 실루엣 계수 (넓을수록 좋다)
  • 
  • 수직 파선은 각 클러스터 개수에 해당하는 실루엣 점수로, 샘플 대부분이 이 점수보다 낮은 계수를 가지면 다른 클러스터와 가깝다는 의미. 즉, 나쁜 클러스터임
  • k=4일 때 다른 클러스터에 비해 주황색 클러스터가 매우 크고, k=5일 때 모든 클러스터의 크기가 비슷함
  • 따라서 k=4일 때 실루엣 점수가 k=5일 때 보다 높더라도 비슷한 크기의 클러스터를 얻을 수 있는 k=5를 선택하는 것이 좋음

[givitallugot]

k-평균 속도 개선과 미니배치 k-평균

• 2013 찰스 엘칸, k-평균 알고리즘에 대해 불필요한 거리 계산을 많이 피해 알고리즘의 속도 향상, 삼각 부등식 사용 => KMeans 클래스에서 기본으로 사용 중
• 2010 데이비드 스컬리, 각 반복마다 미니배치를 사용해 센트로이드를 조금씩 이동하면 알고리즘의 속도를 3배에서 4배 정도 높임, 또한 메모리에 들어가지 않는 대량의 데이터셋에 군집 알고리즘 적용 가능 => MiniBatchKMeans 클래스에 구현
• 데이터셋이 메모리에 들어가지 않을 때, memmap 클래스 이용, partial_fit()은 한 번에 하나의 미니배치 전달 가능, 그러나 초기화를 여러 번 수행해야 함

  
  from sklearn.cluster import MiniBatchKMeans

minibatch_kmeans = MiniBatchKMeans(n_clusters=5, random_state=42) minibatch_kmeans.fit(X)

- 미니배치 K-평균 알고리즘이 일반 K-평균 알고리즘보다 이너셔가 조금 더 안 좋지만, 속도는 매우 빠름, 특히 클러스터 개수가 증가할 수록.
  - 이너셔(Inertia): K-mean 클러스터링의 성능 지표, 각 샘플과 가장 가까운 센트로이드 사이의 평균 제곱 거리를 측정한 수치
<img width=550 src=https://user-images.githubusercontent.com/50584633/191716008-2fa924aa-3615-4bbd-98b8-f719d0edcd7e.png>