Unsupervised learning

[LOOKatKimhyein]

Unsupervised learning

y label 이 존재하지 않은 data의 clustering

• 데이터 속 unknown patterns를 찾는다
• 분류(categorization)에 유용한 features를 찾는다
• 크게 Clustering과 차원축소(dimensionality reduction)로 나뉜다
• 지도학습에 쓰일 유효 feature를 위한 전처리 방법으로도 쓰인다

Clustering is the process of dividing the entire data into groups(also known as clusters) based on the patterns in the data

Clustering Types

• hierarchical clustering
• K-means clustering
• K-NN (k nearest neighbors)
• Principal Component Analysis(PCA)
• Singular Value Decomposition
• Independent Component Analysis

[https://www.analyticsvidhya.com/blog/2019/08/comprehensive-guide-k-means-clustering/]

(`)

• 쓰임예제
• Customer Segmentation
• Document Clustering
• Image Segmentation

[LOOKatKimhyein]

3

1) K-means Clustering

• centroid-based 알고리즘
• distance-based 알고리즘
• 목표 : cluster의 centroid를 기준으로 점들간의 distance 합을 최소화하고자 한다

1) cluster 갯수인 K를 설정한다 2) data중에서 k개의 중심점을 random으로 선택한다.

3) 각 cluster의 중심점에 가까운 쪽으로 data들을 할당한다 이 과정을 Expectaion STEP으로 칭하기도 한다

4) 생성된 cluster의 중심점으로 재설정한다 이 과정을 Maximization STEP으로 칭하기도 한다

5) 4)에서 재설정된 중심점을 기준으로 재 군집화(3,4번 과정을 반복)

언제까지 반복하여 중심을 찾아 clustering 하는가?

• cluster내의 중심점이 더이상 변하지 않는 경우
• 점들이 같은 cluster에 머무는 경우
• 설정한 maximum iteration에 도달하는 경우

https://www.analyticsvidhya.com/blog/2019/08/comprehensive-guide-k-means-clustering/

K-means clustering의 단점

• 군집 중심의 초기값에 따라 cluster가 달라질 수 있다 (-> K-Means++은 이를 보완하여 초기값을 선택할 수 있다)

• 군집의 크기가 다를 경우

• 군집의 밀도가 다를 경우

• 데이터 분포가 특이한 경우

=> 위 문제들은 cluster를 3개보다 더 늘릴 경우, 문제점이 해소될 수 있다.

K-means ++

1) data에서 첫번째 중심점만 random 선택

2) initial centroid 와 각 data point간의 거리 계산 D(x) 3) D(x)의 제곱값이 가장 큰 data point를 다음 중심점으로 선택

4) data point들은 가까운 중심점과의 거리를 재계산하여 제곱값이 가장 큰 점을 다음 중심점으로 선택

출처 https://www.analyticsvidhya.com/blog/2019/08/comprehensive-guide-k-means-clustering/

적정 군집 수 결정하는 방법 "elbow curve"

• 세로축은 평가 metric으로 Dunn index와 같은 값이 사용된다 (군집 타당성 지표로, 이 군집화가 얼마나 타당성이 있는가에 대한 지표)
• 군집의 수가 클수록 계산이 많이 필요하므로 자원도 고려하여 선택한다