12, 13 피드백

[lIms0]

• p.14

  • k-nn에서 거리를 측정할 때 유클리드 거리 외에도 사용하는 거리
  • k-nn에서 k를 정하는 알고리즘(K가 각 도메인별로 쓰는 어떤 매트릭 사용하는지, K는 이상치에 따라 분류가 달라짐)

• p.17

  • L1, L2 들 중 어떤 것을 더 많이 사용하는지, 어디에 사용하는지 수식이랑 같이 보기
  • 맨해튼 거리를 잘 쓰지 않는 이유: 가중치 0 -> 가중치 x -> 학습이 안 될 수 있음 (수식과 그래프를 같이 보기)

• p.24~26

  • k-fold 교차 검증에는 2가지 방법이 있음
  • 2가지의 차이를 알기
  • 불균형일 때 사용하는 교차검증은 어떤 것인지

• p.27

  • k-nn과 k-means에서 k를 구하는 알고리즘과 공식
  • 실수엣 검증, 엘보우
  • k-means에서 이상치를 보완하기 위해서는 DBSCAN, HDBSCAN
  • k를 정하기 않아도 되는 군집화 찾아보기(스태킹 앙상블)

++ 군집화 파트에서 분류 / 군집 다시 정리하기

• 군집화가 잘 되었는지 확인하는 법: 밀도, 얼마나 다양하게 군집되었는지 -> 실루엣 스코어

++ 코드 볼 때 라이브러리 사이트 봐 보기 http://scikit-learn.org/

[lIms0]

K-NN 거리 측정 방법

유클리드 거리 Euclidean Distance

• k-nn 알고리즘은 일반적으로 유클리드 계산법을 사용

• 두 점 사이의 거리를 계산하는 기법

• 2차원에 있는 점 a와 b 사이의 거리를 구하는 공식

• n차원에서의 두 점 사이의 거리 구하는 공식

맨해튼 거리 Manhattan Distance

• k-nn 알고리즘 내부의 거리 측정 방법으로 사용됨

• 유클리드 거리와의 차이: 각 차원의 차를 제곱해서 사용하는 게 아니라 절대값을 바로 합산

• 초록색 직선 > 유클리드 거리 (검은색 두 점 사이의 최단거리)

• 빨간색, 파란색, 노란색 > 맨해튼 거리(세 선의 총 거리가 동일함)

• 2차원에서 점 a와 b 사이의 맨해튼

• 맨해튼 거리는 항상 유클리드 거리보다 크거나 같다

• n차원에서의 두 점 사이의 맨해튼

해밍 거리 Hamming Distance

• 두 정수 또는 두 문자열의 차이
• 같은 길이의 두 문자열에서 대응하는 위치에 있는 다른 문자의 개수
• 문자열의 경우: 다른 자리의 문자 개수
• 이진수의 경우: 다른 위치의 비트 개수
• 한 문자열을 다른 문자열로 변형할 때 필요한 치환 횟수
• 최소값:0 최댓값:문자열 길이

[lIms0]

k-nn k값 결정

• 동점을 만들지 않기 위해 k는 홀수를 사용
• 보통 데이터 수의 제곱근 근처에서 찾음
• k가 최대값이 되면 이것은 train의 개수를 의미하기에 평균 모델이 된다
• 교차 검증(Cross-Validation): 데이터를 훈련 세트로 나눈 후, 다양한 K 값에 대해 모델을 훈련하고 검증 세트에서 성능을 평가함 이를 통해 최적의 K값을 찾을 수 있음

k-nn 변수 값 범위 재조정을 해야 하는 이유

• 거리를 잴 때에는 숫자를 다루므로 변수 값 범위를 재조정해 주어야 변수의 중요도를 고르게 해석할 수 있음

min-max normalization

• 변수의 범위를 0%에서 100%까지 나타냄

z-score standardizatoin

• 변수의 범위를 정규분포화하여 평균을 0, 표준편차가 1이 되도록 함

[lIms0]

정규화

Scaling

• 데이터의 범위를 임의로 조정하는 것

• 데이터 분포의 모양은 변하지 않고 기존 데이터와 동일한 비율을 유지한 채 범위를 조정

• 사용 목적

  • 독립된 여러 개의 변수를 사용할 때 각 변수 별로 단위가 다를 경우, 학습 시에 미치는 중요도가 달라지는 문제를 방지
  • 경사하강법과 같은 방법론을 사용할 때 수렴 속도를 높여줌
  • 신경망에서 시그모이드 함수와 같은 활성 함수를 사용할 때 saturation 현상이 빨리 일어나지 않도록 도와줌
  • 딥러닝에서 Loacal Minumum에 빠질 위험을 감소시켜 줌

• 대표적인 기법

  • Min Max
  • Max Abs
  • Robust
  • Standard

    Min Max Scaling

• 최소값은 0, 최대 값은 1

• 모든 데이터가 [0, 1] 범위 안에 들어가도록 조절하는 기법

• Min Max normalization, Rescaling, 최소 최대 정규화, Scaling, Normalization이라고도 불림

Max Abs

• 절댓값이 가장 큰 수의 절대값으로 전체를 나누어 모든 데이터의 범위를 [-1, 1]으로 조절하는 기법

Robust

• 중앙값과 IQR을 활용하여 아웃라이어의 영향을 적게 받는 것이 특징
• 단, 미리 결정된 범위로 조정하는 것이 아니라 앞에서 정의한 Scaling의 조건을 온전히 만족하지 못함

Standard

• Z-Score Normalization와 같은 기법
• Robust와 같은 이유로 scaling이라고 보기에 어려움이 있음, Standardization으로 구분하여 지칭

standardization

• 데이터를 평균 0, 표준편차 1인 표준정규분포로 만들어 주는 기법

• Z-Score Normalization, 표준화, 일반화, Z-Score 정규화라고도 불림

• 평균으로 구한 분포의 표준 편차를 1로 맞추기 위해 데이터를 바꾸는 것

• 각 feature 간의 상대적 거리를 왜곡시킬 수 있는 점을 고려하여야 함

• 사용 목적

  • 정규 분포를 표준 정규 분포로 변환시켜 주어 서로 다른 자료들을 쉽게 비교 분석할 수 있도록 만들어 줌
  • 모든 정규 분포에 대한 확률을 쉽게 구할 수 있음
  • 딥러닝 알고리즘에서 (특히 회귀 타입의 모델을 사용할 때), zero mean and unit variance 데이터를 필요로 하는 경우에도 종종 사용됨

regularization

• 가중치를 조정할 때 추가적인 제약을 주는 것

• 사용 목적

  • 학습 데이터에 대한 민감도를 낮춰 줌
  • 과적합을 방지하기 위해 사용됨

• 대표적인 기법

  • Ridge
  • Lasso
  • Elastic Net

Ridge

• L2 norm을 사용하여 가중치에 규제를 가하는 기법
• 가장 일반적으로 사용되는 기법
• 변수 간 상관관계가 높아도 좋은 성능을 보이고, 크기가 큰 변수를 우선적으로 줄이는 것이 특징
• L2 regularization, L2 정칙화, L2 규제, 릿지, Normalization이라고도 불림
• 적용 예시

Lasso

• L1 norm을 사용하여 가중치에 규제를 가하는 기법
• 변수 선택이 가능하고, 비중요 변수를 우선적으로 줄이는 것이 특징
• L1 regularization, L1 정칙화, L1 규제, 라쏘라고도 불림
• 적용 예시

Elastic Net

• Ridge와 Lasso 두 방법론을 혼합한 유형
• 변수 선택이 가능하고 상관관계가 큰 변수를 동시에 선택하고 배제 있는 것이 특징
• 적용 예시

추가적으로 사용되는 Regularizatoin

• Fused Lasso: 인접한 변수들을 동시에 선택하는 정규화 기법
• Group Lasso: 사용자가 정의한 그룹 단위로 변수를 선택하는 정규화 기법
• Graph Constrained Reaularization: 사용자가 정의한 그래프의 연결관계에 따라 변수를 선택하는 정규화 기법

[lIms0]

교차 검증

• train set로 모델을 훈련, test set로 모델로만 검증할 경우 생기는 문제점을 해결
  • 고정된 test set 을 통해 모델의 성능을 검증하고 수정하는 과정을 반복하면, 그 모델은 test set에만 잘 동작하는 모델이 됨
  • 이럴 경우, test set에 overfitting 과적합하게 되므로, 다른 실제 데이터를 가져와 예측을 수행할 경우 잘못된 결과가 나올 수 있음
• 이럴 경우 train set을 train set + validation set으로 분리한 뒤, validation set을 사용해 검증

교차 검증의 장점과 단점

장점

• 모든 데이터셋을 훈련에 활용할 수 있음

  • 정확도를 향상시킬 수 있음
  • 데이터 부족으로 인한 underfitting 과소적합을 방지할 수 있음

• 모든 데이터셋을 평가에 활용할 수 있음

  • 평가에 사용되는 데이터 편중을 막을 수 있음
  • 평가 결과에 따라 좀 더 일반화된 모델을 만들 수 있음

단점

• Iteration 횟수가 많기 때문에 모델 훈련/평가 시간이 오래 걸림

교차 검증 기법 종류

• K-Fold Cross Validation
• Stratified K-Fold Cross Validation 계층별

[lIms0]

K-Fold Cross Validation

• 가장 일반적으로 사용되는 교차 검증 방법
• 보통 회귀 모델에 사용되며, 데이터가 독립적이고 동일한 분포를 가진 경우에 사용됨

K-Fold 교차 검증 과정

1. 전체 데이터셋을 Traning set과 Test set으로 나눈다.
2. Traning set를 Training set + Validation set으로 사용하기 위해 k개의 폴드로 나눈다.
3. 첫 번째 폴드를 Validation Set으로 사용하고 나머지 폴드들을 Training set으로 사용한다.
4. 모델을 Training한 뒤, 첫 번째 Validation set으로 평가한다.
5. 차례대로 다음 폴드를 Validation set을 사용하며 3번 과정을 반복한다.
6. 총 K개의 성능 결과가 나오며, 이 K개의 평균을 해당 학습 모델의 성능이라고 한다.

[lIms0]

Stratified cross validatoin

• 데이터가 편향되어 있을 경우(몰려 있을 경우) 단순 k-겹 교차 검증을 사용할 경우 성능 평가가 잘 되지 않을 수 있기에 그럴 경우 사용
• 원본 데이터에서 레이블 분포를 먼저 고려한 뒤, 이 분포와 동일하게 train 및 validation set를 분배함

[lIms0]

K-Means 최적의 K값 탐색

엘보우 방법

• k-means 알고리즘을 실행할 때, 클러스터 개수(K)를 점차 증가시키면서 클러스터링을 수행하고, 이에 따른 SSE(Sum of Squared Errors) 값을 계산하여 그래프로 나타내어 최적의 k값을 선택하는 방법
  • SSE: 각 데이터 포인트와 해당 클러스터링 중심점 사이의 거리를 제곱한 값의 합
  • SSE의 값이 작을수록 클러스터링 성능이 좋다고 판단
• 엘보우 방법에서는 클러스터 개수(K)를 증가시키면서 SSE 값을 계산하고 이를 그래프로 나타냄
• 이때 , SSE 값이 감소하는 정도가 급격하게 줄어드는 지점을 최적의 K값으로 선택

실루엣 분석 Silhouette Analysis

• 각 데이터 포인트가 속한 클러스터의 일관성을 측정하여 최적의 K값을 찾는 방법
• 각 데이터 포인트의 실루엣 계수를 계산하여 전체 데이터 포인트의 평균 실루엣 계수를 구함
• 실루엣 계수는 클러스터의 일관성을 나타내며, 값이 높을수록 클러스터링 결과가 좋다는 것을 의미
• 계산 방법
  1. 데이터 포인트 i와 같은 클러스터 내의 모든 데이터 포인트 간의 거리의 평균 a(i)로 계산
  2. 데이터 포인트 i와 가장 가까운 클러스터와 모든 데이터 포인트 간의 거리 평균 b(i)로 계산
  3. 데이터 포인트 i의 실루엣 계수 s(i)는 (b(i)-a(i)) / max(a(i), b(i))로 계산
• 엘보우 방법과 달리 SSE 값이나 클러스터개수를 고려하지 않고 오직 클러스터링 성능만을 고려함