9, 10, 11 피드백

[lIms0]

공부해야 하는 것

• p.24

  • 지도 기계 학습은 학습을 어떻게 수행하는 건지(오차를 줄여가는 것)

• p.27

  • 로지스틱 회귀는 회귀분석에서 쓰지 않음 로지스틱 회귀 알아보기
  • 분류와 회귀를 쓰는 모델 찾아서 정리하기

• p.30

  • 군집화 대표적인 모델 k-means / 지도 학습 KNN과의 차이점
  • K의 의미

• p.41

  • L1, L2가 의미하는 것
  • L1 절댓값 -> 멘헤튼 거리
  • L2 제곱합 -> 유클리드 거리

• p.47

  • MAE, MSE 등 점차 변형된 것인데 순서와 어떻게, 왜 변형되었는지 알아보기

• p.48~50 라이브러리 쓰지 않고 오차 구해 보기

• p.55

  • F1 Score: 왜 조합 평균 사용하는지, 영어 표현 사용하여 발표해 보기

• 분산 편향 절충 공부하기, 오버피팅 언더피팅과 관련해서

ppt 수정

• p.21

  • 적절한 그림 찾아서 넣기

• p.24

  • 영어 표현 사용하기, 표현 통일하기 ex) 지도 기계 학습, 지도 학습 등

[lIms0]

지도 학습

• 훈련 세트를 사용하여 원하는 출력을 산출하도록 교육함
• 이 훈련 세트에는 입력 및 올바른 출력이 포함되어 있으며, 이를 통해 시간이 지남에 따라 모델이 학습할 수 있음
• 손실함수를 통해 해당 정확도를 측정하며, 오류가 충분히 최소화될 때까지 조정함
  • 손실함수: 회귀 모델들은 학습을 하며 손실 함수가 반환하는 값을 점점 줄여나가고 최소의 오류 값을 찾아감
  • RSS는 잔차 값을 제곱하여 더하는 방식
  • 실제 값과 모델 값의 차이는 양수와 음수의 값을 전부 그대로 합하면 잔차의 합이 오히려 줄어들 수 있기에 절댓값을 취하거나 RSS처럼 제곱을 해서 합

분류와 관련된 알고리즘

• 서포트 벡터 머신(SVM)

  • 데이터 분류 및 회귀 분석 모두 사용됨
  • 일반적으로 분류 문제에 활용되며 데이터 포인트의 두 클래스 간의 거리가 최대인 초평면을 구성
  • 초평면을 결정 경계라고 함, 평면의 양쪽에서 데이터 포인트의 클래스를 구분

• K-NN(K-최근접이웃법 K-nearest neighbor)

  • 비슷한 특성을 가진 데이터는 비슷한 번주에 속하는 경향이 있다는 가정 하에 사용
  • 주변의 가장 가까운 K개의 데이터를 보고 데이터가 속할 그룹을 판단하는 알고리즘
  • 거리를 측정할 때 유클리드 거리(Euclidean distance)를 사용함
  • K 값에 따라 분류가 달라질 수 있음
  • 장점: 직관적으로 추론이 가능하며, 극단적인 값의 영향을 적게 받음, 단순해서 구현하기 쉬움, 훈련 단계가 매우 빠르게 수행됨
  • 단점: 이상치 샘플을 제대로 예측할 수 없음, 특징과 클래스 간 관계를 이해하는데 제한적, 적절한 K의 선택이 필요, 데이터가 많아지면 분류 단계가 느림

• 랜덤 포레스트

  • 분류 및 회귀분석 목적으로 모두 사용됨
  • 전체 feature 중 랜덤으로 일부 Feature만 선택해 하나의 결정 트리를 만들고, 또 전체 Feature만 선택해 하나의 결정 트리를 만들고
  • 또 전체 Feature 중 랜덤으로 일부 Feature을 선택해 또 다른 결정 트리를 만들며, 여러 개의 의사 결정 트리를 만드는 방식으로 구성
  • 의사 결정 트리마다 하나의 예측 값을 내놓음
  • 가장 많이 나온 값을 최종 예측값으로 정함(다수결의 원칙을 따름)
  • '포레스트'는 상관관계가 없는 결정 트리의 콜렉션을 참조한 후, 분산을 줄여, 보다 정확한 데이터 예측을 생성하기 위해 함께 병합

• 의사 결정 트리

  • 특정 Feature에 대한 질문을 기반으로 데이터를 분리하는 방법
  • 특징: 내부적인 기준을 통해 참/거짓을 판별한 후 노드가 뻗어나가는 형태
  • 장점: 전처리가 필요 없고 모델이 훈련된 과정을 명확하게 알 수 있음
  • 단점: overfitting이 발생할 수 있음

회귀와 관련된 알고리즘

회귀: 예측값이 실수

• 선형 회귀 분석

  • 독립변수의 개수에 따라 1개인 경우 단일 회귀, 여러 개일 경우 다중 회귀
  • 회귀 계수가 선형인가 비선형에 따라 나뉘어짐
  • 특징: 독립변수 X와 종속변수 Y의 관계를 선형으로 모델링한 것(y = wx+b)
  • 장점: 비교적 간단하고 성능이 뛰어난 편에 속함
  • 단점: 음수값이 안 되는 상황에선 단순 선형 회귀를 사용할 수 없음

• 로지스틱 회귀

  • 데이터가 어떤 범주에 속할 확률을 0에서 1사이의 값으로 예측하고 그 확률에 따라 가능성이 더 높은 범주에 속하는 것으로 분류함, 데이터가 2개의 범주 중 하나에 속하도록 결정하는 이진 분류
  • 특징
  • 선형 회귀를 사용하여 데이터가 특정 클래스에 속할 확률을 예측하고, 그 확률에 따라 분류를 수행함
  • 선형회귀는 확률 예측을 위한 기반을 제공하고, 최종적으로 로지스틱 함수를 통해 확률을 변환하여 0 또는 1 사이의 값을 매핑하고, 이를 기반으로 데이터를 분류
  • 장점: 출력값이 0~1의 범위로 나오므로 확률 판정에 적합함
  • 단점
  • 시그모이드 함수의 입력값이 0일 때 출력이 정해지지 않음
  • 비선형 문제를 해결할 수 없음
  • 데이터 표시에 크게 의존함
  • overfitting에 취약함

• 경사 하강법(Gradient Descent)

  • 손실함수를 최소화하는 방식, 반복적인 계산을 통해 손실함수가 최소가 되는 회귀계수(가중치)를 찾는 과정
  • 최초 위치에서부터 미분을 적용하고, 미분값이 감소하는 방향으로 가중치를 재조정한다.
  • 반복하면서 미분된 값이 0에 가장 가까운 최소의 지점을 찾으면 마치게 됨

[lIms0]

k-means k-평균

• k개의 군집으로 묶는 알고리즘
• 각 군집의 평균을 활용하여 k개의 군집으로 묶는다.
• K는 묶을 군집의 개수를 의미
• 비슷한 특성을 지닌 데이터들끼리 묶어 K개의 군집으로 만드는 군집화 기법

k-means 원리

1) 군집의 개수 K개를 설정하고 K개의 군집의 초기 중심점 설정

• 군집화 개수만큼 임의의 위치에 가져다 놓음
• 군집의 개수에 따라 결과가 크게 변함
• 초기 중심값 설정 방법
  • 무작위로 선택
  • 수동 할당
  • K-means++: K개의 임의의 중심점(Centroid)를 배치하고 각 데이터들을 가장 가까운 중심점으로 할당한다.(일종의 군집을 형성), 군집으로 지정된 데이터들을 기반으로 해당 군집의 중심점을 업데이트하고, 중심점이 업데이트 되지 않을 때까지 이를 반복함.
    • 사용법: 모델을 불러올 때 init = 'k-means++'

      from sklearn.cluster import KMeans model = KMeans(n_clusters = k, init = 'k-means++')

    • 초기 중심점을 전략적으로 배치하기에 더 최적의 군집화를 할 수 있음
    • 알고리즘이 수렴하는 속도가 빨라짐(초기 중심점을 잘못 지정하게 되는 경우 알고리즘을 수렴하는 시간이 오래 걸릴 수 있기 때문)

2) 데이터를 군집에 할당하기

• 각 데이터는 가장 가까운 중심점에 소속

3) 중심점 재설정하기

• 중심점에 할당된 데이터들의 평균 중심으로 중심점 이동

4) 데이터를 군집에 재할당하기

• 각 데이터는 이동된 중심점 기준으로 가장 가까운 중심점에 소속

5) 중심점 재설정하기 2

• 다시 중심점에 할당된 데이터들의 평균 중심으로 중심점 이동
• 중심점을 이동하였지만 데이터들의 중심점 소속 변경이 없으면 군집화 완료, 그렇지 않다면 4번 과정을 거쳐서 소속을 변경하고 이 과정을 반복함

k-means의 장점

• 알고리즘이 쉽고 간결함
• 알고리즘이 돌아가는 과정이 직관적이고 이해가 쉬움
• 복잡한 계산이 필요하지 않아 대용량 데이터에도 적용 가능
• 수렴성이 보장됨

k-means의 단점

• 거리 기반 알고리즘으로 속성의 개수가 매우 많은 경우 군집화 정확도가 떨어짐(이를 위해 PCA로 차원 감소를 적용해야 할 수도 있음)
• 반복을 수행하는데, 반복 횟수가 많을 경우 수행 시간이 매우 느려짐
• 몇 개의 군집(cluster)을 선택해야 할지 초기 선정이 어려움

k-means와 k-nn 공통점, 차이점

• 공통점
  • 모두 k개의 점을 지정하여 거리를 기반으로 구현되는 거리 기반 분석 알고리즘
• 차이점
  • k-means: 비지도 학습 - 군집화 / k-nn: 지도 학습 - 분류

분류와 군집화 차이

• 분류
  • 레이블(정답)이 주어졌을 때 레이블을 기반으로 데이터를 나누는 방법
  • 성능 판단: 머신러닝에서 모델을 학습시킬 때 모델이 제대로 분류하는지를 평가하기 위해 레이블을 제거하고 모델이 예측한 레이블과 실제 레이블을 비교하여 모델의 성능을 판단
• 군집화
  • 레이블(정답)이 주어지지 않았을 때 주어진 데이터를 묶는 방법
  • 정해진 레이블이 없기 때문에 분류와 달리 어떤 레이블에 속할지 예측하기보다는 이렇게 군집화가 될 수 있구나 정도만 파악이 가능하며 이 정보가 필요할 경우 군집화 알고리즘 사용

[lIms0]

가중치 규제

: 모델의 손실 함수값이 너무 작아지지 않도록 특정한 값(함수)를 추가하는 방법

• L1, L2 Regularization은 모델의 손실함수(Loss Function, Cost Function)에 각각 L1 Loss Function, L2 Loss Function을 추가해 준 것
• Norm: 벡터의 절대적인 크기(magnitude)나 벡터 간 거리를 의미

  L1 규제(L1 정규화, L1 Regularization, Lasso)

  

• L1 norm: 맨해튼 거리(Manhattan distance), 두 벡터 간의 최단 거리를 찾는 방법
• L1 loss: 실제 값과 예측 값 오차들의 절대값들에 대한 합

  L2 규제(L2 정규화, L2 Regularizaion, Ridge)

• L2 norm: 유클리드 거리(Euclidean distance), 두 점 사이의 최단 거리를 측정할 때 사용
• L2 loss: 실제 값과 예측 값 오차들의 제곱의 합

Regularization

: 학습 기반의 알고리즘에서 모델이 과적합되지 않도록 손실 함수에 특정한 규제 함수를 더하여 손실 함수가 너무 작아지지 않도록 가중치 Weight에 패널티를 주는 기법

[lIms0]

F1 Score

: 정밀도와 재현율을 결합한 지표

• 정밀도와 재현율이 아닌 어느 한 쪽으로 치우치지 않는 수치를 나타낼 때 상대적으로 높은 값을 가짐
• 조화평균을 사용하는 이유: 재현율과 정밀 중 더 작은 값에 영향을 많이 받기 위함, 트레이드 오프 관계를 고려하는 데 유용하기 때문
• 다른 평가 지표들은 계산 방법이 간단하지만 이진 분류 모델의 예측 성능을 전부 판별하지 못할 수 있음
• F1 Score는 두 지표의 평균치를 구하는 조화 평균을 사용하여 조금 더 정확하게 모델의 예측 성능을 평가할 수 있음

정밀도 / 재현율 트레이드 오프

• 상호 보완적인 평가 지표이기 때문에 어느 한 쪽을 강제로 높이면 다른 하나의 수치는 떨어지기 쉬움.
• 서로 연관되어 한 쪽을 높이면 다른 한 쪽이 떨어지는 현상을 트레이드 오프(Trade-off)라고 표현함

F1 Score의 단점

• 오차 분포에 대한 정보를 제공하지 않음
• precision(정밀도)와 recall(재현율)의 동등한 중요성을 가정함
• 다중 클래스 분류에 최적화되어 있지 않음
• 데이터의 특정 패턴에 민감하지 않을 수 있음(특정 패턴이나 특성을 고려하지 않는 범용적인 metric(측정값)

F1 Score 단점에 대한 대안

• ROC curves

  • 이진 분류 모델의 예측 성능을 판단하는 중요한 평가 지표
  • 특이도 FPR(False Positive Rate)이 변할 때 민감도 TPR(True Positive Rate)이 어떻게 변하는지 나타내는 곡선
  • FPR을 X축으로, TPR을 Y축으로 잡으면 FPR의 변화에 따른 TPR의 변화가 곡선 형태로 나타남
  • 모델이 양성과 음성을 얼마나 잘 분류하는지 시각화할 수 있음
  • ROC Curves 상에서 왼쪽 위 모서리에서 가까운 지점에 위치할수록 모델이 양성과 음성을 잘 구별하며, 민감도와 특이도가 높아진다는 것을 의미함

• AUC

  • ROC 곡선 아래 면적
  • ROC 곡선의 모든 지점에서의 재현율과 특이도의 조합에 대한 면적
  • 0부터 1까지의 범위를 가지며, 최적의 모델에서는 AUC가 1에 가까운 값이 됨
  • AUC는 임의로 선택딘 양성 샘플과 음성 샘플을 비교했을 때, 양성 샘플이 더 높은 확률로 예측되는 경향을 제공
  • AUC 값으로 모델을 비교하면, AUC가 더 큰 모델일수록 더 좋은 성능을 가지는 경향이 있음

• F-beta score

  • F1 Score와 마찬가지로 이진 분류 모델의 성능을 평가하는 지표로, Precision과 Recall의 조화 평균을 계산해서 최종 점수를 매기는 방식
  • 특정 상황에서 한 지표에 더 큰 중요성을 부여하고 싶을 때 사용하면 좋음
  • 조화평균을 사용하는 대신에 베타(beta)라는 가중치를 도입하여 민감도와 정밀도의 상대적 중요성을 조절할 수 있음
  • 베타 값을 증가시키면 재현율에 더 큰 가중치를 주게 되고, 베타 값을 감소시키면 정밀도에 더 큰 가중치를 주게 됨
  • 베타는 민감도와 정밀도의 상대적 중요성을 결정하는 하이퍼파라미터

• Geometric Mean 기하 평균

  • 이진 분류 모델의 성능을 평가하기 위한 평가 지표 중 하나
  • 재현율(recall)과 특이도 FPR(Specificity)의 기하 평균으로 계산됨
  • 클래스 불균형 문제에서 모델의 성능을 정확하게 평가할 수 있도록 도와줌
  • 불균형 데이터에서 일반적인 평가 지표인 정확도(Accuracy)가 왜곡될 수 있는 경우를 보완하고, 모델이 양성 및 음성 클래스를 모두 골고루 잘 예측하는 성능을 측정할 수 있도록 도와줌
  • 모델의 예측성과 신뢰성을 동시에 평가할 수 있는 지표로서 활용됨
  • G-mean 또한 특정 문제와 데이터에 따라 한계가 있을 수 있음

[lIms0]

편향 분산 절충 Bias-Variance Tradeoff

• 편향과 분산 사이의 균형
• 모든 예측 모델의 성능에 영향을 미치는 편향 오차와 분산 오차를 동시에 최소화할 수 없음, 이 사이의 균형을 찾아야 함

편향 오류

• 모델의 예측과 모델이 예측하려고 시도하는 올바른 값(실측 정보) 간의 차이
  • 기본 데이터 분포에 대한 잘못된 가정으로 인해 모델이 커밋 commit 하는 오류
  • commit: 모델의 학습 과정을 완료하고 얻은 결과나 모델의 파라미터를 저장하거나 기록한다는 것

고편향 High Bias

• 모델이 지나치게 한 방향으로 치우쳐진 경향이 있음
• 고편향 모델은 종종 너무 단순하여 데이터의 복잡성을 포착하지 못해 과소 적합으로 이어질 수 있음

분산 오류

• 학습 데이터의 작은 변동에 대한 모델의 민감도

고분산 High Variance

• 학습 데이터 하나 하나의 특성을 반영하면서 매우 복잡한 모델이 되면서 지나치게 높은 변동성을 가지게 되는 경향
• 고분산 모델은 지나치게 복잡하고 기본 패턴이 아닌 데이터의 노이즈를 맞추는 경향이 있어 과적합이 발생함

결론

• 모델의 복잡성이 높아지면 분산이 높아지고 편향이 낮아져 과적합 overfitting의 위험이 있음
• 모델의 복잡성이 낮아지면 편향이 높아지고 분산이 낮아져 과소적합 underfitting의 위험이 있음
• 편향과 분산이 서로 트레이드오프를 이루면서 오류 값 Cost이 최대로 낮아지는 모델을 구축하는 것이 가장 효율적인 머신러닝 예측 모델을 만드는 것